六度影院鲁鲁片在线看_亚洲av无码乱码国产精品_国产精品一二三入口播放_国产一区二区不卡高清更新

2019年9月5-6日，AutoCam 2019智能汽車視覺大會在上海圓滿落幕。威盛亮相該大會并展出最新智駕產(chǎn)品，該大會云集了智能汽車視覺技術(shù)領(lǐng)域權(quán)威的專家和學(xué)者，威盛高級技術(shù)總監(jiān)唐亮先生代表威盛發(fā)表《智能駕駛員與環(huán)景視頻監(jiān)測系統(tǒng)技術(shù)實作及應(yīng)用》演講。

（唐亮先生深度講解自動駕駛技術(shù)問題）

唐亮先生作為威盛電子的高級技術(shù)總監(jiān)，對于人工智能、計算機(jī)視覺、圖形加速、底層硬件驅(qū)動、操作系統(tǒng)開發(fā)等都有非常豐富的經(jīng)驗，并且是國內(nèi)在該領(lǐng)域的技術(shù)帶頭人之一。此次唐亮先生深刻解析了智能駕駛員與環(huán)景視頻監(jiān)測系統(tǒng)技術(shù)實作及應(yīng)用，以威盛的轉(zhuǎn)型之路引入技術(shù)正題，詳解了環(huán)視監(jiān)控系統(tǒng)與駕駛員監(jiān)測系統(tǒng)中威盛的多項技術(shù)內(nèi)核，非常專業(yè)地分析了自動駕駛技術(shù)遇到的問題和最新解決方式，滿滿的干貨讓聽眾受益良多。

演講全文如下：

大家好，我是威盛電子唐亮，很高興為大家分享演講。

威盛于1987年成立，最初是X86芯片組市場，在2000年時，收購S3 Graphics，擁有了自身GPU專利；2002年，威盛嵌入式事業(yè)部成立，陸續(xù)制定各大板型標(biāo)準(zhǔn)；2013年，威盛嵌入式事業(yè)部成為中國區(qū)主營業(yè)務(wù)，提供行業(yè)解決方案；到2019年，專注計算機(jī)視覺、人工智能、邊緣計算技術(shù)，提供嵌入式智能系統(tǒng)。

隨著技術(shù)的不斷進(jìn)步，感知精度的不斷提高，自動駕駛需要的技術(shù)積累已經(jīng)具備，自動駕駛也成為現(xiàn)在關(guān)注的熱點。計算機(jī)視覺和人工智能被越來越多的應(yīng)用在自動駕駛領(lǐng)域，連普通民眾對于自動駕駛都耳熟能詳。

在今年六月，IIHS（美國公路安全保險協(xié)會）對于司機(jī)理解L2系統(tǒng)可以做些什么操作，做了一個調(diào)查，一共有2005人參與了調(diào)查�？梢钥闯�，1/3以上的人認(rèn)為手不扶方向盤是可以的，1/5以上的人認(rèn)為打電話是沒事的，1/10的人認(rèn)為發(fā)短信是不影響的，3~5%的人認(rèn)為睡一小覺，看看視頻也是沒有問題的。當(dāng)然，實際上對于L2系統(tǒng)，這些操作都是不合理的。IIHS的調(diào)查是為了說明，目前人們對于技術(shù)能做到什么是不了解的，這也是自動駕駛要解決的一個重要問題。這說明大眾對于自動駕駛的信任程度是非常高的，而這種高信任度則把自動駕駛推入了必須做到極致才能落地的境地，勉強(qiáng)落地讓人感覺人工智能變成了人工呆能。

回到我們的話題，這里我介紹兩個典型的應(yīng)用，一個是環(huán)視監(jiān)控系統(tǒng)，一個是駕駛員監(jiān)測系統(tǒng)，最后我們再討論一下在實際應(yīng)用中碰到的問題，以及解決的思路。

現(xiàn)在新出廠的乘用車，很多都已經(jīng)把輔助駕駛變成了標(biāo)準(zhǔn)配置，可以做到停車輔助，行人監(jiān)測，甚至可以遠(yuǎn)程監(jiān)控車輛運(yùn)行。環(huán)視監(jiān)測系統(tǒng)，可以通過完整展示車輛周圍的狀況，進(jìn)而清除司機(jī)的盲區(qū)，來增強(qiáng)駕駛安全。

我們先講一下環(huán)視系統(tǒng)的架構(gòu)，首先，環(huán)視系統(tǒng)可以連接最多8個攝像頭的輸入，普通車輛只需要前、后、左、右四個攝像頭就可以獲得車輛周圍的所有內(nèi)容。攝像頭采用190°的魚眼廣角鏡頭，可以盡可能多的覆蓋周邊的環(huán)境。系統(tǒng)設(shè)置，分離線標(biāo)定和動態(tài)標(biāo)定，然后通過幾何變換把圖像拼接后輸出到顯示設(shè)備上。離線標(biāo)定主要是通過標(biāo)定圖案，來計算各個攝像頭之間的位置信息以及魚眼變換的參數(shù)。動態(tài)標(biāo)定則可以根據(jù)實時圖像的規(guī)則圖案，來計算攝像頭的細(xì)微變化。

（多攝像頭視頻同步）

要解決的問題不單單是幾何變換，由于車輛高速運(yùn)動，攝像頭之間的同步變得非常重要，幾個攝像頭的圖像同步信息必須統(tǒng)一控制。以六個攝像頭同步為例（見上圖），系統(tǒng)觸發(fā)攝像頭單元的同步指令后，攝像頭輸出同步后的圖像，同步并打包六幀圖像，通過威盛的拼接算法，生成最后的圖像。我們注意看上圖中紅色圈出的直行箭頭，左面一副就是沒有同步導(dǎo)致出現(xiàn)了2個箭頭，右面則是正確同步后的拼接結(jié)果。

現(xiàn)在我介紹一下環(huán)視視頻制作流程，這里離線標(biāo)定已經(jīng)完成，已經(jīng)獲得了幾何變換，拼接和混合的參數(shù)。首先是視頻捕獲，然后進(jìn)行反魚眼校正，得到正常比例的圖像。接著把透視圖轉(zhuǎn)化為頂視圖，并組合側(cè)視圖和底視圖，生成場景圖，進(jìn)行拼接，生成頂點和索引數(shù)據(jù)，映射到三維模型上，最后獲得我們看到的圖像。

（二維圖像映射到三維模型）

二維圖像是如何變換到三維模型上的呢？以環(huán)視前攝像頭為例（見上圖），左面第一幅圖像就是魚眼鏡頭獲得的圖像，把它分為上下兩個部分，黃色的框和綠色的框，黃色部分被映射到側(cè)評面，綠色部分被映射到地平面，通過后續(xù)的拼接，就可以實現(xiàn)3維圖像的顯示了。

現(xiàn)在講一下完整的環(huán)視系統(tǒng)，在環(huán)視視頻制作流程基礎(chǔ)上，我們增加了動態(tài)標(biāo)定部分，亮度和顏色校正部分。動態(tài)標(biāo)定之前已經(jīng)提到過，亮度和顏色的矯正主要是因為光照在車輛的不同方向是不一樣的，這樣導(dǎo)致拼接出來的圖像比較凌亂。

在這個例子里，用到的所有的算法，都是有幾何學(xué)、圖形學(xué)、數(shù)學(xué)依據(jù)的，每一步都是明確沒有二義性的。從軟件的角度看不存在不確定性的問題。如果出現(xiàn)問題，很容易找到具體某一個步驟，可以分析出問題的原因，并解決。這也是傳統(tǒng)軟件解決問題的方法。

接下來，我來介紹一下駕駛員監(jiān)測系統(tǒng)。

駕駛員監(jiān)測系統(tǒng)，是一種基于計算機(jī)視覺的，通過攝像頭獲得駕駛員圖像信息，并根據(jù)司機(jī)面部形態(tài)，比如視線方向，臉部表情，根據(jù)體態(tài)，比如頭，手以及軀干的位置來對駕駛員的行為做出分析，比如疲勞的情況，打哈欠，閉眼，瞌睡，或者是注意力分散的情況，聊天，打電話，發(fā)短信，喝水，抽煙等等，根據(jù)行為的對于駕駛的影響程度，發(fā)出安全提示信息。

駕駛員監(jiān)測系統(tǒng)的工作原理，就是把圖像輸入中的關(guān)鍵信息，面部檢測和分割，眼部形態(tài)，身體部位，關(guān)鍵信息抽取后，作為輸入提供給深度神經(jīng)網(wǎng)絡(luò)來訓(xùn)練，神經(jīng)網(wǎng)絡(luò)對各種情況做出分類，這樣就可以識別出正常駕駛和注意力分散的情況。進(jìn)而發(fā)出報警信息。

（開發(fā)和實現(xiàn)DMS的過程）

具體開發(fā)流程如上圖所示，在Linux工作站上，我們對樣本進(jìn)行訓(xùn)練，獲得了培訓(xùn)過的模型，通過威盛自己的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化器，獲得優(yōu)化后的模型，使用模型工具把優(yōu)化后的模型轉(zhuǎn)化為.dlc文件，作為后續(xù)嵌入式平臺進(jìn)行實時計算的基礎(chǔ)。

在嵌入式平臺上，DMS應(yīng)用通過威盛DMS SDK來加載神經(jīng)網(wǎng)絡(luò)模型，通過CPU,GPU以及DSP的協(xié)同工作，獲得計算結(jié)果。

這里介紹一下威盛CNN優(yōu)化器的情況，雖然現(xiàn)在智能芯片對于神經(jīng)網(wǎng)絡(luò)都做了加速，但有限的算力永遠(yuǎn)跟不上需求的發(fā)展和變化，通過對算法的優(yōu)化，可以提升計算速度，減少存儲空間，在有限的計算能力下也能達(dá)到目標(biāo)。在保持精度的前提下，通過不同的優(yōu)化方式，在存儲空間上，可以減少30%，在計算速度上達(dá)到13~18%的提升。

對比這兩種典型的應(yīng)用，我們可以看到，通過神經(jīng)網(wǎng)絡(luò)來解決視覺問題，根本上是靠訓(xùn)練來解決問題，模型確定后，訓(xùn)練的數(shù)據(jù)樣本決定了未來的輸出結(jié)果。對沒有接觸過的樣本，輸出結(jié)果是不確定的。

既然初始樣本數(shù)量必然是有限的，那么這個問題如何來解決呢？

數(shù)據(jù)的問題，就用數(shù)據(jù)來解決。

我們要通過持續(xù)學(xué)習(xí)，來解決數(shù)據(jù)不足的問題。整個數(shù)據(jù)引擎是一個不斷迭代的過程，當(dāng)我們在邊緣端碰到不確定的情況，通過網(wǎng)絡(luò)回傳給服務(wù)端，服務(wù)端進(jìn)行標(biāo)注后，提供給訓(xùn)練流程，得到新的訓(xùn)練結(jié)果，進(jìn)而部署到車輛邊緣測。通過及時的更新，在時間域減少問題暴露的可能性，也從另一個方面降低了問題發(fā)生的比率。一個問題暴露10天和暴露1年的危害性是完全不同的。

另外一個問題就是視覺傳感器本身的局限性，攝像頭會受到外界環(huán)境的干擾，雨雪天氣，光照情況，都會影響效果。

這時候，需要跳出原有的擅長的領(lǐng)域，引入更多的傳感器來解決問題。而且這種引入不能是簡單的疊加，必須深度融合才能真正帶來準(zhǔn)確度的提升。

比如如果視覺判斷，前面一切正常，毫米波雷達(dá)判斷，前面有障礙物，你如何去取舍？在信息判斷的最后階段已經(jīng)沒有足夠的信息進(jìn)行取舍。

環(huán)境條件對于基于視覺的輔助駕駛有著嚴(yán)重的影響，通過與不同的雷達(dá)，激光雷達(dá)，超聲波或其它傳感器協(xié)同工作，才能變得更高效。

最后介紹一下威盛的硬件平臺，目前我們提供Mobile360系列硬件平臺，有D710,L900, M820, 大家有興趣的話，可以到場外展示區(qū)了解具體情況。

關(guān)于威盛電子

威盛電子是全球高集成嵌入式平臺及解決方案領(lǐng)導(dǎo)廠商，致力于人工智能、物聯(lián)網(wǎng)、計算機(jī)視覺、無人駕駛、醫(yī)療自動化及智慧城市方面應(yīng)用。威盛通過全球化網(wǎng)絡(luò)布局，在美國、歐洲及亞洲的高科技核心區(qū)域設(shè)立了分支機(jī)構(gòu)�？蛻羧汉�蓋全球各大領(lǐng)先高科技、電信、電子消費(fèi)品牌。