六度影院鲁鲁片在线看_亚洲av无码乱码国产精品_国产精品一二三入口播放_国产一区二区不卡高清更新

2019年9月5-6日，AutoCam 2019智能汽車視覺(jué)大會(huì)在上海圓滿落幕。威盛亮相該大會(huì)并展出最新智駕產(chǎn)品，該大會(huì)云集了智能汽車視覺(jué)技術(shù)領(lǐng)域權(quán)威的專家和學(xué)者，威盛高級(jí)技術(shù)總監(jiān)唐亮先生代表威盛發(fā)表《智能駕駛員與環(huán)景視頻監(jiān)測(cè)系統(tǒng)技術(shù)實(shí)作及應(yīng)用》演講。

（唐亮先生深度講解自動(dòng)駕駛技術(shù)問(wèn)題）

唐亮先生作為威盛電子的高級(jí)技術(shù)總監(jiān)，對(duì)于人工智能、計(jì)算機(jī)視覺(jué)、圖形加速、底層硬件驅(qū)動(dòng)、操作系統(tǒng)開(kāi)發(fā)等都有非常豐富的經(jīng)驗(yàn)，并且是國(guó)內(nèi)在該領(lǐng)域的技術(shù)帶頭人之一。此次唐亮先生深刻解析了智能駕駛員與環(huán)景視頻監(jiān)測(cè)系統(tǒng)技術(shù)實(shí)作及應(yīng)用，以威盛的轉(zhuǎn)型之路引入技術(shù)正題，詳解了環(huán)視監(jiān)控系統(tǒng)與駕駛員監(jiān)測(cè)系統(tǒng)中威盛的多項(xiàng)技術(shù)內(nèi)核，非常專業(yè)地分析了自動(dòng)駕駛技術(shù)遇到的問(wèn)題和最新解決方式，滿滿的干貨讓聽(tīng)眾受益良多。

演講全文如下：

大家好，我是威盛電子唐亮，很高興為大家分享演講。

威盛于1987年成立，最初是X86芯片組市場(chǎng)，在2000年時(shí)，收購(gòu)S3 Graphics，擁有了自身GPU專利；2002年，威盛嵌入式事業(yè)部成立，陸續(xù)制定各大板型標(biāo)準(zhǔn)；2013年，威盛嵌入式事業(yè)部成為中國(guó)區(qū)主營(yíng)業(yè)務(wù)，提供行業(yè)解決方案；到2019年，專注計(jì)算機(jī)視覺(jué)、人工智能、邊緣計(jì)算技術(shù)，提供嵌入式智能系統(tǒng)。

隨著技術(shù)的不斷進(jìn)步，感知精度的不斷提高，自動(dòng)駕駛需要的技術(shù)積累已經(jīng)具備，自動(dòng)駕駛也成為現(xiàn)在關(guān)注的熱點(diǎn)。計(jì)算機(jī)視覺(jué)和人工智能被越來(lái)越多的應(yīng)用在自動(dòng)駕駛領(lǐng)域，連普通民眾對(duì)于自動(dòng)駕駛都耳熟能詳。

在今年六月，IIHS（美國(guó)公路安全保險(xiǎn)協(xié)會(huì)）對(duì)于司機(jī)理解L2系統(tǒng)可以做些什么操作，做了一個(gè)調(diào)查，一共有2005人參與了調(diào)查�？梢钥闯觯�1/3以上的人認(rèn)為手不扶方向盤是可以的，1/5以上的人認(rèn)為打電話是沒(méi)事的，1/10的人認(rèn)為發(fā)短信是不影響的，3~5%的人認(rèn)為睡一小覺(jué)，看看視頻也是沒(méi)有問(wèn)題的。當(dāng)然，實(shí)際上對(duì)于L2系統(tǒng)，這些操作都是不合理的。IIHS的調(diào)查是為了說(shuō)明，目前人們對(duì)于技術(shù)能做到什么是不了解的，這也是自動(dòng)駕駛要解決的一個(gè)重要問(wèn)題。這說(shuō)明大眾對(duì)于自動(dòng)駕駛的信任程度是非常高的，而這種高信任度則把自動(dòng)駕駛推入了必須做到極致才能落地的境地，勉強(qiáng)落地讓人感覺(jué)人工智能變成了人工呆能。

回到我們的話題，這里我介紹兩個(gè)典型的應(yīng)用，一個(gè)是環(huán)視監(jiān)控系統(tǒng)，一個(gè)是駕駛員監(jiān)測(cè)系統(tǒng)，最后我們?cè)儆懻撘幌略趯?shí)際應(yīng)用中碰到的問(wèn)題，以及解決的思路。

現(xiàn)在新出廠的乘用車，很多都已經(jīng)把輔助駕駛變成了標(biāo)準(zhǔn)配置，可以做到停車輔助，行人監(jiān)測(cè)，甚至可以遠(yuǎn)程監(jiān)控車輛運(yùn)行。環(huán)視監(jiān)測(cè)系統(tǒng)，可以通過(guò)完整展示車輛周圍的狀況，進(jìn)而清除司機(jī)的盲區(qū)，來(lái)增強(qiáng)駕駛安全。

我們先講一下環(huán)視系統(tǒng)的架構(gòu)，首先，環(huán)視系統(tǒng)可以連接最多8個(gè)攝像頭的輸入，普通車輛只需要前、后、左、右四個(gè)攝像頭就可以獲得車輛周圍的所有內(nèi)容。攝像頭采用190°的魚眼廣角鏡頭，可以盡可能多的覆蓋周邊的環(huán)境。系統(tǒng)設(shè)置，分離線標(biāo)定和動(dòng)態(tài)標(biāo)定，然后通過(guò)幾何變換把圖像拼接后輸出到顯示設(shè)備上。離線標(biāo)定主要是通過(guò)標(biāo)定圖案，來(lái)計(jì)算各個(gè)攝像頭之間的位置信息以及魚眼變換的參數(shù)。動(dòng)態(tài)標(biāo)定則可以根據(jù)實(shí)時(shí)圖像的規(guī)則圖案，來(lái)計(jì)算攝像頭的細(xì)微變化。

（多攝像頭視頻同步）

要解決的問(wèn)題不單單是幾何變換，由于車輛高速運(yùn)動(dòng)，攝像頭之間的同步變得非常重要，幾個(gè)攝像頭的圖像同步信息必須統(tǒng)一控制。以六個(gè)攝像頭同步為例（見(jiàn)上圖），系統(tǒng)觸發(fā)攝像頭單元的同步指令后，攝像頭輸出同步后的圖像，同步并打包六幀圖像，通過(guò)威盛的拼接算法，生成最后的圖像。我們注意看上圖中紅色圈出的直行箭頭，左面一副就是沒(méi)有同步導(dǎo)致出現(xiàn)了2個(gè)箭頭，右面則是正確同步后的拼接結(jié)果。

現(xiàn)在我介紹一下環(huán)視視頻制作流程，這里離線標(biāo)定已經(jīng)完成，已經(jīng)獲得了幾何變換，拼接和混合的參數(shù)。首先是視頻捕獲，然后進(jìn)行反魚眼校正，得到正常比例的圖像。接著把透視圖轉(zhuǎn)化為頂視圖，并組合側(cè)視圖和底視圖，生成場(chǎng)景圖，進(jìn)行拼接，生成頂點(diǎn)和索引數(shù)據(jù)，映射到三維模型上，最后獲得我們看到的圖像。

（二維圖像映射到三維模型）

二維圖像是如何變換到三維模型上的呢？以環(huán)視前攝像頭為例（見(jiàn)上圖），左面第一幅圖像就是魚眼鏡頭獲得的圖像，把它分為上下兩個(gè)部分，黃色的框和綠色的框，黃色部分被映射到側(cè)評(píng)面，綠色部分被映射到地平面，通過(guò)后續(xù)的拼接，就可以實(shí)現(xiàn)3維圖像的顯示了。

現(xiàn)在講一下完整的環(huán)視系統(tǒng)，在環(huán)視視頻制作流程基礎(chǔ)上，我們?cè)黾恿藙?dòng)態(tài)標(biāo)定部分，亮度和顏色校正部分。動(dòng)態(tài)標(biāo)定之前已經(jīng)提到過(guò)，亮度和顏色的矯正主要是因?yàn)楣庹赵谲囕v的不同方向是不一樣的，這樣導(dǎo)致拼接出來(lái)的圖像比較凌亂。

在這個(gè)例子里，用到的所有的算法，都是有幾何學(xué)、圖形學(xué)、數(shù)學(xué)依據(jù)的，每一步都是明確沒(méi)有二義性的。從軟件的角度看不存在不確定性的問(wèn)題。如果出現(xiàn)問(wèn)題，很容易找到具體某一個(gè)步驟，可以分析出問(wèn)題的原因，并解決。這也是傳統(tǒng)軟件解決問(wèn)題的方法。

接下來(lái)，我來(lái)介紹一下駕駛員監(jiān)測(cè)系統(tǒng)。

駕駛員監(jiān)測(cè)系統(tǒng)，是一種基于計(jì)算機(jī)視覺(jué)的，通過(guò)攝像頭獲得駕駛員圖像信息，并根據(jù)司機(jī)面部形態(tài)，比如視線方向，臉部表情，根據(jù)體態(tài)，比如頭，手以及軀干的位置來(lái)對(duì)駕駛員的行為做出分析，比如疲勞的情況，打哈欠，閉眼，瞌睡，或者是注意力分散的情況，聊天，打電話，發(fā)短信，喝水，抽煙等等，根據(jù)行為的對(duì)于駕駛的影響程度，發(fā)出安全提示信息。

駕駛員監(jiān)測(cè)系統(tǒng)的工作原理，就是把圖像輸入中的關(guān)鍵信息，面部檢測(cè)和分割，眼部形態(tài)，身體部位，關(guān)鍵信息抽取后，作為輸入提供給深度神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練，神經(jīng)網(wǎng)絡(luò)對(duì)各種情況做出分類，這樣就可以識(shí)別出正常駕駛和注意力分散的情況。進(jìn)而發(fā)出報(bào)警信息。

（開(kāi)發(fā)和實(shí)現(xiàn)DMS的過(guò)程）

具體開(kāi)發(fā)流程如上圖所示，在Linux工作站上，我們對(duì)樣本進(jìn)行訓(xùn)練，獲得了培訓(xùn)過(guò)的模型，通過(guò)威盛自己的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化器，獲得優(yōu)化后的模型，使用模型工具把優(yōu)化后的模型轉(zhuǎn)化為.dlc文件，作為后續(xù)嵌入式平臺(tái)進(jìn)行實(shí)時(shí)計(jì)算的基礎(chǔ)。

在嵌入式平臺(tái)上，DMS應(yīng)用通過(guò)威盛DMS SDK來(lái)加載神經(jīng)網(wǎng)絡(luò)模型，通過(guò)CPU,GPU以及DSP的協(xié)同工作，獲得計(jì)算結(jié)果。

這里介紹一下威盛CNN優(yōu)化器的情況，雖然現(xiàn)在智能芯片對(duì)于神經(jīng)網(wǎng)絡(luò)都做了加速，但有限的算力永遠(yuǎn)跟不上需求的發(fā)展和變化，通過(guò)對(duì)算法的優(yōu)化，可以提升計(jì)算速度，減少存儲(chǔ)空間，在有限的計(jì)算能力下也能達(dá)到目標(biāo)。在保持精度的前提下，通過(guò)不同的優(yōu)化方式，在存儲(chǔ)空間上，可以減少30%，在計(jì)算速度上達(dá)到13~18%的提升。

對(duì)比這兩種典型的應(yīng)用，我們可以看到，通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)解決視覺(jué)問(wèn)題，根本上是靠訓(xùn)練來(lái)解決問(wèn)題，模型確定后，訓(xùn)練的數(shù)據(jù)樣本決定了未來(lái)的輸出結(jié)果。對(duì)沒(méi)有接觸過(guò)的樣本，輸出結(jié)果是不確定的。

既然初始樣本數(shù)量必然是有限的，那么這個(gè)問(wèn)題如何來(lái)解決呢？

數(shù)據(jù)的問(wèn)題，就用數(shù)據(jù)來(lái)解決。

我們要通過(guò)持續(xù)學(xué)習(xí)，來(lái)解決數(shù)據(jù)不足的問(wèn)題。整個(gè)數(shù)據(jù)引擎是一個(gè)不斷迭代的過(guò)程，當(dāng)我們?cè)谶吘壎伺龅讲淮_定的情況，通過(guò)網(wǎng)絡(luò)回傳給服務(wù)端，服務(wù)端進(jìn)行標(biāo)注后，提供給訓(xùn)練流程，得到新的訓(xùn)練結(jié)果，進(jìn)而部署到車輛邊緣測(cè)。通過(guò)及時(shí)的更新，在時(shí)間域減少問(wèn)題暴露的可能性，也從另一個(gè)方面降低了問(wèn)題發(fā)生的比率。一個(gè)問(wèn)題暴露10天和暴露1年的危害性是完全不同的。

另外一個(gè)問(wèn)題就是視覺(jué)傳感器本身的局限性，攝像頭會(huì)受到外界環(huán)境的干擾，雨雪天氣，光照情況，都會(huì)影響效果。

這時(shí)候，需要跳出原有的擅長(zhǎng)的領(lǐng)域，引入更多的傳感器來(lái)解決問(wèn)題。而且這種引入不能是簡(jiǎn)單的疊加，必須深度融合才能真正帶來(lái)準(zhǔn)確度的提升。

比如如果視覺(jué)判斷，前面一切正常，毫米波雷達(dá)判斷，前面有障礙物，你如何去取舍？在信息判斷的最后階段已經(jīng)沒(méi)有足夠的信息進(jìn)行取舍。

環(huán)境條件對(duì)于基于視覺(jué)的輔助駕駛有著嚴(yán)重的影響，通過(guò)與不同的雷達(dá)，激光雷達(dá)，超聲波或其它傳感器協(xié)同工作，才能變得更高效。

最后介紹一下威盛的硬件平臺(tái)，目前我們提供Mobile360系列硬件平臺(tái)，有D710,L900, M820, 大家有興趣的話，可以到場(chǎng)外展示區(qū)了解具體情況。

關(guān)于威盛電子

威盛電子是全球高集成嵌入式平臺(tái)及解決方案領(lǐng)導(dǎo)廠商，致力于人工智能、物聯(lián)網(wǎng)、計(jì)算機(jī)視覺(jué)、無(wú)人駕駛、醫(yī)療自動(dòng)化及智慧城市方面應(yīng)用。威盛通過(guò)全球化網(wǎng)絡(luò)布局，在美國(guó)、歐洲及亞洲的高科技核心區(qū)域設(shè)立了分支機(jī)構(gòu)�？蛻羧汉�蓋全球各大領(lǐng)先高科技、電信、電子消費(fèi)品牌。