自動駕駛需要用到多種傳感器，比如攝像頭、毫米波雷達、激光雷達以及超聲波雷達。不同傳感器的工作原理不同所以它們產(chǎn)生的數(shù)據(jù)類型也不一樣。

如果車輛在自動駕駛過程中發(fā)現(xiàn)前面飄來一個塑料袋，攝像頭可能會識別出它是個塑料袋或者白色的皮球，甚至是白色的飛鳥(如果光線不好)，而毫米波雷達很可能會認為它是個石頭或者相同尺寸的障礙物。

這時候不同傳感器發(fā)出了截然相反的指令，攝像頭建議減速而雷達建議緊急制動。兩個互相沖突的指令必須引入第三個傳感器介入打破平衡，或根據(jù)系統(tǒng)預(yù)設(shè)優(yōu)先級直接判定緊急制動。

但無論哪一種方案，都不是自動駕駛最優(yōu)的解決方案。因為復(fù)雜的邏輯判定流程會造成延遲以及算力的浪費，甚至不必要的執(zhí)行動作，而這還僅僅是一個塑料袋。如果兩個塑料袋飄過來，就是兩倍的工作量。

這就是目標(biāo)數(shù)據(jù)融合的尷尬。

而原始數(shù)據(jù)融合則是所有傳感器直接描繪完整環(huán)境，事實運算并對每個像素進行動態(tài)信息標(biāo)注。根據(jù)塑料袋的動態(tài)方式計算出它的重量，直接得到它是塑料袋這個答案，并配合做出相應(yīng)駕駛動作。原始數(shù)據(jù)融合能夠在使用更少能源(和計算)的情況下，以更高的分辨率探測環(huán)境。當(dāng)來自不同傳感器的所有原始數(shù)據(jù)在處理之前被混合在一起時，深度神經(jīng)網(wǎng)絡(luò)(DNN)可以創(chuàng)建一個更完整的環(huán)境圖像。

這里說一下行業(yè)中比較有代表性的公司方便大家理解傳感融合公司的產(chǎn)品模式和服務(wù)對象。以色列的初創(chuàng)公司VAYAVISION就是一家提供自動駕駛車輛原始數(shù)據(jù)融合和感知軟件解決方案的供應(yīng)商，2018年10月這家公司拿到了800萬美元的融資(投資方包括三菱HFJ金融、LG電子等)，該公司2019年5月于EcoMotion智能交通峰會上展示了其最新的自動駕駛環(huán)境感知軟件VAYADrive 2.0。

該軟件對距離傳感器進行稀疏采樣，并將距離信息分配給高分辨率相機圖像中的每個像素。這使得自動駕駛汽車能夠接收到關(guān)于物體大小和形狀的關(guān)鍵信息，能夠?qū)⒌缆飞系拿恳粋€小障礙物分開，并準(zhǔn)確地定義道路上的車輛、人和其他物體的形狀。

在 UBC 研究員設(shè)計了水凝膠傳感器，其中包含不同大小的正離子和負離子的鹽。他和 UBC 物理和化學(xué)系的合作者應(yīng)用磁場來精確跟蹤當(dāng)向傳感器施加壓力時離子是如何移動的。

“當(dāng)對凝膠施加壓力時，該壓力會以不同的速度分散液體中的離子，從而產(chǎn)生電信號。通常較小的正離子比較大的負離子移動得更快。這會導(dǎo)致離子不均勻產(chǎn)生電場的分布，這就是壓電傳感器工作的原因。”

研究人員說，這一新知識證實了水凝膠的工作方式與人類檢測壓力的方式相似，這也是通過移動離子來響應(yīng)壓力，激發(fā)了離子皮膚的潛在新應(yīng)用。

“顯而易見的應(yīng)用是制造直接與細胞和神經(jīng)系統(tǒng)相互作用的傳感器，因為電壓、電流和響應(yīng)時間就像跨細胞膜的那些，”UBC 應(yīng)用科學(xué)學(xué)院電氣和計算機工程教授 Madden 博士說. “當(dāng)我們將傳感器連接到神經(jīng)時，它會在神經(jīng)中產(chǎn)生信號。反過來，神經(jīng)會激活肌肉收縮?！?

“你可以想象一個覆蓋著離子皮膚的假肢。皮膚通過觸摸或壓力感知物體，通過神經(jīng)將信息傳遞給大腦，然后大腦激活提升或握住物體所需的馬達。進一步傳感器皮膚和神經(jīng)接口的開發(fā)，這種仿生接口是可以想象的?！?

另一個應(yīng)用是佩戴在皮膚上的軟水凝膠傳感器，它可以監(jiān)測患者的生命體征，同時完全不顯眼并自行發(fā)電。

說完以上的傳感器，我們再來說說攝像頭。攝像頭——也即是鏡頭，也分為很多類型，比如不同的廠商使用的鏡頭卡口完全不同，比如佳能單反是EF卡口，佳能微單是RF卡口，尼康微單是Z卡口，尺寸都不一樣。

不僅鏡頭卡口有區(qū)別，而且鏡頭的光圈也有恒定光圈和可變光圈，鏡頭的焦距有定焦和變焦，而且不管是定焦還是變焦，又分為超廣角鏡頭、廣角、中焦以及長焦以及魚眼鏡頭等。而且同樣的焦段同樣的畫幅尺寸，有些鏡頭有防抖性能和自動對焦性能，有些則沒有。

而從鏡頭的材料來看，鏡頭也分為多種，比如說低端鏡頭多數(shù)都是樹脂鏡頭，比如一些國產(chǎn)學(xué)生數(shù)碼相機用的就是樹脂鏡頭，而比較高級的鏡頭主要以優(yōu)質(zhì)光學(xué)玻璃為主，還要有相當(dāng)高級的加工技術(shù)。

從構(gòu)成鏡頭的鏡片形狀來看，有球面鏡頭，還有非球面鏡，用于減少散光和畸形，從而矯正成像。 而且有些鏡頭還有鍍膜技術(shù)，可以有效提升影像品質(zhì)。而且不同的鏡頭解析度和分辨率也不同，通常用“ lp/ mm”(一毫米內(nèi)能分清的黑白線對數(shù))來表示。如果你使用了低解析度和低分辨率的鏡頭，即便使用高質(zhì)量高像素的影像傳感器也無法發(fā)揮其優(yōu)勢，拍出來的畫質(zhì)就會大打折扣。