事件相機(jī)是感知“事件”發(fā)生變化并輸出“事件”信息，有別于傳統(tǒng)相機(jī)輸出的圖像信息。而所謂的“事件”指的就是每個(gè)像素的亮度變化，輸出的也就是像素亮度變化情況。事件相機(jī)的關(guān)鍵器件就是基于事件的視覺(jué)傳感器，簡(jiǎn)稱EVS（Event-based Vision Sensor）。

雖然EVS看上去是很新穎的技術(shù)，但是離我們的生活其實(shí)越來(lái)越近，在不論是消費(fèi)或工業(yè)領(lǐng)域都會(huì)有越來(lái)越多相關(guān)的落地應(yīng)用。

Prophesee是第一家商業(yè)化EVS技術(shù)的公司，在近日召開(kāi)的2023上海機(jī)器視覺(jué)展上也展出了諸多EVS的demo。我們也有幸在現(xiàn)場(chǎng)采訪到了Prophesee副總裁兼大中華區(qū)總經(jīng)理?xiàng)钛╋w先生，他針對(duì)EVS技術(shù)特點(diǎn)和相關(guān)應(yīng)用方向進(jìn)行了深入的分享。

Prophesee 2023上海機(jī)器視覺(jué)展展位（圖片來(lái)源：Prophesee）

EVS為AI運(yùn)算提供高效低時(shí)延動(dòng)態(tài)數(shù)據(jù)

據(jù)楊雪飛介紹，EVS技術(shù)原理來(lái)自仿生學(xué)，和傳統(tǒng)幀率相機(jī)的工作原理截然不同。人眼的視網(wǎng)膜中有兩種視覺(jué)感知細(xì)胞。一種叫視錐細(xì)胞，另一種叫視桿細(xì)胞。視錐細(xì)胞可以提供給人腦豐富的色彩感知；視桿細(xì)胞其實(shí)它只捕捉一個(gè)光線的變化，然后形成一個(gè)動(dòng)態(tài)的框架。人眼看到的信息，是在視錐細(xì)胞感知色彩的基礎(chǔ)上，加上大量的來(lái)自視桿細(xì)胞的動(dòng)態(tài)框架信息，在人腦中進(jìn)行變化和補(bǔ)償，才產(chǎn)生了我們意識(shí)當(dāng)中所看到的視覺(jué)信息。通過(guò)這種方法可以節(jié)省大量的功耗，不需要每個(gè)細(xì)節(jié)的視覺(jué)信息都傳輸?shù)酱竽X皮層，只需要把變化量傳輸?shù)酱竽X皮層以后，在大腦皮層進(jìn)行修補(bǔ)，因此人腦才能實(shí)現(xiàn)這樣一個(gè)高效的視覺(jué)系統(tǒng)。

基于幀的相機(jī)（左）與Prophesee事件相機(jī)（右）（圖片來(lái)源：Prophesee）

而傳統(tǒng)CMOS傳感器的原理就好比是視錐細(xì)胞，提供豐富的色彩信息；而EVS就好比是視桿細(xì)胞，輸出的信號(hào)沒(méi)有顏色，而是捕捉光的變化中物體的邊緣信息，輸出這一動(dòng)態(tài)變化的框架信息。

基于工作原理的不同，EVS有著一些獨(dú)特的優(yōu)勢(shì)。

首先，EVS能夠?yàn)锳I類運(yùn)算提供更高效、豐富且低時(shí)延的動(dòng)態(tài)數(shù)據(jù)信息。EVS輸出的只是邊緣數(shù)據(jù)，例如整幅畫面是100萬(wàn)像素，有可能變化的邊緣信息只是其中的1%甚至千分之一，但EVS能夠?qū)⑦@一時(shí)間點(diǎn)內(nèi)所有的動(dòng)態(tài)變化的框架信息輸出，所以EVS的數(shù)據(jù)非常高效。

傳統(tǒng)相機(jī)輸出的是同步信號(hào)，而EVS輸出的是異步信號(hào)。傳統(tǒng)相機(jī)都是以幀為單位的，例如通常一秒鐘有24幀、30幀向外傳輸圖像。而EVS產(chǎn)生的影像是沒(méi)有幀率的，只根據(jù)光線變化對(duì)外輸出信號(hào)，沒(méi)有變化就沒(méi)有信號(hào)輸出。

“在時(shí)間域上EVS輸出信號(hào)是完全連續(xù)的，考慮到半導(dǎo)體實(shí)現(xiàn)的過(guò)程當(dāng)中會(huì)帶來(lái)延時(shí)，所以目前我們事件和事件當(dāng)中的最小間隔是以微秒為單位?！睏钛╋w分享到，“換句話說(shuō)，EVS可以在同一個(gè)地方輸出上萬(wàn)次/秒的信息，類比傳統(tǒng)相機(jī)相當(dāng)于提供了上萬(wàn)幀/秒的動(dòng)態(tài)影像，所以速度會(huì)非?？?，數(shù)據(jù)也非常高效，這樣就能夠把AI所需要的數(shù)據(jù)采集、豐富起來(lái)?！?

第二，EVS能夠提供高動(dòng)態(tài)范圍。傳統(tǒng)相機(jī)拍照時(shí)都需要一定的曝光時(shí)間，而對(duì)于明暗差別大的場(chǎng)景，就容易出現(xiàn)高亮度區(qū)域過(guò)曝、低亮度區(qū)域看不見(jiàn)的情況。而EVS是獨(dú)立觀察每個(gè)像素上的光線的變化量，不做長(zhǎng)時(shí)間的累積，因此沒(méi)有曝光時(shí)間，在暗的地方它用暗的判斷方式快速的提供信號(hào)，亮的地方就用亮的方式快速提供信號(hào)。

“Prophesee Metavision傳感器的動(dòng)態(tài)范圍可以往120dB、140dB以上無(wú)限向上延伸，在歐洲某些天文觀測(cè)領(lǐng)域會(huì)采用EVS來(lái)進(jìn)行恒星拍攝?！睏钛╋w介紹到。

結(jié)合EVS的上述特點(diǎn)，EVS能夠在很多傳統(tǒng)的應(yīng)用上，帶來(lái)突破性體驗(yàn)。例如在手機(jī)相機(jī)應(yīng)用上，疊加EVS的信息，融合EVS和CMOS的數(shù)據(jù)實(shí)現(xiàn)更好的暗光、防抖效果。在老人看護(hù)應(yīng)用上，替代傳統(tǒng)的相機(jī)和雷達(dá)方案，在保證隱私情況下實(shí)現(xiàn)對(duì)老人看護(hù)實(shí)時(shí)監(jiān)控。在汽車自動(dòng)駕駛應(yīng)用中，通過(guò)高效數(shù)據(jù)實(shí)現(xiàn)AI算力高效處理。而在工業(yè)領(lǐng)域，EVS能夠替代傳統(tǒng)機(jī)器視覺(jué)中的相機(jī)，實(shí)現(xiàn)更高效可靠的應(yīng)用。這也是此次機(jī)器視覺(jué)展上，Prophesee展出的demo的重點(diǎn)，我們也將重點(diǎn)介紹在此領(lǐng)域的EVS應(yīng)用。

機(jī)器視覺(jué)應(yīng)用，EVS更適合

“其實(shí)視覺(jué)信號(hào)一直有一個(gè)發(fā)展的趨勢(shì)——即從imaging（圖像）向sensing（感知）的方向轉(zhuǎn)變。 Imaging顧名思義要有圖像，讓人們能夠看清楚它是什么樣子的，但是sensing不需要把每個(gè)細(xì)節(jié)看得很清楚，只要感知到動(dòng)態(tài)的變化，這恰恰是EVS能夠提供的?！睏钛╋w分享到。

從未來(lái)發(fā)展趨勢(shì)來(lái)看，機(jī)器對(duì)于視覺(jué)的判斷一定是越來(lái)越快的，但算力和帶寬的提升是一方面，從傳感器上實(shí)現(xiàn)高效數(shù)據(jù)采集則能夠幫助這個(gè)那個(gè)系統(tǒng)實(shí)現(xiàn)極大的加速。傳統(tǒng)相機(jī)是為人眼的觀感構(gòu)建的圖像信息，而EVS則是更適合機(jī)器來(lái)“觀看”的動(dòng)態(tài)信息。對(duì)于機(jī)器視覺(jué)而言，對(duì)于視覺(jué)信息的理解和人眼的理解是不同的，從機(jī)器的角度獲得更多動(dòng)態(tài)影像而非靜態(tài)影像信息才能夠幫助其在有限帶寬、有限算力的情況下實(shí)現(xiàn)快速捕捉。

在此次機(jī)器視覺(jué)展上，Prophesee展出了一款塔吊的demo，借助EVS實(shí)現(xiàn)了高效、可靠同時(shí)低功耗的被吊物體3維實(shí)時(shí)監(jiān)測(cè)。

在此demo中，塔吊的駕駛艙下方安裝了一顆EVS相機(jī)，而在需要被塔吊吊起的集裝箱上選取6個(gè)點(diǎn)安裝了6顆LED。每一顆LED都采用了不同閃爍方式，EVS相機(jī)可以基于此來(lái)判斷不同的燈的移動(dòng)變化，從而提供整個(gè)集裝箱的三維建模信息。例如在有風(fēng)吹過(guò)時(shí)，整個(gè)集裝箱的小幅擺動(dòng)的位置數(shù)據(jù)都能夠?qū)崟r(shí)在捕捉到。在一些惡劣環(huán)境中，操作員可以遠(yuǎn)程實(shí)現(xiàn)塔吊的操作，從而無(wú)需在塔吊的駕駛室中進(jìn)行操作。

Prophesee展出了一款塔吊的demo（圖片來(lái)源：Prophesee）

在此應(yīng)用案例中，EVS只需要捕捉幾個(gè)燈的光線閃爍的移動(dòng)信息即可，因此整體的數(shù)據(jù)量極小，對(duì)于系統(tǒng)整體的功耗要求也就更低。此外，因?yàn)榱鶄€(gè)燈的位置已經(jīng)提前相互確定，所以即使其中一個(gè)或兩個(gè)燈被遮擋住了，通過(guò)其他的燈的連續(xù)位置變化，也能夠獲得整個(gè)集裝箱的位置變化。

對(duì)于塔吊場(chǎng)景的遠(yuǎn)程控制，關(guān)鍵的一點(diǎn)在于要能夠?qū)崿F(xiàn)幾乎零延時(shí)觀察和操作。EVS的優(yōu)勢(shì)在于延時(shí)低、數(shù)據(jù)量小、采集速度快，后端的算力延遲也小，因此應(yīng)用在塔吊遠(yuǎn)程實(shí)時(shí)監(jiān)控上是一個(gè)非常好的方案，塔吊安全系數(shù)也得以提高。

在工業(yè)領(lǐng)域，通過(guò)振動(dòng)檢測(cè)、狀態(tài)監(jiān)測(cè)來(lái)實(shí)現(xiàn)預(yù)測(cè)性維護(hù)，能夠幫助客戶提前發(fā)現(xiàn)可能出現(xiàn)的故障問(wèn)題，免除產(chǎn)線意外停工造成的巨額損失。而目前常見(jiàn)的方案大多采用振動(dòng)傳感器，通過(guò)貼裝的方式來(lái)進(jìn)行振動(dòng)數(shù)據(jù)捕捉。EVS為這種工業(yè)預(yù)測(cè)性維護(hù)應(yīng)用也提供了一種新穎的方案。

傳送帶demo（圖片來(lái)源：Prophesee）

在現(xiàn)場(chǎng)的demo演示中，通過(guò)Prophesee的一個(gè)EVS相機(jī)，可以實(shí)現(xiàn)對(duì)輸料帶的振動(dòng)頻率的實(shí)時(shí)監(jiān)控。首先最明顯的優(yōu)勢(shì)在于，采用EVS相機(jī)可以在不接觸被測(cè)工業(yè)設(shè)備的情況下進(jìn)行安裝部署，從而無(wú)需被測(cè)工業(yè)設(shè)備停機(jī)，而且安裝位置相對(duì)靈活的多。第二點(diǎn)好處在于，EVS拍出的是時(shí)間上連續(xù)的影像動(dòng)態(tài)框架信息，因此可以直接判斷出傳送帶的頻率，具有更高的準(zhǔn)確率和精度。第三點(diǎn)優(yōu)勢(shì)在于，一個(gè)相機(jī)就可以實(shí)時(shí)判斷出多個(gè)不同部位的不同振動(dòng)頻率。因?yàn)槭遣蹲降恼麄€(gè)畫面中的框架信息變化，所以一個(gè)工業(yè)設(shè)備或一個(gè)輸料帶上的多個(gè)位置的不同頻率，都可以記錄下來(lái)通過(guò)后端算法進(jìn)行處理，獲得更豐富的設(shè)備狀態(tài)監(jiān)測(cè)。

據(jù)楊雪飛介紹，這種采用EVS相機(jī)進(jìn)行振動(dòng)監(jiān)測(cè)的應(yīng)用，目前在歐洲已經(jīng)有了落地的工業(yè)級(jí)項(xiàng)目。

在此次展會(huì)現(xiàn)場(chǎng)，Prophesee還展出了一個(gè)采用EVS相機(jī)進(jìn)行計(jì)數(shù)的demo。在此演示中，展示了一個(gè)高速旋轉(zhuǎn)的圓盤，圓盤上會(huì)有需要計(jì)數(shù)的圓點(diǎn)出現(xiàn)。而要對(duì)這些高速變化和移動(dòng)的圓點(diǎn)進(jìn)行計(jì)數(shù)，人眼是無(wú)法做到的，甚至連物體移動(dòng)的狀態(tài)都無(wú)法判斷出來(lái)。

這類應(yīng)用的實(shí)際場(chǎng)景非常多，例如糧食、藥片的快速檢測(cè)。比如在藥品的快速下落過(guò)程中，判斷藥片的尺寸是否有不合格的，可以通過(guò)噴頭將不合格藥片吹掉。而像大米計(jì)數(shù)等也有類似的應(yīng)用案例。

傳統(tǒng)上此類方案是通過(guò)高速相機(jī)的方式來(lái)計(jì)數(shù)，但要達(dá)到如此高效率的高速相機(jī)的成本極高，而且采集到的同步信息的數(shù)據(jù)量極大，對(duì)于后端的處理和算法優(yōu)化的難度也非常高，因此整個(gè)系統(tǒng)的成本都比較高。而采用EVS替代高速相機(jī)之后，由于本身EVS價(jià)格相比高速相機(jī)更低，而且傳輸?shù)臄?shù)據(jù)量更小，因此對(duì)于整體的效益、效率都有提升。對(duì)于此類工業(yè)系統(tǒng)而言是非常好的降本增效的解決方案。

推動(dòng)EVS的大規(guī)模應(yīng)用落地

EVS雖然算起來(lái)已經(jīng)誕生很久了，但實(shí)際商業(yè)化時(shí)間并不長(zhǎng)。目前仍存在著價(jià)格偏高的應(yīng)用痛點(diǎn)，同時(shí)雖然其應(yīng)用面很廣，想要打入傳統(tǒng)應(yīng)用中還要面臨很多市場(chǎng)客戶等方面的困難。

Prophesee正在扎扎實(shí)實(shí)地推進(jìn)EVS在各個(gè)應(yīng)用領(lǐng)域的全面落地。據(jù)楊雪飛介紹，面向工業(yè)和消費(fèi)等不同的市場(chǎng)Prophesee提供了不同的產(chǎn)品，但都是能夠符合整個(gè)市場(chǎng)的價(jià)格預(yù)期，價(jià)格能夠被客戶所接受。工業(yè)上用量不大，規(guī)格要求更高，而消費(fèi)類上用量大，價(jià)格方面會(huì)做到更容易被大面積搭載和接受。

在量產(chǎn)方面，EVS同樣需要克服一系列的挑戰(zhàn)，實(shí)現(xiàn)規(guī)模化從而降低成本。Prophesee是全球第一家商業(yè)化EVS技術(shù)的公司，2015年就有了第一代的量產(chǎn)傳感器，然后按照每?jī)赡暌坏墓?jié)奏進(jìn)行產(chǎn)品更新，2021年發(fā)布了第四代傳感器，今年是第五代傳感器。在商用化的過(guò)程當(dāng)中，Prophesee也積累了大量的經(jīng)驗(yàn)，包括提高產(chǎn)品的良率等。

在第四代的時(shí)候，索尼作為非常重要的相機(jī)模組合作伙伴加入了，Prophesee的第四代傳感器也由雙方共同開(kāi)發(fā)，在索尼工廠進(jìn)行的生產(chǎn)，目前第四代的整體良率情況非常好。而在現(xiàn)在的第五代產(chǎn)品層面，Prophesee也會(huì)考慮更多不同的合作方案。

而考慮到新硬件技術(shù)的實(shí)際應(yīng)用，軟件同樣重要。Prophesee是軟硬件兼?zhèn)涞墓?，提供的產(chǎn)品里面既包括機(jī)器視覺(jué)傳感器，又提供了Metavision軟件包。據(jù)悉，Metavision軟件包可以免費(fèi)下載使用，類似于底層應(yīng)用的調(diào)用?？蛻艋诖塑浖梢愿訉Ｗ⒂谏蠈討?yīng)用開(kāi)發(fā)，而無(wú)需關(guān)注底層數(shù)據(jù)層的開(kāi)發(fā)。從而幫助客戶快速實(shí)現(xiàn)對(duì)于EVS的上手調(diào)試，更快地完成應(yīng)用層的軟件設(shè)計(jì)。

而說(shuō)到生態(tài)建設(shè)，Prophesee已經(jīng)提供了Metavision的評(píng)估套件，并且與SoC廠商、手機(jī)廠商、軟件廠商、工業(yè)消費(fèi)等等一系列各種不同應(yīng)用不同類型的廠商展開(kāi)了合作，積極進(jìn)行大規(guī)模商業(yè)化落地的探索。而在開(kāi)發(fā)者生態(tài)層面，Prophesee有一個(gè)專門的基于EVS技術(shù)的社區(qū)，全球知名學(xué)府教授在內(nèi)的幾千位注冊(cè)用戶都在上面進(jìn)行EVS相關(guān)的應(yīng)用開(kāi)發(fā)交流，中文版的開(kāi)發(fā)者社區(qū)也在建設(shè)中，不久將會(huì)上線，為中國(guó)的EVS應(yīng)用開(kāi)發(fā)者提供更好的支持。

對(duì)于EVS的大規(guī)模商用落地，Prophesee已經(jīng)做好了準(zhǔn)備。從傳感器到相機(jī)模組量產(chǎn)、從硬件到各行業(yè)解決方案、從高校培育到開(kāi)發(fā)者生態(tài)建設(shè)，整個(gè)布局已經(jīng)全面完成，接下來(lái)在哪個(gè)應(yīng)用方向上會(huì)率先實(shí)現(xiàn)突破、占據(jù)有競(jìng)爭(zhēng)力的市場(chǎng)份額，會(huì)是我們持續(xù)觀察的點(diǎn)。而楊雪飛對(duì)此非常有信心，“雖然EVS看上去是很新穎的技術(shù)，但是離我們的生活其實(shí)越來(lái)越近，會(huì)有越來(lái)越多相關(guān)的應(yīng)用能夠直接推到市場(chǎng)上供用戶使用?！?