· 人類對世界的認識并非基于柵格(raster-based)或基于幀(frame-based)。Prophesee 事件視覺傳感器受人眼視覺原理啟發(fā)，能夠修復由傳統(tǒng)圖像傳感器造成的運動模糊及其他圖像質量問題，特別是在高動態(tài)場景和低光照環(huán)境下，能夠使手機影像更接近真實體驗。

· 高通技術公司是高端手機技術的全球領導者，雙方合作將加速 Prophesee 的解決方案在手機行業(yè)的快速部署。

· 雙方將攜手優(yōu)化 Prophesee Metavision 神經擬態(tài)事件視覺傳感技術(包括傳感器和軟件)與驍龍移動平臺的深度融合。相關開發(fā)套件將由 Prophesee 于今年內推出。

2023 年 2 月 28 日，中國上海 ——Prophesee 與高通技術公司今日宣布，雙方將合作優(yōu)化 Prophesee Metavision 事件視覺傳感器與高通驍龍移動平臺的深度融合，為智能手機提供神經擬態(tài)視覺技術在速度、性能和成像質量方面的優(yōu)勢。借助 Prophesee 事件視覺傳感器的異步像素檢測以及連續(xù)事件流輸出，為智能手機廠家提供一種高效快速的途徑來顯著提升相機影像性能，特別是在高速移動的動態(tài)場景(例如運動場景)以及低光照環(huán)境下。此外，Prophesee 正在開發(fā)一個開發(fā)套件，以支持搭載驍龍平臺的下一代設備集成 Metavision 傳感器技術。

圖1 – 運動場景：高速運動場景的初步去模糊結果，通過結合 Prophesee Metavision 傳感技術(包括傳感器和算法)與驍龍平臺獲得

高通產品管理副總裁 Judd Heape 表示：“神經擬態(tài)視覺技術突破了行業(yè)現(xiàn)有的游戲規(guī)則，能夠解決傳統(tǒng)相機的局限并提升整體用戶體驗，Prophesee 無疑是這一領域的領導者，我們有信心雙方的合作將進一步推動領先的 OEM 部署神經擬態(tài)視覺技術，從而開啟移動影像技術的全新時代。” Judd Heape 補充道： “由于事件相機的成像不受快門的限制，即便是在惡劣的環(huán)境下，也能夠顯著提升搭載驍龍的下一代智能手機的影像性能，為我們的客戶解鎖一系列全新的可能性?！?

圖2 - 高通產品管理副總裁 Judd Heape 在驍龍峰會上介紹 Prophesee Metavision 技術

Prophesee 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Luca Verre 表示：“我們很高興能夠與高通建立戰(zhàn)略合作關系，共同推動事件視覺技術與驍龍生態(tài)的集成與發(fā)展。高通驍龍是全球最受歡迎的移動平臺之一，通過此次合作，產品開發(fā)人員將能夠大幅提升手機攝影的性能及影像質量，優(yōu)化用戶體驗，這是基于幀的傳統(tǒng)成像方式難以實現(xiàn)的?！?

工作原理

Prophesee 突破性的事件視覺傳感器能夠為手機攝影提供全新的感知維度。由于事件視覺傳感僅關注場景中的動態(tài)變化，能夠迅速響應并連續(xù)追蹤像素變化，從而打破了傳統(tǒng)的成像范式。

Metavision 傳感器中的每個像素都有一個內嵌的邏輯核(logic core)，使其能夠作為神經元來工作。 每個像素都能根據(jù)各自感應到的光子數(shù)量，異步且智能地激活自身。像素的每次激活稱為一個“事件(event)”，所以在本質上，事件是由場景動態(tài)驅動的，其采集速度也始終與實際場景動態(tài)相匹配。

通過同步 Prophesee 事件傳感器和基于幀的傳感器的數(shù)據(jù)，手機攝影可以實現(xiàn)高性能的圖像去模糊。系統(tǒng)能夠將事件傳感器以微秒為單位記錄的事件填充到兩幀圖像的間隙，通過算法提取純動態(tài)信息，從而修復運動模糊。

支持 Prophesee 事件視覺傳感技術的開發(fā)套件預計將于今年上市。