SoC設計與應用技術領導廠商Socionext Inc.(以下“Socionext”，或“公司”)宣布，聯(lián)合大阪大學數(shù)據(jù)能力科學研究所長原教授研究小組共同開發(fā)新型深度學習算法，該算法無需制作龐大的數(shù)據(jù)集，只需通過融合多個模型便可在極度弱光的條件下進行精準檢測物體及圖像識別。Socionext笹川幸宏先生和大阪大學長原教授在8月23日至28日(英國夏令時間)舉辦的歐洲計算機視覺國際會議(ECCV 2020)上報告了這一研究成果。

近年來盡管計算機視覺技術取得了飛速發(fā)展，但在低照度環(huán)境下車載攝像頭、安防系統(tǒng)等獲取的圖像質量仍不理想，圖像辨識性能較差。不斷提升低照度環(huán)境下圖像識別性能依舊是目前計算機視覺技術面臨的主要課題之一。CVPR2018中一篇名為《Learning to See in the Dark》[1]的論文曾介紹過利用圖像傳感器的RAW圖像數(shù)據(jù)的深度學習算法，但這種算法需要制作超過200,000張圖像和150多萬個批注 [2]數(shù)據(jù)集才能進行端到端學習，既費時又費錢，難以實現(xiàn)商業(yè)化落地(如下圖1)。

圖1：《Learning to See in the Dark》及RAW 圖像識別課題

為解決上述課題，Socionext與大阪大學聯(lián)合研究團隊通過遷移學習(Transfer Learning)和知識蒸餾(Knowledge Distillation)等機器學習方法，提出采用領域自適應(Domain Adaptation)的學習方法，即利用現(xiàn)有數(shù)據(jù)集來提升目標域模型的性能，具體內容如下(如圖2)：

(1)使用現(xiàn)有數(shù)據(jù)集構建推理模型;

(2)通過遷移學習從上述推理模型中提取知識;

(3)利用Glue layer合并模型;

(4)通過知識蒸餾建立并生成模型。

圖2：本次開發(fā)的領域適應方法(Domain Adaptation Method)

此外，結合領域自適應方法和物體檢測YOLO模型[3]，并利用在極端弱光條件下拍攝的RAW圖像還可構建“YOLO in the Dark”檢測模型。YOLO in the Dark模型可僅通過現(xiàn)有數(shù)據(jù)集實現(xiàn)對RAW圖像的對象檢測模型的學習。針對那些通過使用現(xiàn)有YOLO模型，校正圖像亮度后仍無法檢測到圖像的(如下圖a)，則可以通過直接識別RAW圖像確認到物體被正常檢測(如下圖b)。同時測試結果發(fā)現(xiàn)，YOLO in the Dark模型識別處理時所需的處理量約為常規(guī)模型組合(如下圖c)的一半左右。

圖3：《YOLO in the Dark》效果圖

本次利用領域自適應法所開發(fā)的“直接識別RAW圖像”可不僅應用于極端黑暗條件下的物體檢測，還可應用于車載攝像頭、安防系統(tǒng)和工業(yè)等多個領域。未來，Socionext還計劃將該技術整合到公司自主研發(fā)的圖像信號處理器(ISP)中開發(fā)下一代SoC，并基于此類SoC開發(fā)全新攝像系統(tǒng)，進一步提升公司產品性能，助力產業(yè)再升級。

歐洲計算機視覺國際會議(ECCV 2020)

日期：8月23~28日(英國夏令時間)

地點：線上會議

演講主題：YOLO in the Dark - Domain Adaptation Method for Merging Multiple Models -

演講人：Socionext Inc. 笹川幸宏先生

            大阪大學 長原教授