OPPO共計(jì)七篇論文成功收錄CVPR 2022 ，創(chuàng)歷年新高，在多個(gè)關(guān)鍵研究領(lǐng)域?qū)崿F(xiàn)創(chuàng)新突破

2022年6月23日，深圳——年度計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR（Conference on Computer Vision and Pattern Recognition國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議）在新奧爾良落下帷幕。今年，OPPO有七篇論文成功入選，躋身一流科技廠商之列。同時(shí)在廣受關(guān)注的挑戰(zhàn)賽上，OPPO也取得了三項(xiàng)第一、一項(xiàng)第二、四項(xiàng)第三的良好成績(jī)。

隨著深度學(xué)習(xí)逐步成熟化規(guī)?；?，人工智能技術(shù)從“感知智能”向“認(rèn)知智能”邁進(jìn)。AI除了“看到”或“聽(tīng)到”，開(kāi)始初步逐步具備像人類一樣的思考能力。多模態(tài)融合、3D視覺(jué)智能技術(shù)、自動(dòng)機(jī)器學(xué)習(xí)等正在成為人工智能領(lǐng)域的關(guān)鍵研-究熱點(diǎn)。OPPO在上述領(lǐng)域都均實(shí)現(xiàn)論文收錄，在AI關(guān)鍵學(xué)術(shù)領(lǐng)域取得創(chuàng)新突破。

OPPO 智能感知首席科學(xué)家郭彥東表示：“在2012年，為了圖像識(shí)別任務(wù)而設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)重新給人工智能的研究與應(yīng)用注入了能量。從此，人工智能（AI）技術(shù)迎來(lái)了飛速發(fā)展的10年。在OPPO，我們持續(xù)推動(dòng)人工智能完成像人一樣復(fù)雜的感知與認(rèn)知行為。比如，從無(wú)標(biāo)簽的海量數(shù)據(jù)中持續(xù)學(xué)習(xí)并遷移到下游具體任務(wù)，從幾個(gè)有限視角中完整的重建3D信息；更高級(jí)別的認(rèn)知能力，比如對(duì)美的理解與創(chuàng)作；以及具有自主行為能力的“實(shí)體AI”(embodied AI)，比如自動(dòng)駕駛場(chǎng)景中的行為預(yù)測(cè)等。很高興OPPO繼2020年首次亮相后，在短短的3年內(nèi)就實(shí)現(xiàn)了7篇主會(huì)論文入選的好成績(jī)。未來(lái)，我們希望繼續(xù)向更基礎(chǔ)、更前沿的AI領(lǐng)域探索，推動(dòng)AI的商用落地，讓創(chuàng)新科技更好地服務(wù)于人?！?

7篇論文獲得收錄，OPPO正在助力AI認(rèn)知水平升級(jí)

本次CVPR2022上，OPPO共有7篇CVPR入選論文，涵蓋多模態(tài)信息交互、三維人體重建、個(gè)性化圖像美學(xué)評(píng)價(jià)、知識(shí)蒸餾等多個(gè)研究領(lǐng)域。

不同模態(tài)數(shù)據(jù)的特性各不相同，像文字、語(yǔ)言這樣的信息概括性極強(qiáng)，而圖像往往包含大量細(xì)節(jié)。在多模態(tài)數(shù)據(jù)下，能夠在模態(tài)間建立起有效交互對(duì)于AI來(lái)說(shuō)是一件十分有挑戰(zhàn)性的事情。OPPO研究人員基于CLIP模型提出了全新CRIS框架，使得AI能夠更加細(xì)粒度地理解圖像與文本兩種模態(tài)的數(shù)據(jù)。即使輸入包含多重信息的文本描述，該框架也能夠準(zhǔn)確聚焦到對(duì)應(yīng)的圖像區(qū)域，顯示出強(qiáng)大的細(xì)粒度跨模態(tài)匹配能力。

當(dāng)前，人類的智能和人工智能最重要的區(qū)別之一在于對(duì)于多模態(tài)信息的識(shí)別和理解。對(duì)于人類來(lái)說(shuō)，我們往往可以同時(shí)理解文字和圖像，并將其有效關(guān)聯(lián)。但AI更多停留在識(shí)別階段，很難將不同模態(tài)的信息精準(zhǔn)對(duì)應(yīng)。本次OPPO提出的創(chuàng)新方法可以幫助人工智能在多模態(tài)理解上更進(jìn)一步。未來(lái)，隨著相關(guān)技術(shù)的不斷發(fā)展，人工智能可以真的可以像科幻小說(shuō)中描述的那樣，通過(guò)語(yǔ)言、聽(tīng)覺(jué)、視覺(jué)等多重信息去認(rèn)知真實(shí)世界，真正地成為人們最好的“幫手”。

同樣，在近期熱門的三維人體重建領(lǐng)域，OPPO研究院通過(guò)改進(jìn)NeRF創(chuàng)新的動(dòng)態(tài)角色建模方法，在業(yè)界首次實(shí)現(xiàn)了自動(dòng)為寬松著裝人體創(chuàng)建數(shù)字分身的工作。該建模方法僅通過(guò)分析攝像頭所拍攝的RGB視頻，就可以1:1精準(zhǔn)還原人物動(dòng)態(tài)細(xì)節(jié)，甚至包括衣服細(xì)小logo或紋理細(xì)節(jié)。衣服的建模還原一直是業(yè)界挑戰(zhàn)較大的領(lǐng)域之一，因?yàn)槿梭w姿態(tài)發(fā)生變化的同時(shí)衣服物料的形變非常復(fù)雜，從而導(dǎo)致AI難以解算像“裙擺”這樣的部位形變。此舉可有效降低三維人體重建的門檻，為在線虛擬試裝購(gòu)物、AI健身乃至VR/AR虛擬世界的真正落地提供良好的技術(shù)基礎(chǔ)。

隨著AI圖像識(shí)別能力的逐漸成熟，如何讓AI具備圖像審美能力成為新的難題。AI的審美能力往往強(qiáng)關(guān)聯(lián)訓(xùn)練所使用的數(shù)據(jù)和標(biāo)注者的偏好，而人的審美往往是千人千面的，采用基于大數(shù)據(jù)的美學(xué)評(píng)價(jià)來(lái)為不同用戶服務(wù)，這可能會(huì)引發(fā)人們對(duì)于“審美歧視”的討論，造成不好的用戶體驗(yàn)。因此，通過(guò)更精細(xì)化的數(shù)據(jù)和模型，準(zhǔn)確捕捉不同用戶的審美差異的個(gè)性化美學(xué)評(píng)價(jià)應(yīng)運(yùn)而生。

對(duì)此，OPPO研究院聯(lián)合西安電子科技大學(xué)李雷達(dá)教授，開(kāi)創(chuàng)性地提出了帶條件的PIAA算法（Conditional Personalized Image Aesthetics Assessment），首次從“用戶主觀偏好與圖像美學(xué)相互作用，如何產(chǎn)生個(gè)性化品味”角度出發(fā)對(duì)AI模型進(jìn)行優(yōu)化。該算法可以基于不同用戶畫像信息實(shí)現(xiàn)個(gè)性化的審美評(píng)價(jià)，可以為用戶在相冊(cè)、相機(jī)、互聯(lián)網(wǎng)內(nèi)容推薦等場(chǎng)景中打造個(gè)性化體驗(yàn)，具有廣闊的應(yīng)用前景。

隨該算法一并提出的帶有豐富屬性標(biāo)注的個(gè)性化美學(xué)評(píng)價(jià)數(shù)據(jù)集也已宣布開(kāi)源，為業(yè)界在個(gè)性化美學(xué)評(píng)價(jià)領(lǐng)域的研究提供了有價(jià)值的研究數(shù)據(jù)，目前該數(shù)據(jù)集已收到多家研究機(jī)構(gòu)及高校的關(guān)注和問(wèn)詢。

此外，OPPO提出的多視圖三維語(yǔ)義平面重建技術(shù)能夠準(zhǔn)確解析場(chǎng)景的三維平面結(jié)構(gòu)，并預(yù)測(cè)地面、桌面、墻面等平面的語(yǔ)義標(biāo)注，其效果明顯優(yōu)于當(dāng)前主流單視圖重建架構(gòu)。而聯(lián)合清華大學(xué)提出的INS-Conv (INcremental Sparse Convolution)，能達(dá)到更快及更準(zhǔn)確的在線3D點(diǎn)云語(yǔ)義及實(shí)例分割推斷，該技術(shù)可以有效降低環(huán)境識(shí)別對(duì)于終端算力的要求，為全自動(dòng)駕駛、虛擬現(xiàn)實(shí)這樣前沿技術(shù)的落地增加了可能。

斬獲NAS挑戰(zhàn)賽亞軍 OPPO創(chuàng)新模型助力AI“輕量化”

在同期舉辦的挑戰(zhàn)賽中，OPPO也表現(xiàn)出色，在八大賽項(xiàng)中斬獲佳績(jī)。包括目前行業(yè)關(guān)注的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)（NAS）賽道、足球行為檢測(cè)（SoccerNet Action Spotting）賽道、足球回放定位（SoccerNet Replay Grounding）賽道、時(shí)序動(dòng)作定位（ActivityNet temporal localization）賽道、大尺度視頻目標(biāo)分割挑戰(zhàn)賽（The 4th Large-scale Video Object Segmentation Challenge）、ACDC挑戰(zhàn)賽（the ACDC Challenge 2022 on semantic segmentation in adverse visual conditions）和運(yùn)動(dòng)預(yù)測(cè)挑戰(zhàn)賽（WAD Argoverse2 Motion Forecasting）。

從手機(jī)攝影到無(wú)人駕駛，深度學(xué)習(xí)模型走進(jìn)越來(lái)越多行業(yè)。但深度學(xué)習(xí)非常依賴大數(shù)據(jù)和大算力，學(xué)習(xí)成本高，這也給前沿AI技術(shù)的商用落地帶來(lái)了挑戰(zhàn)。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)（NAS）可自動(dòng)發(fā)掘神經(jīng)網(wǎng)絡(luò)的最優(yōu)架構(gòu)，降低對(duì)人工經(jīng)驗(yàn)和背景知識(shí)的依賴，讓AI也可以實(shí)現(xiàn)“自主學(xué)習(xí)”。在比賽中，OPPO研究人員通過(guò)優(yōu)化訓(xùn)練超網(wǎng)過(guò)程中的模型參數(shù)遺忘及不公平的梯度下降問(wèn)題，針對(duì)“繼承”超網(wǎng)參數(shù)的45000個(gè)子網(wǎng)絡(luò)，有效地提高了子網(wǎng)絡(luò)在性能及性能排序上的一致性，最終取得了第二名的好成績(jī)。

NAS技術(shù)的發(fā)展使得研究人員只需訓(xùn)練一個(gè)大的超網(wǎng)絡(luò)，然后通過(guò)繼承超網(wǎng)參數(shù)方式低成本構(gòu)建預(yù)測(cè)器，實(shí)現(xiàn)網(wǎng)絡(luò)架構(gòu)自我學(xué)習(xí)，從而高效地獲得優(yōu)于專家設(shè)計(jì)的深度學(xué)習(xí)模型。該技術(shù)可適用于當(dāng)前大部分人工智能算法，可以幫助AI技術(shù)在移動(dòng)端設(shè)備上的應(yīng)用，讓用戶體驗(yàn)到AI技術(shù)快速落地帶來(lái)的好處。

值得一提的是，繼去年OPPO在足球行為分析（SoccerNet）賽道中取得動(dòng)作定位（Action Spotting）和回放定位（Replay Grounding）雙項(xiàng)第二名后，今年OPPO再次取得回放定位（Replay Grounding）第一名和動(dòng)作定位（Action Spotting）賽項(xiàng)第三。

在CVPR 2022上，OPPO還參加了三場(chǎng)高水準(zhǔn)Workshop并發(fā)表演講。其中，在SLAM 研討會(huì)上，OPPO研究員鄧凡就如何在智能手機(jī)、AR/VR設(shè)備上運(yùn)行實(shí)時(shí)vSLAM進(jìn)行分享和討論。研究員李毅康則在移動(dòng)人工智能研討會(huì)中發(fā)表了演講，提出無(wú)監(jiān)督的視頻-文本跨模態(tài)哈希方法——CLIP4Hashing，為移動(dòng)設(shè)備上的跨模態(tài)搜索提供重要思路。李薇參加AICITY Workshop并提出了基于多視角的動(dòng)作定位系統(tǒng)，用來(lái)識(shí)別駕駛員行車時(shí)的異常行為。

以創(chuàng)新推動(dòng)商用，OPPO希望盡早讓人們享受AI帶來(lái)的便利

今年是OPPO參加CVPR的第三年，OPPO在收錄論文數(shù)量及挑戰(zhàn)賽成績(jī)保持上升的同時(shí)，研究領(lǐng)域也從人臉識(shí)別等應(yīng)用領(lǐng)域向更基礎(chǔ)的技術(shù)方向轉(zhuǎn)移。

快速突破的成果來(lái)源于OPPO在AI領(lǐng)域的不懈投入。自2015年起，OPPO在人工智能領(lǐng)域展開(kāi)投入，成立相關(guān)研發(fā)團(tuán)隊(duì)，聚焦語(yǔ)言語(yǔ)義、計(jì)算機(jī)視覺(jué)等領(lǐng)域。2020年初，OPPO研究院正式成立智能感知與交互研究院，進(jìn)一步深化OPPO對(duì)人工智能前沿科技的探索。目前，OPPO在AI領(lǐng)域的全球?qū)＠暾?qǐng)超過(guò)2650件，廣泛覆蓋計(jì)算機(jī)視覺(jué)、語(yǔ)音技術(shù)、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)等領(lǐng)域。

在“微笑前行”品牌使命的指引下，OPPO也在和業(yè)界伙伴一道，不斷推動(dòng)人工智能（AI）技術(shù)從實(shí)驗(yàn)室真正走向生活。2021年12月，OPPO發(fā)布了首款自研影像專用NPU——馬里亞納X，具備強(qiáng)大算力、能效比和計(jì)算速度，能夠讓AI算法的運(yùn)行速度達(dá)到空前水平，為用戶解決手機(jī)長(zhǎng)期難以解決的夜景視頻畫質(zhì)問(wèn)題。此外，基于強(qiáng)大的底層AI能力，OPPO也發(fā)布了包括CybeReal全時(shí)空間計(jì)算AR應(yīng)用、OPPO Air Glass、Omoji等創(chuàng)新產(chǎn)品及功能，希望盡早創(chuàng)造更真實(shí)的數(shù)字新世界，為用戶帶來(lái)現(xiàn)實(shí)物理世界與虛擬數(shù)字世界的融合體驗(yàn)。