人類可以輕松地識別事物并對其行為進行推理，這是我們認知發(fā)展的核心。即使是兒童，他們也會根據(jù)物體動態(tài)對其進行細分，并用持久性、穩(wěn)定性、連續(xù)性的概念來解釋物體發(fā)生了什么，以及推測在其他情況下物體會發(fā)生什么。

受此啟發(fā)，為了簡化人工智能模型的視覺識別問題，來自麻省理工學(xué)院-IBM Watson人工智能實驗室、麻省理工學(xué)院計算機科學(xué)與人工智能實驗室、DeepMind和哈佛大學(xué)的一組研究人員引入了一套動態(tài)視頻推理基準——CLEVRER，并開發(fā)出了一套能預(yù)測物體運動的模型。

CLEVRER包含了由物理引擎生成的2萬多個時長為5秒的碰撞物體視頻，每個視頻里包含了三種形狀、兩種材料和八種顏色。同時還包括30多萬個問題和答案。這些視頻和問題全部都集中在邏輯推理的四個要素上：描述，什么顏色；說明，什么原因造成；預(yù)測，接下去會發(fā)生什么；反事實，如果發(fā)什么。

模型運行示意圖

通過解析CLEVRER，研究人員確定了在描述性、解釋性、預(yù)測性和反事實性問題上，訓(xùn)練AI模型需要的內(nèi)容，分別是：對物體、事件之間的運動、因果關(guān)系，以及背后的邏輯關(guān)系進行推理的符號描述。隨后，研究人員據(jù)此開發(fā)了神經(jīng)符號動態(tài)推理模型（NS-DR）。

這個模型實際由四個部分合成。分別是：視頻幀解析器，神經(jīng)動態(tài)預(yù)測器，問題解析器和符號程序執(zhí)行器。給定輸入視頻，視頻幀解析器會檢測場景中的對象并提取其軌跡和屬性（即位置，顏色，形狀，材質(zhì)）。形成視頻的抽象描述后，將其發(fā)送到神經(jīng)動態(tài)預(yù)測器以預(yù)測對象的運動和碰撞。問題解析器接收輸入問題以獲得代表其邏輯的功能程序。然后，符號程序執(zhí)行器在動態(tài)場景上運行該程序并輸出答案。

根據(jù)該團隊報告，在用1000個程序應(yīng)用了該模型后，他們的模型對問題的識別準確率達到了88.1％，優(yōu)于其他基準模型。在解釋性，預(yù)測性和反事實性問題上，則有更好的表現(xiàn)。

研究人員指出：“ NS-DR 將動態(tài)規(guī)劃納入視覺推理任務(wù)中，可以直接預(yù)測未觀察到的運動和事件，并可為預(yù)測性和反事實性任務(wù)啟用。其次，符號描述為視覺，語言，動力和因果關(guān)系提供了強大的基礎(chǔ)。通過設(shè)計，它使模型能夠明確捕捉視頻的因果結(jié)構(gòu)和問題背后的邏輯構(gòu)成?！?/p>

不過，研究人員也承認，即便訓(xùn)練所需的數(shù)據(jù)量相對較少，但模型在實際應(yīng)用中仍很難使用。此外，在需要長期動態(tài)預(yù)測的任務(wù)（例如反事實問題）上，NS-DR的性能也沒有那么高，這表明未來仍需要一種能夠生成更穩(wěn)定和準確軌跡的動態(tài)模型。