機(jī)器人專家正在開發(fā)可以通過觀察人類來學(xué)習(xí)新任務(wù)的自動化機(jī)器人。在未來，培訓(xùn)交互式機(jī)器人可能一天對每個人來說都是一件容易的事，即使那些沒有編程專業(yè)知識的人也是如此。這可以實現(xiàn)在家里，您可能有一天會向家用機(jī)器人展示如何做日常雜務(wù)，在工作場所中，您可以像新員工一樣訓(xùn)練機(jī)器人，向他們展示如何執(zhí)行許多職責(zé)。想想黑鏡中的場景，到那時，機(jī)器人會掌握更多的技能。

為了實現(xiàn)這一愿景，麻省理工學(xué)院的研究人員設(shè)計了一個系統(tǒng)，使這些類型的機(jī)器人可以學(xué)習(xí)復(fù)雜的任務(wù)，原先，按照機(jī)器人編程思維，這些日常任務(wù)就會用太多令人困惑的規(guī)則來阻礙它們，而自己人的自我學(xué)習(xí)則可以避開他們。這樣的系統(tǒng)最后任務(wù)之一是在某些條件下為人設(shè)置餐桌。

研究人員的這項系統(tǒng)的核心是“不確定規(guī)格計劃”（PUnS）系統(tǒng)，該機(jī)器人具有人性化的計劃能力，可以同時權(quán)衡許多模棱兩可（甚至可能相互矛盾）的要求，以達(dá)到最終目標(biāo)。這樣做時，系統(tǒng)總是根據(jù)關(guān)于要執(zhí)行的任務(wù)的一些可能允許的“條件”，從而選擇最可能采取的措施。

在他們的工作中，研究人員匯編了一個數(shù)據(jù)集，其中包含有關(guān)如何將八種物體（杯子，杯子，勺子，叉子，刀，餐盤，小盤子和碗）以各種配置放置在桌子上的信息。機(jī)械手臂首先觀察到隨機(jī)選擇的人類擺放桌子的演示。然后，研究人員要求該部門根據(jù)所看到的內(nèi)容，以特定的配置，在實際實驗和仿真中自動設(shè)置路徑。

為了獲得成功，研究人員嘗試了更多可能性，但即使研究人員故意移除，堆疊或隱藏物品，機(jī)器人也可以權(quán)衡許多可能的放置順序。在通常，所有這些都會使機(jī)器人過于困惑。但是研究人員的機(jī)器人在幾個真實的實驗中沒有犯任何錯誤，而在成千上萬的模擬測試運(yùn)行中只有少數(shù)錯誤。

“我們的愿景是將編程交給領(lǐng)域?qū)＜?，他們可以通過直觀的方式對機(jī)器人進(jìn)行編程，而不是向工程師描述要添加代碼的工程師的指令，”航空學(xué)研究生的第一作者Ankit Shah說。宇航公司（AeroAstro）和互動機(jī)器人小組強(qiáng)調(diào)說，他們的工作只是實現(xiàn)這一愿景的第一步?！斑@樣一來，機(jī)器人將不再需要執(zhí)行預(yù)先編程的任務(wù)。工廠工人可以教機(jī)器人執(zhí)行多個復(fù)雜的組裝任務(wù)。家用機(jī)器人可以學(xué)習(xí)如何在家里堆放櫥柜，裝載洗碗機(jī)或擺放桌子?！?/p>

與Shah一同參加論文的還有AeroAstro和Interactive RoboTIcs Group的研究生 Shen Li和InteracTIve RoboTIcs Group的負(fù)責(zé)人Julie Shah，后者是AeroAstro和計算機(jī)科學(xué)與人工智能實驗室的副教授。

不確定的意圖

機(jī)器人是具有明確“目的”的任務(wù)的良好計劃者，但這項系統(tǒng)可以幫助他們描述機(jī)器人需要完成的任務(wù)，并考慮其動作，環(huán)境和最終目標(biāo)。原先通過觀察示范來學(xué)習(xí)擺桌子，充滿了不確定的可能性，因為機(jī)器人必須根據(jù)菜單和客人的座位將物品放置在某些位置，并根據(jù)物品的即時可用性或社交慣例將它們放置在某些順序中。而當(dāng)前的機(jī)器人規(guī)劃方法無法處理這種不確定的規(guī)范。

在目前，一種流行的計劃方法是“強(qiáng)化學(xué)習(xí)”，一種反復(fù)試驗的機(jī)器學(xué)習(xí)技術(shù)，獎勵和懲罰他們在完成任務(wù)時所采取的行動。但是對于不確定規(guī)格的任務(wù)，很難定義明確的獎勵和懲罰。簡而言之，機(jī)器人永遠(yuǎn)不會從對與錯中全面學(xué)習(xí)。

研究人員的系統(tǒng)稱為PUnS（用于不確定規(guī)格的計劃），使機(jī)器人能夠在一系列可能的規(guī)格上保持“信念”。然后可以使用信念本身來分配獎勵和懲罰。Ankit Shah說：“機(jī)器人本質(zhì)上是根據(jù)任務(wù)的意圖或想法來決定行為，并采取符合其想法的行動，而不是我們給出明確的要求。”

該系統(tǒng)建立在“線性時間邏輯”（LTL）之上，該語言是一種表達(dá)性語言，可以使機(jī)器人對當(dāng)前和未來的結(jié)果進(jìn)行推理。研究人員在LTL中定義了模板，這些模板對各種基于時間的條件進(jìn)行了建模，例如現(xiàn)在必須發(fā)生的事情，必須最終發(fā)生的事情以及必須發(fā)生直到發(fā)生其他事情為止。機(jī)器人對30個人演示設(shè)置表的觀察產(chǎn)生了25種不同LTL公式的概率分布。每個公式都為設(shè)置表格編碼了略有不同的首選項或規(guī)范。這種概率分布成為其想法（信念）。

“每個公式都編碼不同的東西，但是當(dāng)機(jī)器人考慮所有模板的各種組合，并試圖使所有東西都滿足時，它最終將做正確的事情，” Ankit Shah說。

遵循標(biāo)準(zhǔn)

研究人員還制定了一些標(biāo)準(zhǔn)，指導(dǎo)機(jī)器人滿足對這些候選公式的全部信念。例如，一個滿足最可能的公式，該公式以最高的概率丟棄除模板之外的所有其他內(nèi)容。其他人滿足最大數(shù)量的唯一公式，而不考慮其總概率，或者滿足代表最高總概率的幾個公式。另一個簡單地將誤差最小化，因此系統(tǒng)會忽略失敗概率很高的公式。

設(shè)計人員可以在訓(xùn)練和測試之前選擇四個標(biāo)準(zhǔn)中的任何一個進(jìn)行預(yù)設(shè)。每個人在靈活性和規(guī)避風(fēng)險之間都有自己的權(quán)衡。標(biāo)準(zhǔn)的選擇完全取決于任務(wù)。例如，在安全關(guān)鍵的情況下，設(shè)計人員可以選擇限制故障的可能性。但是在失敗后果不那么嚴(yán)重的情況下，設(shè)計人員可以選擇賦予機(jī)器人更大的靈活性，以嘗試不同的方法。

有了適當(dāng)?shù)臉?biāo)準(zhǔn)，研究人員開發(fā)了一種算法，將機(jī)器人的信念（指向所需公式的概率分布）轉(zhuǎn)換為等效的強(qiáng)化學(xué)習(xí)問題。該模型將根據(jù)決定遵循的規(guī)范，對執(zhí)行的動作給予獎勵或懲罰來對機(jī)器人進(jìn)行ping操作。

在模擬中要求機(jī)器人將工作臺設(shè)置為不同的配置時，在20，000次嘗試中，它僅犯了6個錯誤。在現(xiàn)實世界中的演示中，它顯示出類似于人類執(zhí)行任務(wù)的行為。例如，如果某個項目最初不可見，則機(jī)器人將完成不包含該項目的表格的其余部分的設(shè)置。然后，當(dāng)叉子被露出時，它將把叉子放在適當(dāng)?shù)奈恢?。沙阿說：“靈活性非常重要?！?“否則，當(dāng)它期望放置叉子而不完成剩余的桌子設(shè)置時，它將卡住?！?/p>

接下來，研究人員希望修改系統(tǒng)，以幫助機(jī)器人根據(jù)口頭指示，更正或用戶對機(jī)器人性能的評估來改變其行為。沙阿說：“假設(shè)一個人向機(jī)器人演示了如何在一個位置擺放桌子。這個人可能會說，‘對所有其他位置都做同樣的事情’，或者‘將刀子放在這里的叉子之前，” ?！拔覀兿Ｍ麨橄到y(tǒng)開發(fā)方法，使其自然適應(yīng)這些口頭命令，而無需進(jìn)行其他演示?！?/p>