斯坦福大學和馬薩諸塞大學阿姆赫斯特分校合作團隊開發(fā)出一種方法，可以將模糊的目標進行量化，幫助機器學習算法更好地完成避免歧視或調節(jié)血糖等復雜任務。

得益于機器學習算法日益強大的能力，人工智能已進入了主流商業(yè)。機器學習算法使計算機能夠訓練自己完成諸如駕駛汽車，控制機器人或自動化決策等工作。

但是隨著人工智能開始處理一些敏感任務，例如幫助選擇哪些囚犯獲得保釋，政策制定者堅持要求計算機科學家提供保證，確保自動化系統(tǒng)的設計能夠避免或最大程度地減少不希望的后果，例如過高的風險或種族和性別偏見。

由斯坦福大學（Stanford University）和馬薩諸塞大學阿姆赫斯特分校（University of Massachusetts Amherst）的研究人員領導的團隊于 11 月 22 日在《科學》雜志上發(fā)表了一篇論文，在這方面提出了一些建議。論文概述了一種新技術，可用于將諸如避免性別偏見之類的模糊目標轉化為精確的數學標準，從而使機器學習算法可以訓練人工智能應用程序來避免這種行為。

斯坦福大學計算機科學助理教授、該論文的資深作者 Emma Brunskill 表示：「我們希望推動人工智能的發(fā)展，尊重人類用戶的價值觀并證明我們對自主系統(tǒng)的信任是合理的?！?/p>

避免錯誤行為

這項工作的前提是，如果可以用數學方式定義「不安全」或「不公平」的結果或行為，那么就應該有可能創(chuàng)建相應的算法，可以從數據中學習如何避免不想要的結果，并具有很高的可信度。研究人員還希望開發(fā)一套技術，方便用戶指定他們想要怎樣的行為約束，使機器學習設計者可以放心地使用過去的數據訓練的系統(tǒng)，將其應用到現(xiàn)實環(huán)境中。

「我們展示了機器學習算法的設計者可以如何幫助其他開發(fā)者，在將人工智能植入到其產品和服務中的時候，他們可以更容易描述不想要的結果或行為，而人工智能系統(tǒng)將以高概率避免這些狀況?！柜R薩諸塞大學阿默斯特分校計算機科學助理教授、該論文的第一作者 Philip Thomas 說。

確保公平與安全

研究人員測試了他們的方法，試圖提高基于考試成績預測大學生 GPA 的算法的公平性，這種常見的算法可能產生性別偏見。他們使用實驗數據集為算法提供了數學指令，以避免讓最終得到的預測性方法系統(tǒng)性地高估或低估某一性別的 GPA。通過這些指令，該算法找到了一種比現(xiàn)有方法更好的方法來預測學生的 GPA，其系統(tǒng)性性別偏見要少得多。在這方面，先前的方法很困難，要么是因為它們沒有內置的公平性過濾器，要么是因為為實現(xiàn)公平性而開發(fā)的算法的范圍太有限。

研究小組還開發(fā)了另一種算法，并使用它來自動平衡胰島素泵的安全性和性能。這種泵必須決定在進餐時間給病人輸送多大劑量的胰島素。理想情況下，泵輸送的胰島素剛好能保持血糖水平穩(wěn)定。胰島素過少會使血糖升高，導致惡心等短期不適，并增加心血管疾病等長期并發(fā)癥的風險；過量使用胰島素又會導致血糖暴跌，這是一個潛在的致命后果。

機器學習可以識別個體的血糖水平對不同劑量的胰島素反應的微妙模式，從而更好地提供幫助，但是現(xiàn)有方法并不容易讓醫(yī)生明確自動劑量算法應避免的結果（如低血糖）。Brunskill 和 Thomas 展示了如何訓練泵來確定為指定患者量身定制的劑量，避免因劑量過大或劑量不足而引起并發(fā)癥。盡管該小組尚未準備好在真實的人身上測試該算法，但它指出了一種人工智能方法，該方法最終可能會改善糖尿病患者的生活質量。

Brunskill 和 Thomas在他們的《科學》論文中使用術語「Seldonian 算法」一詞來定義他們的方法，引用于科幻小說作者阿西莫夫發(fā)明的角色 Hari Seldon，他曾經宣布了三條機器人定律，其開頭是「機器人不應傷害人類，也不應因為無作為而傷害人類」。

Thomas 承認這個領域離遵循這三條定律還有很長的路要走，但他說，這種 Seldonian 框架將使機器學習設計人員更容易將避免行為指令構建到各種算法中，在某種程度上可以使他們能夠評估訓練過的系統(tǒng)在現(xiàn)實世界中正常運行的可能性。

Brunskill 說，這個提議框架建立在許多計算機科學家正在努力的基礎上，在創(chuàng)建強大的算法和開發(fā)方法之間取得平衡以確保其可靠性。

「隨著社會越來越依賴人工智能，思考如何創(chuàng)建出最能尊重安全、公平等價值的算法至關重要?！笲runskill 說。