亞馬遜栽了個大跟頭。

長期以來，這家電商巨頭一直應用AI提升效率，但萬萬沒想到的是，原本應該公平公正、沒有意識的AI，也會“作死”了……

好的不學，非要學別人重男輕女、歧視女性。

而這個內部秘密，剛剛被路透社曝光于天下。

事件一出，掀起了軒然大波。

國外的網友們紛紛開始吐槽，講述自己曾經經歷過的不公平事件，以及奇葩的計算機系統(tǒng)等等。還有一堆網友開始分析問題原因。

亞馬遜也喜提了一波嘲諷：

“可以說這個人工智能很成功，因為它模仿了亞馬遜當前的招聘狀態(tài)。”

一個戴有色眼鏡的AI

　　篩簡歷是很多HR的核心工作之一，對于亞馬遜這樣的大公司來講，不僅崗位多，投遞同一個崗位的求職者可能也非常多，于是，無窮無盡的瀏覽簡歷就成了HR的日常。

而且，同一個崗位收到的簡歷里，總有一些達不到用人標準的、“文不對題”的簡歷，即使是適合的人，也會分出三六九等，有人很優(yōu)秀，也有人比優(yōu)秀的人更優(yōu)秀。從求職者之中挑選最合適的人，也是讓HR們頭疼的一件事。

那能不能找一個AI，來自動幫HR們篩簡歷呢?

于是，作為一家電商公司，亞馬遜把日常的用戶給商品標星打分的功能，挪到了AI給求職者簡歷打分上。這樣，HR們就可以美滋滋的說：“我，只看五星簡歷，AI快給我挑出來。”

2014年，這個項目就開始了，亞馬遜的機器學習團隊開始開發(fā)篩簡歷AI。

但是到2015年，亞馬遜發(fā)現(xiàn)：糟了，這個AI不學好，學會了人類性別歧視那一套。

如果把投遞“軟件開發(fā)工程師”或者其他技術崗位的求職者簡歷扔給這個AI來打分，它就會給包含“女”這個關鍵詞的簡歷打低星，而“男”則不受影響。

另外，如果簡歷上寫著求職者畢業(yè)于某兩所女子大學，這個AI也會給求職者降星。路透社的線人并沒有說是哪兩所學校。

人類能不能找到一份工作，竟然要看“AI的臉色”，作為女性求職者，憑什么讓AI對我說三道四?在美國，這種涉嫌歧視的事情稍不注意就會招來一大波反對的聲音，引發(fā)大負面。亞馬遜趕緊修改這個AI，讓它對“男”、“女”這些詞保持中立。

但是，改是改不完的，今天教AI不要歧視女性，明天它會不會歧視黑人?后天它會不會歧視LGBT人群?大后天它會不會開地圖炮?這些都說不準。

后來，亞馬遜放棄了這個項目。

都是你們人類的鍋!

一個好好的AI，怎么成長過程中就自動學會了性別歧視這種壞毛病?

這得看它是“吃”什么長大的，也就是用什么數(shù)據(jù)來訓練的AI。

很不幸，鍋還是得亞馬遜自己來背，因為這個AI“吃”的都是亞馬遜自家的招聘數(shù)據(jù)，來自亞馬遜過去10年來收到的簡歷，依據(jù)這些簡歷，亞馬遜的AI學會了挑出男性求職者。

男性本身就多?

這些數(shù)據(jù)有什么問題呢?路透社分析，可能是因為科技行業(yè)中的大部分技術崗位都是男性在做。

△ 美國知名科技公司全球員工性別比

△ 美國知名科技公司技術崗員工性別比　　路透社整理了自2017年起這些公司公布的數(shù)據(jù)，從中可以看出，像谷歌、蘋果、微軟、Facebook這些公司，整體上男性占了2/3，而單獨挑出技術崗位，男性比例則達到了將近4/5。

AI學會了人類的歧視

不過，數(shù)據(jù)量大小并不意味著少數(shù)數(shù)據(jù)就會被歧視，相信亞馬遜的AI也不會傻到只選取簡歷數(shù)據(jù)中大多數(shù)人的共同特點，那樣豈不是錯過了少數(shù)天才?

在Hacker News和Reddit的評論區(qū)，一些更懂技術的網友把矛頭對準了數(shù)據(jù)體現(xiàn)的亞馬遜在招聘中現(xiàn)存的性別歧視問題。

從技術上講，可以說這個人工智能是成功的，因為它模仿了亞馬遜當前的招聘狀態(tài)。

并給出了背后的邏輯。

　　機器學習過程不會引入任何偏差，但訓練數(shù)據(jù)中存在的任何偏差都將在算法中忠實地展現(xiàn)出來。

　　也就是說，AI自己本身是一個天真無邪的“幼兒”，它不會自主的學會偏見和歧視，但如果給“幼兒”上課的“老師”亞馬遜的招聘數(shù)據(jù)自身帶了偏見，那么這些偏見就會“言傳身教”給無辜的AI。

或者說，AI是從人類社會中，學會了人類的偏見和歧視。

我們不想讓AI歧視女性，但這絕非易事，因為AI無法忽視它所學習的人類社會對女性的歧視。這絕對是一個難題，不僅僅是技術上的難題，更是哲學層面上的難題。

　　AI在無意中學會人類之惡，這并不是第一次發(fā)生。

此前的微軟的聊天機器人Tay，就曾經學會了人類的那些極端言論，在Twitter上咒罵女權主義者和猶太人。

而招聘AI這一次，人類的錯誤讓AI重蹈覆轍了。

“很顯然，我們沒有吸取微軟Tay的任何教訓。”有網友評論道。

　　這個AI靠抓關鍵詞?

不只是訓練數(shù)據(jù)的問題。路透社的報道中還披露了亞馬遜訓練AI的細節(jié)。

•開發(fā)了500個針對特定工作職能及崗位的模型。

•訓練每個模型去識別過去求職者簡歷中出現(xiàn)的近5萬個關鍵詞。

•模型算法按照重要程度給求職者的技能進行優(yōu)先級排序。

所以這個AI，很大一部分工作是在抓關鍵詞嘛。比如它偏好的“執(zhí)行”、“抓取”這種詞，在男性求職者的簡歷中出現(xiàn)次數(shù)更多，也從另一個維度造成了女性候選人的劣勢。

因此，這也是導致性別歧視的一個原因。甚至，還可能會給人“鉆空子”的機會。

Reddit上的一名網友評論稱：

“亞馬遜閱讀簡歷的AI從一開始就注定了要失敗，因為任何人都可以去學習怎樣寫好一份簡歷。讓我寫一份醫(yī)生的簡歷，我打賭我會比真醫(yī)生寫的要好。”

　　想一想那些“簡歷寫作技巧”的培訓，是不是都告訴你HR看一份簡歷只要二三十秒，簡歷里有某些關鍵詞、重要數(shù)據(jù)就能吸引HR的注意?

因此，這種抓關鍵詞的機制，就得以讓很多人通過強行往簡歷里塞關鍵詞，而獲得更高的星級，造成了另一種不公平。

AI招聘，道阻且長

根據(jù)招聘公司CareerBuilder 2017年在美國進行的一項調查，55%的人力資源經理表示，將會在未來五年中采用AI，并將其作為日常工作中的工具。

一些“激進”或者說有大量招聘需求的公司，已經將AI應用到招聘環(huán)節(jié)中去了。比如希爾頓酒店，就在招聘的時候，會先利用聊天機器人面試，并為求職者匹配合適的崗位，之后再進入下一輪面試。

在接受采訪時，希爾頓招聘副主管Sarah Smart表示，“人工智能會分析求職者的語調、眼神和回答的表情，來判斷求職者是否對工作富有熱情，從而來幫助我們篩選求職者。”

　　具體體驗怎么樣呢?體驗過聊天機器人面試官的Japser Rey說，“和聊天機器人對話時，我不用擔心自己會分神，而且機器人不會戴有色眼鏡看人，相對更公平公正一些。”

相對來說，大部分公司并沒有將AI放到具體的招聘決策環(huán)節(jié)之中，只是作為一個輔助工具。

•百度：將AI應用到了招聘上，在今年的校園招聘中，采用AI分析簡歷、推薦崗位。

•高盛：開發(fā)了簡歷分析工具，會將求職者與“最適合”的部門進行匹配。

•LinkedIn：根據(jù)網站上發(fā)布的崗位消息，利用算法為雇主提供求職者的排名。

盡管人們對AI招聘并不十分待見，但卻無法阻擋這樣一個趨勢：AI終將左右你找工作這件事。

它只會遲到，但不會缺席。