防止種族、性別或?qū)€人的不公平待遇一直是文明社會長期關(guān)注的問題。然而，檢測由決策引起的這種歧視，無論對于人類決策者還是自動化人工智能系統(tǒng)都帶來了挑戰(zhàn)性。尤其人工智能系統(tǒng)的廣泛運用在警務(wù)、消費金融、高等教育和商業(yè)領(lǐng)域上的決策自動化，也進一步提升了挑戰(zhàn)的難度。

例如：如果一家公司在歷史上從未雇傭過一名女性從事某一類工作，那么接受過該歷史數(shù)據(jù)訓(xùn)練的人工智能系統(tǒng)就不會推薦女性從事新工作。機器學(xué)習(xí)算法本身沒有任何問題，其只是根據(jù)某些理想的特征確定好的求職者。但由于它是根據(jù)歷史的、有偏見的數(shù)據(jù)進行培訓(xùn)，因此有可能提出不公平的建議。

因此賓州大學(xué)和哥倫比亞大學(xué)的研究人員創(chuàng)建了一種用于檢測不公平歧視的新型人工智能工具，透過分析美國成人收入數(shù)據(jù)，發(fā)現(xiàn)了基于性別的工資歧視的證據(jù)，在每年工資超過5萬美元的女性的機率僅為男性的三分之一。這表示雇主應(yīng)該糾正工資中的性別偏見。此方法除了可防止性別歧視外，也可用于防止種族歧視。

隨著數(shù)據(jù)驅(qū)動的人工智能系統(tǒng)越來越多地被企業(yè)應(yīng)用于消費者定位廣告、警察機關(guān)如何監(jiān)控個人或團體的犯罪活動、銀行如何決定誰獲得貸款、雇主決定雇用誰、以及大學(xué)如何決定誰被錄取或獲得獎學(xué)金資助，皆需要確保這些系統(tǒng)不會成為歧視工具、平等障礙和對社會公義的威脅和不公平的來源。此項研究獲得美國國家衛(wèi)生研究院和國家科學(xué)基金會的支持。