OpenAI披露:每周超百萬(wàn)ChatGPT用戶(hù)咨詢(xún)自殺相關(guān)話(huà)題
OpenAI近日公布的數(shù)據(jù)顯示,每周有超百萬(wàn)用戶(hù)在與ChatGPT交流時(shí)涉及自殺話(huà)題。以該產(chǎn)品每周超8億活躍用戶(hù)計(jì)算,約0.15%的活躍用戶(hù)會(huì)出現(xiàn)“明確有自殺計(jì)劃或意向”的對(duì)話(huà)內(nèi)容,相關(guān)人數(shù)已逾百萬(wàn)。
除自殺相關(guān)話(huà)題外,OpenAI還指出有類(lèi)似比例用戶(hù)對(duì)ChatGPT表現(xiàn)出高度情感依賴(lài),每周“數(shù)十萬(wàn)人”顯現(xiàn)出精神病或躁狂跡象。盡管公司稱(chēng)這類(lèi)極端對(duì)話(huà)“極為罕見(jiàn)”,但每周仍影響成千上萬(wàn)用戶(hù)。
此次數(shù)據(jù)披露是OpenAI提升AI心理健康敏感話(huà)題應(yīng)答能力舉措的一部分。據(jù)介紹,ChatGPT最新版本(GPT-5)研發(fā)中咨詢(xún)了170余名心理健康專(zhuān)家,其在相關(guān)回復(fù)上“比舊版更為得當(dāng)且一致”。官方數(shù)據(jù)顯示,GPT-5在心理健康回應(yīng)理想結(jié)果達(dá)成概率較前代提升約65%,自殺話(huà)題回應(yīng)測(cè)評(píng)合規(guī)率從舊版77%升至91%,同時(shí)彌補(bǔ)了舊版長(zhǎng)對(duì)話(huà)中安全防護(hù)力下降的短板。
心理健康議題已成為OpenAI的核心挑戰(zhàn)。今年早些時(shí)候,一名16歲男孩與ChatGPT交流自殺內(nèi)容后輕生,其父母已對(duì)公司提起訴訟;加州與特拉華州檢察長(zhǎng)也警告OpenAI需加強(qiáng)青少年用戶(hù)保護(hù)。
針對(duì)上述問(wèn)題,OpenAI已采取多項(xiàng)措施:上線(xiàn)新評(píng)估標(biāo)準(zhǔn),將情感依賴(lài)及非自殺型心理健康危機(jī)納入AI模型安全基準(zhǔn);推出更多家長(zhǎng)監(jiān)管工具,并開(kāi)發(fā)自動(dòng)識(shí)別未成年用戶(hù)的系統(tǒng)以提供更嚴(yán)格安全措施。不過(guò),公司首席執(zhí)行官Sam Altman此前透露將放寬部分限制,允許成人用戶(hù)與AI進(jìn)行情色內(nèi)容交流。
值得注意的是,盡管GPT-5安全性有所進(jìn)步,但OpenAI仍向數(shù)百萬(wàn)付費(fèi)用戶(hù)開(kāi)放舊版等安全性較低的AI模型,部分心理健康風(fēng)險(xiǎn)仍存,問(wèn)題能否徹底解決尚不明朗。





