在人工智能的發(fā)展歷程中，我們往往認(rèn)為更多的訓(xùn)練、更復(fù)雜的數(shù)據(jù)能讓 AI 變得更加智能。然而，近期一些研究卻揭示了令人意外的現(xiàn)象：對小型 AI 語言模型進(jìn)行數(shù)學(xué)訓(xùn)練時，過度訓(xùn)練可能會導(dǎo)致其表現(xiàn)急劇下降，甚至出現(xiàn) “變笨” 的情況。與此同時，強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)這兩種主流學(xué)習(xí)方式在其中所起的作用也大相徑庭，它們的差異值得深入探討。

新加坡科技設(shè)計大學(xué)的研究團(tuán)隊在 2025 年 6 月的研究中發(fā)現(xiàn)，當(dāng)對參數(shù)量在 30 億以下的小型 AI 語言模型進(jìn)行復(fù)雜數(shù)學(xué)推理過程的訓(xùn)練時，出現(xiàn)了 “長思維鏈退化” 現(xiàn)象。以只有 5 億參數(shù)的小型模型 Qwen2.5 - 0.5B 為例，用 8000 個包含詳細(xì)解題步驟的樣本訓(xùn)練它時，其準(zhǔn)確率從 14% 驟降至 7%，回答長度從平均 2000 個詞增加到 8000 個詞，但這些冗長回答大多錯誤。研究人員擴(kuò)大實(shí)驗范圍，測試了九個不同的 AI 模型，涵蓋 5 億到 140 億參數(shù)范圍，使用包含 22.5 萬個數(shù)學(xué)問題及詳細(xì)解題過程的大型數(shù)據(jù)集，結(jié)果證實(shí)了這種退化現(xiàn)象的普遍性。如 Gemma3 - 1B 模型準(zhǔn)確率從 24% 降至 6%，Qwen2.5 - 14B 模型從 50% 降至 45%。這表明小型模型在接受長思維鏈訓(xùn)練時，性能反而下降。

深入探究這一現(xiàn)象背后的原因，研究團(tuán)隊提出小型模型在接受長思維鏈訓(xùn)練時，可能先學(xué)會了 “裝腔作勢”。為驗證此假設(shè)，他們開發(fā) “反思行為識別系統(tǒng)”，結(jié)果顯示，即使只用 8000 個長思維鏈樣本訓(xùn)練，所有 Qwen 模型的 “反思比例” 從不到 5% 急劇上升到約 75%，包含反思行為的回答平均比不包含的長 2000 個詞左右。這意味著模型只是快速學(xué)會使用反思性語言作為 “填充詞”，并未真正理解復(fù)雜推理，只是模仿表面形式特征，進(jìn)而導(dǎo)致回答冗長且錯誤，產(chǎn)生 “錯誤累積效應(yīng)”，每一個小錯誤在后續(xù)步驟中被放大，最終得出完全錯誤的結(jié)論。

這一現(xiàn)象也反映出強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)在 AI 訓(xùn)練中的巨大差異。監(jiān)督學(xué)習(xí)就像是有一位老師在旁邊時刻指導(dǎo)，數(shù)據(jù)集中明確包含了輸入以及對應(yīng)的正確輸出標(biāo)簽。例如，在教 AI 識別貓和狗的圖片時，監(jiān)督學(xué)習(xí)的數(shù)據(jù)集中清晰標(biāo)注了每張圖片是貓還是狗，AI 通過學(xué)習(xí)這些已標(biāo)注的數(shù)據(jù)來構(gòu)建模型，以對新的圖片進(jìn)行準(zhǔn)確分類，反饋即時且明確。而強(qiáng)化學(xué)習(xí)則不同，智能體處于一個環(huán)境中，沒有明確的 “正確答案” 標(biāo)簽。智能體通過不斷嘗試不同的動作，從環(huán)境中獲得獎勵或懲罰作為反饋信號，以此來學(xué)習(xí)最優(yōu)策略。比如讓一個機(jī)器人在一個未知的房間里尋找出口，機(jī)器人嘗試不同的移動方向，若靠近出口，環(huán)境給予正獎勵，反之給予負(fù)獎勵，機(jī)器人根據(jù)這些延遲的獎勵信號來逐漸調(diào)整自己的行動策略，以找到最佳的走出房間的路徑。

在數(shù)學(xué)訓(xùn)練導(dǎo)致 AI 變笨這一情境中，若采用監(jiān)督學(xué)習(xí)方式對小型模型進(jìn)行長思維鏈訓(xùn)練，由于小型模型本身的容量限制，面對復(fù)雜的數(shù)學(xué)解題步驟這種 “高級課程”，即使有詳細(xì)的解題標(biāo)注作為 “老師的指導(dǎo)”，模型也可能因無法理解復(fù)雜邏輯，只是機(jī)械地記憶和模仿，從而產(chǎn)生大量錯誤。而如果采用強(qiáng)化學(xué)習(xí)，模型在嘗試生成數(shù)學(xué)問題的解答過程中，由于自身能力不足，早期生成的錯誤解答會導(dǎo)致獲得負(fù)面反饋，并且由于 “錯誤累積效應(yīng)”，后續(xù)的探索方向也會被嚴(yán)重誤導(dǎo)。即使后續(xù)有獎勵信號引導(dǎo)，之前養(yǎng)成的錯誤 “思維習(xí)慣” 也很難糾正，使得模型難以找到正確的解題策略，性能不斷下降。

然而，研究也帶來了希望。當(dāng)提供足夠大規(guī)模的訓(xùn)練數(shù)據(jù)(如 12.8 萬個樣本)時，大多數(shù)模型最終能夠恢復(fù)甚至超越原有性能。這意味著，在 AI 訓(xùn)練中，我們需要根據(jù)模型的特點(diǎn)和能力，合理選擇學(xué)習(xí)方式，并提供合適規(guī)模的數(shù)據(jù)。對于小型模型，在進(jìn)行復(fù)雜任務(wù)訓(xùn)練時，更要謹(jǐn)慎設(shè)計訓(xùn)練方案，避免過度訓(xùn)練導(dǎo)致性能下降。同時，深入理解強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)的差異，根據(jù)具體任務(wù)和模型特性靈活運(yùn)用這兩種學(xué)習(xí)方式，將有助于推動 AI 技術(shù)更健康、有效地發(fā)展，使 AI 真正實(shí)現(xiàn)智能提升，而非誤入 “變笨” 的歧途。