加權(quán)最小二乘(上)
加權(quán)最小二乘(Weighted Least Squares, WLS)作為經(jīng)典最小二乘方法的關(guān)鍵擴(kuò)展,通過為不同觀測數(shù)據(jù)賦予差異化權(quán)重,解決了傳統(tǒng)最小二乘對 “異方差噪聲” 數(shù)據(jù)處理的局限性,成為數(shù)據(jù)擬合、參數(shù)估計與系統(tǒng)優(yōu)化領(lǐng)域的基礎(chǔ)工具。在實(shí)際場景中,觀測數(shù)據(jù)的可靠性往往存在顯著差異 —— 例如,在環(huán)境監(jiān)測中,近距離傳感器的污染物濃度測量誤差遠(yuǎn)小于遠(yuǎn)距離傳感器;在電商銷量預(yù)測中,近期銷售數(shù)據(jù)對未來趨勢的參考價值高于遠(yuǎn)期數(shù)據(jù)。傳統(tǒng)最小二乘將所有數(shù)據(jù) “同等對待”,會導(dǎo)致估計結(jié)果過度偏向噪聲大、可信度低的樣本,最終影響結(jié)論的準(zhǔn)確性。WLS 的核心創(chuàng)新在于通過權(quán)重調(diào)整,讓可靠數(shù)據(jù)在優(yōu)化過程中占據(jù)更高 “話語權(quán)”,使估計結(jié)果更貼合數(shù)據(jù)的真實(shí)分布規(guī)律。自高斯 - 馬爾可夫定理證實(shí)特定權(quán)重設(shè)計下 WLS 可實(shí)現(xiàn) “最優(yōu)線性無偏估計” 以來,這一方法的理論體系不斷完善,應(yīng)用場景也從傳統(tǒng)的統(tǒng)計分析拓展至計算機(jī)視覺、自動駕駛、信號處理等復(fù)雜領(lǐng)域,成為連接理論優(yōu)化與工程實(shí)踐的重要橋梁。本文將從理論邏輯、核心技術(shù)、跨領(lǐng)域應(yīng)用及未來方向四個維度,系統(tǒng)闡述 WLS 的價值與演進(jìn),展現(xiàn)其作為基礎(chǔ)優(yōu)化框架的普適性與靈活性。
WLS 的理論邏輯源于對傳統(tǒng)最小二乘局限性的突破,其核心是通過權(quán)重分配實(shí)現(xiàn) “殘差的合理分配”。傳統(tǒng)最小二乘的核心假設(shè)是 “所有觀測數(shù)據(jù)的噪聲方差一致”(即同方差性),在此假設(shè)下,通過最小化所有數(shù)據(jù)與模型預(yù)測值的 “殘差平方和”,可得到較為可靠的參數(shù)估計。但在實(shí)際應(yīng)用中,這一假設(shè)往往不成立 —— 例如,在醫(yī)學(xué)檢測中,不同批次試劑的檢測誤差可能存在顯著差異;在圖像特征提取中,圖像邊緣區(qū)域的特征點(diǎn)檢測精度低于中心區(qū)域。當(dāng)數(shù)據(jù)存在 “異方差性”(噪聲方差不一致)時,傳統(tǒng)最小二乘的估計結(jié)果會失去 “最小方差” 特性,甚至出現(xiàn)明顯偏差。WLS 通過引入 “權(quán)重矩陣”,將優(yōu)化目標(biāo)從 “殘差平方和” 調(diào)整為 “加權(quán)殘差平方和”,本質(zhì)上是為每個數(shù)據(jù)樣本分配一個 “貢獻(xiàn)系數(shù)”:噪聲小、可信度高的樣本賦予高權(quán)重,使其對參數(shù)估計的影響更大;噪聲大、可信度低的樣本賦予低權(quán)重,降低其對結(jié)果的干擾。這種調(diào)整使優(yōu)化目標(biāo)更貼合數(shù)據(jù)的實(shí)際可靠性分布,最終提升參數(shù)估計的精度與穩(wěn)定性。
權(quán)重設(shè)計是 WLS 實(shí)踐應(yīng)用的核心,其合理性直接決定優(yōu)化效果,而權(quán)重的確定需結(jié)合數(shù)據(jù)特性、噪聲規(guī)律與領(lǐng)域先驗(yàn)知識綜合判斷。最理想的權(quán)重設(shè)計基于對數(shù)據(jù)噪聲方差的精確掌握 —— 若已知每個樣本的噪聲大小,通常將權(quán)重設(shè)定為噪聲方差的倒數(shù),即噪聲越小,權(quán)重越大,這一設(shè)計可嚴(yán)格滿足 “最優(yōu)線性無偏估計” 的理論條件。但在多數(shù)場景中,噪聲方差難以直接測量,此時需通過 “數(shù)據(jù)驅(qū)動” 或 “經(jīng)驗(yàn)判斷” 間接確定權(quán)重。例如,在回歸分析中,可先通過傳統(tǒng)最小二乘得到初步參數(shù)估計,再根據(jù)每個樣本的殘差大?。埐钤酱?,說明噪聲可能越大)反向推導(dǎo)權(quán)重;在計算機(jī)視覺的相機(jī)標(biāo)定中,基于 “圖像中心區(qū)域畸變更小” 的先驗(yàn)知識,直接為中心區(qū)域的特征點(diǎn)賦予更高權(quán)重,邊緣區(qū)域特征點(diǎn)賦予較低權(quán)重。此外,“自適應(yīng)權(quán)重設(shè)計” 在動態(tài)場景中應(yīng)用廣泛,例如在機(jī)器人導(dǎo)航的參數(shù)估計中,可根據(jù)實(shí)時觀測數(shù)據(jù)的殘差變化動態(tài)調(diào)整權(quán)重:當(dāng)某一傳感器的觀測殘差突然增大(可能出現(xiàn)故障或干擾)時,臨時降低該傳感器數(shù)據(jù)的權(quán)重,避免其對導(dǎo)航精度產(chǎn)生劇烈影響。權(quán)重設(shè)計需避免兩個常見問題:一是 “極端權(quán)重”,即部分樣本的權(quán)重過大或過小,導(dǎo)致優(yōu)化結(jié)果過度依賴少數(shù)樣本或忽略關(guān)鍵信息,通常通過設(shè)置權(quán)重上下限緩解;二是 “權(quán)重與模型不匹配”,例如在噪聲存在相關(guān)性的場景中,若仍采用僅反映單個樣本可靠性的 “對角權(quán)重矩陣”,會忽略樣本間的噪聲關(guān)聯(lián),此時需調(diào)整權(quán)重矩陣結(jié)構(gòu)以適配噪聲特性。





