加權(quán)最小二乘(中)
WLS 的求解方法需根據(jù)模型的 “線性 / 非線性” 特性選擇,核心是在權(quán)重約束下找到使 “加權(quán)殘差平方和” 最小的參數(shù)值。對于線性模型(即參數(shù)與觀測數(shù)據(jù)呈線性關(guān)系),WLS 可通過數(shù)學(xué)推導(dǎo)得到 “閉式解”—— 即直接通過矩陣運算計算出最優(yōu)參數(shù),無需迭代過程,計算效率較高。但需注意,當(dāng)模型存在 “多重共線性”(即部分參數(shù)之間存在線性關(guān)聯(lián))時,閉式解可能出現(xiàn)數(shù)值不穩(wěn)定,此時需引入 “正則化” 技術(shù),通過添加微小的約束項保證計算結(jié)果的可靠性。對于非線性模型(即參數(shù)與觀測數(shù)據(jù)呈非線性關(guān)系,如指數(shù)模型、對數(shù)模型),由于無法直接推導(dǎo)閉式解,需采用 “迭代優(yōu)化” 方法逐步逼近最優(yōu)解。常用的迭代方法包括高斯 - 牛頓法與迭代加權(quán)最小二乘(IRLS):高斯 - 牛頓法通過將非線性模型在當(dāng)前參數(shù)估計值附近 “線性化”,轉(zhuǎn)化為線性 WLS 問題求解,再迭代更新參數(shù)直至收斂;IRLS 則進(jìn)一步將權(quán)重與參數(shù)估計綁定,在每次迭代中同步更新權(quán)重與參數(shù) —— 例如在處理異常值時,通過迭代降低異常值的權(quán)重,最終實現(xiàn)對異常值不敏感的穩(wěn)健估計。迭代方法的關(guān)鍵在于 “初始值選擇” 與 “收斂性控制”:初始值需盡可能接近真實參數(shù),否則可能收斂到局部最優(yōu)解;收斂性控制則通過設(shè)置迭代次數(shù)上限或殘差變化閾值,平衡計算效率與估計精度。
WLS 的跨領(lǐng)域應(yīng)用廣泛,其核心價值在于 “適配數(shù)據(jù)異質(zhì)性”,為不同場景下的實際問題提供靈活且高效的優(yōu)化方案。在統(tǒng)計分析與經(jīng)濟(jì)預(yù)測中,WLS 是處理異方差數(shù)據(jù)的標(biāo)準(zhǔn)工具:例如在居民消費支出研究中,高收入群體的消費數(shù)據(jù)受投資、儲蓄等因素影響,波動(噪聲)更大,采用 WLS 按收入分組賦予權(quán)重(低收入組權(quán)重高、高收入組權(quán)重低),可使回歸模型更準(zhǔn)確反映收入與消費的真實關(guān)聯(lián);在宏觀經(jīng)濟(jì)預(yù)測中,對近期經(jīng)濟(jì)數(shù)據(jù)賦予高權(quán)重、遠(yuǎn)期數(shù)據(jù)賦予低權(quán)重,可提升預(yù)測模型對短期趨勢的敏感度。在計算機(jī)視覺與 SLAM(即時定位與地圖構(gòu)建)中,WLS 是后端優(yōu)化的核心組件:在相機(jī)標(biāo)定中,通過 WLS 優(yōu)化相機(jī)內(nèi)參(焦距、主點)與外參(旋轉(zhuǎn)、平移),降低畸變區(qū)域數(shù)據(jù)的干擾,使圖像重投影誤差從傳統(tǒng)方法的 1.5 像素降至 0.8 像素以內(nèi);在 SLAM 后端融合多傳感器數(shù)據(jù)時,對精度高的 LiDAR 深度數(shù)據(jù)賦予高權(quán)重,對弱紋理環(huán)境下的視覺特征賦予低權(quán)重,可使機(jī)器人位姿估計的累積漂移降低 40% 以上。
在信號處理與通信領(lǐng)域,WLS 用于信號恢復(fù)與信道補(bǔ)償:在無線通信中,不同頻率的信號受信道衰減影響不同,通過 WLS 為衰減小、信噪比高的信號賦予高權(quán)重,可有效補(bǔ)償信道失真,提升信號解調(diào)精度;在語音增強(qiáng)中,對清晰語音幀賦予高權(quán)重、對含噪聲或靜音的幀賦予低權(quán)重,可在去除背景噪聲的同時保留語音細(xì)節(jié),使語音清晰度提升 20% 以上。在機(jī)器學(xué)習(xí)與模式識別中,WLS 用于樣本不平衡與模型優(yōu)化:在疾病診斷的分類任務(wù)中,少數(shù)類樣本(如罕見病病例)的誤分類代價更高,通過 WLS 為少數(shù)類樣本賦予高權(quán)重,可提升模型對罕見病例的識別能力;在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中,采用加權(quán)損失函數(shù)(本質(zhì)是 WLS 思想的延伸),讓模型更關(guān)注難分樣本(如模糊圖像、相似類別樣本),可顯著提升模型的泛化能力。





