隨著增強(qiáng)現(xiàn)實(shí)技術(shù)日益火紅，深度跟蹤攝像頭即將出現(xiàn)在旗艦級(jí)手機(jī)上，現(xiàn)在是時(shí)候改進(jìn)計(jì)算機(jī)跟蹤它們所看到的人的運(yùn)動(dòng)軌跡的方式了——即使這意味著要“剝光”他們的衣服。有一種新的計(jì)算機(jī)視覺系統(tǒng)可以做到這一點(diǎn)，聽起來可能有點(diǎn)讓人毛骨悚然，但它肯定有它的用處。

最基本的問題是，如果你要捕捉一個(gè)人的動(dòng)態(tài)，比如在一部電影里或者在增強(qiáng)現(xiàn)實(shí)游戲里，系統(tǒng)會(huì)覺得有些模糊，因?yàn)樗?她穿著衣服。你覺得動(dòng)作捕捉演員為什么要穿緊身衣呢？因?yàn)樗麄內(nèi)绻┲T如JNCO牛仔褲的褲子的話，系統(tǒng)會(huì)很難準(zhǔn)確地判斷他們的腿在哪里。

同樣的，穿裙子、夾克或者背個(gè)背包也會(huì)引起那樣的困惑——基本上除了什么都不穿以外，不管穿什么都會(huì)干擾電腦準(zhǔn)確判斷你身體的位置。

上述多機(jī)構(gòu)項(xiàng)目將會(huì)在鹽湖城的電腦視覺及圖形辨識(shí)（CVPR）大會(huì)上進(jìn)行演示，它結(jié)合了深度數(shù)據(jù)和關(guān)于身體姿勢(shì)如何形成和它能做什么的智能假設(shè)。其產(chǎn)生的結(jié)果是一種X線視覺，可以揭示一個(gè)人衣服底下的身體的形狀和位置，即使是在像跳舞這樣的快速動(dòng)作中，該系統(tǒng)也能實(shí)時(shí)運(yùn)作。

項(xiàng)目論文基于兩種已有的方法——DynamicFusion（動(dòng)態(tài)融合）和BodyFusion（身體融合）。第一種方法使用單攝像頭深度數(shù)據(jù)來判斷身體的姿勢(shì)，但不適合處理快速的移動(dòng)或者遮擋;第二種方法使用骨架來判斷姿態(tài)，但同樣在快速運(yùn)動(dòng)時(shí)失去方向。研究人員將這兩種方法結(jié)合成“DoubleFusion”（雙重融合），本質(zhì)上是從深度數(shù)據(jù)中創(chuàng)造出一種似是而非的骨架，然后在離核心適當(dāng)?shù)木嚯x內(nèi)用皮膚“包裹”骨架。

如上圖所示，來自攝像頭的深度數(shù)據(jù)與人的一些基本參考圖像結(jié)合在一起，產(chǎn)生了一個(gè)骨架，并跟蹤了身體的關(guān)節(jié)和端部。最右邊則是三種方法DynamicFusion（b），BodyFusion（c）和DoubleFusion（d）分別產(chǎn)生的效果圖。

這些結(jié)果比任意其中一種方法單獨(dú)產(chǎn)生的結(jié)果都要好得多，似乎從各種各樣的姿勢(shì)和服裝中都能產(chǎn)生很好的體態(tài)：

不管是連帽衫、耳機(jī)還是寬松的衣服，都無法阻擋DoubleFusion的“全視之眼”看穿一切。

然而，該方法存在一個(gè)不足：如果你穿了很多衣服，它往往會(huì)過度估量你的身材大小——沒有簡(jiǎn)單的方法來判斷一個(gè)人的體形是否很寬，或者他們是否只是穿著一件厚實(shí)的毛衣。當(dāng)你與一個(gè)獨(dú)立的物體（比如一張桌子或游戲控制器）進(jìn)行互動(dòng)時(shí)，它就不能很好地運(yùn)作了——它可能會(huì)試圖把物體解讀為肢體的奇怪延伸。研究團(tuán)隊(duì)已將處理這些異常情況納入未來的研究范疇。

論文的第一作者是中國(guó)清華大學(xué)的陶宇（Tao Yu音譯），但來自北京航空航天大學(xué)、美國(guó)南加州大學(xué)、谷歌和馬普研究所的研究人員也有參與。

“我們相信，我們的方法的穩(wěn)健性和準(zhǔn)確性將使得許多應(yīng)用得以實(shí)現(xiàn)，尤其是在AR/VR、游戲、娛樂甚至虛擬試穿領(lǐng)域，因?yàn)槲覀冞€重構(gòu)了潛在的體形。”論文作者在總結(jié)中寫道，“通過DoubleFusion雙重融合技術(shù)，用戶將第一次能夠輕松地將自己數(shù)字化。”

沒有必要去否認(rèn)這一技術(shù)有很多有趣的應(yīng)用。但也沒有必要否認(rèn)這項(xiàng)技術(shù)基本上就是X射線透視器。