今天，智能手機(jī)最吸引人的功能之一就是能捕捉正在運(yùn)動(dòng)的瞬間?，F(xiàn)在，Pixel 2和Pixel 2XL手機(jī)推出了全新相機(jī)功能，用戶無(wú)需在相機(jī)和錄像功能中切換選擇，每次拍攝的照片都會(huì)捕捉更多運(yùn)動(dòng)。當(dāng)你開(kāi)啟運(yùn)動(dòng)照片模式時(shí)，你的手機(jī)就開(kāi)始錄制，并裁剪成長(zhǎng)達(dá)3秒的視頻。基于先進(jìn)的穩(wěn)定技術(shù)，該技術(shù)率先在安卓中的Motion Stills應(yīng)用。讓我們看看這些照片背后的技術(shù)吧!

硬件與軟件結(jié)合，生成動(dòng)態(tài)照片

按下快門(mén)后，相機(jī)會(huì)拍攝一張照片和視頻，二者都是全分辨率JPEG模式，并帶有3秒視頻短片。在Pixel 2上，視頻還包含來(lái)自陀螺儀和光學(xué)圖像穩(wěn)定(OIS)傳感器的運(yùn)動(dòng)元數(shù)據(jù)，以幫助修建和穩(wěn)定運(yùn)動(dòng)照片。通過(guò)將基于視覺(jué)跟蹤和來(lái)自傳感器的元數(shù)據(jù)相結(jié)合，谷歌的研究人員為Pixel 2上的運(yùn)動(dòng)照片創(chuàng)建了新的混合生成器。

相比于Motion Stills或者基于純硬件傳感器的技術(shù)，這種方法能更精確地對(duì)齊背景。得益于Fused Video Stabilization技術(shù)，它可以減少由于深度圖層構(gòu)成的復(fù)雜場(chǎng)景或當(dāng)前景物體占據(jù)大部分畫(huà)面時(shí)帶來(lái)的偽影。它還改進(jìn)了基于硬件傳感器的傳統(tǒng)方法，通過(guò)改進(jìn)運(yùn)動(dòng)估計(jì)達(dá)到更精確的效果，尤其是近距離拍攝。

捕捉的動(dòng)態(tài)照片(左)和將軟硬件結(jié)合后對(duì)圖像進(jìn)行穩(wěn)定處理(右)

他們?cè)贛otion Stills中引入的純基于軟件的技術(shù)使用了視頻幀中的視覺(jué)數(shù)據(jù)，檢測(cè)并跟蹤連續(xù)幀中的特征，從而生成運(yùn)動(dòng)向量。然后使用運(yùn)動(dòng)模型(例如仿射變換或一個(gè)homography)將運(yùn)動(dòng)向量分類為前景和背景。然而，這種分類并不完美，并且可能被復(fù)雜的場(chǎng)景或主要前景誤導(dǎo)。

用元數(shù)據(jù)進(jìn)行前景和背景區(qū)分，橙色點(diǎn)表示前景，綠點(diǎn)表示背景

針對(duì)Pixel 2上的運(yùn)動(dòng)照片，研究人員用陀螺儀和光學(xué)圖像穩(wěn)定器上的運(yùn)動(dòng)員數(shù)據(jù)改進(jìn)分類功能。這可以準(zhǔn)確捕捉相對(duì)無(wú)窮遠(yuǎn)處的運(yùn)動(dòng)，這可以認(rèn)為是遠(yuǎn)處的背景。然而，對(duì)于在較近范圍內(nèi)拍攝的照片，不同深度的圖層將會(huì)把視差作為場(chǎng)景元素，而不考慮陀螺儀和OIS。具體來(lái)說(shuō)，他們將過(guò)于偏離運(yùn)動(dòng)員數(shù)據(jù)的向量標(biāo)記為前景。這能更精確地區(qū)分前景和背景，也能讓相機(jī)使用更復(fù)雜的運(yùn)動(dòng)模型。

動(dòng)態(tài)照片的背景估計(jì)過(guò)程

動(dòng)態(tài)照片的穩(wěn)定和播放

一旦準(zhǔn)確地確定了視頻背景的運(yùn)動(dòng)，我們就可以使用之前提到的線性編程技術(shù)來(lái)確定一個(gè)最佳的相機(jī)路徑來(lái)對(duì)齊背景。此外，該技術(shù)會(huì)自動(dòng)修剪視頻，避免因手機(jī)抖動(dòng)造成的意外動(dòng)作。所有這些處理過(guò)程是在手機(jī)里完成的，每當(dāng)點(diǎn)擊谷歌相冊(cè)中的“動(dòng)態(tài)”按鈕時(shí)，每幀都會(huì)產(chǎn)生少量的元數(shù)據(jù)，用于GPU著色器實(shí)時(shí)渲染穩(wěn)定的視頻。另外，照片從靜態(tài)轉(zhuǎn)為視頻的過(guò)度非常自然，在靜態(tài)時(shí)呈現(xiàn)的是HDR狀態(tài)。

即使在復(fù)雜場(chǎng)景中，也能穩(wěn)定住移動(dòng)的背景

動(dòng)態(tài)圖片分享

利用谷歌照片，你可以將動(dòng)態(tài)照片以視頻或gif的格式和朋友分享。這也是Pixel 2上軟硬件以及機(jī)器學(xué)習(xí)結(jié)合后創(chuàng)造出的新功能。