微軟在2016年開始將立體攝像頭集成至VR系統(tǒng)中以開發(fā)AR頭顯，允許用戶能夠通過攝像頭的饋送看到現(xiàn)實(shí)世界。通過視頻合成可以創(chuàng)建低成本的AR系統(tǒng)。

與光學(xué)AR相比，這種形式的AR存在幾個(gè)優(yōu)點(diǎn)：低成本的攝像頭模塊僅為VR頭顯增加了大約40美元的零件價(jià)格；視場寬，水平和垂直方向達(dá)到100多度；可在陽光下運(yùn)行，提供真正不透明的合成影像。即便是在室內(nèi)，設(shè)備都可以改善合成影像的色彩再現(xiàn)和對比度。

微軟的第一個(gè)原型將現(xiàn)成的機(jī)器視覺攝像頭集成至商用VR頭顯，顯示分辨率約為單眼100萬像素，頻率為60Hz或90Hz（見圖1和圖2）。兩條USB 3.0數(shù)據(jù)線將攝像頭影像傳輸至主機(jī)CPU。

微軟編寫了自己的實(shí)時(shí)圖像信號處理流程，以便對Bayer圖像進(jìn)行去馬賽克處理，校正透鏡失真和修正顏色。光子到光子的延遲大約是50ms。利用后期再投影單應(yīng)性矩陣糾正這種延遲的效果出奇的優(yōu)秀。

通過自定義同步電路板（圖3）令攝像頭與顯示器同步（由微軟研究院實(shí)驗(yàn)室的硬件實(shí)驗(yàn)室設(shè)計(jì)和構(gòu)建）。它由來自頭顯顯示電路的垂直刷新信號觸發(fā)。任何商用頭顯的外部不存在這種信號，因此微軟打開了頭顯外殼，并在顯示電路板上探測引腳，從而找到了具有正確顯示更新頻率的信號。

這些早期原型展現(xiàn)了巨大的潛力，并鼓勵(lì)我們探索第二代頭顯，而微軟是從2017年夏天開始相關(guān)的項(xiàng)目。第一代的最大缺點(diǎn)是大型機(jī)器視覺攝像頭的體積和重量，以及顯示器的低分辨率。兩者都已經(jīng)在第二代設(shè)備中得到解決。

新款頭顯采用了由微軟研究院實(shí)驗(yàn)室的硬件實(shí)驗(yàn)室設(shè)計(jì)和制造的定制攝像頭控制電路板，后者搭載了一個(gè)滾動(dòng)快門圖像傳感器 Omni Vision OV4689，可以在手機(jī)形狀參數(shù)中以90Hz的速度捕捉400萬像素。攝像頭與VR頭顯顯示器的同步是通過利用來自顯示控制器電路板的同步信號，但同步電路完全包含在攝像頭控制器電路板中。

與當(dāng)前同等分辨率和幀速率的最小機(jī)器視覺系統(tǒng)相比，新的攝像頭模塊更小，重量更輕（圖4和圖5）。考慮到只有2 micron-square像素，圖像質(zhì)量也出乎意料地好。

利用Cypress CX3 MIPI to USB橋接芯片，傳感器視頻可以通過USB 3.0數(shù)據(jù)線傳輸?shù)街鳈C(jī)。芯片的帶寬限制將90Hz的捕捉限制在1920×1440，而不是傳感器所能夠達(dá)到的完整2688×1520分辨率。

微軟的工程團(tuán)隊(duì)編寫了自定義攝像頭控制器固件，因此可以在主機(jī)PC上的軟件中設(shè)置攝像頭幀速率，曝光和其他傳感器參數(shù)。他們同時(shí)編寫了自定義USB驅(qū)動(dòng)程序來處理通過USB 3.0數(shù)據(jù)線傳輸?shù)母邤?shù)據(jù)速率視頻。光子到光子的延遲約為50毫秒，這時(shí)再次用后期的再投影單應(yīng)性矩陣進(jìn)行校正。

更高的分辨率顯著提升了現(xiàn)實(shí)世界的視場，輕巧的攝像頭模塊使設(shè)備比第一代原型更舒適。另外，混合現(xiàn)實(shí)頭顯的內(nèi)向外追蹤也消除了之前原型的移動(dòng)性限制。這個(gè)系統(tǒng)利用背包電腦，完全可移動(dòng)。

微軟生產(chǎn)了大約40臺這樣的頭顯，并由內(nèi)部的各個(gè)事業(yè)群作為研究目的進(jìn)行使用。據(jù)映維網(wǎng)了解，微軟還正在積極開發(fā)未來的原型，并努力令延遲時(shí)間維持在5-10毫秒范圍內(nèi)。隨著現(xiàn)成頭顯的分辨率增加，他們將制作更高分辨率的原型。