近期，F(xiàn)acebook旗下Instagram的科研人員發(fā)表了一篇關(guān)于AR美妝濾鏡的論文，該論文描述了一種可為不同膚色人種實(shí)時(shí)渲染彩妝的智能手機(jī)濾鏡，該濾鏡可模擬彩妝師化妝技巧，將AR彩妝自然疊加在人臉上。

濾鏡實(shí)際應(yīng)用效果圖

據(jù)了解，這款濾鏡技術(shù)可精準(zhǔn)模擬五種市面常見(jiàn)的化妝品質(zhì)地：?jiǎn)」?、絲絨、釉面、亮片和金屬光澤，同時(shí)它還支持均勻膚色的皮膚平滑技術(shù)和用于進(jìn)一步融合紋理的色階重建技術(shù)。

濾鏡渲染流程圖

該濾鏡的原理是，通過(guò)手機(jī)攝像頭實(shí)時(shí)追蹤用戶面部，為實(shí)時(shí)創(chuàng)建用戶面部的網(wǎng)格模型，區(qū)分嘴唇、眼睛、臉頰等區(qū)域，然后使用GPU渲染，將光敏的化妝品濾鏡加在用戶面部，最后使用皮膚平滑和色階重建來(lái)融合和合成自然的皮膚。

該濾鏡在渲染妝容陰影時(shí)，將環(huán)境光遮蔽因素考慮在內(nèi)，也就是說(shuō)妝容的顏色也會(huì)因?yàn)楣饩€變化而改變。反射顏色采用RGB，而陰影色彩來(lái)自于LAB色彩空間。

此外，該濾鏡還支持對(duì)睫毛的渲染，利用具有節(jié)點(diǎn)和紋理的條狀網(wǎng)格來(lái)實(shí)現(xiàn)，它還能夠根據(jù)用戶面部表情來(lái)進(jìn)行調(diào)節(jié)。

經(jīng)過(guò)測(cè)試，這款濾鏡在2013年的Nexus 5上運(yùn)行時(shí)，需要20毫秒;在2014年Galaxy S5上為14毫秒，2015年Pixel手機(jī)上需要16毫秒，而2017年P(guān)ixel 2上需要7毫秒。

這項(xiàng)濾鏡技術(shù)可幫助彩妝師展示常用妝容，此外，為了讓消費(fèi)者試用市面上彩妝產(chǎn)品，這組科研人員還開(kāi)發(fā)了一款免費(fèi)平臺(tái)。