（文章來源：百家號）

在場景需求的推動下，以及背后算法、算力、數據的支撐下，AI 已經慢慢走出實驗室，開始擁抱產業(yè)，這其中也包括 RTC 行業(yè)。在實時視頻、實時音頻、實時傳輸、視頻內容檢索與推薦、實時交互等層面，都已經出現了與 AI 結合的落地應用。

近幾年來，超分辨率在計算機視覺領域逐漸成為一個研究熱點，在圖像的增強、去噪、細節(jié)恢復，以及圖像放大等方面有著廣泛的應用前景，并且也引起了無論是學術界還是工業(yè)界的重視。開場，聲網AI算法工程師周世付為大家進行了"深度學習在移動端實時視頻超分辨率的應用和探索"的主題分享。他分別從超分是如何解決移動RTC的一些痛點，超分的發(fā)展現狀以及存在的問題，以及超分算法在移動RTC的落地過程中遇到的一些挑戰(zhàn)以及聲網在這方面做的一些工作三個方面來展開分享。

"做GAN經常會遇到一個問題，就是對抗神經網絡模型容易出現模式坍塌，在超分領域也會存在模式坍塌的問題。聲網Agora做了一些改進，減少模式坍塌發(fā)生的概率。另外在圖像失真度這方面做了一些改進。我們的效果跟ESR來對比，我們能夠比較好的去重構，比如說像細節(jié)比較豐富的圖像。"他在分享中談到，"但是，超分的優(yōu)勢很明顯，就是它重構出來的效果很好，它也為此要付出一個代價，就是它的運算復雜度很高。

分享中，他重點介紹了聲網在本屆RTC大會上發(fā)布的聲網Agora實時超分算法。該技術可以將實時傳輸中的視頻在原有分辨率的基礎上實現兩個方向的2倍同步放大，并獲得顯著的細節(jié)增強。同時支持在云端和移動終端上實時運行，并在移動終端達到非常出色的效果。

視頻網站面臨的挑戰(zhàn)之一就是視頻的分發(fā)，理解用戶，理解視頻內容是解決目前視頻網站的一個關鍵的核心和要點。論壇上，Hulu（美國本土的在線視頻服務公司）首席研發(fā)經理謝曉輝，為大家分享了"視頻內容理解與推薦算法實踐"的主題分享。

推薦算法歷史的演進過程，推薦算法其實是研究人的一種科學。我們需要有一種非常精細的刻畫，然后去真實地理解用戶的興趣和他的意圖。"其次，他從顯式的基于高階語義的標簽刻畫、隱式的嵌入矢量表示、故事與情節(jié)的引人入勝、視覺/聽覺因素的影響四個方面闡釋了對內容的深刻理解如何提升推薦系統性能，同時分享了Hulu基于內容推薦方面做的探索和實踐，如將標簽精細化、實現標簽集合的擴充等。

具體來說，"我們利用熱播的劇場一些相對豐富的標簽作為標注信息，然后對長尾的內容做標簽預測。我們大概最終支持180個左右的標簽，準確率在0.85左右，某種程度上很多標簽已經是可用的程度。這些標簽語義其實非常高，比如大家可以看到，Fantasy world等，類似這種語義其實已經是非常高的語義。"謝曉輝分享到，"我們還可以利用搜索引擎找到一些初始的種子圖像，在Hulu上面跑，然后經過人工篩選，重新構成一個訓練集，最終去訓練我們的模型。"