1 相關(guān)工作
鏡頭邊界檢測算法主要有直方圖法、模板匹配法、基于邊緣的方法和基于模型的方法等4種。直方圖法使用像素亮度和色彩的統(tǒng)計值,不考慮像素的位置信息,抗噪聲能力較強,但有時會漏掉場景切換。模板匹配法嚴(yán)格地區(qū)分像素的位置,對噪聲、鏡頭和物體的運動非常敏感,容易導(dǎo)致錯誤的場景切換檢測。基于邊緣方法的基本思想是在鏡頭發(fā)生切換時新邊緣應(yīng)遠離舊邊緣的位置,舊邊緣消失的位置也應(yīng)遠離新邊緣的位置。上述3種方法都是通過計算幀間差進行鏡頭邊界檢測的,對于突變檢測可取得較好的效果,但對漸變檢測則存在一定的困難,這些方法在很大程度上忽略了漸變切換中幀間結(jié)構(gòu)上的相關(guān)性。而基于模型的方法則是利用對鏡頭編輯的先驗知識,對各種鏡頭切換建立一定的數(shù)據(jù)模型進行鏡頭切換的檢測,因此對鏡頭漸變的檢測能取得較好的效果。本文的算法就是一種基于模型的方法。
2 鏡頭分割算法
2.1 切變檢測
本算法根據(jù)相鄰幀圖像變化和不相似性確定切變,相鄰幀的變化屬于圖像檢索的范圍,本算法中采用了顏色局部累積直方圖與紋理相結(jié)合的方法。在一般情況下可通過將不相似值與一個閾值進行比較來做出判斷,而基于“滑動窗口”的方法可以克服了不相似值不僅與幀間差有關(guān),而且與成像亮度也有關(guān)的問題。
首先定義一個時間長度為2R+l的窗口,使需檢測的幀位于窗口正中。然后根據(jù)下式計算前后兩幀間的差異:
如果差異滿足以下條件則認(rèn)為待檢測幀處為切變位置:
1)窗口中D為最大值;
2)設(shè)窗口中第二大的差異值為D2,有D<k×D2,k為正系數(shù)。
一個圖解例子見圖1,其中橫軸對應(yīng)幀序列,豎軸對應(yīng)幀差值,設(shè)這里k=3。圖中從一R到R對應(yīng)以幀間差為D的幀的檢測窗口,由圖可見上述第1個條件滿足,第2個條件也滿足(注意檢測幀問差為D2的幀的檢測窗口需向左移,但比較時仍用幀間差為D的檢測窗口),所以認(rèn)為檢測到一個切變。如果考慮窗口右側(cè)外的那些峰,由于第2個條件得不到滿足,所以不認(rèn)為檢測到切變。該方法由于利用了在切變位置附近的局部信息,檢測效果比全局閾值法有相當(dāng)大的提高。
由于“滑動窗口”算法在實際中有可能遇到兩個影響效果的問題,一個是漏檢問題。例如在利用上面算法中對一些由于攝影機的晃動,造成前景中的物體相對于背景有較大的上下變動,造成了很多漏檢。另一個時誤檢。使用上面的算法對一線電影畫面幾乎靜止,但是由于加字幕、去字幕原因差生小的擾動,就會多檢測出切變,出現(xiàn)誤檢。
本文采用了基于雙重窗口的檢測算法。
基于雙重窗口算法進行切變檢測的方法流程參見圖2,這里對被檢測視頻流的要求比較簡單,只需對原始視頻流取平均或?qū)嚎s視頻流取直流分量就可以得到。為了把閃光的影響除去,從檢測視頻流中先將閃光位置確定下來,其后在把這些位置從切變檢測得到的可能切變位置中除去,就可得到真正的切變位置。
基于雙重窗口算法的主要特點是利用在大窗口中取全局閾值以提取候選切變位置,再利用以候選切變位置為中心的小窗口具體確定真正的切變位置。該算法在小窗口里的檢測中結(jié)合了雙側(cè)和單側(cè)比較檢測方法以減少漏檢提高查全率。而為了避免單側(cè)檢測可能造成的誤檢,這里采用了將圖像分塊并比較前后兩幀對應(yīng)塊直方圖的方法作進一步的確認(rèn)。
2.2 漸變檢測
在切變檢測時已經(jīng)計算得到幀間差,同時采用了基于雙重窗口的切變檢測算法,計算了大窗口的幀間差均值用于解決誤檢問題。在整體實現(xiàn)算法時,采取僅可能統(tǒng)一且高效的方法,因此,在漸變檢測中也借助于切變檢測中已經(jīng)計算得到的數(shù)據(jù),改進了雙重窗口算法,使它也適合于檢測漸變。
具體方法是:在幀間差檢測切變的同時來檢測漸變。先求得幀間差的大區(qū)間均值A(chǔ)ve1,然后根據(jù)每幀與此均值的比值決定是否存在一個潛在的漸變(在算法中我們發(fā)現(xiàn)取比值系數(shù)位0.9即可),然后開始對于以后連續(xù)的大于比值的幀間差求累積和,直到存在兩個小于此比值的幀間差出現(xiàn)。然后計算這些幀間差累積和的均值A(chǔ)ve2。在比較這兩個均值的大小決定是否真的存在漸變,通過大量實驗,發(fā)現(xiàn)當(dāng)它們的比值大于2時一般存在漸變,小于2時一般是由其它原因造成的。
在整個算法中,并未對漸變鏡頭進行分類,由于漸變過程中的幀間差總是大于區(qū)間內(nèi)其它鏡頭內(nèi)的幀間差。因此僅使用了兩個均值用于判斷漸變的發(fā)生,很好的完成漸變的檢測。
3 試驗
視頻鏡頭檢測中,常會出現(xiàn)錯誤的檢測或漏檢,這些都是不允許的。常用查全率(也稱復(fù)現(xiàn)率)和準(zhǔn)確度以用來表示檢索系統(tǒng)的性能。
按本文的算法對4段視頻進行了切變檢測,對2段視頻進行了漸變的檢測,實驗結(jié)果如下:
4 總結(jié)
主要介紹了視頻檢索的核心技術(shù)——視頻鏡頭的檢測,重點提出了基于已經(jīng)計算得到的幀間差為基礎(chǔ)的雙重窗口檢測算法實現(xiàn)了切變的檢測。對于漸變的檢測,采取了統(tǒng)一的雙閾值檢測方法對所有漸變類型進行了檢測。通過多次試驗,證明了方法的可行性、有效性。
北京2022年10月18日 /美通社/ -- 10月14日,國際數(shù)據(jù)公司(IDC)發(fā)布《2022Q2中國軟件定義存儲及超融合市場研究報告》,報告顯示:2022年上半年浪潮超融合銷售額同比增長59.4%,近5倍于...
關(guān)鍵字: IDC BSP 數(shù)字化 數(shù)據(jù)中心東京2022年10月18日 /美通社/ -- NIPPON EXPRESS HOLDINGS株式會社(NIPPON EXPRESS HOLDINGS, INC.)旗下集團公司上海通運國際物流有限公司(Nipp...
關(guān)鍵字: 溫控 精密儀器 半導(dǎo)體制造 BSP要問機器人公司哪家強,波士頓動力絕對是其中的佼佼者。近來年該公司在機器人研發(fā)方面獲得的一些成果令人印象深刻,比如其開發(fā)的機器人會后空翻,自主爬樓梯等。這不,波士頓動力又發(fā)布了其機器人組團跳男團舞的新視頻,表演的機器人包括...
關(guān)鍵字: 機器人 BSP 工業(yè)機器人 現(xiàn)代汽車