專利名稱：一種用于高速準確拆條的鏡頭檢測方法
技術領域：
本發明涉及視頻鏡頭檢測和視頻編輯技術領域，特別是涉及一種用于高速準確拆條的鏡頭檢測方法。
背景技術：
近年來，在以互聯網和移動媒體為主的新媒體發展的大趨勢下，各電視臺和內容提供商紛紛以網絡為節目傳播載體，開展電視臺的互聯網視聽節目服務，通過新載體、新渠道、新手段向社會傳達政令、宣傳黨和國家的方針政策，對所在城市的重大政治、經濟、文化等活動或事件進行報道宣傳，引導社會輿論。隨著三網融合以及IPTV、網絡視頻、手機電視、移動多媒體等新媒體業務的不斷發展，媒體內容的需求量越來越大。作為未來公眾獲取信息的主要渠道，高效快捷的音像資料信息儲存和管理方式迫在眉睫。順應時代的要求，拆條技術在眾多的媒體編輯系統中應運而生。隨著各大電視臺紛紛建立起節目直播網絡平臺，拆條技術將被更大程度的廣泛應用。這項技術將逐漸取代過去復雜的視音頻剪輯、編輯、審核、上傳、播放、點擊流程，將消息的實時性、快速性、簡潔性、可供點擊和閱讀等多種特性最大程度的發揮出來。拆條是一項時效性強、準確率高的工作，拆條合成后的節目與各個電視臺接收成品節目的速度幾乎是同步進行的，拆分后的節目需及時送達各個電視分臺和內容提供商。拆條技術不需要工作人員對內容進行詳細的構思，也不需要制作復雜的特技、動畫，最常用的功能就是簡單的剪切和拼接功能，去除原始節目中的廣告等包裝信息，將較長的節目剪輯成一個個小的連續片段以便于發布和點擊閱讀。通常情況下，拆條系統既要能支持文件素材的拆條，也要能支持邊采集邊拆分的特性，把收錄下來的素材及節目及時進行拆分，合成新的節目。生成的節目存儲在媒體資產管理系統中，滿足應用系統的需求，同時實現與其它系統的數據交換。
在眾多媒體內容中，新聞消息類的資訊服務占據了很大的業務量，新聞消息資訊幾乎是每一個媒體運營商的首選內容。目前存在最多的新聞節目是電視臺將新聞條目進行整理后配上主持人的演播室畫面形成的節目內容。為了便于在互聯網上收看，通常都需要將新聞節目分解為一個個的新聞片段。為提高拆條效率，鏡頭檢測模塊為拆條工作提供輔助定位功能，即鏡頭檢測模塊自動標識出每一個片段的入出點，工作人員根據已有的出入點進行新聞節目的快速拆條。這樣的工作方式大大提高了拆條的效率，避免了人工檢索鏡頭的繁瑣工作。但現有的鏡頭檢測方法存在很多弊端，無法完全滿足拆條系統的上述需求(I)現有的鏡頭檢測方法所支持的格式單一，僅支持RGB數據，不支持YUV信號，比如利用RGB顏色空間或者RGB轉HSV顏色空間提取特征值的檢測方式，在SDI信號邊采集邊拆條的工作模式中，SDI信號內記錄的是YUV信息，拆條系統必須為這種鏡頭檢測方法搭建一個YUV轉RGB的模塊，既耗時耗力又影響了拆條的效率。(2)現有的鏡頭檢測方法效率較低，比如利用邊緣特征信息進行檢測的檢測方法，其計算量大，檢測速度慢，檢測效率甚至還達不到解碼速度，這將使得拆條工作人員不得不將大量寶貴的時間耗費在等待檢測結果上，同時拆條是一項時效性極強的工作，檢測結果的嚴重滯后將影響拆條的實效性。(3)檢測準確度不高，特別是對資訊服務類的重頭業務新聞視頻，新聞類素材中存在頻繁閃光，且時常有標題字幕等飛入飛出，多數鏡頭檢測方法對此特別敏感，容易產生誤報，降低了拆條的準確率，同時無形中增大了工作人員的工作量。
發明內容
本發明的目的在于克服現有技術的不足，提供一種用于高速準確拆條的鏡頭檢測方法，對特征值進行帶有自適應閾值和具有容忍判定的綜合分析方法進行對鏡檢測，為拆條提供準確高效的定位，提高鏡頭檢測的準確性，并提高鏡頭檢測和拆條的效率；支持常見的多種YUV和RGB格式；減弱新聞類素材的頻繁閃光和標題字幕飛入飛出對檢測結果的影響。本發明的目的是通過以下技術方案來實現的一種用于高速準確拆條的鏡頭檢測方法，它包括以下步驟S1:數據解析對源信號進行數據解析，它包括以下兩方面(I)對于非SDI待采集源信號，數據解析包括解碼或信號分離，數據解析后獲取YUV或RGB圖像信息；(2)對于SDI待采集源信號，從SDI信號中提取YUV數據；S2 :鏡頭檢測對輸入的YUV或RGB圖像序列進行鏡頭檢測分析，獲取鏡頭檢測結果;S3 :輔助定位利用鏡頭檢測結果對待拆條文件進行定位，即利用鏡頭檢測結果自動標識出每一個片段 的入出點，工作人員根據已有的出入點進行簡單調整即完成待拆分素材的快速定位；S4 :節目拆分對完成定位的素材進行拆分，拆分是指對完成定位的素材進行物理剪切、拼接拆分，形成一個獨立完整的拆條后的節目文件，拆條后的節目文件被存儲在媒體資產管理系統中，以待應用系統使用。當輸入的源信號不是無需采集的物理文件，而是待采集的源信號時，它還包括一個對源信號進行文件采集步驟；當輸入的源信號即為無需采集的物理文件，則可跳過此步驟。進一步地,步驟S2包括以下子步驟S201 :計算小尺寸灰度圖將輸入的原始尺寸的RGB或YUV圖像轉換為小尺寸的灰度圖像；S202 :計算梯度圖計算小尺寸灰度圖的梯度圖；S203 :分別統計灰度圖像和梯度圖的直方圖得到灰度直方圖和梯度直方圖；S204 :分別計算灰度直方圖的灰度幀差和梯度直方圖的梯度幀差；S205 :幀類型初次分析利用灰度幀差，綜合自適應閾值和幀類型判定容忍法，進行幀類型的初次分析，得到切變幀和漸變幀的初步檢測結果；利用灰度幀差進行幀類型的初次分析，得到切變幀和漸變幀的初步檢測結果，初次幀類型判斷需事先根據經驗設置顯著切變閾值、切變閾值、漸變閾值和基本閾值顯著切變閾值用于檢測變化顯著的切變幀；切變閾值用于檢測變化較顯著的切變幀和漸變較劇烈的漸變幀；漸變閾值用于檢測漸變幀；基本閾值用于保證只有幀差較大的幀才能被檢出；S206 :閃光修正利用梯度幀差，綜合自適應閾值和閃光判定容忍法，對步驟S205得到的初步檢測結果進行修正，消除閃光幀對檢測結果的影響，得到最終的切變檢測結果;閃光幀判斷需事先設置閃光閾值和梯度幀差基本閾值閃光閾值用于判斷閃光幀；梯度差基本閾值用于保證只有梯度幀差較小的幀才可能被檢測為閃光；S207 :確定漸變幀連接相鄰的漸變幀和切變幀，組合成連續的漸變，得到最終的漸變檢測結果；S208 :將所有檢測結果生成報告。進一步地,步驟S205包括以下子步驟S2051 :判斷是否為普通幀當前灰度幀差小于基本閾值，則認為是普通幀并結束幀類型初次分析，跳轉至步驟S206 ；S2052 :判斷當前幀是否為顯著切變幀當前灰度幀差大于切變閾值和前后10幀灰度幀差的平均值的乘積 ，則認為是顯著切變幀并結束幀類型初次分析，跳轉至步驟S206 ；S2053 :判斷當前幀是否為切變幀采用帶容忍的檢測方式判斷當前幀是否為切變幀，下面四個條件中只需要滿足其中三個即可判斷為切變幀條件1:當前灰度幀差大于切變閾值和前5幀灰度幀差的平均值的乘積；條件2 :當前灰度幀差大于切變閾值和后5幀灰度幀差的平均值的乘積；條件3 :當前灰度幀差大于切變閾值和前2幀灰度幀差的平均值的乘積；條件4 :當前灰度幀差大于切變閾值和后2幀灰度幀差的平均值的乘積；如果判斷為切變幀，則結束幀類型初次分析，跳轉至步驟S206 ；S2054 :判斷當前幀是否為漸變幀當前灰度幀差大于漸變閾值和前后10幀灰度幀差的平均值的乘積，則認為是漸變幀；否則，設置此幀類型為普通幀。進一步地,步驟S206包括以下子步驟S2061 :判斷是否為普通幀如果當前幀類型為普通幀，則不改變幀類型并結束閃光修正，跳轉至步驟S207 ；S2062 :判斷是否為明顯的切變幀當前幀梯度幀差大于梯度差基本閾值，則認為是明顯的切變幀，保持此幀類型不變并結束閃光修正，跳轉至步驟S207 ；S2063 :搜索潛在的不受切變影響的以當前幀為中心的閃光窗口 ；S2064 :判斷是否為閃光幀采用帶容忍的閃光檢測方式，判斷潛在閃光窗口內的幀是否受閃光影響；采用帶容忍的閃光檢測方式，即下面三個條件如果滿足其中兩條，可判斷潛在閃光窗口內的幀都為受閃光影響幀，將這些幀修正為普通幀，否則，不改變此幀類型。具體三個條件為條件I):當前梯度幀差小于閃光幀判斷值；條件2):第i — I幀和第i + I的梯度幀差小于閃光幀判斷值；條件3):第i — 2幀和第i + 2的梯度幀差小于閃光幀判斷值。
本發明的有益效果是I)支持常見的各種 YUV 和 RGB 格式，如 RGB、BGR、RGBA, BGRA, ARGB, ABGR、YUYV,UYVY, YUV420、YUV422P、YUV444P等，避免了在使用傳統鏡頭檢測時不得不進行的耗時耗力的視頻重新編碼和格式轉換等步驟，從而大大提高了整體使用效率；2)在進行鏡頭檢測時，小尺寸圖像的使用大大提高了本發明的檢測效率，為拆條工作的時效性提供了基礎保障；3)提出了灰度直方圖差和梯度直方圖差綜合使用的辦法，提高了檢測準確性；4)梯度直方圖、自適應閾值和容忍判定法的使用進一步提高了檢測的準確度，減弱了新聞類素材的頻繁閃光對檢測結果的影響，降低了檢測方法對標題字幕飛入飛出的敏感度；5)充分考慮用戶使用習慣和工作需求，檢測結果可根據工作人員的需要，選擇及時輸出檢測報告或者在全部檢測完畢后輸出，既增加了檢測結果的及時性，又考慮了使用者實際需求和習慣。6)支持高標清素材的快速拆條，即使1920X 1080P高清素材的檢測速度也能遠超
其解碼速度。
圖1為本發明整體流程圖；圖2為鏡頭檢測步驟的流程圖；圖3為幀類型初次分析步驟的流程圖；圖4為閃光修正步驟的流程圖。
具體實施例方式下面結合附圖進一步詳細描述本發明的技術方案，但本發明的保護范圍不局限于以下所述。如圖1所示，一種用于高速準確拆條的鏡頭檢測方法，它包括以下步驟S1:數據解析對源信號進行數據解析，它包括以下兩方面(I)對于非SDI待采集源信號，數據解析包括解碼或信號分離，數據解析后獲取YUV或RGB圖像信息；(2)對于SDI待采集源信號，從SDI信號中提取YUV數據即可，可避免效率較低的解碼流程；S2 :鏡頭檢測對輸入的YUV或RGB圖像序列進行鏡頭檢測分析，獲取鏡頭檢測結果，為素材內容定位做好準備；檢測結果可以根據拆條工作需要采取及時輸出的方式或者檢測完畢后統一輸出的方式；S3 :輔助定位利用鏡頭檢測結果對待拆條文件進行定位，即利用鏡頭檢測結果自動標識出每一個片段的入出點，工作人員根據已有的出入點進行簡單調整即完成待拆分素材的快速定位；S4 :節目拆分對完成定位的素材進行拆分，拆分是指對完成定位的素材進行物理剪切、拼接拆分，形成一個獨立完整的拆條后的節目文件；系統對原始素材進行拆分，并根據工作人員設定的編碼格式、文件格式、存儲路徑等信息進行必要的轉碼和存儲等基本工作；拆條后的節目文件被存儲在媒體資產管理系統中，以待應用系統使用。當輸入的源信號不是無需采集的物理文件，而是待采集的源信號時，它還包括一個對源信號進行文件采集步驟；當輸入的源信號即為無需采集的物理文件，則可跳過此步驟。文件采集得到的文件為拆條的原始素材。如圖2所示，步驟S2，鏡頭檢測包括以下步驟S201 :計算小尺寸灰度圖將輸入的原始尺寸的RGB或YUV圖像轉換為小尺寸的灰度圖像；在本發明中，所用到的特征值對像素點值的精度要求不高，所以，小尺寸圖像可通過對原始尺寸圖像進行簡單高效的抽點獲得；綜合考慮檢測結果和檢測速度，小圖的尺寸在128 X 128左右為宜，小尺寸灰度圖像像素點的灰度值(記為Gray )采用精度與效率折中的轉換公式當圖像為標清RGB 圖時Gray = 77XR+150XG+29XB ；當圖像為高清RGB 圖時Gray = 54XR+183XG+19XB ；當圖像為YUV圖時Gray = Y。S202 :計算梯度圖計算小尺寸灰度圖的梯度圖；梯度圖利用Sobel算子計算各像素點的梯度值，3X3區域的圖像點按從上到下從
左到由的方式記為Z1, ......,Z9,如中心點Z5表示為f (x,y),那么Z1表示f (x-l,y-l),以此 類推點Z5的梯度計算方式如下f = I (z7+2z8+z9) - (ZpZfZ3) | +1 (z3+2z6+z9) - (z!+2z4+z7) I ,其中，梯度值 f 的最大值為255，當梯度值大于255時，設置為255。S203 :分別統計灰度圖像和梯度圖的直方圖得到灰度直方圖和梯度直方圖；S204 :分別計算灰度直方圖的灰度幀差和梯度直方圖的梯度幀差；S205 :幀類型初次分析利用灰度幀差，綜合自適應閾值和幀類型判定容忍法，進行幀類型的初次分析，得到切變幀和漸變幀的初步檢測結果；利用灰度幀差進行幀類型的初次分析，得到切變幀和漸變幀的初步檢測結果，初次幀類型判斷需事先根據經驗設置顯著切變閾值、切變閾值、漸變閾值和基本閾值顯著切變閾值用于檢測變化顯著的切變幀；切變閾值用于檢測變化較顯著的切變幀和漸變較劇烈的漸變幀；漸變閾值用于檢測漸變幀；基本閾值用于保證只有幀差較大的幀才能被檢出，以防止誤檢。S206 :閃光修正利用梯度幀差，綜合自適應閾值和閃光判定容忍法，對步驟S205得到的初步檢測結果進行修正，消除閃光幀對檢測結果的影響，得到最終的切變檢測結果;閃光幀判斷需事先設置閃光閾值和梯度幀差基本閾值閃光閾值用于判斷閃光幀；梯度差基本閾值用于保證只有梯度幀差較小的幀才可能被檢測為閃光，以防止誤檢。S207 :確定漸變幀連接相鄰的漸變幀和切變幀，組合成連續的漸變，得到最終的漸變檢測結果；S208:將所有檢測結果生成報告，并以及時輸出方式或者全部檢測完成后再輸出的方式反饋檢測結果。
如圖3所示，步驟S205，幀類型初次分析步驟包括以下子步驟S2051 :判斷是否為普通幀當前灰度幀差小于基本閾值，則認為是普通幀并結束幀類型初次分析，跳轉至步驟S206 ；S2052 :判斷當前幀是否為顯著切變幀當前灰度幀差大于切變閾值和前后10幀灰度幀差的平均值的乘積，則認為是顯著切變幀(顯著切變幀也被標記為切變幀)并結束幀類型初次分析，跳轉至步驟S206 ；S2053 :判斷當前幀是否為切變幀采用帶容忍的檢測方式判斷當前幀是否為切變幀，下面四個條件中只需要滿足其中三個即可判斷為切變幀條件1:當前灰度幀差大于切變閾值和前5幀灰度幀差的平均值的乘積；條件2 :當前灰度幀差大于切變閾值和后5幀灰度幀差的平均值的乘積；條件3 :當前灰度幀差大于切變閾值和前2幀灰度幀差的平均值的乘積；
條件4 :當前灰度幀差大于切變閾值和后2幀灰度幀差的平均值的乘積；如果判斷為切變幀，則結束幀類型初次分析，跳轉至步驟S206 ；S2054 :判斷當前幀是否為漸變幀當前灰度幀差大于漸變閾值和前后10幀灰度幀差的平均值的乘積，則認為是漸變幀；否則，設置此幀類型為普通幀；當前灰度幀差變化與前后幀相比較為顯著，則認為是漸變幀，否則，幀類型設置為普通幀。經過幀類型初次分析的以上步驟，圖像幀被劃分為三類普通幀、漸變幀和切變幀。如圖4所示，步驟S206，閃光修正步驟包括以下子步驟S2061 :判斷是否為普通幀如果當前幀類型為普通幀，則不改變幀類型并結束閃光修正，跳轉至步驟S207 ；S2062 :判斷是否為明顯的切變幀當前幀梯度幀差大于梯度差基本閾值，則認為是明顯的切變幀，保持此幀類型不變并結束閃光修正，跳轉至步驟S207 ；S2063 :搜索潛在的不受切變影響的以當前幀為中心的閃光窗口 ；記j=l，2，3，如果第i 一 j幀的梯度幀差大于基本閾值，則窗口左邊界設置為第
i一 j + I巾貞；如果第i + j巾貞的梯度巾貞差大于基本閾值，貝1J窗口右邊界收縮到第i + j —I幀；計算此窗口內的梯度幀差平均值與閃光閾值的乘積，記為閃光幀判斷值；S2064 :判斷是否為閃光幀采用帶容忍的閃光檢測方式，判斷潛在閃光窗口內的幀是否受閃光影響；采用帶容忍的閃光檢測方式，即下面三個條件如果滿足其中兩條，可判斷潛在閃光窗口內的幀都為受閃光影響幀，將這些幀修正為普通幀，否則，不改變此幀類型。具體三個條件為條件I):當前梯度幀差小于閃光幀判斷值；條件2):第i 一 I幀和第i + I的梯度幀差小于閃光幀判斷值；條件3):第i 一 2幀和第i + 2的梯度幀差小于閃光幀判斷值。下面的實驗結果表明，本發明取得了比傳統方法更好的檢測效果，同時本發明的檢測速度非常快，符合實際應用需求。測試準確性的實驗素材是各電視臺錄制的2012年各類常用于拆條的節目素材，如新聞類、足球類、訪談類、科普類等素材。檢測結果的評估方法采用常見的查全率和準確率，其定義如下查全率=正確檢出的幀數/ (正確檢出的幀數+漏檢幀數)準確率=正確檢出的幀數/ (正確檢出的幀數+誤檢幀數)為驗證本發明所述的鏡頭檢測方法的準確性，本發明和傳統的僅使用直方圖的方法進行對比測試，測試結果如下
權利要求
1.一種用于高速準確拆條的鏡頭檢測方法，其特征在于它包括以下步驟S1:數據解析對源信號進行數據解析，它包括以下兩方面(1)對于非SDI待采集源信號，數據解析包括解碼或信號分離，數據解析后獲取YUV或 RGB圖像信息；(2)對于SDI待采集源信號，從SDI信號中提取YUV數據；s2:鏡頭檢測對輸入的YUV或RGB圖像序列進行鏡頭檢測分析，獲取鏡頭檢測結果；s3:輔助定位利用鏡頭檢測結果對待拆條文件進行定位；s4:節目拆分對完成定位的素材進行拆分。
2.根據權利要求1所述的一種用于高速準確拆條的鏡頭檢測方法，其特征在于當輸入的源信號不是無需采集的物理文件，而是待采集的源信號時，它還包括一個對源信號進行文件采集步驟。
3.根據權利要求1所述的一種用于高速準確拆條的鏡頭檢測方法，其特征在于所述的步驟S2包括以下子步驟s201:計算小尺寸灰度圖將輸入的原始尺寸的RGB或YUV圖像轉換為小尺寸的灰度圖像；s202:計算梯度圖計算小尺寸灰度圖的梯度圖；s203:分別統計灰度圖像和梯度圖的直方圖得到灰度直方圖和梯度直方圖；s204:分別計算灰度直方圖的灰度幀差和梯度直方圖的梯度幀差；s205:幀類型初次分析利用灰度幀差，綜合自適應閾值和幀類型判定容忍法，進行幀類型的初次分析，得到切變幀和漸變幀的初步檢測結果；利用灰度幀差進行幀類型的初次分析，得到切變幀和漸變幀的初步檢測結果，初次幀類型判斷需事先根據經驗設置顯著切變閾值、切變閾值、漸變閾值和基本閾值顯著切變閾值用于檢測變化顯著的切變幀；切變閾值用于檢測變化較顯著的切變幀和漸變較劇烈的漸變幀；漸變閾值用于檢測漸變幀；基本閾值用于保證只有幀差較大的幀才能被檢出；s206:閃光修正利用梯度幀差，綜合自適應閾值和閃光判定容忍法，對步驟S205得到的初步檢測結果進行修正，消除閃光幀對檢測結果的影響，得到最終的切變檢測結果；閃光幀判斷需事先設置閃光閾值和梯度幀差基本閾值閃光閾值用于判斷閃光幀；梯度差基本閾值用于保證只有梯度幀差較小的幀才可能被檢測為閃光；s207:確定漸變幀連接相鄰的漸變幀和切變幀，組合成連續的漸變，得到最終的漸變檢測結果；s208:將所有檢測結果生成報告。
4.根據權利要求3所述的一種用于高速準確拆條的鏡頭檢測方法，其特征在于步驟 S205包括以下子步驟s2051:判斷是否為普通幀當前灰度幀差小于基本閾值，則認為是普通幀并結束幀類型初次分析，跳轉至步驟S206 ；s2052:判斷當前幀是否為顯著切變幀當前灰度幀差大于切變閾值和前后10幀灰度幀差的平均值的乘積，則認為是顯著切變幀并結束幀類型初次分析，跳轉至步驟S206 ；s2053:判斷當前幀是否為切變幀采用帶容忍的檢測方式判斷當前幀是否為切變幀， 如果判斷為切變幀，則結束幀類型初次分析，跳轉至步驟S206 ；S2054:判斷當前幀是否為漸變幀當前灰度幀差大于漸變閾值和前后10幀灰度幀差的平均值的乘積，則認為是漸變幀；否則，設置此幀類型為普通幀。
5.根據權利要求3所述的一種用于高速準確拆條的鏡頭檢測方法，其特征在于步驟S206包括以下子步驟52061:判斷是否為普通幀如果當前幀類型為普通幀，則不改變幀類型并結束閃光修正，跳轉至步驟S207 ；52062:判斷是否為明顯的切變幀當前幀梯度幀差大于梯度差基本閾值，則認為是明顯的切變幀，保持此幀類型不變并結束閃光修正，跳轉至步驟S207 ；52063:搜索潛在的不受切變影響的以當前幀為中心的閃光窗口 ；52064:判斷是否為閃光幀采用帶容忍的閃光檢測方式，判斷潛在閃光窗口內的幀是否受閃光影響，閃光窗口內的幀都為受閃光影響幀則將這些 幀修正為普通幀，否則，不改變此幀類型。
全文摘要
本發明公開了一種用于高速準確拆條的鏡頭檢測方法，它包括數據解析對于SDI源，從SDI信號中提取YUV數據，對于非SDI源，數據解析包括解碼或信號分離以獲取YUV或RGB圖像信息；鏡頭檢測對輸入的YUV或RGB圖像序列進行鏡頭檢測分析，獲取檢測結果；輔助定位利用鏡頭檢測結果對待拆條文件進行定位；節目拆分對完成定位的素材進行拆分。本發明支持常見的各種YUV和RGB格式，支持邊采集邊拆分，無需進行重新編碼或格式轉換，提高了效率；小尺寸圖像的使用提高了檢測效率，保障了拆條工作時效性；綜合使用灰度直方圖差和梯度直方圖差，提高了檢測準確性；梯度直方圖、自適應閾值和容忍判定法提高了檢測準確度，減弱了新聞類素材的頻繁閃光對檢測結果的影響。
文檔編號H04N17/00GK103051923SQ201310044149
公開日2013年4月17日 申請日期2013年2月4日 優先權日2013年2月4日
發明者羅影, 鄧云 申請人:成都索貝數碼科技股份有限公司