專利名稱：影像監視系統以及其影像信息加注與解注模塊和方法
技術領域：
本發明是關于一種影像監視系統(Video Surveillance System)以及 其影像信息加注(Annotate)與解注(De-annotate)技術。
背景技術：
早期的影像監視系統以模擬監視器搭配卡帶式影像錄放機(V i d e o Cassette Recorder, VCR)，在事件發生之后，再以人工方式調閱錄像帶。 現在的監視系統大幅度的數字化，監視器采用網絡攝影機(IP Camem)， 監視影像直接轉為數字信息，并通過網絡往系統后端傳送。系統后端則是 以數字影像錄放機(Digital Vedio Recorder, DVR)取代磁帶式的VCR，可
加快資料的搜尋，資料的保存也更方便。由于影像擷取與影像保存的數字 化，安全監控的應用大幅提升，但在事件的處里上，僅能通過時間索引， 進行事后的人工判讀。若能在影像擷取的過程中，將畫面的內容進行影像 辯識與分析，并與外部感應器的信息加以整合，加注(Annotate)在影像內
容中，如此在后端的處里搜尋時，不但可針對時間搜尋，也可針對畫面的 內容、人物或事件進行搜尋，更進一步的，可由系統直接判斷事件的發生， 發出警訊、自動錄像與后續處理。
美國專利號6,928,165揭露的通訊系統中，利用多任務器 (Multiplexer)， 通過如分日寸(Time Division)或是分頻(Frequency Division)等方式，以同一個傳輸接口分別傳輸影像與外加信息，并利用 在影像屮加入數字水印(Watermark)的方式來描述影像與外加信息之間的 關連性。然而，影像與外加信息并沒有相互結合成與原影像格式相同的資 料來傳輸。加注信息與影像間也需要有一個同步的機制。
美國專利號6,952,236揭露的嵌入在影像流的文字轉換(Conversion 5Of Text Embedded In A Video Stream)技術中，將信息隱藏在影像掃瞄 線(Scan Line)換行的時間空檔。資料被擷取出來后，利用一個轉換器將 文字資料格式轉換成符合歐洲或美國的系統。此類資料隱藏的架構，適用 在掃瞄顯示器的系統。資料在經過壓縮后，被隱藏的信息就不存在，所以 無法使用于網絡攝影機(IP Cam)等現行的影像監視系統架構中。
美國專利號7， 050， 603提出一種將影像中的對象信息，以水印的方式 嵌入影像中的系統架構。嵌有水印的影像信息經過傳輸后，再將嵌有水印 的影像信息解碼，獲得單純的影像信息與影像對象信息。此文獻未提及影 像壓縮與解壓縮的過程，也未提及如何保證所獲得的對象信息的完整性。
前述或現有的安全監控系統中，有的系統前端僅有影像擷取的功能， 當額外的信息需要往系統后端傳送時，通常把影像及數據資料分開傳送。 如此，需要另外添加數據傳輸接口，資料與畫面也需要同步，系統建置的 復雜度也隨之大幅增加。有的系統直接以文字的方式，將信息加注在畫面 上，例如系統時間、地點等信息。此加注信息是固定形式的信息，并且加 注信息的影像其影像格式已被更改或是無法再還原成原影像。
發明內容
本揭露的實施范例中，可提供一種影像信息加注與解注技術，以及嵌 入信息于影像流的一種影像監視系統。此影像信息加注技術將額外信息， 例如影像特征信息與外部感測信號的加注信息，加入原始影像中，并轉換 成為另一張與原始影像相同格式的影像。此影像信息解注技術可針對己加 注的原始影像信息，與現有影像處理技術相結合，進行快速還原，并且可 確保所獲得的加注信息的完整性。通過此影像信息加注與解注技術，此影 像監視系統中，加注在影像中的信息不會影響后續的作業，如影像壓縮、 傳輸、解壓縮、儲存等。
在一實施范例中，所揭露的是關于一種影像監視系統，包含 一影像 特征擷取模塊(Image Feature Extraction Module)、 一影像信息加注模 塊(Image ■ Information Annotation Module)、 一影像壓縮模塊(Image Compression Module)、 ——影像角軍壓縮*莫塊(Image De—compression Module)、以及一影像信息角軍注豐莫塊(Image Information De—annotationModule)。影像特征擷取模塊拍攝至少一影像來源以獲得一原始影像，并 擷取此原始影像的特征信息。影像信息加注模塊將至少包含此特征信息的 加注信息嵌入于原始影像，并且將嵌入后的影像轉成與原始影像相同格式 的內含加注信息的影像。此內含加注信息的影像輸入至壓縮模塊進行壓 縮。通過解壓縮模塊對壓縮后的影像進行解壓縮。影像信息解注模塊從解 壓縮后的內嵌串流中抽出內嵌信息，并且經錯誤回復解碼與影像處理后， 將一目標影像與加注信息分離。
在另一實施范例中，所揭露者是關于一種影像信息加注模塊，包含
一錯誤校正處理單元、 一影像處理單元、以及一加注單元。錯誤校正處理 單元通過一錯誤回復編碼方法與一門檻值運算，將加注信息編碼成為嵌入 信息。影像處理單元將原始影像經影像處理，算出原始影像可嵌入信息的
容量。加注單元將L份的編碼后的嵌入信息嵌入于原始影像，L為一可嵌 入信息倍數，并且將嵌入后的影像轉成與原始影像相同格式的另一影像。 在另一實施范例中，所揭露者是關于一種影像信息解注模塊，包含
一解注單元以及一影像處理單元。解注單元從一含有內嵌信息的內嵌串流
(Embedded Stream)中抽出內嵌信息，并通過錯誤回復處理而獲得解注信 息，此解注信息是完整還原的加注信息。通過影像處理單元，可分離出影 像與解注信息。
在另一實施范例中，所揭露者是關于一種影像信息加注方法，包含 將至少包含一原始影像的特征信息的加注信息嵌入于此原始影像；以及將 嵌入后的影像轉成與此原始影像相同格式的另一影像。
在另一實施范例中，所揭露者是關于一種影像信息解注方法，包含 從一含有內嵌信息的內嵌串流中抽出此內嵌信息；從抽出的內嵌信息獲得 解注信息，此解注信息是完整還原的加注信息；以及通過影像處理，解出 一目標影像的影像信息與環境參數信息。
配合下列附圖、實施例的詳細說明，將上述及本發明的其它目的與優 點詳述于后，其中
圖1是-一種影像監視系統的一個范例示意圖，并且與本揭露中某些實
7施范例一致。
圖2是影像信息加注模塊的一個范例示意圖，并且與本揭露中某些實 施范例一致。
圖3是一個范例流程圖，說明影像信息加注方法的運作，并且與本揭 露中某些實施范例一致。
圖4是影像信息解注模塊的一個范例示意圖，并且與本揭露中某些實 施范例一致。
圖5是一個范例流程圖，說明影像信息解注方法的運作，并且與本揭 露中某些實施范例一致。
圖6以一工作范例來說明可提供影像信息加注與解注技術，以及嵌入 信息于影像流的一種影像監視系統，并且與本揭露中某些實施范例一致。
具體實施例方式
依據本發明所揭露的實施范例中，影像信息加注技術是將額外信息加 入原始影像中，并轉換成為另一張與原始影像相同格式的影像，以利影像 監視系統后續應用。額外的信息例如是從原始畫面獲得的對象特征、動態、 關聯等信息，以及從外部的傳感器獲得的環境參數(Environmental ParameteiO等信息。由于沒有改變影像本身的格式，所以不會影響后續的 影像壓縮、傳輸、解壓縮、儲存等程序。影像信息解注技術利用系統前端 技術配對的解注與解碼技術，將加注信息由影像中解出，并且通過錯誤回 復編碼技術與門檻技術(Threshold Scheme)進行快速還原，并且可保證解
注后所獲得的加注信息的完整性。
圖1是一種影像監視系統的一個范例示意圖，并且與本揭露中某些實 施范例一致。參考圖1，影像監視系統100包含一影像擷取模塊110、 一 影像信息加注模塊120、 一影像壓縮模塊130、 一影像解壓縮模塊140、 一 影像信息解注模塊150、以及一影像顯示模塊160。通過影像信息加注模 塊120，影像監視系統100可嵌入信息于影像流。通過影像信息解注模塊 150，影像監視系統100可將原內嵌信息抽出。
影像特征擷取模塊110拍攝至少一影像來源(Video Source)以獲得--原始影像110a，并擷取原始影像110a的特征信息110b，例如移動物體的位置、或是人物入侵與否、或是入侵人物的特征參數等。此特征信息110b 的資料量遠小于原始影像的資料量。擷取的方式例如是影像處理或辨識等
方式。影像信息加注模塊120將至少包含特征信息110b的加注信息120a， 例如環境參數信息111與特征信息110b，內嵌于原始影像，并且將內嵌的 影像轉成與原始影像110a相同格式的另一影像，即內含加注信息的影像 120b。由于沒有改變影像格式，內含加注信息的影像120b可以輸入至壓 縮編碼模塊130進行壓縮，也可以串流傳輸至遠程或是儲存設備等。
欲獲得原始信息時，可以先通過解壓縮編碼模塊140對壓縮后的影像 130b進行解壓縮。影像信息解注模塊150從解壓縮后的內嵌串流140b中 抽出原內嵌信息，并且將抽出的原內嵌信息經錯誤回復解碼與影像處理 后，將一目標影像150a與得到的解注信息150b分離。
對于影像監視系統100而言，環境參數信息111是指外部感測信號的 信息，可通過如外部的數組感應器、溫濕度計、 一氧化碳、二氧化碳感應 器、流量計、光感應器、無線射頻識別(Radio Frequency Identification, RFID)讀取器、定時器等，來獲得此外部感測信號的信息，例如是定時器 測得的時間、溫濕度計測得的溫度和濕度、紅外線或煙霧偵測器或RFID 等測得的資料，此資料量遠小于原始影像。
環境參數信息111與特征信息110b可先結合再通過編碼技術編碼的， 成為編碼后的嵌入信息。編碼技術可以采用如錯誤回復(Error Recovery) 編碼技術，此類錯誤回復編碼技術不勝枚舉，例如漢明碼(Hamming Code)、 BCH碼、里德-所羅門碼(Reed-Solomon Code)、里德-米勒碼(Reed-Muller Code)、回旋碼(Convolutional Code) 、 Turbo碼、低密度同位檢査碼(Low Density Parity Check code ， LDPC code)、 重復-累積編碼 (Repeat-Accumulate Code, RA Code)、日寸空編碼(Space Time Code)、 因 素圖表(Factor Graphs)、柔性決定解碼(Soft-decision Decoding)、 Guruswami—Sudan 角軍石馬、夕卜在信息轉移圖(Extrinsic Information Transfer Chart, EXIT Chart)、以及迭代解碼(iterative decoding)等。
而編碼后的嵌入信息可以使用如非破壞性電子水印的技術、在屏顯示技術 (On Screen Display, OSD)、或覆蓋于特定影像區域的方式，內嵌于存在 影像緩沖區的影像，而成為內含加注信息的另 一影像。經由上述的編碼技術可得到嵌入信息的長度lil。由原始影像內容，
通過如視覺上非破壞性方法，可以估計出內嵌信息于該影像，并經過壓縮
后，仍可保證該信息的完整性時的信息容量lcl。首先，算出當時的網絡 狀態n，包括網絡的延遲、遺失率等，以及壓縮模塊的壓縮率R。并利用 門檻技術，算出可嵌入信息倍數L，其中L = f(|Cl， lil，n，R)。換句話說， 此倍數L與信息容量iCl、嵌入信息長度lil、網絡狀態n、以及壓縮率R 有關，并且將L份嵌入信息嵌入影像中，可在解碼后獲得完整還原的嵌入 信息。可通過下列的范例方式來保證此編碼后的資料量Lxlil，小于該容
量lcl。亦即，降低影像重要信息或感測資料的項目，此為應用技術規格 的一部份；或是將此資料分割并內嵌于多張連續影像中。
承上述，可窺知影像信息加注模塊120如圖2的范例示意圖所示，并 且與本揭露中某些實施范例一致。參考圖2，影像信息加注模塊120主要 可包含一錯誤校正處理單元221、 一影像處理單元222、以及一加注單元 223。參考圖2，錯誤校正處理單元221通過-一錯誤回復編碼方法與一門檻 值運算，將加注信息120a編碼成為嵌入信息221b。影像處理單元222將 影像特征擷取模塊110所獲得的原始影像110a，經影像處理算出原始影像 110a可嵌入信息的容量ICl 。加注單元223將L份嵌入信息嵌入于原始影 像110a，并且將嵌入后的影像轉成與原始影像110a相同格式的另一影像， 即內含加注信息的影像120b。影像信息的格式有多種選擇，例如可以是 YUV、 RGB、 YCbCr、 NTSC、 PAL等。
因此，依據本發明的影像信息加注方法的運作如圖3的范例流程所示， 并且與本揭露中某些實施范例一致。參考圖3，在步驟310中，將至少包
含一原始影像的特征信息的加注信息嵌入于此原始影像。此步驟中，此原 始影像的特征信息可與環境參數信息結合成為加注信息，并編碼成為嵌入 信息；再將L份的嵌入信息嵌入于此原始影像。在步驟320中，將嵌入后
的影像轉成與此原始影像相同格式的另一影像。
因為此內含加注信息的另一影像沒有改變影像格式，所以可以直接輸 入至壓縮編碼模塊進行壓縮，以及串流傳輸至遠程或儲存設備等。例如， 加注后的影像信息可以經影像壓縮成Motion JPEG或Mpeg-4等格式，通 過網絡或特定傳輸路徑傳送至系統后端。在實時的影像監視系統中，例如，實時播放、分析、警示等安全監視 系統中，欲獲得原始信息時，系統后端可對壓縮影像進行解壓縮，經影像
解碼，可將解壓縮后的影像格式還原成原始影像格式如YUV、 RGB、 YCbCr、 NTSC、 PAL等。由于經過壓縮與解壓縮的過程，此影像與壓縮前的影像信 息己不相同，系統可在此時輸入檢索參數以快速搜尋含有檢索參數的影像 信息，并通過與系統前端技術配對的解注技術，如電子水印等技術，抽出 原內嵌信息。通過與系統前端技術配對的錯誤回復解碼技術，可將加注的 影像特征參數與環境參數由影像中解出。
若非實時性系統，系統后端在獲得Motion JPEG或Mpeg-4等影像格 式信息流后，可先儲存在數據庫中，之后有檢索需求時，再通過解壓、解 注等技術，比對搜尋目標影像信息；或是系統后端在解壓縮后，再將如YUV、 RGB、 YCbCr、 NTSC、 PAL等影像格式的影像信息儲存在數據庫中，日后檢
索時，直接針對含有影像特征參數與環境參數的原始影像格式信息進行比 對檢索，以獲得目標影像信息。
由于經過前述的錯誤回復編碼技術與門檻技術的方式運算出備份資 料筆數，此精確的內嵌容量計算及錯誤回復可以保證解注后所獲得的影像 特征參數與環境參數的完整性，也可確認可獲得正確的檢索搜尋參數。
本發明與一般電子水印最大的不同在于， 一般水印主要用在版權的認 定上，因此水印的辨識率僅需達到70%,而根據本發明所內嵌的信息被 100%的還原。因此，本發明可通過錯誤回復處理，使系統后端擷取出的 解注信息與系統前端的加注信息相同。
承上述，可窺知影像信息解注模塊150主要可包含一解注單元451、 以及一影像處理單元452，如圖4所示，并且與本揭露中某些實施范例一 致。參考圖4，解注單元451從一含有內嵌信息的內嵌串流中抽出內嵌信 息，并通過錯誤回復處理而獲得解注信息451b。通過影像處理單元452， 分離出一目標影像與解注信息150b。此解注信息是完整還原的加注信息。 當應用在影像監視系統100時，含有內嵌信息的內嵌串流也就是解壓縮后 的內嵌串流140b;由于解注信息150b是完整還原的加注信息，因此，解 注信息150b就是原始影像110a的特征信息110b與環境參數信息111，而 解出的目標影像就是影像150a。
ii因此，依據本發明的影像信息解注方法的運作如圖5的范例流程所示， 并且與本揭露中某些實施范例一致。參考圖5，在步驟510中，從一含有
內嵌信息的內嵌串流中抽出此內嵌信息。在步驟520中，從抽出的內嵌信 息獲得解注信息，此解注信息是完整還原的加注信息。在步驟530中，通 過影像處理，解出一目標影像與此解注信息。
依據上述本發明，圖6以一工作范例來說明可提供影像信息加注與解 注技術，以及嵌入信息于影像流的一種影像監視系統，并且與本揭露中某 些實施范例一致。
參考圖6，影像擷取模塊，例如攝影機610，拍攝至少一影像來源而 獲得一原始影像110a，其信息格式可以是YUV、 RGB、 YCbCr、 NTSC、或PAL
等。通過前述的影像信息加注模塊120將加注信息(Ih 12，…，In)，例如影
像特征信息與外部感測信號，嵌入于目標影像610a中，此時的影像中含 有加注信息(Ii，12，…，L)，但資料格式仍與原始影像110a的信息格式相同。
含加注信息的影像通過前述的影像壓縮模塊130將此影像壓縮為 Motion JPEG或Mpeg-4等影像格式，再通過網絡進行數據傳輸。此影像監 視系統的后端在接受到此影像格式為Motion JPEG或Mpeg-4的影像后， 通過前述的影像解壓縮模塊140將影像還原成原始影像110a的格式，例 如YUV、 RGB、 YCbCr、 NTSC、，PAL等。
經壓縮與解壓縮過程后，此內含有加注信息的影像已有部分失真，通 過前述的影像信息解注模塊150，利用與系統前端技術配對的錯誤回復解 碼技術，將一目標影像150a與加注信息分離，可獲得解注信息(L'，
工2，，…，In，)，并保證可以完整地還原為加注信息(Il, 12,…，In)，亦即h =II， 5 工2二工2， 5 …5 工n二 I二
所以，根據本發明的影像監視系統，其影像可加注影像特征信息與外 部感測信號，并且加注信息可完整還原。由于影像本身的格式并未受到改 變，因此加注在影像中的信息并不影響后續壓縮及傳遞作業，可與現有影 像處理技術相結合，可兼容于現有的監視系統。系統后端可針對已加注的 原始影像信息，進行快速還原，進而提供關鍵事件的影像快速搜尋，提升 安全監控的效率。惟，以上所述的，僅為本揭露的實施范例而己，當不能依此限定本發 明實施的范圍。即凡是依本發明申請專利范圍所作的均等變化與修飾，皆 應仍屬本發明的權利要求范圍內。
權利要求
1、一種影像監視系統，其特征在于，該系統包含一影像擷取模塊，拍攝至少一影像來源以獲得一原始影像，并擷取該原始影像的特征信息；一影像信息加注模塊，將至少包含該特征信息的加注信息嵌入于該原始影像，并且將該嵌入后的影像轉成與該原始影像相同格式的另一影像；一影像壓縮模塊，對該另一影像輸入至進行壓縮；一影像解壓縮模塊，解壓縮該壓縮后的影像；以及一影像信息解注模塊，從該解壓縮后的影像信息抽出內嵌信息，并且通過一解碼技術與影像處理后，將一目標影像與該加注信息分離，而獲得解注信息。
2、 如權利要求1所述的影像監視系統，其特征在于，其中該加注信 息是指環境參數信息、該原始影像的特征信息，或是前述信息的結合。
3、 如權利要求2所述的影像監視系統，其特征在于，其中該環境參 數信息是指外部感測信號的信息。
4、 如權利要求1所述的影像監視系統，其特征在于，其中該影像信息加注模塊通過一編碼技術，將該加注信息編碼后，再嵌入于該原始影像。
5、 如權利要求4所述的影像監視系統，其特征在于，其中該編碼技 術是一種錯誤回復編碼技術。
6、 如權利要求1所述的影像監視系統，其特征在于，其中該解注信 息是完整還原的該加注信息。
7、 如權利要求1所述的影像監視系統，其特征在于，其中該影像信 息解注模塊是通過一種錯誤回復解碼技術產生解注信息。
8、 如權利要求1所述的影像監視系統，其特征在于，其中該特征信 息的資料量少于該原始影像的資料量。
9、 如權利要求1所述的影像監視系統，其特征在于，其中該影像信 息加注模塊還包括一錯誤校正處理單元，將該加注信息編碼成為嵌入信息； 一影像處理單元，將該原始影像通過影像處理而算出該原始影像可嵌入信息的容量；以及一加注單元，將L份該嵌入信息嵌入于該原始影像，L為一可嵌入信息倍數，并且將該嵌入后的影像轉成該另一影像。
10、 如權利要求9所述的影像監視系統，其特征在于，其中該可嵌入信息的容量是保證該嵌入信息的完整性時的信息容量。
11、 如權利要求9所述的影像監視系統，其特征在于，其中該可嵌入 信息倍數L與該可嵌入信息的容量、該嵌入信息的長度、以及一壓縮率有
12.—種影像信息加注模塊，其特征在于，包含一錯誤校正處理單元，將至少包含一原始影像的特征信息的加注信息編碼成為嵌入信息；一影像處理單元，算出該原始影像可嵌入信息的容量；以及 一-加注單元，將L份該嵌入信息嵌入于該原始影像，L為---,可嵌入信息倍數，并且將該嵌入后的影像轉成與該原始影像相同格式的另一影像。
13、 如權利要求12所述的影像信息加注模塊，其特征在于，其中該 可嵌入信息倍數L與該可嵌入信息的容量、該嵌入信息的長度、以及一壓 縮率有關。
14、 如權利要求12所述的影像信息加注模塊，其特征在于，其中該L 份嵌入信息的資料量小于該可嵌入信息的容量。
15、 一種影像信息解注模塊，其特征在于，包含一解注單元，從含有內嵌信息的一串流中抽出該內嵌信息，并通過錯 誤回復處理而獲得解注信息，該解注信息是完整還原的加注信息；以及 一影像處理單元，通過影像處理，將該解注信息與一目標影像分離。
16、 一種影像信息加注方法，其特征在于，該方法包含 將至少包含一原始影像的特征信息的加注信息嵌入于一原始影像；以及將該嵌入后的影像轉成與該原始影像相同格式的另一影像。
17、 如權利要求16所述的影像信息加注方法，其特征在于，其中該原始影像的特征信息與環境參數信息結合成為該加注信息，并編碼成為嵌 入信息。
18、 如權利要求16所述的影像信息加注方法，其特征在于，該方法是通過一錯誤回復編碼方法與一門檻值運算，將該加注信息編碼成為嵌入 《會自
19、 如權利要求17所述的影像信息加注方法，其特征在于，其中L 份該嵌入信息被嵌入于該原始影像，L為一可嵌入信息倍數并且與一可嵌 入信息的容量、該嵌入信息的長度、以及一壓縮率有關。
20、 一種影像信息解注方法，其特征在于，該方法包含 從一含有內嵌信息的串流中抽出該內嵌信息;.從該抽出的內嵌信息獲得解注信息，該解注信息是完整還原的加注信 息；以及通過影像處理，解出一目標影像與該解注信息。
21、 如權利要求20所述的影像信息解注方法，其特征在于，其中該解注信息至少包括該目標影像的特征信息。
22、 如權利要求21所述的影像信息解注方法，其特征在于，其中該解注信息再包括環境參數信息。
23、 如權利要求22所述的影像信息解注方法，其特征在于，其中該環境參數信息是指外部感測信號。
全文摘要
一種影像監視系統，拍攝至少一影像來源以獲得其原始影像，并擷取原始影像的特征信息；將至少包含此特征信息的加注信息嵌入于原始影像后，轉成與原始影像相同格式的另一影像。此另一影像經壓縮與解壓縮后，系統再從解壓縮后的內嵌串流中抽出內嵌信息，并且經錯誤回復解碼與影像處理后，將影像與加注信息分離，以獲得完整還原的加注信息。由于影像格式未變，此另一影像在系統后端的作業，如影像壓縮、解壓縮等，不會受到影響。
文檔編號H04N7/18GK101621669SQ200810128459
公開日2010年1月6日 申請日期2008年7月1日 優先權日2008年7月1日
發明者唐震寰, 張博光, 張立光, 胡竹生, 陳麗惠, 高志忠, 黃育綸 申請人:財團法人工業技術研究院