專利名稱：在媒體信號中嵌入輔助信息的方法和裝置的制作方法
技術領域：
本發明涉及一種在媒體信號中嵌入輔助信息的方法和裝置，尤其是涉及使用量化索引調制將輔助信息嵌入到媒體信號中。
發明的背景數字水印涉及在視聽對象中嵌入輔助信息。數字水印具有很多應用，包括版權保護、版稅跟蹤、商業驗證、增值內容，交互式玩具等等。數字加水印的經典方法基本上是受控的噪聲添加，其中將已知的類似噪聲的信號添加到原始信號中。這種技術的例子被稱為擴展頻譜加水印。對添加的水印的水印檢測通常是基于接收的信號和參考水印之間的相關性。最后得到的相關值包含了想要得到的項和干擾項。該干擾項是基于噪聲添加的水印技術獲得的性能比最佳性能要差的主要原因。
在與加水印有關的文獻中，越來越多的注意力都集中到將主信息作為水印嵌入器的副信息來處理的水印方案上。這種信息理論方法導致加水印方案具有非常高的能力。
例如，近期出版物顯示假設某些攻擊模型，可以通過量化實現最佳加水印。實質上量化加水印相當于在主信號s的空間S中，選擇N組碼點Cn，其中N等于嵌入的消息的數量(該水印的有效載荷)。將主信號s變成信號s嵌入了消息m，這使得s和s相接近，并且使得s比任何其它代碼組Cn中其它任何點都更接近Cm中的特定點c，其中n不同于m。把水印解碼相當于找到碼點組集合中最接近的各點c，以及在并且只在該點c屬于該代碼組Cm時對該消息m作出決定。這種加水印的類型通常稱作量化索引解調(QIM)。
QIM進一步的細節例如可以在Chen，B.和Womell，G.W.的“Quantizationindex modulationa class of provably good methods for digital watermarking andinformation embedding”(量化索引調制一種用于數字水印和信息嵌入的可證明為良好的方法的類型)，Transactions on Information Theory，IEEE，Volume47Issue4，May 2001，Page(s)1423-1443以及Chou，J.Ramchandram，k.和Ortega，A的“Next generation techniques for robust and imperceptible audio data hiding”(用于可靠和不可見的音頻數據隱藏的下一代技術)，IEEE International Conference onAcoustics，Speech，and Signal Processing，Proceedings，2001 Volume3，Page(s)1349-1352中找到。
通常由該方法產生的實際方案是基于(抖動的)矢量量化和失真補償的。這兩種技術的結合可以嵌入大量的信息。使用這些技術的方案通常稱作失真補償的量化索引調制加水印(DC-QIM)。
DC-QIM方案的問題在于比較難以適合本地圖象特性。特別是，很難控制該水印的可見性。從專利合作條約(PCT)WO03/053064得知一種使QIM水印適應本地信號特性的方法。WO03/053064公開了一種量化步長的本地修正，它被作為改進該水印的魯棒性和可見性之間的方法。
當前的控制QIM水印的可感知性和檢測可靠性的方法使用過分簡單的模型，并且特別是基于評定該主信號和水印之間的信噪比。雖然這種模型對于分析目的來說非常有用，但是會導致該水印的不可感知性和檢測可靠性之間的次優權衡。
因此，一種改進的系統用于將輔助信息嵌入媒體信號將是有益的，特別是一種提供改進了的檢測可靠性、增加的靈活性、易于實施、改進了的不可感知性和/或改進了的性能的系統將是有益的。
發明概要因此，本發明優選地尋求單獨或者以任何組合的方式減輕、緩和或消除一個或多個上述缺點。
根據本發明的第一個方面，提供一種在媒體信號中嵌入輔助信息的裝置，包括用于通過對該媒體信號的量化索引調制來產生修正信號的裝置；該修正信號具有取決于輔助信息的相對于該媒體信號的失真；用于產生表明該媒體信號對該失真的感知靈敏度的感知特性的裝置；以及用于通過響應該感知特性來修正該修正信號的失真強度以便產生輸出信號的裝置。
本發明的發明人認識到可以通過修正由響應于感知特性的量化索引調制引入的失真強度而實現改進的量化索引調制性能。改進的性能得以實現，特別是可以減少該失真的可感知性，和/或可以增加該輔助信息的檢測可靠性。
該媒體信號例如可以是視頻和/或音頻信號。該媒體信號例如可以是流信號，或者是包括數字數據的文件。該輔助信息特別可以是數字水印。該感知特性可以是一個指示在該媒體信號和修正信號之間的用戶感知差異的特性。
根據本發明的優選特征，該失真強度可用于通過修正失真補償參數來修正該強度。這提供特別有利的性能。可選地或附加地，由于實現了簡單、有效和/或靈活的用于修正該失真強度的裝置，實施可以得到簡化。特別是，該特征適用于現有的量化索引調制方法。
根據本發明的優選特征，該用于修正失真強度的裝置可用于響應本地的媒體信號對該失真的本地感知靈敏度來動態調整該失真強度。
優選地要動態地控制該強度以反映當前正在修正的一部分媒體信號的特定條件。因此，可以動態地使不可感知性和檢測可靠性之間有最佳權衡，以反映該信號的變化特性。
根據本發明的優選特征，該用于產生輸出信號的裝置可用于響應該感知特性來定標該失真。這提供了修正該強度的有利方式，并且可以允許簡單而且實際的實施。
根據本發明的優選特征，該用于產生輸出信號的裝置可用于為遞減的感知靈敏度而增加該強度。這允許該失真的不可感知性和該輔助信息的檢測可靠性之間改進了的權衡。特別是，可以盡可能地增加該強度，而不使用戶可察覺到最后信號的失真。
根據本發明的優選特征，該用于產生修正信號的裝置可用于將該失真wj實質上確定如下s‾j=(Round((sj+vjD+bj)2)·2-bj)*D-vj]]>其中sj是該媒體信號的樣本j，D是量化區間，vj是樣本j的抖動值，以及bj是該輔助信息的位j。這提供了具有高性能、低復雜性的實施。
根據本發明的優選特征，該用于產生輸出信號的裝置可用于確定該輸出信號sout，j，它包括實質上如下的信號
sout，j＝sj+α·wj其中sj是該媒體信號的樣本j，wj是通過該媒體信號的量化索引調制確定的樣本j的失真，和α是失真補償參數；以及該用于產生輸出信號的裝置可用于響應該感知特性來修正該失真補償參數α。
這提供了一種特別簡單的實施、分析和/或控制該失真強度的技術。
根據本發明的優選特征，該媒體信號是可視信號，并且該感知特性表示圖像區域的紋理程度。該可視信號例如可以是視頻信號或圖片文件。優選地對于增加的紋理程度，該強度將增加。通常，對于增加的紋理程度會增加對媒體信號的感知失真，并且該特征允許利用其在不可感知性和檢測性能之間提供改進的權衡。
根據本發明的優選特征，該媒體信號是音頻信號，并且該感知特性是音頻片斷的音頻電平的表示。該音頻信號例如可以是數字編碼的音樂信號。優選地，對于增加的音頻電平，該強度將增加。通常，對于增加音頻電平，將增加對音頻媒體信號的感知失真，并且該特征允許利用其在不可感知性和檢測性能之間提供改進的權衡。
根據本發明的優選特征，該用于產生感知特性的裝置可用于響應包括拉普拉斯算子濾波器的感知模型以產生該感知特性。這提供了適當的確定感知特性的方式，該感知特性對控制許多類型的媒體信號的失真強度都是有用的。
根據本發明的優選特征，該用于產生感知特性的裝置可用于響應一個包括Girod的W模型的感知模型以產生該感知特性。這提供了適當的確定感知特性的方式，該感知特性對控制許多類型的媒體信號的失真強度都是有用的。
根據本發明的第二個方面，提供一種在媒體信號中嵌入輔助信息的方法，該方法包括以下步驟通過該媒體信號的量化索引調制來產生修正信號；該修正信號具有取決于該輔助信息的相對于該媒體信號的失真；產生表明該媒體信號對該失真的感知靈敏度的感知特性；以及通過響應該感知特性而修正該修正信號的失真強度來產生輸出信號。
本發明的這些和其它方面、特征和優點是顯而易見的，并且參照下文中描述的實施方式闡明。
參照附圖，僅通過舉例的方式描述本發明的實施方式，其中附圖1表示根據本發明的實施方式嵌入水印的裝置的方框圖。
具體實施例方式
下面的描述集中于適用于將數字水印嵌入數字編碼的視聽信號中的本發明的實施方式。
附圖1表示根據本發明的實施方式嵌入水印的裝置的方框圖。
在該例中，該裝置包括產生媒體信號本地信號源101。該媒體信號例如可以是包括數字編碼的視頻和/或音頻的剪輯的數據文件。可以理解，在其它實施方式中，該媒體信號可以從其它源例如外部源接收。還可以理解，該媒體信號可以具有任何適當的形式，例如可以是流信號。
將本地信號源101連接到供給了該媒體信號的量化索引調制器103。特別是，該量化索引調制器103被提供了作為若干此后由sj表示的樣本的媒體信號，其中j表示樣本數。
量化索引調制器103可用于嵌入輔助信息的樣本bj，因而通過該媒體信號的量化索引調制產生修正信號。因此，產生具有相對于該媒體信號的失真的修正信號sj。該失真取決于該輔助信息。然而，與添加噪聲的水印技術相反，該失真不會直接對應于該輔助信息，而是將該輔助信息包含在施加到該媒體信號的量化中以及因此包含在該信號與失真的組合中。
更詳細地，通過舉例，在考慮信號樣本值的標量量化的情況下可以最容易地理解該量化索引調制。選擇量化區間D，并且將其用于構造如下兩個代碼組C0和C1代碼組C0由所有D的偶倍數構成，而代碼組C1由所有D的奇倍數構成。在其最簡單的形式中，實現一個具有長度為k的位串(水印)b＝(b1，b2，....bk)的長度k的信號s＝(s1，s2，....sk)的加水印，這是通過對每個j，當bj＝0時將sj舍入為D的最近的偶倍數以及當bj＝1時將sj舍入為D的最近的奇倍數來實現的。因此，量化索引調制將輸入樣本sj映射成修正的輸出樣本sj，它與水印位bj有關。
通過將該結果信號舍入成被D跨越的網格，并且如果該舍入產生D的偶倍數的值則將位值設置成0，如果該舍入產生D的奇倍數的值則將該位值設置成1，可以恢復該位串b。
在許多實際的系統中，通過將抖動值vj添加到每個樣本來抖動該信號樣本，以便提高安全性，以及使引入的量化噪聲分散和隨機化。該抖動值vj優選是實數。這防止了樣本sj總是在被D跨越的網格上而由此遮掩了水印的存在。
具體說，量化索引調制器103可以執行下面稱作“抖動的均勻標量量化”的操作。
將該抖動值vj表示為該量化步驟的分數值，特別地-1＜vj＜1。對于給定偏移量vj，可以假定輸出樣本sj的離散電平是s‾j=(2m+bj)·D+vj·D---(1)]]>其中m是整數值。
輸出值sj必須盡可能地接近輸入值sj。可以將其表示為sj≅s‾j---(2)]]>sj≅(2m+bj)·D+vj·D---(3)]]>m≅sj-(vj+bj)·D2D---(4)]]>通過下面的設定，該條件得以符合m=Round(sj-(vj+bj)·D2D)---(5)]]>將(5)代入(1)得到s‾j=(Round((sjD+vj+bj)2)·2-vj-bj)*D---(6)]]>可以通過下面的方式解釋公式6。首先，對樣本值sj來說，計算“量化索引”sj/D。其次，將該量化索引舍入成與偶或奇整數值對應的移位型式(偏移vj)，這取決于bj是1還是0。因此，取決于bj的值，該量化索引調制的信號樣本處在兩個截然不同的子組。最后，將該結果乘以D，以便恢復該樣本值sj的原始尺度。
因此，在所述的實施方式中，量化索引調制器103產生修正信號sj。該修正信號包括由下面的公式給出的相對于原始信號sj的失真wjwj=sj-(Round((sjD+vj+bj)2)*2-vj-bj)*D---(7)]]>因此該失真取決于水印數據。然而，與典型的噪聲添加的加水印相反，該失真不是直接與水印相關聯的。而是將該水印信息包含在該信號和失真的組合中。
可以理解，該量化索引調制不是必需限于二進制數據符號，而是也可以應用于更高階的數據符號。
如在本領域中公知的，可以通過計算量化索引、考慮抖動值以及檢查該量化索引的奇偶來執行被量化索引調制嵌入的信息的檢測。在二進制的情況下，水印檢測器可以根據下式簡單計算該水印的位值bjb‾j=Mod(Round(sjD)+vj,2)---(8)]]>為了改變修正的媒體信號呈現的水印對用戶的影響和可感知性，可以應用失真補償。因此，附圖1的裝置包括補償處理器105，它通過修正該修正的信號的失真強度產生輸出信號。
特別是，補償處理器105產生由下面的公式給出的輸出信號soutsout，j＝sj+α·wj(9)其中sj是媒體信號的樣本j，wj是由量化索引調制器103確定的樣本j的失真。因此，在所述的實施方式中，通過失真補償參數α來定標失真w。
因此，可以把通過量化索引調制器103引入的失真w考慮為原始樣本和水印樣本之間的差異，并且可以將w解釋為由量化索引調制器103引入的修正或誤差。可以使用失真補償參數α的附加參數控制該修正的幅度和強度。失真參數值α＝1對應于原始量化索引調制，而α＝0對應于沒有對該原始媒體信號進行修正。
在附圖1的實施方式中，補償處理器105從信號源101接收原始信號sj，并且從量化索引調制器103接收修正信號sj。然后計算每個樣本的失真wj，將該失真乘以失真補償參數α，并且將該結果添加到原始信號sj。因此，補償處理器105通過執行下面的操作來修正該修正信號的失真強度從而產生輸出信號sout，j＝sj+α·(sj-sj) (10)可以理解，失真補償不需要不同的水印檢測算法，并且可以使用相同的檢測器，而與失真補償參數α的值無關。
根據所述的實施方式，附圖1的裝置進一步包括感知處理器107。感知處理器107產生表明該媒體信號對該失真的感知靈敏度的感知特性。特別是，該感知處理器107可以確定一個感知特性，它表明對用戶而言該原始媒體信號的失真或修正的可覺察的程度。例如，對視頻信號來說，該感知特性可以表示該媒體信號對變成視覺上可覺察的失真的靈敏程度。
在附圖1的裝置中，將感知處理器107耦合到補償處理器105，并且可用來控制失真補償參數α。因此，響應于該感知特性來控制該修正信號的失真強度。
這可以使該失真對該信號特性來說是最佳的，特別是可以在該失真的不可感知性和該嵌入水印的檢測可靠性之間提供改進的權衡。
優選地，隨著感知靈敏度的降低要增加該失真的強度。因此，當失真不易覺察時，就增加失真補償參數α，這導致增加的檢測可靠性，同時保證水印嵌入不會導致不可接受的質量降低。當感知靈敏度增加時，較小的失真就可以覺察，因此要減少該失真補償參數α，由此保證質量降低不會變成不可接受的。
在所述的實施方式中，感知處理器107實施一個感知模型，其處理該媒體信號以確定感知特性。該感知模型優選產生表明本地感知靈敏度的本地感知特性。特別是，可以基于該樣本周圍的一組樣本產生每個樣本的感知特性。
作為視頻應用的特例，感知處理器107可以實施包括拉普拉斯算子濾波器的感知模型。該拉普拉斯算子濾波器是一個高通濾波器，它產生表明圖像或視頻幀中的區域是平淡的還是紋理的信號。對平淡的區域來說，其中即使很小的失真也容易看到，則該濾波器具有微弱的響應。在紋理區域中，其中失真不易看見，則該濾波器具有強響應。因此，該拉普拉斯算子濾波器的輸出表明感知靈敏度，并且因此可以用于控制該失真補償參數α。
因此，所述實施方式提供了一種將高性能加水印算法的量化索引調制使用與感知評定相結合的方式。基于該感知模型的結果，相對于默認值增加(當該感知模型表示即使相對大的修正也是不可覺察時)或減少(當該感知模型表示需要小的修正以保證不可覺察性)該失真補償參數α。
在數學術語中，讓si成為要加上水印的信號樣本，讓(si-N，....，si+M)成為si環境中的樣本。假設當大失真仍然是不可覺察時該視覺模型返回大的值，并且當失真必須小到不可覺察時則返回小的值。讓P(sk-N，....ss+M)成為感知模型，讓g()成為適當選擇的單調遞增函數，取區間
的值。然后該感知自適應嵌入可以是si‾=si+ai·wi,]]>其中ak＝g(P(si-N...，si+M)) (11)并且其中wi在公式(7)中限定。
一個使用拉普拉斯算子濾波器作為感知模型P和線性函數g(z)＝γz+b的對灰度圖像加水印(由象素亮度Xr，c給出)的例子，可以使用下面的項來確定失真補償參數ar，car，c＝b+γ·(-xr-1，c-1-xr-1，c-xr-1，c+1-xr，c-1+8xr，c-xr，c+1-xr+1，c-1-xr+1，c-xr+1，c+1)可以理解，可以使用其它確定感知特性的裝置，特別可以選擇或另外使用其它的感知模型。
例如，感知處理器107可以響應于一個包括Girod的W模型的感知模型產生該感知特性。
該模型估計“剛好覺察不到”的噪聲量作為(均勻的)背景亮度的函數。這適應于韋伯定律(Weber’s law)，它說明兩個激勵之間最小的可覺察的差異與該激勵的強度成比例。關于Girod的W模型的進一步信息可以在Bernd Girod的“The information theoretical significance of spatial and temporal masking in videosignals”(視頻信號中空間和時間掩膜的信息理論意義)，“Human vision，Visualprocessing ad digital display”(人類視覺、可見處理的數字顯示)，volume 1077 ofProceedings of SPIE(the international society for optical engineering)第178-187頁，1989中找到。
還可以理解，本發明不限于可視信號，而是可以應用于許多不同類型的媒體信號。例如，該媒體信號可以是音頻信號如數字取樣的以及PCM(脈沖編碼調制)編碼音頻剪輯。在該例中，該感知特性可以表明音頻的音頻電平，并且該失真補償參數α可以為了增加音頻電平而增加，這是由于這些增加的音頻電平對應于失真不易被收聽者覺察的那些更高的信號值。
本發明可以以任何適當的形式實施，包括硬件，軟件，固件或這些的任意組合。然而，優選地，本發明是作為在一個或多個數據處理起和/或數字信號處理器上運行的計算機軟件而實施的。本發明實施方式的元件和組件可以以任何適當的方式在物理上、功能上和邏輯上實施。實際上該功能性可以在單個單元、多個單元或者作為其它功能單元的一部分中實施。因此，本發明可以在單個單元中實施，或者可以物理上或功能上分布在不同的單元和處理器之間。
雖然已經連同優選的實施方式描述了本發明，但是不是為了將其限定于其中所述的特定形式。相反，本發明的范圍僅通過附屬的權利要求限定。在該權利要求中，術語“包括”不排除其它元件或步驟的存在。而且，雖然單獨列出，但是可以通過例如單個單元或處理器實施多個器件、元件或方法步驟。此外，雖然不同的權利要求中包括單獨的特征，但是可以將這些特征有利地結合，并且包含在不同的權利要求中的特征不暗示這些特征的組合不可行和/或不利。此外，單數標記不排除復數標記。因此“一個”、“第一”、“第二”等標記不排除復數標記。權利要求中的標記符號僅作為闡明的例子提供，而不應當理解為以任何方式限定權利要求的范圍。
權利要求
1.一種在媒體信號中嵌入輔助信息的裝置，包括用于通過對所述媒體信號的量化索引調制來產生修正信號的裝置(103)；所述修正信號具有取決于所述輔助信息的相對于該媒體信號的失真；用于產生表明所述媒體信號對所述失真的感知靈敏度的感知特性的裝置(107)；以及用于通過響應于所述感知特性來修正所述修正信號的失真強度以便產生輸出信號的裝置(105)。
2.根據權利要求1所述的裝置，其中所述用于產生輸出信號的裝置(105)可用于通過修正失真補償參數而修正所述強度。
3.根據權利要求1所述的裝置，其中所述用于產生輸出信號的裝置(105)可用于響應本地的媒體信號對所述失真的本地感知靈敏度而動態地調整所述失真的強度。
4.根據權利要求1所述的裝置，其中所述用于產生輸出信號的裝置(105)可用于響應所述感知特性來定標所述失真。
5.根據權利要求1所述的裝置，其中所述用于產生輸出信號的裝置(105)可用于對遞減的感知靈敏度增加所述強度。
6.根據權利要求1所述的裝置，其中用于產生修正信號的裝置(103)可用于將所述失真wj實質上確定如下wj=sj-(Round((sjD+vj+bj)2)*2-vj-bj)*D]]>其中sj是所述媒體信號的樣本j，D是量化區間，vj是樣本j的抖動值，以及bj是所述輔助信息的位j。
7.根據權利要求1所述的裝置，其中所述用于產生輸出信號的裝置(105)可用于確定所述輸出信號sout，j，包括實質上如下的信號sout，j＝sj+α·wj其中sj是所述媒體信號的樣本j，wj是通過所述媒體信號的量化索引調制而確定的樣本j的失真，和α是失真補償參數；以及所述產生輸出信號的裝置(105)可用于響應所述感知特性來修正所述失真補償參數α。
8.根據權利要求1所述的裝置，其中所述媒體信號是可視信號，而所述感知特性表明圖像區域的紋理程度。
9.根據權利要求1所述的裝置，其中所述媒體信號是音頻信號，而所述感知特性表明音頻分段的音頻電平。
10.根據權利要求1所述的裝置，其中所述產生感知特性的裝置(103)可用于響應于一個包括拉普拉斯算子濾波器的感知模型而產生所述感知特性。
11.根據權利要求1所述的裝置，其中所述產生感知特性的裝置(103)可用于響應于一個包括Girod的W模型的感知模型而產生所述感知特性。
12.一種在媒體信號中嵌入輔助信息的方法，所述方法包括以下步驟通過所述媒體信號的量化索引調制來產生修正信號；所述修正信號具有取決于所述輔助信息的相對于媒體信號的失真；產生表明所述媒體信號對所述失真的感知靈敏度的感知特性；以及通過響應于所述感知特性來修正所述修正信號的失真強度從而產生輸出信號。
13.一種能夠實現根據權利要求12所述的方法的計算機程序。
14.一種包括根據權利要求13所述的計算機程序的記錄載體。
全文摘要
本發明涉及一種在媒體信號如視聽信號中嵌入輔助信息的系統。一種裝置包括通過媒體信號的量化索引調制來產生修正信號的量化索引調制器(103)。該修正信號具有取決于輔助信息的相對于媒體信號的失真。該裝置還包括產生表明媒體信號對失真的感知靈敏度的感知特性的感知處理器(107)。將該量化索引調制器(103)和感知處理器(107)耦合到補償處理器(105)，該補償處理器通過響應感知特性來修正該修正信號的失真強度從而產生輸出信號。本發明將量化索引調制加水印與感知模型相結合，以便在水印的不可感知性與檢測可靠性之間提供改進的權衡。
文檔編號G10L19/018GK1961352SQ200580017782
公開日2007年5月9日 申請日期2005年5月30日 優先權日2004年6月2日
發明者J·C·奧斯特維恩 申請人:皇家飛利浦電子股份有限公司