專利名稱：一種基于圖像插值的幀內預測編碼方法
技術領域：
本發明涉及一種幀內預測編碼方法，尤其涉及一種避免窮舉式搜索時的計算開銷、 提高幀內預測準確性的方法，屬于計算機視覺技術領域。
背景技術：
幀內預測作為視頻處理領域中一項關鍵的技術，已廣泛應用于視頻中I幀的壓縮 與處理。幀內預測用于獲得當前圖像內部的相關性。目前常用的幀內預測中多模式幀 內預測方法是依據圖像的空域相關特性，認為圖像上各點與其空間相鄰點具有相似性， 通過沿多方向進行搜索得到待編碼點的預測點，該方法雖然具有適用范圍廣、預測精 度高等優點但是近乎窮舉的預測點搜索方法在圖像質量有所提高的同時，運算復雜度 也急劇上升。
視頻幀一般分為I (Intra-frame) 、 P (Predictive-frame) 、 B (Bidirectionally predicted-frame)三種類型I幀通過變換、量化等過程完成編碼；P幀以前向已編碼 幀的重建圖像為參考，進行運動補償后編碼殘差；B幀則以前后雙向已編碼幀的重建 圖像為參考，進行運動補償后編碼殘差。在三種類型的視頻幀中，雖然I幀的個數比 較少，但其每幀編碼位數卻遠高于P、 B幀，在最終生成的碼流中也占有相當比例。 對于輸出碼率恒定的視頻流，I幀的碼率突然增大，將直接導致后續P/B幀的編碼位 數的下降，進而影響到恢復圖像和預測圖像的質量。MPEG-4及其后的標準中，引入 了 "跳幀"策略，I幀碼率的突然增大常導致其后出現連續跳幀，致使視頻圖像幀率 下降，畫面不流暢。以上現象在低帶寬條件下尤為顯著，因此在恒定低帶寬下，提高
I幀壓縮比，對視頻質量影響較大。預測是視頻中提高I幀壓縮比常用的方法，根據圖 像特點，利用視頻幀之間及其內部的相關性，以己編碼對象為參考，保留較少的差分 信息，減少最終編碼位數。如何在已編碼的圖像中找到當前待預測對象的最佳匹配源， 最大限度地去除對象間冗余使差分信息量達到最小值，這是預測的關鍵所在。I幀編 碼相對獨立，不能象B、 P幀那樣在前后已編碼圖像幀中搜索最佳匹配源，因此I幀只 能采用幀內預測，即在當前圖像內部尋找相似對象。因此幀內預測是視頻壓縮領域中 的研究熱點。
傳統的多模式幀內預測方法以16x16的宏塊及4x4的塊為基本預測單元，對塊內 各點沿含DC預測在內的九個方向，取周圍點，用適當的預測公式計算預測值，與原 始采樣值做差分，差值最小的模式為最終預測模式。這種近乎窮舉的預測點搜索方法 在圖像質量有所提高的同時，運算復雜度也急劇上升。同時，若圖像相鄰點間相關性 很差，這種預測不僅不會使圖像數據量減少還會因記錄模式信息等因素引入更多的冗 余信息。
實際應用中，尤其針對存儲和計算資源有限的應用環境， 一種好的幀內預測方法 必須同時考慮預測的準確性和運行效率。
發明內容
本發明的目的是提供一種基于圖像插值的幀內預測編碼方法。該方法通過抽取采 樣點將輸入圖像分割為若干子圖，對其中的一幅子圖直接采用變換、量化、熵編碼等 方法進行壓縮，然后利用所述子圖編碼壓縮后的重構圖像，通過插值運算構造其他各 子圖的預測參考幀，以其他各子圖作為基本預測單元直接與所述各預測參考幀進行差 分編碼；利用本發明所述方法進行幀內預測避免了傳統方法逐像素點的多模式預測過 程不僅大幅度減小了計算負擔，而且預測精度較高，此外，該方法還可與其他許多編
碼方法相結合，以取得更好的壓縮效果。實驗結果表明該方法能夠在顯著降低計算開 銷的同時，取得較好的預測效果。
為實現上述目的，本發明采用下述的技術方案。其特征在于包括以下步驟
步驟一對輸入的圖像，按柵格掃描順序等間隔抽取采樣點，將所述輸入圖像分 割為若干個大小相等的子圖，選取其中任意一個子圖作為基本預測單元，對該基本預 測單元直接進行壓縮；
步驟二對所述壓縮后的基本預測單元進行重構，獲得重構圖像，采用某種插值 方法對所述重構圖像做插值運算，得到其余各子圖的預測參考圖，將其余各子圖與相 對應的各預測參考圖分別做差分，得到各子圖的殘差系數，對每個殘差系數，進行編 碼壓縮。
較優的，所述步驟一進一步包括
11. 為減少誤差，所述子圖大小應不小于所述輸入圖像的1/8;
12. 由于攝像機多多數視頻序列垂直插值圖像失真度大于水平插值圖像，因此，在 所述按柵格掃描順序等間隔抽取采樣點的過程中，水平方向間隔應大于垂直方 向間隔；
13. 所述選取任一子圖作為基本預測單元的過程中，所述基本預測單元的選取不受 掃描順序的限制；
較優的，所述步驟二進一步包括
21.所述對重構圖像做插值運算得到其余各子圖的預測參考圖是通過插值運算將所 述重構圖像放大到與輸入圖像大小一致；
本發明所提供的一種基于圖像插值的幀內預測編碼方法可以有效減小傳統多模式 搜索幀內預測時的計算開銷，避免了盲目搜索，并且不受圖像內相關性特點的影響。 有關的測試結果表明，本方法對于各類場景圖像的幀內預測都能獲得較好的效果。
圖1是本發明基于圖像插值的幀內預測編碼流程圖。 圖2是按掃描順序進行圖像分割的示意圖。 圖3是物體運動對采樣數據的影響示意圖。
具體實施例方式
前已述及，本發明為解決由圖像特點決定預測效的問題，從"構造相似點"出發，由 預測點構造相似點，直接確定相似點的位置，避免了盲目搜索，實現了快速準確的幀 內預測。
下面結合
本發明的實現方式，圖1中明確表示了本發明的過程。首先， 按掃描順序，以等間隔進行下采樣，將圖像分割為多個大小相等的子圖，以這些子圖 作為基本預測單元；將其中一個子圖進行編碼，得到該子圖的重建圖像；對重建圖像 進行插值，獲得與輸入圖像大小相等的預測參考圖像，將其余子圖與其位置對應的參 考圖像進行差分，進行預測，進而完成整個圖像的編碼。
步驟一獲取基本預測單元及其重建圖像
預測編碼是通過已編碼圖像預測待編碼圖像的過程，因此圖像中各部分編碼的先 后順序決定預測點的范圍，并影響預測效果。在傳統基于塊的預測過程中，先將圖像 分為大小相等的塊，已編碼塊作為基本預測單元，根據不同的塊掃描順序進行預測編 碼，掃描順序不同，預測效果也略有不同。此外，圖像中是否存在足夠相似的點，將 直接決定預測的效果；如何找到相似點的位置，將決定整個預測過程中的運算復雜度。 若僅從輸入圖像本身考慮，相似點的存在性由圖像特點決定而與具體預測算法無關， 因此同一預測算法應用于不同的圖像，其預測效果可能存在很大差別。避免由圖像特 點影響預測效果的情況，提高預測的精度，是實現準確幀內預測的關鍵。與現有的幀 內預測編碼不同的是，本發明中，基本預測單元不是一個宏塊或子宏塊，為避免窮舉 式搜索和由圖像特點影響預測效果的問題，提出了一種由構造相似點進行預測的方案。 下面就對該方案展開詳細的說明。在本發明中獲取基本預測單元及其重建圖像分為二 個步驟首先，劃分原始輸入圖像；然后，選取預測單元并進行編碼。 步驟一的具體實施步驟如下
(1) 劃分原始輸入圖像
對輸入的圖像按柵格掃描順序等間隔抽取采樣點，分割成大小相等的子圖。設原始 圖像S大小為wx"，分別以水平間距h，垂直間距v，按柵格掃描順序抽取采樣點，得到大
小為^x^的子圖S,、 S2、 S3……(如圖2)。為減少后續在進行預測時的估值誤差，必 h v
須保證子圖不能太小。由于攝像機多做水平運動且物體的水平運動多于垂直運動，因 此對多數視頻序列垂直插值圖像失真度大于水平插值圖像。因此，水平分割可大一些， 垂直分割要小一些。如圖3(a)中，空間上a、 b、 c三點相鄰，以a、 c插值b結果較為 精確；而如圖3 (b)中，若物體存在速度V，由于攝像機CCD元件上各點存在一定的 感光時差，得到的a、 b、 c三點位置略有偏差，b的空間相鄰點已經不是a、 c，這種 采樣誤差將造成后續插值誤差的增大。通過比較水平、垂直插值圖像，通常情況下， 垂直插值失真更為嚴重，這與物體相對攝像機的運動方向存在一定關系。在本發明進 行的實驗中，采用如式(1)進行插值時，h值取為2， v值取為l。 /(x,力=(/(x _ 1,力+ /(x +1,力)/ 2 = (/(x _ 1，力+ /(x +1,力)》1(1)
(2) 對選取的預測單元進行編碼
選取子圖中的一幀，如子圖s,作為預測單元，不經任何預測，直接進行變換編碼， 采用常規的編碼過程，即以宏塊或子宏塊為編碼單位，進行DCT變換、量化、熵編碼 等處理過程。在編碼完成后經過反量化、IDCT變換生成其重建圖像。當然也可選取其 他的子圖作為預測單元，預測單元的選取不受掃描順序的影響。 步驟二得到預測圖像并進行預測編碼
傳統的多模式幀內預測方法對預測單元在多個方向采用窮舉式進行搜索，并應用 率失真理論選取最佳預測模式。該方法在預測單元的選取部分很簡單，但預測過程很 復雜，對每個待預測的單元都要進行多方向的預測及模式選擇過程。而在本發明中， 為了實現對其他子圖的預測編碼，需要對預測單元的重建圖像進行插值處理，以生成 一個預測圖像，這樣其余子圖就可以與預測圖像中的對應位置的像素點作殘差，實現 預測處理，編碼時，只需對殘差系數進行處理即可。該方法通過對預測單元的重建圖 像進行插值處理，直接構造出其余子圖的相似點，避免了因多模式預測而引起的計算 負擔，以及因圖像特點而不能很好預測的問題。該步驟可分為兩個步驟首先，通過 插值處理生成預測圖像；其次，通過預測圖像進行預測編碼。
步驟二的具體實施步驟如下
(1)生成預測圖像
生成預測圖像的過程，實際是由;x^大小的子圖S,的重建圖像恢復mx"大小的原
h v
圖s的過程，可以看作是圖像放大的過程。
在進行圖像放大時，通常的做法是根據已知采樣點預測逼近未采樣點。插值是函 數逼近的一種重要方法，在圖像處理中常用來放大圖像。根據采樣定理，當采樣間隔
足夠小，艮P: r^+":采樣間隔，s。采樣函數的截止頻率)時，采樣函數可以完全無失真地
從采樣數據中恢復。但實際采樣頻率通常達不到以上標準，因此通過插值不可能完全 無損地得到未采樣點。插值函數與實際采樣函數之差稱為估值誤差。估值誤差是反映
恢復圖像失真度的一個重要參數，估值誤差越小，恢復圖像失真度越小。估值誤差大 小由采樣圖像分辨率和插值函數核決定。通常情況下，采用同一插值函數，圖像采樣 分辨率越高，采樣間距越小，插值效果越精確，估值誤差越小。在采樣分辨率確定的 條件下，可通過改進插值函數，使其進一步逼近采樣函數從而減小估值誤差。
設(x, y)為S中的點；r(x, y)為(X，y)點的象素值；n1為Si中點的集合；n2為S,
中點的集合；/(nj為插值函數；v(x,y)en2，通過插值函數計算其近似值
r,(x,y)=f(n1)。
A(x,y)=(x,y)-r(x,y)為估值誤差，當插值函數足夠精確時有 A(x,y)—0，也即以,"力作為的預測點將取得很好的預測效果。
圖像處理中常用的插值算法有鄰近象素復制、線性插值、立方巻積等， 一些精 度更高的，自適應的插值算法在醫學、遙感等領域應用也非常普遍。這些算法中，雙
線性插值因計算復雜度低，插值精度相對較高而被廣泛采用。在本發明進行的實驗中， 對預測單元的重建圖像應用雙線性插值處理生成預測圖像。
(2)預測編碼
在生成預測圖像之后，即可實現對其余子圖S, (^P,/zxv])的預測編碼。該過程 是得到其余子圖在預測圖像中的對應位置，對應位置的點即為原始像素點的預測點，
無需搜索，兩者做差，實現預測。對子圖s,逐幀進行預測差分編碼，s,之間的編碼順
序可隨機選取且不影響預測效果。
以上公開的僅為本發明的具體實例，根據本發明提供的思想，本領域的技術人員 能思及的變化，都應落入本發明的保護范圍內。
權利要求
1. 一種基于圖像插值的幀內預測編碼方法，其特征在于步驟一對輸入的圖像，按柵格掃描順序等間隔抽取采樣點，將所述輸入圖像分割為若干個大小相等的子圖，選取其中任意一個子圖作為基本預測單元，對該基本預測單元直接進行壓縮；步驟二對所述壓縮后的基本預測單元進行重構，獲得重構圖像，采用插值方法對所述重構圖像做插值運算，并將得到的插值后圖像作為其余各子圖的預測參考圖，然后將其余各子圖與所述預測參考圖分別做差分，得到所述其余各子圖的殘差系數，對每個殘差系數進行編碼壓縮。
2. 如權利要求1所述的基于圖像插值的幀內預測編碼方法，其特征在于為減少誤差， 所述子圖大小應不小于所述輸入圖像大小的1/8。
3. 如權利要求l所述的基于圖像插值的幀內預測編碼方法，其特征在于所述基本預 測單元的選取不受掃描順序的影響。
4. 如權利要求l所述的基于圖像插值的幀內預測編碼方法，其特征在于在所述按柵 格掃描順序等間隔抽取采樣點的過程中，水平方向間隔應大于垂直方向間隔。
5. 如權利要求l所述的基于圖像插值的幀內預測編碼方法，其特征在于所述對重構 圖像做插值運算得到其余各子圖的預測參考圖是通過插值運算將所述重構圖像放 大到與所述輸入圖像大小一致。
全文摘要
本發明提供一種基于圖像插值的幀內預測編碼方法，將輸入圖像分割為若干子圖，通過插值運算構造各子圖的預測參考幀，以子圖作為基本預測單元直接與參考幀進行差分編碼，避免了傳統方法逐像素點多模式預測過程。利用本發明進行幀內預測不僅大幅度減小了計算負擔，而且預測精度較高，此外，該方法還可與其他編碼方法相結合，以取得更好的壓縮效果。實驗結果表明該方法能夠在顯著降低計算開銷的同時，取得了較好的預測效果。
文檔編號H04N7/32GK101389032SQ20081017169
公開日2009年3月18日 申請日期2008年10月24日 優先權日2008年10月24日
發明者姚春蓮, 誼 陳, 高麗華 申請人:北京工商大學