專利名稱：基于對(duì)象的比特率控制方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻傳輸系統(tǒng)，尤其涉及基于對(duì)象的比特率控制方法和系統(tǒng)，其能夠根據(jù)對(duì)象的重要性利用非編碼塊對(duì)比特率進(jìn)行控制。
用于諸如圖像通信或者電視電話通信等低比特率通信的視頻編碼器必須在壓縮效率和低復(fù)雜性方面具有較高的性能。因此，用于低比特率通信的大多數(shù)視頻編碼器使用后向控制方法，其根據(jù)緩沖器的狀態(tài)，通過調(diào)節(jié)量化參數(shù)(QP)而對(duì)比特率進(jìn)行控制。
圖1顯示的是傳統(tǒng)比特率控制系統(tǒng)的示意結(jié)構(gòu)圖，包括特征分析器110，用于對(duì)輸入圖像的特征進(jìn)行分析；量化器102，用于對(duì)圖像進(jìn)行量化；輸出緩沖器103，用于將編碼圖像作為比特流進(jìn)行輸出；目標(biāo)比特分配器104，用于根據(jù)特征分析器101和輸出緩沖器103的狀態(tài)信息分配目標(biāo)比特；和比特率調(diào)節(jié)器105，用于根據(jù)所分配的目標(biāo)比特對(duì)比特率進(jìn)行調(diào)節(jié)。
特征分析器110對(duì)圖像數(shù)據(jù)的特征進(jìn)行分析，并且將結(jié)果提供給目標(biāo)比特分配器104，目標(biāo)比特分配器104根據(jù)圖像數(shù)據(jù)的特征結(jié)果和輸出緩沖器103的狀態(tài)信息分配目標(biāo)比特。比特率調(diào)節(jié)器105根據(jù)目標(biāo)比特分配器104分配的目標(biāo)比特對(duì)量化器102的比特率進(jìn)行調(diào)節(jié)。而量化器102根據(jù)所調(diào)節(jié)的比特率對(duì)圖像數(shù)據(jù)進(jìn)行編碼，并且將編碼的數(shù)據(jù)存儲(chǔ)到輸出緩沖器103中。輸出緩沖器103對(duì)比特流進(jìn)行調(diào)節(jié)，以便按預(yù)定的速度進(jìn)行輸出，并且防止在比特流重建過程中可能產(chǎn)生的溢出或者下溢。
此處，比特率調(diào)節(jié)器105使用QP作為編碼參數(shù)對(duì)比特率進(jìn)行調(diào)節(jié)。例如，當(dāng)QP具有大的值時(shí)，則降低比特率，但是也降低了視頻的質(zhì)量。對(duì)于QP的值為小的情況，則增加比特率，但是提高了視頻的質(zhì)量。即，視頻質(zhì)量和比特率是彼此矛盾的。因此，當(dāng)將網(wǎng)絡(luò)的帶寬降低到較低的比特率時(shí)，則降低了視頻的質(zhì)量。最壞的情況是，在接收方中斷了視頻。
但是，控制比特率的方法對(duì)每一個(gè)視頻流均提出了數(shù)學(xué)模型(例如，線性模型、非線性模型、拉普拉斯模型、指數(shù)模型、高斯模型等等)，并且根據(jù)模型分配比特。其具有這樣的缺點(diǎn)，即很難為輸入圖像的特征或重要區(qū)域(例如，人的面部，眼睛，鼻子或者嘴)確定最佳的QP。即，即使該區(qū)域是重要區(qū)域，當(dāng)由于很差的網(wǎng)絡(luò)狀態(tài)而導(dǎo)致比特率很低時(shí)，也會(huì)惡化視頻質(zhì)量。并且即使是非重要區(qū)域，由于網(wǎng)絡(luò)狀態(tài)的變化，也可能會(huì)有比重要區(qū)域更高的圖像質(zhì)量。對(duì)于網(wǎng)絡(luò)的比特率太低而不能進(jìn)行視頻傳輸?shù)那闆r，在接收方可能會(huì)導(dǎo)致視頻的斷開。
視頻通信或者電視電話的用戶對(duì)于重要或目標(biāo)區(qū)域的圖像質(zhì)量的敏感程度遠(yuǎn)大于非重要區(qū)域或者非目標(biāo)區(qū)域。即對(duì)于用戶判斷視頻質(zhì)量，重要或目標(biāo)區(qū)域的圖像質(zhì)量是比整個(gè)圖像的視頻質(zhì)量更為重要的的因素。
傳統(tǒng)的比特率控制方法根據(jù)溢出或者下溢對(duì)QP進(jìn)行調(diào)節(jié)，以對(duì)比特率進(jìn)行調(diào)節(jié)，因此，具有在用戶敏感的重要區(qū)域中為用戶提供低質(zhì)量圖像的缺點(diǎn)。
還有，傳統(tǒng)的比特率控制方法根據(jù)溢出或者下溢對(duì)QP進(jìn)行調(diào)節(jié)，這樣，由于根據(jù)網(wǎng)絡(luò)狀態(tài)而造成視頻質(zhì)量的巨大變化和下降，而不能為用戶提供高質(zhì)量的視頻。
因此，本發(fā)明的一個(gè)目的是提供一種基于對(duì)象的比特率控制方法，其能夠根據(jù)對(duì)象的重要性對(duì)比特率進(jìn)行控制。
本發(fā)明的另外一個(gè)目的是提供一種基于對(duì)象的比特率控制方法，其能夠根據(jù)重要性對(duì)從圖像中分離出來的對(duì)象進(jìn)行選擇性的傳輸。
通過提供一種基于對(duì)象的比特率控制方法，實(shí)現(xiàn)了本發(fā)明的這些和其它目的和優(yōu)點(diǎn)，該方法包括如下步驟對(duì)包含在從圖像中分離出的對(duì)象中的至少一個(gè)宏塊施加重要性值；當(dāng)網(wǎng)絡(luò)的比特率低時(shí)，對(duì)超過預(yù)定重要性值的宏塊進(jìn)行編碼和傳輸。
此處，對(duì)于低于預(yù)定重要性值的宏塊不進(jìn)行編碼，而是設(shè)定為非編碼塊。在解碼過程中，低于預(yù)定重要性值的宏塊重復(fù)位于同一位置的前一幀畫面的宏塊。
超過預(yù)定重要性值的宏塊包含在對(duì)象的用戶區(qū)域中，該對(duì)象分為用戶區(qū)域和背景區(qū)域。
包含在用戶區(qū)域中的宏塊比包含在背景區(qū)域中的宏塊具有更高的重要性。
根據(jù)本發(fā)明的另外一個(gè)方面，基于對(duì)象的比特率控制方法包括如下步驟基于賦予從圖像分離出來的對(duì)象中包含的至少一個(gè)宏塊的重要性值設(shè)定非編碼塊；當(dāng)網(wǎng)絡(luò)的比特率低時(shí)，不對(duì)設(shè)定為非編碼塊的宏塊進(jìn)行傳輸，而是對(duì)設(shè)定為重要塊的宏塊進(jìn)行編碼和傳輸。
根據(jù)本發(fā)明的另外一個(gè)方面，基于對(duì)象的比特率控制方法包括如下步驟對(duì)從圖像中分離出的對(duì)象中包含的至少一個(gè)宏塊賦予重要性值；設(shè)定網(wǎng)絡(luò)狀態(tài)；當(dāng)網(wǎng)絡(luò)狀態(tài)為差時(shí)，將具有低重要性的區(qū)域設(shè)定為非編碼塊；當(dāng)網(wǎng)絡(luò)狀態(tài)為差時(shí)，對(duì)具有高重要性的宏塊進(jìn)行編碼和傳輸。
根據(jù)本發(fā)明的基于對(duì)象的比特率控制方法還包括在確定非編碼塊的設(shè)定條件的步驟之前，根據(jù)輸出終端的網(wǎng)絡(luò)狀態(tài)信息，分配目標(biāo)比特的步驟。
本發(fā)明的其它優(yōu)點(diǎn)、目的和特征有一部分將在以下的說明書中進(jìn)行闡述，其余部分則對(duì)于本領(lǐng)域的技術(shù)人員經(jīng)過對(duì)以下內(nèi)容的考察后會(huì)變得明了，或者通過實(shí)施本發(fā)明而體驗(yàn)到?？梢詫?shí)現(xiàn)和達(dá)到如所附的權(quán)利要求書具體指出的本發(fā)明的目的和優(yōu)點(diǎn)。
圖5顯示的是根據(jù)本發(fā)明的使用非編碼塊進(jìn)行比特率控制的示范視圖；圖6顯示的是根據(jù)本發(fā)明使用基于對(duì)象的比特率控制系統(tǒng)的編碼器的方框圖。
優(yōu)選實(shí)施例詳細(xì)說明下面結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行描述。
圖2顯示的是根據(jù)本發(fā)明的基于對(duì)象的比特率控制系統(tǒng)的示意結(jié)構(gòu)圖。參照?qǐng)D2，比特率控制系統(tǒng)包括對(duì)象分離器200，重要性值施加器201，量化器202，輸出緩沖器203，目標(biāo)比特分配器204以及重要性判定器205。
對(duì)象分離器200從輸入圖像中分離出對(duì)象。此處，可以使用對(duì)象分離方法分離出對(duì)象。所分離出的對(duì)象一般包括至少一個(gè)16*16的宏塊。對(duì)象分為用戶區(qū)域、背景區(qū)域和邊界區(qū)域(見圖4)。邊界區(qū)域表示存在于用戶區(qū)域和背景區(qū)域之間的區(qū)域。對(duì)于使用對(duì)象分離方法對(duì)對(duì)象進(jìn)行分離的情況，可以將邊界區(qū)域包含在用戶區(qū)域中，以防止在邊界區(qū)域產(chǎn)生余像(afterimage)。用戶區(qū)域包括人體、面部、眼睛、鼻子、嘴或者其組合。
重要性值施加器201向包含在所分離對(duì)象區(qū)域中的宏塊施加重要性值。最好是，用戶區(qū)域的宏塊比背景區(qū)域的宏塊具有更高的重要性值。即，這意味著，用戶區(qū)域的宏塊比背景區(qū)域的宏塊更重要。
另一方面，將輸出緩沖器203所確認(rèn)的網(wǎng)絡(luò)狀態(tài)信息提供給目標(biāo)比特分配器204，以分配目標(biāo)比特。即，目標(biāo)比特分配器204基于來自輸出緩沖器203的狀態(tài)信息檢測(cè)網(wǎng)絡(luò)的當(dāng)前狀態(tài)，以分配目標(biāo)比特。
重要性判定器205根據(jù)由目標(biāo)比特分配器204所分配的目標(biāo)比特確定網(wǎng)絡(luò)的當(dāng)前比特率。
另外，重要性判定器205確定網(wǎng)絡(luò)的當(dāng)前比特率，并且當(dāng)比特率為高時(shí)把重要性值施加器201施加了重要性值的宏塊傳輸給量化器202。
相反地，當(dāng)網(wǎng)絡(luò)由于低比特率而狀態(tài)不好時(shí)，重要性判定器205確定施加了重要性值的宏塊是否具有高的重要性。
將具有高重要性的宏塊傳輸?shù)搅炕?02，將具有低重要性的宏塊設(shè)定為非編碼塊。
此處，設(shè)定為非編碼塊的宏塊不具有編碼數(shù)據(jù)，以在相當(dāng)程度上減少所傳輸數(shù)據(jù)的數(shù)量。
量化器202對(duì)由重要性判定器205施加了高重要性的宏塊進(jìn)行編碼。
輸出緩沖器203接收所編碼的宏塊，并且輸出比特流。通過具有有限帶寬的信道對(duì)此類比特流進(jìn)行傳輸。
當(dāng)通過網(wǎng)絡(luò)進(jìn)行多媒體視頻的傳輸時(shí)，基于對(duì)象的比特率控制系統(tǒng)從輸入圖像中分離出具有宏塊單元的對(duì)象，對(duì)各個(gè)宏塊施加重要性值，并且根據(jù)網(wǎng)絡(luò)的比特率和施加到宏塊上的重要性值確定是否對(duì)相應(yīng)的宏塊進(jìn)行編碼和傳輸，或者不進(jìn)行編碼而對(duì)非編碼塊進(jìn)行傳輸。
當(dāng)使用諸如H.263或者M(jìn)PEG1/2等的移動(dòng)圖像標(biāo)準(zhǔn)進(jìn)行解釋時(shí)，根據(jù)預(yù)測(cè)編碼對(duì)給定圖像的各個(gè)幀進(jìn)行編碼。預(yù)測(cè)編碼將像素的信號(hào)值表示為不同時(shí)刻中圖像信號(hào)值的差值，以提高壓縮效率。僅對(duì)P或者B圖像進(jìn)行預(yù)測(cè)編碼。在16*16的宏塊單元中進(jìn)行預(yù)測(cè)。在先前圖像的特定范圍中，檢測(cè)具有和當(dāng)前圖像的特定宏塊的值最相近值的宏塊。宏塊之間的差異是表示當(dāng)前宏塊相對(duì)于先前圖像的運(yùn)動(dòng)程度的運(yùn)動(dòng)矢量。如果當(dāng)前宏塊相對(duì)于先前圖像的宏塊沒有運(yùn)動(dòng)、且和先前圖像的宏塊沒有差值的時(shí)候，運(yùn)動(dòng)矢量為‘0’，并且不存在用于DCT編碼的系數(shù)值。這樣的宏塊為非編碼塊。這樣，可以顯著地降低所生成的數(shù)據(jù)量。
這樣，本發(fā)明的系統(tǒng)從所傳輸?shù)膱D像中分離出對(duì)象，在各個(gè)宏塊上施加重要性值，并且不管網(wǎng)絡(luò)的低比特率，對(duì)具有高重要性的宏塊進(jìn)行傳輸，從而防止遺漏重要的信息。另外，本發(fā)明的系統(tǒng)強(qiáng)制性地在降低比特率時(shí)將具有低重要性的宏塊設(shè)定為非編碼塊，以降低數(shù)據(jù)傳輸?shù)呢?fù)載。
下面參照?qǐng)D3，對(duì)使用基于對(duì)象的非編碼塊的比特率控制方法進(jìn)行詳細(xì)描述。
圖3顯示的是根據(jù)本發(fā)明的基于對(duì)象的比特率控制方法的流程圖。如圖3所示，使用對(duì)象分離方法從輸入圖像中分離出對(duì)象(步驟311)。如上所述，對(duì)象可以是用戶區(qū)域、背景區(qū)域或者邊界區(qū)域。根據(jù)區(qū)域的大小，對(duì)象至少包括一個(gè)宏塊。此處，為了去除在邊界區(qū)域處所生成的余像，當(dāng)從圖像中分離出用戶區(qū)域時(shí)，可以將邊界區(qū)域包含在用戶區(qū)域中。因此，對(duì)包含邊界區(qū)域的用戶區(qū)域進(jìn)行分離，以防止在邊界區(qū)域中生成余像。
根據(jù)本發(fā)明，對(duì)包含在所分離對(duì)象中的宏塊施加重要性值(步驟314)。此處，用戶區(qū)域的宏塊比背景區(qū)域的宏塊具有更高的重要性。
如上所述，由于在圖像質(zhì)量上，用戶區(qū)域比背景區(qū)域更為敏感，所以向用戶區(qū)域施加高重要性。當(dāng)網(wǎng)絡(luò)的比特率較低時(shí)，具有相對(duì)高重要性的用戶區(qū)域的圖像質(zhì)量保持在高的水平，但是降低了具有相對(duì)低重要性的背景區(qū)域的圖像質(zhì)量，以滿足用戶，并且反映網(wǎng)絡(luò)的狀態(tài)。
仍然參照?qǐng)D3，目標(biāo)比特分配器基于輸出緩沖器輸出的網(wǎng)絡(luò)狀態(tài)信息，對(duì)目標(biāo)比特進(jìn)行分配(步驟317)。
當(dāng)分配了目標(biāo)比特時(shí)，參照所分配的目標(biāo)比特，確定網(wǎng)絡(luò)的當(dāng)前狀態(tài)(步驟320)。即，確定網(wǎng)絡(luò)的當(dāng)前比特率是高還是低。
當(dāng)網(wǎng)絡(luò)的當(dāng)前比特率為高時(shí)，根據(jù)設(shè)定的比特率，不管重要性，對(duì)所有的宏塊進(jìn)行編碼。
對(duì)于網(wǎng)絡(luò)的當(dāng)前比特率為低的情況，即網(wǎng)絡(luò)狀態(tài)不好時(shí)，不可能高質(zhì)量地傳輸所有的宏塊。
因此，當(dāng)網(wǎng)絡(luò)的當(dāng)前比特率為低時(shí)，重要性判定器205確定施加了重要性的宏塊是否具有高重要性值(步驟323)。
作為確定的結(jié)果，對(duì)具有高重要性值的宏塊進(jìn)行編碼和傳輸(步驟326和329)。
相反地，將具有低重要性的宏塊設(shè)定為非編碼塊(步驟332)。當(dāng)將宏塊設(shè)定為非編碼塊時(shí)，意味著不對(duì)相應(yīng)的宏塊進(jìn)行傳輸。
當(dāng)存在設(shè)定為非編碼塊的宏塊時(shí)，不對(duì)相應(yīng)的宏塊進(jìn)行傳輸。
對(duì)所有的宏塊執(zhí)行步驟323到338。即，確認(rèn)是否存在后續(xù)宏塊(步驟338)。當(dāng)存在后續(xù)宏塊時(shí)，程序跳轉(zhuǎn)到步驟323，當(dāng)不存在后繼宏塊時(shí)，程序結(jié)束。
如上所述，步驟311從圖像中分離出用戶區(qū)域和背景區(qū)域。實(shí)際上，在通信過程中，用戶所敏感的是用戶區(qū)域。盡管沒有充分地傳輸其它外圍區(qū)域，即背景區(qū)域以完整地顯示運(yùn)動(dòng)，用戶也不會(huì)感覺到背景區(qū)域的靜止。這是因?yàn)橛脩舻淖⒁饬性谝曨l的用戶區(qū)域，并且對(duì)用戶區(qū)域的運(yùn)動(dòng)敏感。如圖4所示，當(dāng)以宏塊為單位將圖像的對(duì)象分為用戶區(qū)域和背景區(qū)域時(shí)，盡管對(duì)用戶關(guān)注的用戶區(qū)域的宏塊進(jìn)行了編碼和傳輸，對(duì)先前幀的背景區(qū)域進(jìn)行傳輸，以代替對(duì)背景區(qū)域的宏塊進(jìn)行編碼，用戶幾乎不會(huì)感覺到背景區(qū)域的靜止。
圖5顯示的是對(duì)此進(jìn)行解釋的運(yùn)動(dòng)圖像數(shù)據(jù)的示范視圖。此處，圖5C中的用戶區(qū)域是從圖5B中的第20幀圖像提取的。值得注意的是所提取的用戶區(qū)域包括邊界區(qū)域。在用戶區(qū)域中包含邊界區(qū)域，以防止在邊界區(qū)域中生成余像，從而為用戶提供高質(zhì)量的視頻。
如圖5所示，當(dāng)將第一幀圖像(圖5A)和第20幀圖像(圖5B)進(jìn)行比較時(shí)，第一幀圖像和第20幀圖像具有不同的背景。當(dāng)從第20幀圖像中提取用戶區(qū)域(圖5C)時(shí)，如果將不包括用戶區(qū)域的背景區(qū)域設(shè)定為非編碼塊，對(duì)從第20幀圖像提取的用戶區(qū)域和第1幀圖像的背景區(qū)域進(jìn)行合成，以顯示圖5D所示的第20幀圖像(即，將背景區(qū)域設(shè)定為非編碼塊，而照常使用第1幀圖像的背景區(qū)域)。如圖5D所示，由于用戶區(qū)域的邊界區(qū)域不同，合成的第20幀圖像在圖像質(zhì)量上和包括背景圖像的第20幀圖像(圖5B)有所不同，但是在整個(gè)圖像質(zhì)量上不會(huì)造成大的差異。根據(jù)網(wǎng)絡(luò)的狀態(tài)，對(duì)于具有中斷的視頻質(zhì)量來講還是好的。使用由MPEG1/2，H.263等提供的非編碼塊來實(shí)現(xiàn)此技術(shù)。
另一方面，對(duì)于在邊界區(qū)域生成余像的情況，當(dāng)以最小n幀的速度對(duì)所有的幀進(jìn)行重新傳輸、以維持每秒鐘所傳輸?shù)奶囟◣俾蕰r(shí)，用戶不會(huì)感覺到停止了背景區(qū)域，或者幾乎不會(huì)感覺到前一幀的余像。
圖6所示，把根據(jù)本發(fā)明的基于對(duì)象的比特率控制方法應(yīng)用于現(xiàn)有的編碼器。即，對(duì)象分離器400從輸入圖像中分離對(duì)象，重要性值施加器410對(duì)包含在所分離對(duì)象中的至少一個(gè)宏塊施加重要性值。重要性判定器420對(duì)宏塊進(jìn)行DCT和編碼，或者根據(jù)重要性將其設(shè)定成為非編碼塊。
作為重要性判定器420的確定結(jié)果，DCT 440通過第一切換器430對(duì)具有高重要性的宏塊進(jìn)行DCT，而量化器450對(duì)DCT系數(shù)進(jìn)行量化。逆向量化器460對(duì)所編碼的信號(hào)進(jìn)行逆向量化，而逆向DCT 470實(shí)現(xiàn)逆向DCT，從而可以利用第二切換器435所選擇的信息把恢復(fù)的信號(hào)作為圖像信號(hào)存儲(chǔ)在圖像存儲(chǔ)器480中。提供存儲(chǔ)在圖像存儲(chǔ)器480中的圖像信號(hào)作為用于DCT和編碼過程的信號(hào)。
另一方面，作為重要性判定器420的確定結(jié)果，不對(duì)具有低重要性的宏塊進(jìn)行DCT和編碼。
在圖6的編碼器中，當(dāng)輸入圖像的時(shí)候，使用對(duì)象分離方法從圖像中分離出對(duì)象，在包含在對(duì)象中的各個(gè)宏塊上施加重要性值。此處，當(dāng)網(wǎng)絡(luò)的當(dāng)前比特率較低時(shí)，確定當(dāng)前宏塊的重要性。當(dāng)當(dāng)前宏塊具有高的重要性時(shí)，對(duì)相應(yīng)的宏塊進(jìn)行編碼和傳輸。相反地，當(dāng)當(dāng)前宏塊具有低重要性時(shí)，不對(duì)相應(yīng)的宏塊進(jìn)行編碼，而是強(qiáng)制設(shè)定為非編碼塊。通過控制比特率，能夠在根據(jù)網(wǎng)絡(luò)狀態(tài)分配的目標(biāo)比特的范圍之內(nèi)，有效地對(duì)宏塊進(jìn)行傳輸。
在本實(shí)施例中，描述了在實(shí)時(shí)通信狀態(tài)下有效控制比特率的方法。但是，本發(fā)明的技術(shù)可以用作諸如視頻郵件等運(yùn)動(dòng)圖像的編碼方法。即，當(dāng)根據(jù)本發(fā)明的方法對(duì)由移動(dòng)終端獲得的視頻進(jìn)行編碼時(shí)，能夠顯著降低整個(gè)編碼視頻的大小。由于視頻服務(wù)的費(fèi)用通常以信息包的數(shù)目計(jì)算，所以運(yùn)動(dòng)圖像的大小是很重要的。
根據(jù)本發(fā)明，用戶能夠?qū)μ囟ǖ膶?duì)象設(shè)定高重要性，從而當(dāng)視頻通信中的比特率嚴(yán)重降低時(shí)，能夠防止接收側(cè)的中斷。
另外，通過網(wǎng)絡(luò)僅對(duì)具有高重要性的宏塊進(jìn)行傳輸，從而為用戶提供高質(zhì)量的視頻，并且有效地使用網(wǎng)絡(luò)。
尤其是，本發(fā)明的方法適用于諸如IMT 2000的無線移動(dòng)通信。還有，能夠?qū)τ梢苿?dòng)終端所獲得的視頻郵件圖像進(jìn)行有效的編碼。即，對(duì)視頻郵件圖像進(jìn)行編碼使其具有小的大小，而不會(huì)造成重要信息的丟失，以降低費(fèi)用。
盡管參照特定的優(yōu)選實(shí)施例對(duì)本發(fā)明進(jìn)行了顯示和描述，但是對(duì)于本領(lǐng)域技術(shù)人員，在不偏離本發(fā)明的權(quán)利要求書所定義的精神和范圍的情況下，顯然可以有各種形式上或細(xì)節(jié)上的變化。
上述的實(shí)施例和優(yōu)點(diǎn)僅是示例性的，并不認(rèn)為是對(duì)本發(fā)明的限定。本發(fā)明的技術(shù)教導(dǎo)可以適用于其他類型的設(shè)備。本發(fā)明的描述僅是說明性的，它并不限制權(quán)利要求的范圍。對(duì)于本技術(shù)領(lǐng)域人員，顯然可以有各種替換、改進(jìn)和變化。
權(quán)利要求
1.在以宏塊為單位進(jìn)行視頻編碼和傳輸?shù)南到y(tǒng)中，一種基于對(duì)象的比特率控制方法，包括以下步驟對(duì)從圖像中分離出的對(duì)象中包含的至少一個(gè)宏塊賦予重要性值；以及當(dāng)網(wǎng)絡(luò)的比特率低時(shí)，對(duì)超過預(yù)定重要性值的宏塊進(jìn)行編碼和傳輸。
2.根據(jù)權(quán)利要求1的方法，其特征在于，不對(duì)低于預(yù)定重要性值的宏塊進(jìn)行編碼，而是設(shè)定為非編碼塊。
3.根據(jù)權(quán)利要求1的方法，其特征在于，所述超過預(yù)定重要性值的宏塊包含在對(duì)象的用戶區(qū)域中，其中所述對(duì)象被劃分為用戶區(qū)域和背景區(qū)域。
4.根據(jù)權(quán)利要求3的方法，其特征在于，所述用戶區(qū)域還包含邊界區(qū)域。
5.根據(jù)權(quán)利要求3的方法，其特征在于，所述用戶區(qū)域包括人體、面部、眼睛、鼻、嘴或者它們的選擇性組合。
6.根據(jù)權(quán)利要求1的方法，其特征在于，包含在用戶區(qū)域中的宏塊比包含在背景區(qū)域中的宏塊具有更高的重要性。
7.在以宏塊為單位進(jìn)行視頻編碼和傳輸?shù)南到y(tǒng)中，一種基于對(duì)象的比特率控制方法，包括以下步驟根據(jù)賦予從圖像分離出來的對(duì)象中包含的至少一個(gè)宏塊的重要性值，設(shè)定非編碼塊；當(dāng)網(wǎng)絡(luò)的比特率低時(shí)，不對(duì)具有較低重要性值的宏塊進(jìn)行傳輸；當(dāng)網(wǎng)絡(luò)的比特率低時(shí)，對(duì)具有較高重要性值的宏塊進(jìn)行編碼和傳輸。
8.根據(jù)權(quán)利要求7的方法，其特征在于，設(shè)定為非編碼塊的宏塊比未設(shè)定為非編碼塊的宏塊具有更低的重要性。
9.在以宏塊為單位進(jìn)行視頻編碼和傳輸?shù)南到y(tǒng)中，一種基于對(duì)象的比特率控制方法，包括以下步驟對(duì)從圖像中分離出的對(duì)象中包含的至少一個(gè)宏塊施加重要性值；設(shè)定網(wǎng)絡(luò)狀態(tài)；當(dāng)網(wǎng)絡(luò)狀態(tài)為差時(shí)，將具有低重要性的區(qū)域設(shè)定為非編碼塊；當(dāng)網(wǎng)絡(luò)狀態(tài)為差時(shí)，對(duì)未設(shè)定為非編碼塊的宏塊進(jìn)行編碼和傳輸。
10.根據(jù)權(quán)利要求9的方法，還包括以下步驟在確定非編碼塊的設(shè)定狀態(tài)的步驟之前，根據(jù)來自輸出終端的網(wǎng)絡(luò)狀態(tài)信息分配目標(biāo)比特。
11.根據(jù)權(quán)利要求9的方法，其特征在于，所述未設(shè)定為非編碼塊的宏塊包含在對(duì)象的用戶區(qū)域中，其中所述的對(duì)象被劃分為用戶區(qū)域和背景區(qū)域。
12.根據(jù)權(quán)利要求9的方法，其特征在于，所述未設(shè)定為非編碼塊的宏塊比設(shè)定為非編碼塊的宏塊具有更高的重要性。
13.根據(jù)權(quán)利要求9的方法，其特征在于，使用對(duì)象分離方法從圖像中分離對(duì)象。
14.一種用于以宏塊為單位進(jìn)行視頻編碼和傳輸?shù)幕趯?duì)象的比特率控制系統(tǒng)，包括用于從圖像中分離目標(biāo)區(qū)域的裝置；用于向從圖像中分離出來的對(duì)象中包含的至少一個(gè)宏塊施加重要性值的裝置；以及用于當(dāng)網(wǎng)絡(luò)的比特率低時(shí)對(duì)超過預(yù)定重要性值的宏塊進(jìn)行編碼和傳輸?shù)难b置。
15.根據(jù)權(quán)利要求14的系統(tǒng)，其特征在于，不對(duì)低于預(yù)定重要性值的宏塊進(jìn)行編碼，而是設(shè)定為非編碼塊，并且所述超過預(yù)定重要性值的宏塊包含在對(duì)象的用戶區(qū)域中，其中所述的對(duì)象被劃分為用戶區(qū)域和背景區(qū)域。
16.一種用于以宏塊為單位進(jìn)行視頻編碼和傳輸?shù)幕趯?duì)象的比特率控制系統(tǒng)，包括基于施加在包含在從圖像中分離出來的對(duì)象中至少一個(gè)宏塊上的重要性，設(shè)定非編碼塊的裝置；當(dāng)網(wǎng)絡(luò)的比特率為低時(shí)，不對(duì)具有較低重要性的宏塊進(jìn)行傳輸?shù)难b置；當(dāng)網(wǎng)絡(luò)的比特率為低時(shí)，對(duì)具有較高重要性的宏塊進(jìn)行編碼和傳輸?shù)难b置。
17.根據(jù)權(quán)利要求16的系統(tǒng)，還包括用不是初始背景區(qū)域的靜止圖像代替具有較低重要性的區(qū)域、并且自動(dòng)將該靜止圖像設(shè)定為非編碼塊的裝置，其中，代替具有較低重要性區(qū)域的靜止圖像是由用戶或者系統(tǒng)選定的圖像。
18.一種用于以宏塊為單位進(jìn)行視頻編碼和傳輸?shù)幕趯?duì)象的比特率控制系統(tǒng)，包括對(duì)從圖像中分離出的對(duì)象中包含的至少一個(gè)宏塊施加重要性值的裝置；設(shè)定網(wǎng)絡(luò)狀態(tài)的裝置；當(dāng)網(wǎng)絡(luò)狀態(tài)為差時(shí)，將具有低重要性的區(qū)域設(shè)定為非編碼塊的裝置；以及當(dāng)網(wǎng)絡(luò)狀態(tài)為差時(shí)，對(duì)未設(shè)定為非編碼塊的宏塊進(jìn)行編碼和傳輸?shù)难b置。
19.根據(jù)權(quán)利要求18的系統(tǒng)，還包括在確定非編碼塊的設(shè)定狀態(tài)之前根據(jù)來自輸出終端的網(wǎng)絡(luò)狀態(tài)信息分配目標(biāo)比特的裝置。
20.根據(jù)權(quán)利要求18的方法，其特征在于，所述未設(shè)定為非編碼塊的宏塊包含在對(duì)象的用戶區(qū)域中，其中所述對(duì)象劃分為用戶區(qū)域和背景區(qū)域，此類宏塊比設(shè)定為非編碼塊的宏塊具有更高的重要性。
全文摘要
一種基于對(duì)象的比特率控制方法，其可以防止視頻的中斷，并且即使網(wǎng)絡(luò)的比特率嚴(yán)重降低時(shí)也能夠保持視頻的高質(zhì)量。從圖像中分離出對(duì)象，并且向所分離對(duì)象中包含的宏塊賦予重要性值。當(dāng)網(wǎng)絡(luò)的比特率降低時(shí)，對(duì)具有高重要性的宏塊進(jìn)行正常的編碼和傳輸，而不對(duì)具有低重要性的宏塊進(jìn)行編碼。
文檔編號(hào)H04N7/46GK1420691SQ02150289
公開日2003年5月28日 申請(qǐng)日期2002年11月8日 優(yōu)先權(quán)日2001年11月17日
發(fā)明者李振秀, 柳在信, 樸起洙 申請(qǐng)人:Lg電子株式會(huì)社