專利名稱：信息處理裝置和信息處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可適用于諸如個人電腦的信息處理裝置的運動圖像流的解碼技術(shù)。
背景技術(shù)：
近年來，具有類似于諸如數(shù)字萬能光盤播放器和電視機(jī)的AV裝置的音頻/視頻(AV)功能的個人電腦已經(jīng)得到普及。這種類型的個人電腦運用軟件解碼器，該軟件解碼器用軟件解碼被壓縮編碼的運動圖像流。該軟件能使被壓縮編碼的運動圖像流通過處理器(CPU)解碼而不需要提供特殊的硬件。
進(jìn)一步地，近來，H.264/AVC(高級視頻編碼)已經(jīng)作為下一代運動圖像壓縮編碼技術(shù)而受到關(guān)注。與諸如MPEG2和MPEG4的常規(guī)的壓縮編碼技術(shù)相比，H.264/AVC標(biāo)準(zhǔn)能夠更高效地執(zhí)行壓縮編碼。這樣，在符合H.264/AVC標(biāo)準(zhǔn)的每個編碼處理和解碼處理中處理器上的負(fù)荷比諸如MPEG2和MPEG4的常規(guī)壓縮編碼技術(shù)中處理器上的負(fù)荷更高。
另一方面，迄今已經(jīng)提出了降低運動圖像流的解碼量的多種方法，如日本專利申請KOKAI公報號8-339447揭示的一種技術(shù)，該技術(shù)中省略彩色成分的解碼處理以降低視頻解碼器的負(fù)荷。
但是，一般來說，即使視頻解碼器上的負(fù)荷能被降低，解碼彩色成分的處理也不能從解碼運動圖像流的處理中省略。
近來，將一個圖像疊加至另一圖像的混合處理已能通過軟件達(dá)到。該混合處理的意圖不僅僅是將兩幅圖像合并為一幅圖像。也就是說，在混合處理中，兩幅圖像以調(diào)整兩幅圖像中上面一幅圖像的透明度(不透明度)使得其中下面一幅圖像能夠透過上面一幅圖像被看到這樣的方式疊加在一起。例如，通過這種高次疊加的功效，兩幅圖像能在同一視場中被看到。
在上述混合處理中，兩幅圖像的一幅圖像中或者全部兩幅圖像中的彩色成分的解碼處理可以被省略。在這種情況下，該處理是否可被省略取決于使用者對系統(tǒng)的設(shè)置。上述解碼處理的省略是非常有利的，尤其對于允許多個軟件同時使用的個人電腦更是如此。
發(fā)明內(nèi)容
考慮到前述的情況而提出了本發(fā)明，并且其目的是提供一種信息處理裝置和信息處理程序，該裝置和程序可以降低解碼運動圖像流中系統(tǒng)上的負(fù)荷。
為了達(dá)到上述目的，本發(fā)明的信息處理裝置包括執(zhí)行解碼被壓縮編碼的運動圖像流的解碼處理的裝置；通過將第二圖像疊加到第一圖像上產(chǎn)生一個圖像的裝置；以及執(zhí)行從解碼處理單元在第一和第二圖像中的至少一個圖像上的解碼處理中省略解碼彩色成分的解碼處理的控制處理的裝置。
本發(fā)明能提供一種信息處理裝置和信息處理程序，該信息處理裝置和信息處理程序可以降低解碼運動圖像流中系統(tǒng)上的負(fù)荷。
本發(fā)明另外的目的和效果將在后續(xù)的說明中陳述，其一部分通過敘述將顯而易見，或者可以通過本發(fā)明的實踐而得到理解。本發(fā)明的目的和優(yōu)點尤其可以通過下文指出的手段和組合實現(xiàn)和獲得。
結(jié)合在說明書中并構(gòu)成說明書的一部分的
了本發(fā)明的實施例，并且與上文的一般說明及下文對實施例的詳盡說明一起用于解釋本發(fā)明的原理。
圖1是顯示根據(jù)本發(fā)明的實施例的計算機(jī)的外觀的立體圖；圖2是顯示根據(jù)本發(fā)明的實施例的計算機(jī)的系統(tǒng)結(jié)構(gòu)的示意圖；圖3是用于計算機(jī)的視頻再現(xiàn)應(yīng)用程序的功能結(jié)構(gòu)框圖；圖4是顯示起到視頻再現(xiàn)應(yīng)用程序功能的軟件解碼器的結(jié)構(gòu)的框圖；圖5是用于解釋混合處理(alpha混合)的實例的示意圖；圖6是顯示本發(fā)明的實施例中由視頻再現(xiàn)應(yīng)用程序執(zhí)行的解碼處理步驟的流程圖；圖7是顯示本發(fā)明的實施例中由視頻再現(xiàn)應(yīng)用程序解碼的運動圖像流的示意圖；圖8是顯示本發(fā)明的實施例中由視頻再現(xiàn)應(yīng)用程序解碼的運動圖像流的訪問單元的示意圖；圖9是顯示本發(fā)明的實施例中由視頻再現(xiàn)應(yīng)用程序解碼的運動圖像流中的“SPS”的NAL單元中的“chroma_format_idc”的值和彩色成分的比率之間的關(guān)系的示意圖。
具體實施例方式
下面將結(jié)合
本發(fā)明的實施例。
首先，參考圖1和圖2解釋根據(jù)本發(fā)明的實施例的信息處理裝置的結(jié)構(gòu)。該信息處理裝置例如可以是筆記本電腦10。
圖1是筆記本電腦10的立體圖，圖中顯示筆記本電腦10的顯示單元是打開的。電腦10包括主體11和顯示單元12。顯示單元12包括由液晶顯示器(LCD)17組成的顯示裝置，LCD17的顯示屏基本上位于顯示單元12的中心。
顯示單元12以可在其打開位置和關(guān)閉位置之間轉(zhuǎn)動這樣的方式設(shè)置在主體11上。主體11包括一個薄的盒型外殼。在主體11的上表面設(shè)置鍵盤(KB)13，電源按鈕14，輸入操作面板15和觸摸墊16。電源按鈕14被用于打開或者關(guān)閉電源。
輸入操作面板15是用于將控制信號輸入系統(tǒng)的輸入裝置并包括一組啟動各個功能的按鈕。更具體地，當(dāng)任何一個按鈕被按壓時就有一個相關(guān)的控制信號被輸入到系統(tǒng)。按鈕包括電視開始按鈕15A和數(shù)碼萬能光盤(DVD)開始按鈕15B。電視開始按鈕15A是用于使電視功能執(zhí)行的按鈕。電視功能是執(zhí)行再現(xiàn)和記錄諸如數(shù)碼電視廣播節(jié)目的廣播節(jié)目數(shù)據(jù)的功能。當(dāng)電視開始按鈕15A被使用者按壓時，執(zhí)行電視功能的電視應(yīng)用程序開始工作。另外，DVD開始按鈕15B是使記錄在DVD上的視頻內(nèi)容再現(xiàn)的按鈕。當(dāng)DVD開始按鈕15B被使用者按壓時，再現(xiàn)視頻內(nèi)容的應(yīng)用程序自動開始工作。
接著，參考圖2說明計算機(jī)10的系統(tǒng)結(jié)構(gòu)。
如圖2所示，計算機(jī)10包括CPU111，北橋112，主存儲器113，圖形控制器114，南橋119，BIOS-ROM120，硬盤驅(qū)動器(HDD)121，光盤驅(qū)動器(ODD)122，數(shù)碼電視廣播調(diào)諧器123，嵌入式控制器/鍵盤控制器IC(EC/KEC)124和網(wǎng)絡(luò)控制器125等。
CPU111是為控制電腦10的操作設(shè)置的處理器，執(zhí)行操作系統(tǒng)(OS)和諸如視頻再現(xiàn)應(yīng)用程序201的各種應(yīng)用程序。
視頻再現(xiàn)應(yīng)用程序201是解碼和再現(xiàn)被壓縮編碼的運動圖像數(shù)據(jù)的軟件。視頻再現(xiàn)應(yīng)用程序201是符合H.264/AVC標(biāo)準(zhǔn)的軟件解碼器。視頻再現(xiàn)應(yīng)用程序201具有解碼由H.264/AVC標(biāo)準(zhǔn)中定義的編碼方法壓縮編碼的運動圖像流(諸如由數(shù)碼電視廣播調(diào)諧器123接收到的電視廣播節(jié)目或者符合高清晰度(HD)標(biāo)準(zhǔn)的從ODD122讀出的視頻內(nèi)容)的功能。
如圖3所示，視頻再現(xiàn)應(yīng)用程序201包括解碼控制模塊211，解碼執(zhí)行模塊212和混合處理模塊213。
解碼執(zhí)行模塊212是執(zhí)行由H.264/AVC標(biāo)準(zhǔn)定義的解碼處理的解碼器?；旌咸幚砟K213執(zhí)行疊加由解碼執(zhí)行模塊212解碼的兩幅圖像的混合處理。混合處理的意圖為以一個像素為單位，在添加到兩幅圖像中的一幅圖像的圖像數(shù)據(jù)上的alpha數(shù)據(jù)的基礎(chǔ)上將兩幅圖像中的所述一幅圖像疊加到另一幅圖像上(aipha混合)。Alpha數(shù)據(jù)是表示兩幅圖像中的所述一幅圖像的每個像素的透明度(或不透明度)的系數(shù)。下文的解釋將在上述兩幅圖像都由解碼執(zhí)行模塊212解碼的前提下給出。但是，本發(fā)明并不限于這樣的情況。例如，當(dāng)兩幅圖像被疊加時，任何一幅圖像都可以是諸如為用戶界面事先準(zhǔn)備的菜單圖像的著色圖像(圖形)。
根據(jù)由解碼執(zhí)行模塊212解碼的圖像是否將受到混合處理模塊213的混合處理，解碼控制模塊211控制解碼執(zhí)行模塊212的解碼處理。更具體地，當(dāng)由解碼執(zhí)行模塊212解碼的圖像將不受到混合處理模塊213的混合處理時，解碼控制模塊211控制解碼執(zhí)行模塊212的解碼處理，使CPU111執(zhí)行H.264/AVC標(biāo)準(zhǔn)中定義的解碼處理。另一方面，當(dāng)由解碼執(zhí)行模塊212解碼的圖像將受到混合處理模塊213的混合處理時，解碼控制模塊211控制解碼執(zhí)行模塊212的解碼處理，使H.264/AVC標(biāo)準(zhǔn)中定義的解碼處理的一部分被省略。
由視頻再現(xiàn)應(yīng)用程序201解碼的運動圖像數(shù)據(jù)通過顯示驅(qū)動器202相繼寫入圖形控制器114的視頻存儲器(VRAM)114A。因此，被解碼的運動圖像數(shù)據(jù)由LCD17顯示。顯示驅(qū)動器202是控制圖形控制器114的軟件。
CPU111執(zhí)行存儲在BIOS-ROM120中的基本輸入輸出系統(tǒng)(BIOS)。BIOS系統(tǒng)是控制硬件的程序。
北橋112是連接CPU111的本地總線和南橋119的橋裝置。北橋112包括用于控制訪問主存儲器113的存儲器控制器。還有，北橋112具有通過加速圖形端口(AGP)總線與圖形控制器114通信的功能。
圖形控制器114是用于控制LCD117的顯示控制器，LCD117被用作電腦10的顯示監(jiān)視器。基于寫入視頻存儲器(VRAM)114A的圖像數(shù)據(jù)，圖形控制器114產(chǎn)生將提供到LCD17的顯示信號。
南橋119控制位于低針腳數(shù)量總線(LPC)上的裝置以及設(shè)置在外設(shè)部件互連(PCI)上的裝置。還有，南橋119包括控制HDD121和ODD122的集成驅(qū)動電子裝置(IDE)控制器。另外，南橋119具有控制數(shù)碼電視廣播調(diào)諧器123和控制訪問BIOS-ROM120的功能。
HDD121是用于存儲各種軟件和數(shù)據(jù)的存儲器。ODD122是用于驅(qū)動諸如存儲視頻內(nèi)容的DVD的存儲媒體的驅(qū)動單元。數(shù)碼電視廣播調(diào)諧器123是用于從外部設(shè)備等接收諸如數(shù)碼電視廣播節(jié)目的廣播節(jié)目數(shù)據(jù)的接收器。
嵌入式控制器/鍵盤控制器IC(EC/KBC)124是單芯片微機(jī)，其中用于電源控制的嵌入式控制器和用于控制鍵盤(KB)13的鍵盤控制器以及觸摸墊16被互相形成整體。EC/KBC124具有根據(jù)使用者操作電源按鈕14來開關(guān)電腦10的電源的功能。進(jìn)一步地，EC/KBC124可以根據(jù)使用者操作電視開始按鈕15A以及DVD開始按鈕15B來打開電腦10的電源。網(wǎng)絡(luò)控制器125是用于與外部網(wǎng)絡(luò)如因特網(wǎng)通信的通信裝置。
起到視頻再現(xiàn)應(yīng)用程序201的功能的軟件解碼器的功能結(jié)構(gòu)將參考圖4進(jìn)行詳細(xì)說明。
視頻再現(xiàn)應(yīng)用程序201的解碼執(zhí)行模塊212符合H.264/AVC標(biāo)準(zhǔn)，以及如圖4所示包括熵解碼部分301，逆量化部分302，逆離散余弦轉(zhuǎn)換(DCT)部分303，添加部分304，抗塊效應(yīng)濾波器部分(deblocking filter)305，幀存儲器306，運動矢量預(yù)測部分307，插值預(yù)測部分308，加權(quán)預(yù)測部分309，內(nèi)預(yù)測部分310和模式轉(zhuǎn)換部分311。盡管H.264標(biāo)準(zhǔn)的直角轉(zhuǎn)換以整數(shù)精密度執(zhí)行并且不同于一般的DCT，但在下文它將被稱作DCT。
每個圖像的編碼以16×16像素的一個微小塊為單位進(jìn)行。在每個微小塊內(nèi)，選擇幀內(nèi)編碼模式(內(nèi)編碼模式)或運動補(bǔ)償幀間預(yù)測編碼模式(間編碼模式)。
在運動補(bǔ)償幀間預(yù)測編碼模式中，從經(jīng)編碼的一個圖像或多個圖像中預(yù)測運動，并產(chǎn)生與將被編碼的圖像相關(guān)聯(lián)的運動補(bǔ)償幀間預(yù)測信號。然后，通過從將被編碼的上述圖像消除運動補(bǔ)償幀間預(yù)測信號而獲得的預(yù)測誤差信號通過DCT、量化和熵編碼進(jìn)行編碼。進(jìn)一步地，在內(nèi)編碼模式中，從將被編碼的圖像中產(chǎn)生預(yù)測信號，然后通過DCT、量化和熵編碼對其進(jìn)行編碼。
為了提高壓縮率，符合H.264/AVC標(biāo)準(zhǔn)的Codec利用下述技術(shù)(1)到(6)(1)以比MPEG更高的像素精度(1/4像素精度)執(zhí)行的運動補(bǔ)償；(2)使幀內(nèi)編碼能有效執(zhí)行的幀內(nèi)預(yù)測；(3)用于降低塊變形的抗塊效應(yīng)濾波器；(4)以4×4像素為單位執(zhí)行的整數(shù)DCT；(5)任意位置的多個圖像可以被用作參考圖像的多參考幀；(6)加權(quán)預(yù)測。
軟件解碼器的操作將在下文進(jìn)行說明。
根據(jù)H.264/AVC標(biāo)準(zhǔn)被壓縮編碼的運動圖像流被輸入熵解碼部分301。除了經(jīng)編碼的圖像信息之外，壓縮編碼的運動圖像流還包括在運動補(bǔ)償幀間預(yù)測編碼(間預(yù)測編碼)中使用的運動矢量信息，在幀內(nèi)預(yù)測編碼(內(nèi)預(yù)測編碼)中使用的幀內(nèi)預(yù)測信息以及表示預(yù)測模式(間預(yù)測編碼/內(nèi)預(yù)測編碼)的模式信息等。
解碼過程以例如16×16像素的一個微小塊為單位進(jìn)行。熵解碼部分301在運動圖像流上執(zhí)行與可變長度編碼相似的熵解碼過程，并從運動圖像流中分離出量化DCT系數(shù)，運動矢量信息(運動矢量微分信息)，幀內(nèi)預(yù)測信息和模式信息。在該情況中，例如，在將被解碼的圖像中的每個微小塊經(jīng)受以4×4像素(或8×8像素)的一個塊為單位的熵解碼處理，并被轉(zhuǎn)換為4×4(或8×8)量化DCT系數(shù)。在下面的解釋中，假設(shè)每個塊由4×4像素組成。運動矢量信息被送到運動矢量預(yù)測模塊307。幀內(nèi)預(yù)測信息被送至內(nèi)預(yù)測部分310。模式信息被送到模式轉(zhuǎn)換部分311。
在上述圖像中每個將被解碼的塊的量化DCT系數(shù)通過逆量化部分302的逆量化處理被轉(zhuǎn)換到4×4DCT系數(shù)(直角轉(zhuǎn)換系數(shù))。4×4DCT系數(shù)通過逆DCT部分303基于頻率信息的逆整數(shù)DCT(逆直角轉(zhuǎn)換)處理被轉(zhuǎn)換成4×4像素值。4×4像素值相應(yīng)于與將被解碼的塊相關(guān)聯(lián)的預(yù)測誤差信號。預(yù)測誤差信號被送至添加部分304，與將被解碼的塊相關(guān)的預(yù)測信號(運動補(bǔ)償幀間預(yù)測信號或者幀內(nèi)預(yù)測信號)在添加部分304中被添加至上述預(yù)測誤差信號，由此解碼4×4像素值。
在內(nèi)預(yù)測模式中，內(nèi)預(yù)測部分310由模式轉(zhuǎn)換部分311選擇，其結(jié)果是幀內(nèi)預(yù)測信號被從內(nèi)預(yù)測部分310添加至預(yù)測誤差信號。在內(nèi)預(yù)測模式中，加權(quán)預(yù)測部分309由模式轉(zhuǎn)換部分311選擇，其結(jié)果是由運動矢量預(yù)測部分307，插值預(yù)測部分308和加權(quán)預(yù)測部分309獲得的運動補(bǔ)償幀間預(yù)測信號被添加至預(yù)測誤差信號。
在這樣的模式中，預(yù)測信號(運動補(bǔ)償幀間預(yù)測信號或者幀內(nèi)預(yù)測信號)被添加至與將被解碼的塊相關(guān)的預(yù)測誤差信號，并且以預(yù)定的塊為單位執(zhí)行將被解碼的圖像的解碼處理。
在經(jīng)受程序分塊過濾器部分305的程序分塊過濾器處理后，每個解碼圖像作為數(shù)據(jù)存儲在幀存儲器306中。更具體地，抗塊效應(yīng)濾波器部分305在每個被解碼的圖像上以例如4×4像素組成的一個塊為單位執(zhí)行減少塊變形的程序分塊過濾器處理?？箟K效應(yīng)濾波器處理防止塊變形被反映在參考圖像以及每個被解碼的圖像上。在抗塊效應(yīng)濾波器處理中軟件解碼器上的負(fù)荷是巨大的。存在這樣的情況，其中該負(fù)荷相應(yīng)于軟件解碼器上的負(fù)荷總量的50％。程序分塊過濾器處理被適當(dāng)?shù)貓?zhí)行，這樣，在被解碼的圖像的塊變形很容易產(chǎn)生的部分上進(jìn)行強(qiáng)過濾，在被解碼的圖像的塊變形不容易發(fā)生的部分上執(zhí)行弱過濾。程序分塊過濾器處理以循環(huán)過濾器處理的方式進(jìn)行。
然后，經(jīng)受程序分塊過濾處理的每個圖像作為輸出圖形幀(或者輸出圖像域)從幀存儲器306中被讀出。進(jìn)一步地，將被用作運動補(bǔ)償幀間預(yù)測的參考圖像的每個圖像被保存在幀存儲器306中一段給定的時間周期。在符合H.264/AVC標(biāo)準(zhǔn)的運動補(bǔ)償幀間預(yù)測編碼中，多個圖像可以被用作參考圖像。這樣，幀存儲器306包括多個幀存儲部分以存儲圖像上的各個圖像數(shù)據(jù)。
運動矢量預(yù)測部分307基于與將被解碼的塊相關(guān)的矢量微分信息產(chǎn)生運動矢量信息。插值預(yù)測部分308基于與將被解碼的塊相關(guān)的運動矢量信息從參考圖像中以整數(shù)精度排列的一組像素以及以1/4像素精度排列的一組預(yù)測插值像素中產(chǎn)生運動補(bǔ)償幀間預(yù)測信號。在產(chǎn)生以1/4像素精度排列的插值像素中，通過使用六抽頭過濾器(具有六個輸入終端和一個輸出終端)產(chǎn)生1/2圖像。這樣，可以進(jìn)行考慮高頻率成分的高精度的預(yù)測插值處理。但是，在這樣的情況下，必須處理大量的運動補(bǔ)償中的數(shù)據(jù)。
加權(quán)預(yù)測部分309執(zhí)行將運動補(bǔ)償幀間預(yù)測信號的值乘以以一個運動補(bǔ)償塊為單位的加權(quán)因子的處理，由此產(chǎn)生加權(quán)的運動補(bǔ)償幀間預(yù)測信號。加權(quán)預(yù)測是預(yù)測將被解碼的圖像的亮度的處理。加權(quán)預(yù)測處理能夠提高亮度隨時間變化的如漸隱漸現(xiàn)的圖像的質(zhì)量。但是，在加權(quán)預(yù)測處理中增加了軟件解碼器的負(fù)荷。
內(nèi)預(yù)測部分310從將被解碼的圖像中產(chǎn)生對于圖像中將被解碼的塊的幀內(nèi)預(yù)測信號。內(nèi)預(yù)測部分310基于幀內(nèi)預(yù)測信息執(zhí)行圖像中預(yù)測處理，以從有關(guān)已被解碼并且其位置與上述圖像中將被解碼的塊相接近的另一個塊的像素值產(chǎn)生幀內(nèi)預(yù)測信號。幀內(nèi)預(yù)測(內(nèi)預(yù)測)是通過利用塊之間的像素相關(guān)來提高壓縮率的技術(shù)。在幀內(nèi)預(yù)測中，相對于例如16×16像素，四個預(yù)測模式即垂直預(yù)測(預(yù)測模式0)，水平預(yù)測(預(yù)測模式1)，平均值預(yù)測(預(yù)測模式2)和平面預(yù)測(預(yù)測模式3)中的一個模式根據(jù)幀內(nèi)預(yù)測信息以一個幀內(nèi)預(yù)測塊為單位被選擇。平面預(yù)測的選擇頻度比任何一個垂直預(yù)測、水平預(yù)測和平均值預(yù)測的頻度低；但是，平面預(yù)測中軟件解碼器上的負(fù)荷比任何一個垂直預(yù)測、水平預(yù)測和平均值預(yù)測中的負(fù)荷高。
在本發(fā)明的該實施例中，當(dāng)執(zhí)行混合處理模塊213的混合處理時，參考圖4說明的解碼處理(下面將被稱為正常解碼處理)和特殊解碼處理在解碼處理中在經(jīng)受混合處理的圖像上選擇性地執(zhí)行。特殊解碼處理是其中解碼彩色成分(Cb/Cr)的處理從正常解碼處理中省略的解碼處理。也就是，在一個圖像(上圖像)被疊加到另一個圖像(下圖像)上的情況下，以及下圖像是單色的或者下圖像的上圖像被疊加到其上的部分是單色的對于使用者來說是可以接受的情況下，當(dāng)系統(tǒng)被設(shè)置為達(dá)到這樣的疊加時，解碼彩色成分的處理從整個下圖像上或者下圖像的上述部分上的解碼處理中省略，這樣就降低了系統(tǒng)上的負(fù)荷。這樣的設(shè)置可以用任何方法實現(xiàn)。例如，用戶可以通過執(zhí)行預(yù)定的操作同時查看所設(shè)置的由視頻再現(xiàn)應(yīng)用程序201提供的用戶界面的圖像來進(jìn)行該設(shè)置。
下面將簡要說明混合處理模塊213的混合處理(alpha混合)。
在第二圖像(上圖像)被疊加至第一圖像(下圖像)以得到組合圖像的情況下，混合處理模塊213用下述公式(1)計算組合圖像的像素的顏色V＝α×B+(1-α)A(1)其中，V是通過alpha混合得到的組合圖像的每個像素的顏色，α是與第二圖像的每個像素相關(guān)的alpha數(shù)據(jù)，B是第二圖像的每個像素的顏色，A是第一圖像的每個像素的顏色。
下面參照720×480像素的第二圖像(a2)通過混合處理被疊加到1920×1080像素的第一圖像(a1)上以產(chǎn)生圖5所示的組合圖像(a3)的情況說明混合處理(alpha混合)。
在該情況中，1920×1080像素的第一圖像(a1)的在其上未疊加720×480像素的第二圖像(a2)的區(qū)域的像素上的alpha數(shù)據(jù)表示為“0”。這樣，720×480像素的第二圖像(a2)未疊加到其上的上述區(qū)域是透明的。因此，第一圖像(a1)以100％的不透明被顯示在上述區(qū)域。進(jìn)一步地，在組合圖像(a3)中，相應(yīng)于720×480像素的第二圖像(a2)上的圖像數(shù)據(jù)的像素以與第二圖像(a2)上的圖像數(shù)據(jù)相關(guān)的alpha數(shù)據(jù)表示的透明度顯示在第一圖像(a1)上。例如，在alpha數(shù)據(jù)是“1”時相應(yīng)于第二圖像(a2)上的圖像數(shù)據(jù)的像素以100％的透明度顯示，相應(yīng)于第一圖像(a1)的位于上述像素之下區(qū)域上的圖像數(shù)據(jù)的像素不顯示。
解碼彩色成分的處理可以從將經(jīng)受上述混合處理(alpha混合)的圖像上的解碼處理中省略，省略的過程可以用下述兩種方法實現(xiàn)。
(省略解碼處理的第一方法)在參考圖4進(jìn)行說明的解碼處理中，由圖4中有陰影線的解碼模塊，即逆量化部分302，逆DCT部分303，程序分塊過濾部分305，運動矢量預(yù)測部分307，插值預(yù)測部分308，加權(quán)預(yù)測部分309和內(nèi)預(yù)測部分310執(zhí)行的Cb/Cr解碼都被省略。
(省略解碼處理的第二方法)應(yīng)該注意的是，根據(jù)H.264，在High Profile中，在H.264流中的序列參數(shù)集(SPS)(將在后面說明)包括稱為“chroma_format_idc”的標(biāo)志，其表示彩色成分的屬性之間的比例。當(dāng)標(biāo)志“chroma_format_idc”的值是“0”時，它表示運動圖像是單色的。這樣，在這種情況中，解碼器不解碼作為彩色成分的Cb/Cr成分。這個特征被用在省略解碼處理的第二方法中。也就是，在High Profile中，即使當(dāng)標(biāo)志“chroma_format_idc”表示除“0”以外的值時，當(dāng)它在由熵解碼部分301進(jìn)行熵解碼時也被重寫為表示“0”，其結(jié)果是由解碼器進(jìn)行的彩色成分(Cb/Cr)的解碼被省略。因為SPS被解碼的次數(shù)的數(shù)目不大，標(biāo)志“chroma_format_idc”的重寫不會增加解碼處理的負(fù)擔(dān)。
由視頻再現(xiàn)應(yīng)用程序201執(zhí)行的解碼處理的步驟將參考圖6的流程圖進(jìn)行說明。
視頻再現(xiàn)應(yīng)用程序201監(jiān)視alpha混合是否被混合處理模塊213執(zhí)行(步驟S1)。當(dāng)alpha混合不被執(zhí)行(步驟S1中的“否”)時，視頻再現(xiàn)應(yīng)用程序201選擇上述正常解碼處理作為將由CPU111執(zhí)行的解碼處理，結(jié)果，參考圖4說明的一系列處理由CPU111執(zhí)行(步驟S2)。
另一方面，當(dāng)alpha混合被執(zhí)行(步驟S1中的“是”)時，視頻再現(xiàn)應(yīng)用程序201檢查用戶對系統(tǒng)相關(guān)于alpha混合時是否省略在彩色成分(Cb/Cr)上的解碼處理的設(shè)置(步驟S3)。當(dāng)用戶這樣設(shè)置系統(tǒng)以使彩色成分(Cb/Cr)上的上述解碼處理不省略(步驟S3中的“否”)時，與alpha混合不被執(zhí)行的情況一樣，視頻再現(xiàn)應(yīng)用程序201選擇上述正常解碼處理作為將由CPU111執(zhí)行的解碼處理，結(jié)果，參考圖4說明的一系列處理由CPU111執(zhí)行(步驟S2)。
另一方面，當(dāng)用戶這樣設(shè)置系統(tǒng)以使彩色成分(Cb/Cr)上的上述解碼處理省略(步驟S3中的“是”)時，視頻再現(xiàn)應(yīng)用程序201使CPU111執(zhí)行的解碼處理中將彩色成分(Cb/Cr)上的解碼處理從正常解碼處理中省略(步驟S4)。
重復(fù)上述步驟S1至S4直到整個運動圖像流的解碼完成(步驟S5)。這樣，在步驟S1至S4被重復(fù)的同時，當(dāng)alpha混合開始或者停止時，根據(jù)后續(xù)的alpha混合是否被執(zhí)行，解碼處理從正常解碼處理切換到特殊解碼處理或者相反。
如圖7所示，根據(jù)H.264標(biāo)準(zhǔn)的每個序列單元包括多個與各個圖像相關(guān)的訪問單元(AU)。每個訪問單元包括多個NAL單元。NAL單元的種類數(shù)為32。通過分析其中的頭部能夠確定每個NAL的種類。圖8具體顯示了在High Profile中，一種NAL單元被應(yīng)用為包括在其結(jié)構(gòu)如圖7所示的AU中的NAL單元。參考圖8，這些塊是NAL單元。
在High Profile中，視頻再現(xiàn)應(yīng)用程序201涉及包括在SPS中的標(biāo)志“chroma_format_idc”，該SPS是在如圖8所示的AU中包括的NAL單元之一，并且能夠通過將標(biāo)志“chroma_format_idc”的值變成“0”同時如上所述將其重寫來省略彩色成分(Cb/Cr)的解碼處理。圖9是顯示“chroma_format_idc”的值和彩色成分的比率之間的關(guān)系的圖表。如圖9所示，當(dāng)標(biāo)志“chroma_format_idc”的值是“0”時，運動圖像是單色的。還有，應(yīng)該注意的是，當(dāng)標(biāo)志“chroma_format_idc”的值是“1”，“2”和“3”中的任何值時，亮度(Y)，色差(Cb)和色差(Cr)之間的比率由每一個都相應(yīng)于比特數(shù)并且分別表示亮度(Y)，色差(Cb)和色差(Cr)的數(shù)字規(guī)定，如圖9所示。
如上所述，根據(jù)該實施例，基于混合處理(alpha混合)期間用戶對系統(tǒng)的設(shè)置，解碼彩色成分的處理被省略。
上文對實施例的說明通過參照在整個下圖像或上圖像被疊加到其上的部分下圖像的解碼中彩色成分的解碼被省略的情況而給出。但是不用說，在上圖像的解碼中彩色成分的解碼可以被省略。
進(jìn)一步地，整個解碼控制處理由計算機(jī)程序執(zhí)行。這樣，通過簡單地將計算機(jī)程序經(jīng)由計算機(jī)可讀存儲介質(zhì)安裝到一般的計算機(jī)中，就能容易地得到與上述實施例相同的優(yōu)點。
另外，根據(jù)本發(fā)明的該實施例的軟件解碼器不僅可應(yīng)用于個人電腦，也可應(yīng)用于PDA和移動電話等。
其它的優(yōu)點和修改對于本領(lǐng)域的熟練技術(shù)人員是容易理解和實現(xiàn)的。因此，本發(fā)明在其廣闊的各個方面并不限于本文所顯示和說明的具體細(xì)節(jié)以及代表性的實施例。相應(yīng)地，可以作出多種修改而不背離由附后的權(quán)利要求以及其等同內(nèi)容限定的本發(fā)明的總體概念的精神或范圍。
權(quán)利要求
1.一種信息處理裝置，其特征在于，該裝置包括執(zhí)行解碼被壓縮編碼的運動圖像流的解碼處理的裝置；通過將第二圖像疊加到第一圖像上產(chǎn)生一個圖像的圖像產(chǎn)生裝置；和執(zhí)行從解碼處理單元在第一和第二圖像中的至少一個圖像上的解碼處理中省略解碼彩色成分的解碼處理的控制處理的裝置。
2.如權(quán)利要求1所述的信息處理裝置，其特征在于，該裝置進(jìn)一步包括用于設(shè)置是否執(zhí)行從執(zhí)行解碼處理的裝置的解碼處理中省略解碼彩色成分的解碼處理的控制處理的裝置。
3.如權(quán)利要求1所述的信息處理裝置，其特征在于，執(zhí)行控制處理的裝置執(zhí)行從執(zhí)行在第一和第二圖像中的至少一個圖像的整個區(qū)域上的解碼處理的裝置的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
4.如權(quán)利要求1所述的信息處理裝置，其特征在于，執(zhí)行控制處理的裝置執(zhí)行從執(zhí)行在互相重疊的第一圖像的區(qū)域和第二圖像的區(qū)域中的至少一個區(qū)域上的解碼處理的裝置的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
5.如權(quán)利要求1所述的信息處理裝置，其特征在于，執(zhí)行控制處理的裝置執(zhí)行從執(zhí)行在第一和第二圖像上的解碼處理的裝置的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
6.如權(quán)利要求1所述的信息處理裝置，其特征在于，執(zhí)行控制處理的裝置將表示運動圖像流中的彩色成分比率的標(biāo)志設(shè)置為0以省略解碼彩色成分的解碼處理。
7.如權(quán)利要求1所述的信息處理裝置，其特征在于，產(chǎn)生圖像的裝置執(zhí)行基于表示第二圖像中的每個像素的透明度的alpha數(shù)據(jù)產(chǎn)生組合圖像的混合處理，組合圖像中，第一圖像的第二圖像被疊加到其上的區(qū)域可通過第二圖像被看見。
8.一種存儲在計算機(jī)可讀介質(zhì)中使計算機(jī)執(zhí)行解碼處理的程序，其特征在于，該程序包括使計算機(jī)執(zhí)行解碼被壓縮編碼的運動圖像流的解碼處理；使計算機(jī)執(zhí)行通過將第二圖像疊加到第一圖像上產(chǎn)生一個圖像的混合處理；和使計算機(jī)執(zhí)行從在第一和第二圖像中的至少一個圖像上解碼被壓縮編碼的運動圖像流的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
9.如權(quán)利要求8所述的程序，其特征在于，該程序進(jìn)一步包括使計算機(jī)執(zhí)行設(shè)置處理，該設(shè)置處理設(shè)置是否執(zhí)行從解碼被壓縮編碼的運動圖像流的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
10.如權(quán)利要求8所述的程序，其特征在于，使計算機(jī)執(zhí)行控制處理的過程使計算機(jī)執(zhí)行從在第一和第二圖像中的至少一個圖像的整個區(qū)域上解碼被壓縮編碼的運動圖像流的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
11.如權(quán)利要求8所述的程序，其特征在于，使計算機(jī)執(zhí)行控制處理的過程使計算機(jī)執(zhí)行從在互相重疊的第一圖像的區(qū)域和第二圖像的區(qū)域中的至少一個區(qū)域上解碼被壓縮編碼的運動圖像流的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
12.如權(quán)利要求8所述的程序，其特征在于，使計算機(jī)執(zhí)行控制處理的過程使計算機(jī)執(zhí)行從在第一和第二圖像上解碼被壓縮編碼的運動圖像流的解碼處理中省略解碼彩色成分的解碼處理的控制處理。
13.如權(quán)利要求8所述的程序，其特征在于，使計算機(jī)執(zhí)行控制處理的過程使計算機(jī)將表示運動圖像流中彩色成分的比率的標(biāo)志設(shè)置為0以省略解碼彩色成分的解碼處理。
14.如權(quán)利要求8所述的程序，其特征在于，使計算機(jī)執(zhí)行混合處理的過程使計算機(jī)執(zhí)行基于表示第二圖像中每個像素的透明度的alpha數(shù)據(jù)產(chǎn)生組合圖像的混合處理，組合圖像中，第一圖像的第二圖像被疊加到其上的區(qū)域可通過第二圖像被看見。
全文摘要
本發(fā)明提出了一種信息處理裝置和信息處理方法。其中，一種視頻再現(xiàn)應(yīng)用程序(201)監(jiān)視是否執(zhí)行將兩幅圖像中的一幅疊加到另一幅上的混合處理，并且當(dāng)不執(zhí)行混合處理時執(zhí)行所有的解碼處理(正常解碼處理)。另一方面，當(dāng)執(zhí)行混合處理時執(zhí)行特殊處理，其中，從解碼將經(jīng)受混合處理的圖像的解碼處理中省略彩色成分的解碼處理。結(jié)果，系統(tǒng)上的負(fù)荷被降低。
文檔編號H04N7/26GK1832578SQ200610003759
公開日2006年9月13日 申請日期2006年2月8日 優(yōu)先權(quán)日2005年3月11日
發(fā)明者內(nèi)田耕輔, 北田典昭, 保科聰 申請人:株式會社東芝