圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法。特別地，本發(fā)明涉及用于處理運(yùn)動(dòng)圖像或靜止圖像的RAW圖像的技術(shù)。
【背景技術(shù)】
[0002]傳統(tǒng)上，攝像設(shè)備對(duì)圖像傳感器所拍攝到的原始圖像信息(RAW圖像)進(jìn)行去拜爾(de-Bayer)處理(去馬賽克處理)，將該圖像轉(zhuǎn)換成包括亮度和色差的信號(hào)，并且針對(duì)各信號(hào)進(jìn)行包括噪聲去除、光學(xué)失真校正和圖像優(yōu)化的所謂的顯像處理。通常，在這種顯像處理之后，對(duì)亮度信號(hào)和色差信號(hào)進(jìn)行壓縮和編碼并最終記錄在存儲(chǔ)介質(zhì)中。
[0003]其它的傳統(tǒng)攝像設(shè)備能夠記錄RAW圖像。在記錄RAW圖像的情況下，需要記錄大量數(shù)據(jù)。然而，由于可以使原始圖像的校正或劣化為最低限度并且可以在拍攝到RAW圖像之后編輯這些RAW圖像(這些在記錄RAW圖像的情況下是有利的)，因此高級(jí)用戶優(yōu)選使用這種攝像設(shè)備。
[0004]日本特開2011-244423論述了能夠記錄RAW圖像的攝像設(shè)備。根據(jù)日本特開2011-244423，連同RAW圖像一起記錄顯像參數(shù)，并且在進(jìn)行再現(xiàn)的情況下，使用這些顯像參數(shù)來對(duì)RAW圖像進(jìn)行顯像和再現(xiàn)。
[0005]近年來，攝像設(shè)備已配備有更高級(jí)的圖像傳感器，并且每個(gè)圖像的像素?cái)?shù)已大幅增加。另外，呈現(xiàn)每秒可以連續(xù)拍攝到的圖像的數(shù)量不斷增加的趨勢(shì)。因而，包括針對(duì)RAW圖像的去拜爾處理以及諸如噪聲去除和光學(xué)失真校正等的顯像處理的處理量協(xié)同地增加。結(jié)果，與攝像操作同時(shí)進(jìn)行實(shí)時(shí)顯像處理需要更多的電路和更大的電力消耗。顯像處理需要更大的電路面積或者對(duì)電力消耗施加了限制。因此，在一些情況下，無法實(shí)現(xiàn)高的攝像性會(huì)K。
[0006]另一方面，如上述日本特開2011-244423所論述的，如果在無需進(jìn)行顯像的情況下記錄RAW圖像，則可以減少攝像操作期間的顯像所需的處理量。然而，由于在無需進(jìn)行顯像的情況下記錄RAW圖像，因此難以迅速地再現(xiàn)并顯示圖像。另外，由于RAW圖像特有的數(shù)據(jù)的特殊性，因此可能無法利用其它裝置對(duì)這些RAW圖像進(jìn)行再現(xiàn)(顯像)。S卩，利用傳統(tǒng)的RAW圖像記錄方法，用戶友好性可能劣化。
[0007]因而，存在為了使得傳統(tǒng)設(shè)備能夠?qū)崿F(xiàn)高的攝像性能并迅速地顯示再現(xiàn)圖像而要解決的問題。也就是說，需要將高成本的電路安裝在這些設(shè)備上并利用高功率驅(qū)動(dòng)這些設(shè)備，或者需要迅速地且簡(jiǎn)單地記錄并再現(xiàn)RAW圖像。
[0008]引f列表
[0009]專利文獻(xiàn)
[0010]專利文獻(xiàn)1:日本特開2011-244423
【發(fā)明內(nèi)容】
[0011]本發(fā)明涉及如下技術(shù)，其中該技術(shù)用于通過使用用于記錄RAW圖像的結(jié)構(gòu)來實(shí)現(xiàn)RAW圖像的再現(xiàn)圖像的快速顯示。另外，本發(fā)明涉及如下技術(shù)，其中該技術(shù)用于通過使用顯像后的記錄圖像和所記錄的RAW圖像來實(shí)現(xiàn)快速顯示以及所需部分的高質(zhì)量圖像顯示。
[0012]根據(jù)本發(fā)明的一個(gè)方面，一種圖像處理設(shè)備，包括:攝像單元，用于拍攝被攝體圖像，并且生成表示RAW圖像的信息；第一顯像單元，用于獲取表示所述RAW圖像的信息，并且對(duì)所述RAW圖像進(jìn)行顯像；存儲(chǔ)單元，用于將RAW文件以及所述第一顯像單元進(jìn)行了顯像的圖像的圖像文件存儲(chǔ)在存儲(chǔ)器中，其中所述RAW文件用以將表示所述RAW圖像的信息直接存儲(chǔ)為RAW圖像；第二顯像單元，用于在預(yù)定間隔中或在空閑狀態(tài)下讀取所述存儲(chǔ)器中所存儲(chǔ)的所述RAW文件，并且對(duì)所述RAW圖像進(jìn)行顯像，以獲得相比所述第一顯像單元所獲得的圖像具有更高圖像質(zhì)量的圖像；以及再現(xiàn)單元，用于在給出了用以開始特定圖像的再現(xiàn)的指示且所述第二顯像單元沒有完成所述RAW圖像的顯像的情況下，再現(xiàn)從所述圖像文件所獲得的所述第一顯像單元進(jìn)行了顯像的圖像，以及在所述第二顯像單元完成了所述RAW圖像的顯像的情況下，再現(xiàn)所述第二顯像單元進(jìn)行了顯像的圖像。
[0013]通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。
【附圖說明】
[0014]圖1是示出根據(jù)本發(fā)明典型實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖。
[0015]圖2是根據(jù)本典型實(shí)施例的狀態(tài)轉(zhuǎn)變圖。
[0016]圖3是示出根據(jù)本典型實(shí)施例的靜止圖像拍攝模式的處理的流程圖。
[0017]圖4A示出根據(jù)本典型實(shí)施例的靜止圖像文件和RAW文件的結(jié)構(gòu)。
[0018]圖4B示出根據(jù)本典型實(shí)施例的靜止圖像文件和RAW文件的結(jié)構(gòu)。
[0019]圖5是示出根據(jù)本典型實(shí)施例的空閑狀態(tài)的處理的流程圖。
[0020]圖6是示出根據(jù)本典型實(shí)施例的靜止圖像再現(xiàn)模式的處理的流程圖。
[0021]圖7A示出根據(jù)本典型實(shí)施例的靜止圖像再現(xiàn)模式的顯示處理。
[0022]圖7B示出根據(jù)本典型實(shí)施例的靜止圖像再現(xiàn)模式的顯示處理。
[0023]圖7C示出根據(jù)本典型實(shí)施例的靜止圖像再現(xiàn)模式的顯示處理。
[0024]圖8是示出根據(jù)本典型實(shí)施例的運(yùn)動(dòng)圖像拍攝模式的處理的流程圖。
[0025]圖9A示出根據(jù)本典型實(shí)施例的運(yùn)動(dòng)圖像文件和RAW運(yùn)動(dòng)圖像文件的結(jié)構(gòu)。
[0026]圖9B示出根據(jù)本典型實(shí)施例的運(yùn)動(dòng)圖像文件和RAW運(yùn)動(dòng)圖像文件的結(jié)構(gòu)。
[0027]圖10是示出根據(jù)本典型實(shí)施例的運(yùn)動(dòng)圖像再現(xiàn)模式的處理的流程圖。
[0028]圖11示出像素陣列。
【具體實(shí)施方式】
[0029]以下將參考附圖來詳細(xì)說明本發(fā)明的各種典型實(shí)施例、特征和方面。
[0030]圖1是示出根據(jù)本發(fā)明典型實(shí)施例的攝像設(shè)備100的結(jié)構(gòu)的框圖。圖1所示的攝像設(shè)備100不僅可以將通過對(duì)被攝體攝像所獲得的圖像信息記錄在存儲(chǔ)介質(zhì)中，而且還可以再現(xiàn)從存儲(chǔ)介質(zhì)所讀取的圖像信息。另外，攝像設(shè)備100例如可以對(duì)這種圖像信息進(jìn)行顯像和顯示并且與外部裝置或服務(wù)器(云)交換圖像信息。因而，可以將根據(jù)本發(fā)明典型實(shí)施例的攝像設(shè)備100表現(xiàn)為圖像處理設(shè)備、記錄設(shè)備、再現(xiàn)設(shè)備、記錄再現(xiàn)設(shè)備或通信設(shè)備。
[0031]在圖1中，控制單元161包括中央處理單元(CPU)和存儲(chǔ)該CPU要執(zhí)行的控制程序的存儲(chǔ)器?？刂茊卧?61控制攝像設(shè)備100的整體處理。操作單元162包括包含用戶向攝像設(shè)備100給出指示所用的鍵、按鈕和觸摸面板的輸入裝置?？刂茊卧?61檢測(cè)來自操作單元162的操作信號(hào)，并且控制攝像設(shè)備100，以使得攝像設(shè)備100進(jìn)行適合該操作信號(hào)的操作。顯示單元123包括用于顯示攝像設(shè)備100所拍攝或所再現(xiàn)的圖像、菜單畫面和各種信息的液晶顯示器(IXD)。
[0032]如果用戶經(jīng)由操作單元162給出用于開始攝像操作的指示，則經(jīng)由攝像光學(xué)單元101輸入對(duì)象被攝體的光學(xué)圖像并且在圖像傳感器單元102上形成該光學(xué)圖像。在攝像的情況下，照相機(jī)控制單元104基于評(píng)價(jià)值計(jì)算單元105所獲取到的與光圈、焦點(diǎn)和照相機(jī)抖動(dòng)等有關(guān)的評(píng)價(jià)值的計(jì)算結(jié)果并且基于識(shí)別單元131所提取的與面部識(shí)別結(jié)果等有關(guān)的被攝體信息，來控制攝像光學(xué)單元101和圖像傳感器單元102的操作。
[0033]圖像傳感器單元102將透過紅色、綠色和藍(lán)色(RGB)鑲嵌顏色濾波器的光轉(zhuǎn)換成電氣信號(hào)，其中針對(duì)各像素配置一個(gè)濾波器。圖11示出圖像傳感器單元102中所配置的顏色濾波器。圖11示出攝像設(shè)備100所處理的圖像的像素陣列。如圖11所示，紅色(R)、綠色(G)和藍(lán)色(B)濾波器呈鑲嵌圖案配置，其中針對(duì)各像素配置一個(gè)濾波器。每組2行X 2列的4個(gè)像素(一個(gè)紅色像素、一個(gè)藍(lán)色像素和兩個(gè)綠色像素)規(guī)則地并排排列。通常將這種像素配置稱為拜爾陣列。
[0034]傳感器信號(hào)處理單元103對(duì)圖像傳感器單元102所獲得的轉(zhuǎn)換得到的電氣信號(hào)進(jìn)行像素恢復(fù)處理。傳感器信號(hào)處理單元103通過使用相鄰像素的值來對(duì)圖像傳感器單元102所獲得的缺失像素或低可靠性像素的值進(jìn)行恢復(fù)處理。這樣，傳感器信號(hào)處理單元103對(duì)恢復(fù)對(duì)象像素進(jìn)行插值并且減去預(yù)定的偏移值。在本典型實(shí)施例中，將從傳感器信號(hào)處理單元103輸出的圖像信息稱為表示原始(未顯像)圖像的RAW圖像信息(以下稱為RAW圖像)。
[0035]顯像單元110對(duì)這種RAW圖像進(jìn)行顯像。顯像單元110包括多個(gè)不同的顯像處理單元。顯像單元110包括作為第一顯像單元的簡(jiǎn)單顯像單元111和作為第二顯像單元的高質(zhì)量圖像顯像單元112。另外，顯像單元110包括選擇來自該單元111或112的輸出的開關(guān)單元121。簡(jiǎn)單顯像單元111和高質(zhì)量圖像顯像單元112這兩者對(duì)RAW圖像進(jìn)行去拜爾處理(去馬賽克處理)、即顏色插值處理。這些顯像單元111和112將RAW圖像轉(zhuǎn)換成亮度信號(hào)和色差(或原色)信號(hào)，去除各信號(hào)中所包含的噪聲，校正光學(xué)失真，并且使圖像最優(yōu)化。即，這些顯像單元111和112進(jìn)行所謂的顯像處理。
[0036]特別地，高質(zhì)量圖像顯像單元112相比簡(jiǎn)單顯像單元111更加精確地進(jìn)行各處理。通過更加精確地進(jìn)行各處理，高質(zhì)量圖像顯像單元112產(chǎn)生圖像質(zhì)量相比簡(jiǎn)單顯像單元111所產(chǎn)生的圖像質(zhì)量更高的顯像圖像。然而，高質(zhì)量圖像顯像單元112的處理負(fù)荷大于簡(jiǎn)單顯像單元111的處理負(fù)荷。因而，本典型實(shí)施例中的高質(zhì)量圖像顯像單元112沒有被配置成與攝像操作同時(shí)進(jìn)行實(shí)時(shí)顯像。高質(zhì)量圖像顯像單元112被配置為在攝像操作之后的空閑時(shí)間段內(nèi)存在足夠時(shí)間的情況下，能夠進(jìn)行分散處理。代替在攝像操作期間進(jìn)行高質(zhì)量圖像顯像，通過允許高質(zhì)量圖像顯像單元112在攝像操作之后存在足夠時(shí)間的情況下進(jìn)行高質(zhì)量圖像顯像，可以使電路規(guī)模或電力消耗的增加(峰值)減小為低水平。作為對(duì)比，簡(jiǎn)單顯像單元111被配置為需要相比高質(zhì)量圖像顯像所需的處理量更低的顯像處理量，由此在攝像操作期間簡(jiǎn)單顯像單元111可以相比高質(zhì)量圖像顯像單元112更快地進(jìn)行顯像處理。然而，簡(jiǎn)單顯像單元111所產(chǎn)生的顯像圖像的質(zhì)量低于高質(zhì)量圖像顯像單元112所產(chǎn)生的顯像圖像的質(zhì)量。由于簡(jiǎn)單顯像單元111的處理負(fù)荷較低，因此主要在攝像設(shè)備100與攝像操作同時(shí)進(jìn)行實(shí)時(shí)顯像的情況下使用簡(jiǎn)單顯像單元111。利用控制單元161根據(jù)用戶經(jīng)由操作單元162所輸入的操作或者根據(jù)當(dāng)前操作模式來切換開關(guān)單元121。另外，信號(hào)被輸出至的僅一個(gè)單元即簡(jiǎn)單顯像單元111或高質(zhì)量圖像顯像單元112可以與開關(guān)單元121的切換連動(dòng)地進(jìn)行顯像操作。
[0037]在本典型實(shí)施例中，顯像單元110單獨(dú)包括簡(jiǎn)單顯像單元111和高質(zhì)量圖像顯像單元112。然而，可選地，可以配置單個(gè)顯像單元以通過切換操作模式來選擇性地進(jìn)行簡(jiǎn)單顯像處理和高質(zhì)量圖像顯像處理。
[0038]顯示處理單元122對(duì)顯像單元110進(jìn)行了顯像的圖像信息進(jìn)行預(yù)定顯示處理。接著，顯示單元123顯示該圖像。另外，可以將顯像后的圖像信息經(jīng)由視頻輸出端子124輸出至外部顯示裝置。視頻輸出端子124的示例包括諸如高清晰度多媒體接口(HDMI)或串行數(shù)字接口(SDI)等的通用接口。
[0039]還將顯像單元110進(jìn)行了顯像的圖像信息供給至評(píng)價(jià)值計(jì)算單元105。評(píng)價(jià)值計(jì)算單元105根據(jù)該圖像信息來計(jì)算諸如表示聚焦?fàn)顟B(tài)和曝光狀態(tài)的評(píng)價(jià)值等的評(píng)價(jià)值。
[0040]還將顯像單元110進(jìn)行了顯像的圖像信息供給至識(shí)別單元131。識(shí)別單元131具有檢測(cè)并識(shí)別該圖像信息中的諸如面部或人等的被攝體信息的功能。例如，如果識(shí)別單元131檢測(cè)到該圖像信息所表示的畫面上的面部，則識(shí)別單元131輸出表示該面部的位置的信息。另外，例如，識(shí)別單元131基于與諸如面部等的特征有關(guān)的信息來進(jìn)行特定人的認(rèn)證。
[0041]將顯像單元110進(jìn)行了顯像的圖像信息供給至靜止圖像壓縮單元141或運(yùn)動(dòng)圖像壓縮單元142。靜止圖像壓縮單元141和運(yùn)動(dòng)圖像壓縮單元142分別用于將該圖像信息壓縮作為靜止圖像和運(yùn)動(dòng)圖像。靜止圖像壓縮單元141和運(yùn)動(dòng)圖像壓縮單元142對(duì)對(duì)象圖像信息進(jìn)行高效率編碼(壓縮編碼)，生成具有壓縮信息量的圖像信息，并且將該圖像信息轉(zhuǎn)換成圖像文件(靜止圖像文件或運(yùn)動(dòng)圖像文件)。可以使用JPEG等來進(jìn)行靜止圖像的壓縮，而可以使用MPEG-2、H.264或H.265等來進(jìn)行運(yùn)動(dòng)圖像的壓縮。
[0042]RAff壓縮單元113通過使用諸如小波