影像處理方法與影像處理裝置制造方法
【專利摘要】本發明提供一種影像處理方法，包含：接收定義目標視差范圍的視差范圍設定；接收立體影像數據及輔助圖形數據，其分別具有不完全落在目標視差范圍內和完全落在目標視差范圍外的原始視差；以及依據視差范圍設定來修正立體影像數據的至少一部份，以產生包含至少一修正過的部分的修正過的立體影像數據，其所具有的修正過的視差完全落在目標視差范圍內，其中至少該修正過的部分是產生自立體影像數據的至少該部份，且至少該部份所具有的視差與所接收的輔助圖形數據的視差部分重疊。通過視差修正，可使立體影像數據的顯示免于被輔助圖形數據的顯示所阻隔。本發明另提供一種影像處理裝置。
【專利說明】影像處理方法與影像處理裝置
【【技術領域】】
[0001]本發明關于立體(three-dimensional, 3D)影像數據與輔助圖形數據的處理,尤指一種參照視差范圍設定以在視差域(disparity domain)中將立體影像數據的至少一部份(例如，部份或全部)與輔助圖形數據分離的方法與裝置。
【【背景技術】】
[0002]用以控制平面(two-dimensional, 2D)視頻/影像數據的播放的視頻播放裝置已廣為所知。視頻播放裝置一般是耦接至平面顯示裝置，像是電視或顯示器。平面視頻/影像數據會從視頻播放裝置傳送至平面顯示裝置，以呈現平面視頻/影像內容給用戶。除了平面視頻/影像內容外，視頻播放裝置也可驅動平面顯示裝置去顯示輔助圖形數據(auxiliary graphical data),像是字幕、圖形用戶介面(graphical userinterface, GUI)、屏幕顯不(on-screen display, OSD),或是標志(logo)。
[0003]現在，用以控制立體視頻/影像數據的播放的視頻播放裝置被提出來，此外，也提出了用以呈現立體視頻/影像內容給用戶的立體顯示裝置。同樣地，立體顯示裝置也可連同輔助圖形數據(例如，字幕、圖形用戶介面、屏幕顯示，或是標志)與立體視頻/影像內容一起顯示。一般來說，視差(disparity)被參考作為右眼影像與左眼影像之間相同點的座標差量(coordinate difference),而視差通常是用像素來測量。因此，當立體視頻/影像數據的視差與輔助圖形數據的視差部分重疊(overlapped)時，輔助圖形數據的顯示會阻隔立體視頻/影像數據的顯示所呈現的 立體效果。
[0004]因此，需要一種可以防止立體視頻/影像數據的顯示被輔助圖形數據的顯示所阻隔的創新設計。
【
【發明內容】
】
[0005]有鑒于此，有必要提供影像處理方法與影像處理裝置。
[0006]本發明的一實施例提供了一種示范性的影像處理方法。示范性的影像處理方法包含下列步驟:接收定義一目標視差范圍的一視差范圍設定；接收一立體影像數據，其具有不完全落在該目標視差范圍內的一原始視差；接收一輔助圖形數據，其具有完全落在該目標視差范圍外的一原始視差；以及依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少一部份，以產生一修正過的立體影像數據，其中該修正過的立體影像數據包含至少一修正過的部分，其所具有的一修正過的視差完全落在該目標視差范圍內，其中該修正過的立體影像數據的至少該修正過的部分是產生自該立體影像數據的至少該部份，且該立體影像數據的至少該部份所具有的視差與所接收的該輔助圖形數據的視差部分重疊。
[0007]本發明另一實施例揭露了另一種示范性的影像處理方法。示范性的影像處理方法包含下列步驟:接收定義一目標視差范圍的一視差范圍設定；接收一立體影像數據，其具有不完全落在該目標視差范圍內的一原始視差；接收一輔助圖形數據，其具有不完全落在該目標視差范圍外的一原始視差；依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少一部份，以產生一修正過的立體影像數據，其中該修正過的立體影像數據包含至少一修正過的部分，其所具有的一修正過的視差完全落在該目標視差范圍內，該修正過的立體影像數據的至少該修正過的部分是產生自該立體影像數據的至少該部份，且該立體影像數據的至少該部份所具有的視差與所接收的該輔助圖形數據的視差部分重疊；以及依據該視差范圍設定來修正所接收的該輔助圖形數據，以產生一修正過的輔助圖形數據，其所具有的一修正過的視差完全落在該目標視差范圍外。
[0008]本發明的又一實施例揭露了示范性的影像處理裝置。示范性影像處理裝置包含一接收電路與一處理電路。該接收電路用以接收定義一目標視差范圍的一視差范圍設定，接收具有不完全落在該目標視差范圍內的一原始視差的一立體影像數據，以及接收具有完全落于該目標視差范圍外的一原始視差的一輔助圖形數據。該處理電路耦接至該接收電路，用以依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少一部份，以產生一修正過的立體影像數據,其中該修正過的立體影像數據包含至少一修正過的部分,其所具有的一修正過的視差完全落在該目標視差范圍內，其中該修正過的立體影像數據的至少該修正過的部分是產生自該立體影像數據的至少該部份，且該立體影像數據的至少該部份所具有的視差與所接收的該輔助圖形數據的視差部分重疊。
[0009]本發明的又一實施例揭露了一示范性影像處理裝置。示范性影像處理裝置包含一接收電路與一處理電路。該接收電路用以接收定義一目標視差范圍的一視差范圍設定，接收具有不完全落在該目標視差范圍內的一原始視差的一立體影像數據，以及接收具有不完全落于該目標視差范圍外的一原始視差的一輔助圖形數據。該處理電路耦接至該接收電路，用以依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少一部份，以產生一修正過的立體影像數據，以及依據該視差范圍設定來修正所接收的該輔助圖形數據，以產生一修正過的輔助圖形數據；其中該修正過的立體影像數據包含至少一修正過的部分，其所具有的一修正過的視差完全落在該目標視差范圍內；該修正過的立體影像數據的至少該修正過的部分是產生自該立體影像數據的至少該部份，且該立體影像數據的至少該部份所具有的視差與所接收的該輔助圖形數據的視差部分重疊；以及該修正過的輔助圖形數據所具有的一修正過的視差完全落在該目標視差范圍外。
[0010]上述影像處理方法與影像處理裝置對立體影像數據的至少一部份(例如，一部份或全部)的視差進行調整， 以在視差域中將立體影像數據的至少該部份與輔助圖形數據(例如，字幕、圖形用戶介面、屏幕顯示或是標志)分離，如此一來，因為立體影像數據的至少該部份的視差與輔助圖形數據的視差不再部分重疊，立體影像數據的顯示便不會被輔助圖形數據的顯示所阻隔。
【【專利附圖】
【附圖說明】】
[0011]圖1為依據本發明的第一示范性實施例的影像處理裝置的方塊圖；
[0012]圖2為依據本發明的實施例對立體影像數據執行視差修正以產生修正過的立體影像數據的流程圖；
[0013]圖3為立體影像數據的原始視差范圍與目標視差范圍之間的關系的示意圖；
[0014]圖4為使用線性映射方法時，修正過的立體影像數據的修正過的視差范圍與目標視差范圍之間的關系的示意圖；[0015]圖5為使用非線性映射方法時，修正過的立體影像數據的修正過的視差范圍與目標視差范圍之間的關系的示意圖；
[0016]圖6為用戶看見被顯示在立體影像數據的內容前的平面圖形數據的內容的示意圖；
[0017]圖7為用戶看見被顯示在立體影像數據的內容前的立體圖形數據的內容的示意圖；
[0018]圖8為立體影像數據的原始視差范圍、目標視差范圍以及輔助圖形數據的原始視差之間的關系的不意圖；
[0019]圖9為修正過的立體影像數據的修正過的視差范圍、目標視差范圍以及修正過的輔助圖形數據的修正過的視差之間的關系的示意圖；
[0020]圖10為用戶看見被顯示在立體影像數據的內容前方的輔助圖形數據的內容的示意圖；
[0021]圖11為依據本發明的示范性實施例而對輔助圖形數據執行視差修正以產生修正過的輔助圖形數據的方法的流程圖；
[0022]圖12為立體影像數據的原始視差范圍、目標視差范圍以及輔助圖形數據的原始視差范圍之間的關系的示意圖；
[0023]圖13為修正過的立體影像數據的修正過的視差范圍、目標視差范圍以及修正過的輔助圖形數據的修正過的視差范圍之間的關系的示意圖；
[0024]圖14為依據本發明的第二示范性實施例的影像處理裝置的方塊圖。
【【具體實施方式】】
[0025]在說明書及權利要求書當中使用了某些詞匯來指稱特定的元件。所屬領域中技術人員應可理解，制造商可能會用不同的名詞來稱呼同樣的元件。本說明書及權利要求書并不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及權利要求書當中所提及的「包含」為一開放式的用語，故應解釋成「包含但不限定于」。另外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接于一第二裝置，則代表該第一裝置可直接電氣連接于該第二裝置，或通過其他裝置或連接手段間接地電氣連接至該第二裝置。
[0026]本發明的主要觀念是要對立體影像數據的至少一部份(例如，一部份或全部)的視差進行調整，以在視差域中將立體影像數據的至少該部份與輔助圖形數據(例如，字幕、圖形用戶介面、屏幕顯示或是標志)分離。需要注意的是，輔助圖形數據一般是顯示在全部屏幕/影像的一小塊區域內，因此，立體影像數據的顯示只有一部份會真的與輔助圖形數據的顯示部分重疊。本發明的一示范性設計可對全部的立體影像數據的視差進行調整，以達到在視差域中將立體影像數據的重疊部份(立體影像數據的視差與輔助圖形數據的視差部分重疊的部分)與輔助圖形數據分離。本發明的另一示范性設計則可簡單地只調整立體影像數據的一部分的視差，以達到在視差域中將立體影像數據的重疊部份(立體影像數據的視差與輔助圖形數據的視差部分重疊的部分)與輔助圖形數據分離的相同目的。如此一來，因為立體影像數據的至少該部份的視差與輔助圖形數據的視差不再部分重疊，立體影像數據的顯示便不會被輔助圖形數據的顯示所阻隔。此外，所提出的視差修正技術不需要復雜的運算，因此簡化了硬體的設計并降低制造成本。進一步的細節將說明如下。
[0027]圖1是本發明的第一示范性實施例的影像處理裝置的方塊圖。舉例來說(但本發明并不局限于此)，示范性影像處理裝置100可被設置在視頻播放器(video player)內，以控制所接收的視頻/影像數據的播放。如圖1所示，示范性影像處理裝置100包含(但不限于)一接收電路102、一處理電路104以及一驅動電路106，其中處理電路104耦接于接收電路102以及驅動電路106之間。接收電路102用以接收視差范圍設定RS、立體影像數據D1、以及輔助圖形數據D2。視差范圍設定RS由用戶輸入或預設值設定所產生，并定義目標視差范圍R_target。立體影像數據Dl與輔助圖形數據D2由前一級分別提供，在一實施例中，該前一級可以是同時儲存立體影像數據Dl與輔助圖形數據D2的數據源，而在另一實施例中，該前一級可以是一前置處理(pre-processing)電路，其接收具有立體影像數據Dl與整合于內的輔助圖形數據D2 (例如，字幕是每一影像幀的一部份)的單一數據流，從該數據流擷取出輔助圖形數據D2，以及通過從該數據流移除輔助圖形數據D2來得到立體影像數據D1。換句話說，本發明對立體影像數據Dl以及輔助圖形數據D2的來源并沒有限制。
[0028]影像處理裝置100可運行在第一操作情境(operational scenario)與第二操作情境的其中之一。對于第一操作情境來說，接收電路102會接收具有不完全落于目標視差范圍R_target內的原始視差的立體影像數據Dl,與具有完全落于目標視差范圍R_target外的原始視差的輔助圖形數據D2。接下來，處理電路104用以通過依據視差范圍設定RS，來修正所接收的立體影像數據Dl的至少一部份(例如，部份或全部)，以產生修正過的立體影像數據D1’，立體影像數據D1’包含具有完全落于目標視差范圍R_target內的修正過的視差的至少一修正過的部分(例如，修正過的立體影像數據D1’的部分或全部)，并直接略過(bypass)所接收的輔助圖形數據D2而沒有對輔助圖形數據D2施加任何視差修正。確切地說，所接收的立體影像數據Dl的至少該部份的視差會與所接收的輔助圖形數據D2的視差部分重疊。以下是處理電路104對立體影像數據Dl所施加的視差修正的詳細說明。
[0029]請參照圖2，其是依據本發明的實施例的對立體影像數據Dl執行視差修正以產生修正過的立體影像數據D1’的方法的流程圖。假如結果實質上是相同的，則步驟不需要完全按照圖2所示的順序來執行。假設所接收的立體影像數據包含具有右眼影像幀與左眼影像幀的至少一影像對(image pair)。施加于具有右眼影像幀與左眼影像幀的一原始影像對，以產生相對應的修正過的影像對的視差修正可包含下列步驟。
[0030]步驟200:開始；
[0031]步驟202:通過對所接收的立體影像數據Dl內的原始影像對的左眼影像幀與右眼影像巾貞執行視差估算(disparity estimation),以得到一視差圖(disparity map)；
[0032]步驟204:依據該視差圖得到原始影像對的至少一部份(例如，部份或全部)的原始視差范圍R_original,其中原始視差范圍R_original具有邊界值VII,而目標視差范圍R.target具有邊界值V21。在示范性的視差修正要被施加于全部的立體影像數據的情形中，所得到的原始視差范圍R_original為完整(full)原始影像對的視差范圍。在示范性的視差修正要被施加于部份的立體影像數據的另一情形中，原始視差范圍R_original是具有與輔助圖形數據的視差部分重疊的視差的部分(partial)原始影像對的視差范圍；
[0033]步驟206:通過至少依據邊界值Vll與邊界值V21之間的差量DIFF，來水平平移包含于原始影像對的至少該部份的右眼影像幀與左眼影像幀中至少其一內的像素，以產生具有完全落于目標視差范圍R_target內的修正過的視差范圍R_mod的至少一修正過的部分(例如，修正過的影像對的部份或全部)的修正過的影像對。在示范性的視差修正要被施加于全部的立體影像數據的情形中，包含于完整原始影像對內的右眼影像幀與左眼影像幀中至少其一的像素會被水平平移，以調整完整原始影像對的視差范圍。在不范性的視差修正要被施加于部份的立體影像數據的另一情形中，只有包含于部份原始影像對內的右眼影像幀與左眼影像幀中至少其一內的像素會被水平平移，以便只對具有與輔助圖形數據部分重疊的視差的部分原始影像對的視差范圍進行調整；
[0034]步驟208:結束。
[0035]為求簡單明了，假設以下所提到的示范性視差修正是施加于全部的立體影像數據，用以避免立體視頻/影像的顯示被輔助圖形數據的顯示所阻隔。步驟202中所產生的視差圖包含了有關于原始影像對的視差值，其中每一視差值被參考作為一右眼影像幀與一左眼影像幀之間的相同點的座標差量，而座標差量通常是以像素來測量。因此，基于視差圖所給的視差值，可輕易地得到原始影像對的原始視差范圍R_original。圖3是立體影像數據Dl的原始視差范圍R_original與目標視差范圍R_target之間的關系的示意圖。在此例子中，前述的邊界值Vll是原始視差范圍1?_018；[11的低邊界(lower bound),而前述的邊界值V21是目標視差范圍R_target的低邊界。從圖3可看出，原始視差范圍R_original是由低邊界Vll與高邊界(upper bound) V12所劃限,例如,低邊界Vll等于-58,而高邊界V12等于+70，這也意指原始影像對所具有的最小視差是-58，而原始影像對所具有的最大視差是+70。
[0036]從圖3可看出，原始視差范圍R_original應該被向右平移以落于目標視差范圍R_target內，也就是說，原始影像對所具有的全部視差值應該都要被增大。在此例子中，邊界值Vll與邊界值V21之間的差量DIFF是+59 (也就是說，V21-Vl 1=+1- (-58))。當線性映射(linear mapping)方法被用來執行視差修正時，左眼影像幀內的全部像素要被向左水平平移至少59個像素，同時右眼影像幀則保持不變。在另一設計中，右眼影像幀內的全部像素要被向右水平平移至少59個像素，同時左眼影像幀則保持不變。在另一設計中，左眼影像幀中的所有像素可被向左水平平移至少M個像素，而右眼影像幀中的所有像素可被向右水平平移至少N個像素，其中M+N=59。換句話說，線性映射方法會使修正過的影像對的修正過的視差范圍R_mod的大小等于原始影像對的原始視差范圍R_original的大小。圖4是在使用線性映射方法時，修正過的立體影像數據D1’的修正過的視差范圍R_mod與目標視差范圍R_target之間的關系的示意圖。從圖4可看出，修正過的視差范圍R_mod是由低邊界VII’與高邊界V12’所劃限，其中VII’等于+1(也就是-58+59)而V12’等于+129(也就是70+59),因此,修正過的視差范圍R_mod現在完全落于目標視差范圍R_target內。需要注意的是，讓修正過的視差范圍R_mod的低邊界VII’與目標視差范圍R_target的低邊界V21對齊只是一個可行的實作方式，并不是本發明的限制。
[0037]另外，視差修正的實作并不限定于線性映射，例如，可使用非線性映射(nonlinearmapping)方法來執行所需要的視差修正。圖5是在使用非線性映射方法時，修正過的立體影像數據D1’的修正過的視差范圍R_mod與目標視差范圍R_target之間的關系的示意圖。修正過的視差范圍R_mod是由低邊界VII”與高邊界V12”所劃限，其中VII”等于V21，而V12”小于V12’。換句話說，非線性映射方法可使修正過的影像對的修正過的視差范圍R_mod的大小不同于原始影像對的原始視差范圍R_original的大小，同樣達成了產生一個具有完全落于目標視差范圍R_target內的修正過的視差范圍R_mod的修正過的立體影像數據D1’的目的。同樣地，使修正過的視差范圍R_mod的低邊界VII”與目標視差范圍R_target的低邊界V21對齊只是一個可行的實作方式，而非本發明的限制。
[0038]當輔助圖形數據D2是平面圖形數據(例如，平面字幕)時，輔助圖形數據D2會具有落在目標視差范圍R_target之外的零視差(zero disparity)。另外，輔助圖形數據D2的原始視差小于修正過的立體影像數據D1’的修正過的視差。從圖4/圖5可看出，由于輔助圖形數據D2的視差(例如，零視差)不會與修正過的立體影像數據D1’的修正過的視差范圍(例如，正視差(positive disparity))部分重疊，故平面圖形數據(亦即輔助圖形數據D2)的顯示并不會影響修正過的立體影像數據D1’的顯示所提供的立體效果。因此，當驅動電路106驅動顯示裝置101去顯示具有各自的視差設定的修正過的立體影像數據D1’與輔助圖形數據D2時，用戶總是會觀看到位于顯示屏幕所放置處的特定固定深度的平面圖形數據的內容，以及總是會觀看到大于該特定固定深度的不同深度的立體影像數據。換句話說，如圖6所示，用戶總是會看到顯示在立體影像數據的內容前方的平面圖形數據的內容。
[0039]另一方面，當輔助圖形數據D2為立體圖形數據(例如，立體字幕)時，輔助圖形數據D2可能會具有完全落于目標視差范圍R_target外的視差(例如，負視差(negativedisparity))。同樣地，從圖4/圖5可看出，由于輔助圖形數據D2的視差范圍(例如，負視差)與修正過的立體影像數據D1’的視差范圍(例如，正視差)沒有部分重疊，所以立體圖形數據(亦即輔助圖形數據D2)的顯示并不會影響到修正過的立體影像數據D1’的顯示所提供的立體效果。因此，當驅動電路106驅動顯示裝置101去顯示具有各自視差設定的修正過的立體影像數據D1’與輔助圖形數據D2時，如圖7所示，用戶總是會看到顯示在立體影像數據的內容前的立體圖形數據的內容。
[0040]對于第一操作情境來說，可將示范性的視差修正施加于立體影像數據的一部分而非全部。在此一設計變化中，步驟204會被執行以通過部份原始影像對(其具有與輔助圖形數據的視差部分重疊的視差)的視差范圍，來決定出原始視差范圍R_original ;步驟206會被執行來水平平移包含于部份原始影像對內的右眼影像幀與左眼影像幀中的至少其中之一內的像素，以便只對具有與輔助圖形數據部分重疊的視差的部分原始影像對的視差范圍作調整。所屬領域技術人員可在讀過上述對于施加在全部的立體影像數據上的示范性視差修正后，了解施加于部分的立體影像數據的示范性視差修正的操作，故進一步的說明便在此省略以求簡潔。
[0041]對于第二操作情境來說，接收電路102接收具有不完全落于目標視差范圍R_target內的原始視差的立體影像數據D1，以及具有不完全落于目標視差范圍R_target外的原始視差的輔助圖形數據D2。因此，處理電路104會依據所得到的視差范圍設定RS，來修正所接收的立體影像數據Dl的至少一部份(例如，部份或全部)，以產生修正過的立體影像數據D1’，立體影像數據D1’包含具有完全落于目標視差范圍R_target內的修正過的視差的至少一修正過的部分(例如，修正過的立體影像數據D1’的一部分或全部)，此外，處理電路104會依據視差范圍設定RS，來修正所接收的輔助圖形數據D2，以產生具有完全落于目標視差范圍R_target外的修正過的視差的輔助圖形數據D2’。明確來說，所接收的立體影像數據Dl的視差會與所接收的輔助圖形數據D2的視差至少一部分重疊。
[0042]為求簡單明了，假設示范性的視差修正會對全部的立體影像數據進行調整，以防止立體視頻/影像數據的顯示被輔助圖形數據的顯示所阻隔。假若輔助圖形數據D2是平面圖形數據(例如，平面字幕)，因此，輔助圖形數據D2的原始視差D會具有零視差值。請參照圖8,其是立體影像數據Dl的原始視差范圍R_original、目標視差范圍R_target以及輔助圖形數據D2的原始視差D之間的關系的示意圖。在此例子中，前述的邊界值Vll為原始視差范圍R_original的低邊界,而前述的邊界值V21為目標視差范圍R_target的低邊界。從圖8可看出，目標視差范圍R_target的低邊界V21具有負視差值。對于原始視差范圍R_original來說，其是由下邊界Vll與上邊界V12所劃限，其中下邊界Vll低于目標視差范圍R.target的下邊界V21。因為立體影像數據Dl具有不完全落于目標視差范圍R_target內的原始視差，立體影像數據Dl是由處理電路104依據邊界值Vll與邊界值V21之間的差量DIFF_1來處理，如此一來，原始視差范圍R_original會被向右水平平移以落于目標視差范圍R_target之內，也就是說，包含于立體影像數據Dl內的原始影像對所具有的全部視差值都應該要被增大。
[0043]圖9是修正過的立體影像數據D1’的修正過的視差范圍R_mod、目標視差范圍R.target以及修正過的輔助圖形數據D2’的修正過的視差D’之間的關系的示意圖。如上所述，當視差修正使用線性映射方法時，修正過的影像對的修正過的視差范圍R_mod的大小等于原始影像對的原始視差范圍R_original的大小。例如，上邊界V12’會等于V12+DIFF_1，而下邊界VII’則會等于V11+DIFF_1。然而，當視差修正使用非線性映射方法時，修正過的影像對的修正過的視差范圍R_mod的大小不同于原始影像對的原始視差范圍R_original的大小，例如，下邊界會等于V11+DIFF_1,而上邊界V12’會不同于(例如，低于)V12+DIFF_1。需要注意的是，使修正過的視差范圍R_mod的低邊界VII’與目標視差范圍R_target的低邊界V21對齊只是一個可行的實作方式，而非本發明的限制。
[0044]當輔助圖形數據D2為平面圖形數據(例如，平面字幕)時，原始視差D不完全落于目標視差范圍R_target之外。施加于輔助圖形數據D2的視差修正的一個示范性實作方式是對輔助圖形數據D2執行平面到立體轉換(2D-to-3D conversion)，以產生相對應的立體圖形數據來作為修正過的輔助圖形數據D2’(其具有落于目標視差范圍R_target外的修正過的視差D’)。
[0045]從圖9可看出，由于修正過的輔助圖形數據D2’的視差范圍不會與修正過的立體影像數據D1’的視差范圍部分重疊，故修正過的輔助圖形數據D2’的顯示并不會影響修正過的立體影像數據D1’的顯示所提供的立體效果。因此，當驅動電路106驅動顯示裝置101去顯示具有各自視差設定的修正過的立體影像數據D1’與修正過的輔助圖形數據D2’時，如圖10所示，用戶總是會觀看到顯示在立體影像數據的內容前方的輔助圖形數據的內容。
[0046]考量輔助圖形數據D2為立體圖形數據(例如，立體字幕)而具有不完全落于目標視差范圍R_target外的視差的另一情形。處理電路104施加于立體圖形數據的視差修正繪示于圖11。圖11是本發明的示范性實施例而對輔助圖形數據D2進行視差修正以產生修正過的輔助圖形數據D2’的方法的流程圖。假設結果實質上是相同的，則步驟不需完全依照圖11所示的順序來執行。假設所接收的輔助圖形數據D2包含具有右眼影像幀與左眼影像幀的至少一圖形影像對。施加于具有右眼影像幀與左眼影像幀的原始圖形影像對，以產生相對應的修正過的圖形影像對的視差修正包含下列步驟。
[0047]步驟1100:開始；
[0048]步驟1102:通過對所接收的輔助圖形數據D2中的原始圖形影像對的左眼影像幀與右眼影像幀執行視差估算，來得到一視差圖；
[0049]步驟1104:依據該視差圖得到原始圖形影像對的原始視差范圍R_original’，其中原始視差范圍R_original’具有邊界值V31，而目標視差范圍R_target具有邊界值V21 ；
[0050]步驟1106:通過至少依據邊界值V31與邊界值V21之間的差量DIFF_2，來水平平移包含于原始圖形影像對內的右眼影像幀與左眼影像幀中的至少其一內的像素，以產生具有完全落于目標視差范圍R_target外的修正過的視差范圍R_mod’的修正過的圖形影像對；
[0051]步驟1108:結束。
[0052]圖11所示的視差修正的流程與圖2所示的視差修正的流程相似。如上所述，圖2所示的視差修正的流程是要讓修正過的立體影像數據D1’的部分或全部具有完全落于目標視差范圍內的修正過的視差，然而，對于圖11所示的視差修正的流程來說，該流程是要讓修正過的輔助圖形數據D2’的全部都具有完全落于目標視差范圍之外的修正過的視差。所屬領域技術人員可在讀過上述針對圖2所示的視差修正的流程的段落后，輕易地了解圖11所示的視差修正的流程的細節，故進一步的說明便在此省略以求簡潔。
[0053]請參照圖12,其是立體影像數據Dl的原始視差范圍R_original、目標視差范圍R_target以及輔助圖形數據D2的原始視差范圍R_original’之間的關系的示意圖。在此例子中，前述的邊界值V31是原始視差范圍R_original ’的上邊界，而前述的邊界值V21是目標視差范圍R_target的下邊界。從圖12可看出，原始視差范圍R_original’是由低邊界V32與高邊界V31所劃限，其中邊界值V31大于邊界值V21。邊界值V31與邊界值V21之間的差量DIFF_2會被參考以將原始視差范圍R_original’向左水平平移,而落于目標視差范圍R_target之外，也就是說，輔助圖形數據D2內的原始圖形影像對所具有的視差值全部都應該被減小。
[0054]線性映射方法與非線性映射方法的其中之一可被使用，來對輔助圖形數據D2執行所需要的視差修正。請參照圖13，其是修正過的立體影像數據D1’的修正過的視差范圍R_mod、目標視差范圍R_target以及修正過的輔助圖形數據D2’的修正過的視差范圍R_mod’之間的關系的示意圖。從圖13可看出，修正過的視差范圍R_mod完全落于目標視差范圍R_target之內，同時修正過的視差范圍R_mod’完全落于目標視差范圍R_target之外，因此，修正過的輔助圖形數據D2’的修正過的視差小于修正過的立體影像數據D1’的修正過的視差。由于修正過的視差范圍R_mod不會與修正過的視差范圍R_mod’部分重疊，所以修正過的圖形數據D2’的顯示并不會影響修正過的立體影像數據D1’的顯示所提供的立體效果。同樣地，如圖10所示，當驅動電路106驅動顯示裝置101去顯示具有各自視差設定的修正過的立體影像數據D1’與修正過的輔助圖形數據D2’時，用戶總是會觀看到顯示在立體影像數據的內容前方的立體圖形數據的內容。
[0055]需要注意的是，對于第二操作情境來說，同樣可以將示范性的視差修正使用在部份的立體影像數據而非全部的立體影像數據。技術人員可在讀過上述對于使用在全部的立體影像數據上的示范性視差修正的說明后，輕易了解使用在部份的立體影像數據的示范性的視差修正的操作，故更進一步的描述便在此省略以求簡潔。
[0056]此外，上述的目標視差范圍R_target的示范性設定只作為范例說明之用，而非對本發明設限。例如，基于實際設計上的需求/考量，目標視差范圍R_target的低邊界V21可以設定為正視差值、零視差值或負視差值。
[0057]在上述的示范性實施例中，影像處理裝置100可被設置在視頻播放器之內以控制視頻/影像的播放。處理電路104的輸出被傳送至驅動電路106，以驅動顯示裝置101。然而，所提出的視差修正技術亦可被使用在其它的應用中。圖14是本發明的第二示范性實施例的影像處理裝置的方塊圖。舉例來說(但本發明并不以此為限)，示范性影像處理裝置1400可被設置在視頻編碼器(video encoder)中，以提供要被顯示的視頻/影像數據。如圖14所示，影像處理裝置1400包含(但不限于)一編碼電路1406與前述的接收電路102及處理電路104。考量第一操作情境(其中接收電路102所接收的立體影像數據Dl具有不完全落于目標視差范圍R_target內的原始視差,而接收電路102所接收的輔助圖形數據D2具有完全落于目標視差范圍R_target外的原始視差),編碼電路1406用以通過對修正過的立體影像數據D1’(其包含有通過視差修正而由立體影像數據Dl的至少一部份所得到的至少一修正過的部分)與所接收的輔助圖形數據D2進行編碼，以產生編碼過的數據D_0UT給一儲存媒體(例如，光盤、硬盤或存儲器裝置)1401。考量第二操作情境(其中接收電路102所接收的立體影像數據Dl具有不完全落于目標視差范圍R_target內的原始視差，而接收電路102所接收的輔助圖形數據D2具有不完全落于目標視差范圍R_target外的原始視差)，編碼電路1406用以通過對修正過的立體影像數據D1’ (其包含有通過視差修正而由立體影像數據Dl的至少一部份所得到的至少一修正過的部分)與修正過的輔助圖形數據D2’進行編碼，以產生編碼過的數據0_0爪給儲存媒體1401。因為來源端(source end)所產生的編碼過的數據D_0UT具有在視差域內與輔助圖形數據彼此分離的立體影像數據，所以播放端(playback end)不需要執行額外的視差修正，因此，縱使視頻播放器本身沒有具備任何的視差修正功能，可通過使用視頻播放器來接收編碼過的數據D_0UT并依據編碼過的數據D_0UT驅動顯示裝置，來同樣達成避免立體視頻數據的顯示被輔助圖形數據的顯示所阻隔的目的。
[0058]以上所述僅為本發明的較佳實施例，凡依本發明權利要求所做的均等變化與修飾，皆應屬本發明的涵蓋范圍。
【權利要求】
1.一種影像處理方法，其特征在于，該影像處理方法包含: 接收定義一目標視差范圍的一視差范圍設定； 接收一立體影像數據，該立體影像數據具有不完全落在該目標視差范圍內的一原始視差; 接收一輔助圖形數據，該輔助圖形數據具有完全落在該目標視差范圍外的一原始視差，其中，該立體影像數據的至少一部份所具有的原始視差與該輔助圖形數據的原始視差部分重疊；以及 依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少該部份，以產生一修正過的立體影像數據，其中該修正過的立體影像數據包含至少一修正過的部分，至少該修正過的部分所具有的一修正過的視差完全落在該目標視差范圍內。
2.如權利要求1所述的影像處理方法，其特征在于，該影像處理方法另包含: 顯示該修正過的立體影像數據以及所接收的該輔助圖形數據。
3.如權利要求1 所述的影像處理方法，其特征在于，該影像處理方法另包含: 對該修正過的立體影像數據以及所接收的該輔助圖形數據進行編碼。
4.如權利要求1所述的影像處理方法，其特征在于，該輔助圖形數據的該原始視差小于該修正過的立體影像數據的至少該修正過的部分所具有的該修正過的視差。
5.如權利要求1所述的影像處理方法，其特征在于，該立體影像數據包含至少一原始影像對，每一原始影像對具有一右眼影像幀與一左眼影像幀；以及產生該修正過的立體影像數據的步驟包含: 參照所得到的該視差范圍設定來修正該原始影像對，以產生一修正過的影像對，其中該原始影像對包含于所接收的該立體影像數據內，并且具有至少一部份，至少該部份所具有的一原始視差范圍并未完全落在該目標視差范圍內；以及該修正過的影像對具有至少一修正過的部分，至少該修正過的部分所具有的一修正過的視差范圍完全落在該目標視差范圍內。
6.如權利要求5所述的影像處理方法，其特征在于，產生該修正過的影像對的步驟包含: 得到該原始影像對的至少該部分的該原始視差范圍，其中該原始視差范圍具有一第一邊界值，而該目標視差范圍具有一第二邊界值；以及 依據該第一邊界值與該第二邊界值之間的至少一差量，來水平平移該原始影像對的至少該部分的一右眼影像幀與一左眼影像幀的至少其一內的像素，以產生該修正過的影像對。
7.如權利要求6所述的影像處理方法，其特征在于，該修正過的影像對的至少該修正過的部分的該修正過的視差范圍的大小等于該原始影像對的至少該部分的該原始視差范圍的大小。
8.如權利要求6所述的影像處理方法，其特征在于，該修正過的影像對的至少該修正過的部分的該修正過的視差范圍的大小不同于該原始影像對的至少該部分的該原始視差范圍的大小。
9.一種影像處理方法，其特征在于，該影像處理方法包含: 接收定義一目標視差范圍的一視差范圍設定；接收一立體影像數據，該立體影像數據具有不完全落在該目標視差范圍內的一原始視差; 接收一輔助圖形數據，該輔助圖形數據具有不完全落在該目標視差范圍外的一原始視差，其中，該立體影像數據的至少一部份所具有的原始視差與該輔助圖形數據的原始視差部分重疊； 依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少該部份，以產生一修正過的立體影像數據，其中該修正過的立體影像數據包含至少一修正過的部分，至少該修正過的部分所具有的一修正過的視差完全落在該目標視差范圍內；以及 依據該視差范圍設定來修正所接收的該輔助圖形數據，以產生一修正過的輔助圖形數據，該修正過的輔助圖形數據所具有的一修正過的視差完全落在該目標視差范圍外。
10.如權利要求9所述的影像處理方法，其特征在于，該影像處理方法另包含: 顯示該修正過的立體影像數據與該修正過的輔助圖形數據。
11.如權利要求9所述的影像處理方法，其特征在于，該影像處理方法另包含: 對該修正過的立體影像數據以及該修正過的輔助圖形數據進行編碼。
12.如權利要求9所述的影像處理方法，其特征在于，該修正過的輔助圖形數據的該修正過的視差小于該修正過的立體影像數據的至少該修正過的部分所具有的該修正過的視差。
13.如權利要求9所述的影像處理方法，其特征在于，該立體影像數據包含至少一原始影像對，每一原始影像對具有一右眼影像幀與一左眼影像幀；以及產生該修正過的立體影像數據的步驟包含: 參照所得到的該視差范圍設定來修正該原始影像對，以產生一修正過的影像對，其中該原始影像對包含于所接收的該立體影像數據內，并且具有至少一部份，至少該部份所具有的一原始視差范圍并未完全落在該目標視差范圍內；以及該修正過的影像對具有至少一修正過的部分，至少該修正過的部分所具有的一修正過的視差范圍完全落在該目標視差范圍內。
14.如權利要求13所述的影像處理方法，其特征在于，產生該修正過的影像對的步驟包含: 得到該原始影像對的至少該部份的該原始視差范圍，其中該原始視差范圍具有一第一邊界值，而該目標視差范圍具有一第二邊界值；以及 依據該第一邊界值與該第二邊界值之間的至少一差量，來水平平移該原始影像對的至少該部分的一右眼影像幀與一左眼影像幀的至少其一內的像素，以產生該修正過的影像對。
15.如權利要求14所述的影像處理方法，其特征在于，該修正過的影像對的至少該修正過的部分的該修正過的視差范圍的大小等于該原始影像對的至少該部分的該原始視差范圍的大小。
16.如權利要求14所述的影像處理方法，其特征在于，該修正過的影像對的至少該修正過的部分的該修正過的視差范圍的大小不同于該原始影像對的至少該部分的該原始視差范圍的大小。
17.如權利要求9所述的影像處理方法，其特征在于，該輔助圖形數據包含至少一原始圖形影像對，每一原始圖形影像對具有一右眼圖形影像與一左眼圖形影像；而產生該修正過的輔助圖形數據的步驟包含: 參照該得到的該視差范圍設定來修正該原始圖形影像對，以產生一修正過的圖形影像對，其中該原始圖形影像對包含于所接收的該輔助圖形數據內，并且具有不完全落于該目標視差范圍之外的一原始視差范圍；以及該修正過的圖形影像對具有完全落于該目標視差范圍之外的一修正過的視差范圍。
18.如權利要求17所述的影像處理方法，其特征在于，產生該修正過的圖形影像對的步驟包含: 得到該原始圖形影像對的該原始視差范圍，其中該原始視差范圍具有一第一邊界值，而該目標視差范圍具有一第二邊界值；以及 依據該第一邊界值與該第二邊界值之間的至少一差量，來水平平移該原始圖形影像對的一右眼圖形影像與一左眼圖形影像的至少其一中的像素，以產生該修正過的圖形影像對。
19.如權利要求18所述的影像處理方法，其特征在于，該修正過的圖形影像對的該修正過的視差范圍的大小等于該原始圖形影像對的該原始視差范圍的大小。
20.如權利要求18所述的影像處理方法，其特征在于，該修正過的圖形影像對的該修正過的視差范圍的大小不同于該原始圖形影像對的該原始視差范圍的大小。
21.一種影像處理裝置，其特征在于，該影像處理裝置包含: 一接收電路，用以接收定義一目標視差范圍的一視差范圍設定，接收具有不完全落在該目標視差范圍內的一原始視差的一立體影像數據，以及接收具有完全落于該目標視差范圍外的一原始視差的一輔助圖形數據，其中，該立體影像數據的至少一部份所具有的原始視差與該輔助圖形數據的原始視差部分重疊；以及 一處理電路，耦接至該接收電路，用以依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少該部份，以產生一修正過的立體影像數據，其中該修正過的立體影像數據包含至少一修正過的部分，至少該修正過的部分所具有的一修正過的視差完全落在該目標視差范圍內。
22.如權利要求21所述的影像處理裝置，其特征在于，該影像處理裝置另包含: 一驅動電路，耦接至該處理電路與該接收電路，用以驅動一顯示裝置來顯示該修正過的立體影像數據以及所接收的該輔助圖形數據。
23.如權利要求21所述的影像處理裝置，其特征在于，該影像處理裝置另包含: 一編碼電路，耦接至該處理電路與該接收電路，用以對該修正過的立體影像數據以及所接收的該輔助圖形數據進行編碼。
24.如權利要求21所述的影像處理裝置，其特征在于，該輔助圖形數據的該原始視差小于該修正過的立體影像數據的至少該修正過的部分的該修正過的視差。
25.一種影像處理裝置，其特征在于，該影像處理裝置包含: 一接收電路，用以接收定義一目標視差范圍的一視差范圍設定，接收具有不完全落在該目標視差范圍內的一原始視差的一立體影像數據，以及接收具有不完全落于該目標視差范圍外的一原始視差的一輔助圖形數據，其中，該立體影像數據的至少一部份所具有的原始視差與該輔助圖形數據的原始視差部分重疊；以及一處理電路，耦接至該接收電路，用以依據所得到的該視差范圍設定來修正所接收的該立體影像數據的至少該部份，以產生一修正過的立體影像數據，以及依據該視差范圍設定來修正所接收的該輔助圖形數據，以產生一修正過的輔助圖形數據；其中該修正過的立體影像數據包含至少一修正過的部分，至少該修正過的部分所具有的一修正過的視差完全落在該目標視差范圍內；以及該修正過的輔助圖形數據所具有的一修正過的視差完全落在該目標視差范圍外。
26.如權利要求25所述的影像處理裝置，其特征在于，該影像處理裝置另包含: 一驅動電路，耦接至該處理電路，用以驅動一顯示裝置來顯示該修正過的立體影像數據以及該修正過的輔助圖形數據。
27.如權利要求25所述的影像處理裝置，其特征在于，該影像處理裝置另包含: 一編碼電路，耦接至該處理電路，用以對該修正過的立體影像數據以及該修正過的輔助圖形數據進行編碼。
28.如權利要求25所述的影像處理裝置，其特征在于，該修正過的輔助圖形數據的該修正過的視差小于該 修正過的立體影像數據的至少該修正過的部分的該修正過的視差。
【文檔編號】H04N13/00GK103458258SQ201310176483
【公開日】2013年12月18日 申請日期:2013年5月14日 優先權日:2012年5月31日
【發明者】何鎮在, 陳鼎勻, 朱啟誠 申請人:聯發科技股份有限公司