專利名稱：用于產生立體圖像的圖像處理裝置及其方法
技術領域：
本發明涉及一種用于調整立體圖像(Stereoscopic image)的裝置及其方法， 并且尤其涉及一種利用調整第 一 眼觀看圖像(First-eye-viewedimage)和第二眼 觀看圖像(Second-eye-viwed image)的偏移(Shift)以產生最適化的(Adaptive)立
體圖像的裝置及其方法。
現有技術
由于左右眼的位置不同，因此左右眼所觀察到的圖像也有些不同。如果 使左眼僅看到左眼所需看到的信息，右眼僅能看到右眼的信息，則可欺騙大 腦產生立體視覺。目前立體圖像的建立的方法大多合成兩張分別由左、右眼 所觀察到的2D圖像。但由于拍攝時的晃動或是人為因素使然，會使得兩張 左、右眼圖像產生上下或/和左右的偏移。然而過度的圖像偏移會造成圖像合 成時三維效果不佳，并且傳統上對此種有瑕瘋的圖像多以廢棄處理，造成立 體圖像產生效率不佳，合成圖像成效率低。所以需要具有調整左、右眼所觀 察到的2D圖像的裝置以補償該非預期的偏移，以有效地合成立體圖像。
因此，本發明提供一種利用調整第 一 眼觀看圖像和第二眼觀看圖像的偏 移以產生相配的立體圖像的裝置及其方法，以解決上述問題。
發明內容
本發明的目的之一在于提供一種利用調整第一眼觀看圖像和第二眼觀看 圖像的偏移以產生相配的立體圖像的裝置及其方法。
根據一優選具體實施例，本發明的裝置利用第一眼觀看圖像 (First-eye-viewed image)以及第二目艮只見看圖l象(Second-eye-viewed image)以產 生相配的立體圖像(Adaptive stereoscopic image)。該第一眼觀看圖像以及該第
二眼乂見看圖4象拍貞取于 一 個場景(Scene)。該裝置包括- >接收才莫塊(Receiving module)、第一處理模塊(Processing module)以及第二處理模塊。該接收模塊其 結構在于配合接收該第 一 眼觀看圖像以及該第二眼觀看圖像的輸入。該第一 處理模塊耦合至該接收模塊。該第二處理模塊耦合至該第一處理模塊。
該第 一 處理模塊用于重疊該第 一 眼觀看圖像以及該第二眼觀看圖像，并 且相對該第 一眼觀看圖像水平移動該第二眼觀看圖像直到該第 一眼觀看圖像 與該第二眼觀看圖像之間的水平差異大致上達到一最小值。該第二處理模塊 用于接收重疊并且已水平移動的該第 一眼觀看圖像以及該第二眼觀看圖像的 圖像，相對該第一眼觀看圖像垂直移動該第二眼觀看圖像直到該第一眼觀看 圖像與該第二眼觀看圖像之間的垂直差異大致上達到一最小值，并且得到重 疊并且已垂直移動的該第一眼觀看圖像以及該第二眼觀看圖像的圖像，當做 該相配的立體圖像。
因此，本發明的裝置的第一處理模塊水平移動后，可得到該第一眼觀看 圖像以及該第二眼觀看圖像的水平偏移量。同理，該裝置的第二處理模塊垂 直移動后，可得到該第一眼觀看圖像以及該第二眼觀看圖像的垂直偏移量。 該水平偏移量以及該垂直偏移量即正確合成該第 一 眼觀看圖像以及該第二眼 觀看圖像的所需偏移。
關于本發明的優點與精神可以通過以下的發明詳述及附圖得到進一步的 了解。
圖1A是圖解根據本發明的 一個優選具體實施例的裝置的功能方塊圖。
圖1B是圖解該第一眼觀看圖像以及該第二眼觀看圖像的水平偏移的示意圖。
圖1C是圖解水平偏移差異曲線的示意圖。 圖1D是圖解垂直偏移差異曲線的示意圖。
圖1E是圖解該第一眼觀看圖像以及該第二眼觀看圖像的垂直偏移的示意圖。 圖2A是圖解單眼相機取景位置的示意圖。
圖2B是圖解具有兩個網絡攝影機的筆記型計算機和桌上型計算機的示
圖3是圖解根據該優選具體實施例的流程圖。主要組件符號說明
1:裝置
3:腳架 5:桌上型電腦 12:第一處理模組 42:影像擷取裝置 Pl:第一眼觀看影像 S100 106:流程步驟
2:單眼相機 4:筆i己型電腦 11:接收模組 13:第二處理4莫組 52:影像擷取裝置 P2-.第二眼觀看影像
具體實施例方式
參見圖1A，圖1A是圖解根據本發明的一個優選具體實施例的裝置的功 能方塊圖。根據該優選具體實施例，本發明的裝置1包含接收模塊11、第一 處理模塊12以及第二處理模塊13。該接收模塊11其結構在于配合接收第一 眼觀看圖像P1以及第二眼觀看圖像P2。該第一處理模塊12耦合至該接收模 塊11。該第二處理模塊13耦合至該第二處理模塊12。
該第一眼觀看圖像P1以及該第二眼觀看圖像P2從該接收模塊11傳送至 該第一處理模塊12。該第一處理模塊12將該第一眼觀看圖像P1以及該第二 眼觀看圖像P2重疊，并且相對該第一眼觀看圖像P1水平移動該第二眼觀看 圖像P2直到該第一眼觀看圖像P1與該第二眼觀看圖像之間的水平差異大致 上達到一最小值。如圖1B所示，圖1B是圖解該第一眼觀看圖像P1以及該 第二眼觀看圖像P2的水平偏移的示意圖。該示意圖由上而下包含4個部分。 第一部分，即圖1B中最上部分，分別圖解該第一眼觀看圖像P1與該第二眼 觀看圖像P2。第二部分是圖解該第一眼觀看圖像P1與該第二眼觀看圖像P2
重疊的示意圖。第三部分是圖解該第二眼觀看圖像P2已向右水平移動N個
像素的示意圖，其中N是一自然數。第四部分是圖解該第二眼觀看圖像P2 已再向右水平移動N個像素的示意圖。此時，該水平差異值達到最小值，水 平移動完成。該水平差異值得以重疊后對應的像素的灰階值差值累計，但并 不以此種方法為限，例如累計灰階值差值的像素位置可采用取樣方法，取樣 方法也可以是事先靜態決定的，或事后動態決定的。另外，尋找最小值的方 法可利用遞歸方式或設定一停止尋找條件均可，如設定一可容許的差值以停 止尋找，而完成水平移動或于無法找到符合該可容許的差值的情形時，放棄 本次水平移動，即放棄該第一眼觀看圖像P1以及該第二眼觀看圖像P2的調 整，其中該可容許的差值是指連續兩次平均水平差異值的差值，平均水平差 異值是指水平差異值除以被計算的區域，即相像素數目。
由于該第一眼觀看圖像P1以及該第二眼觀看圖像P2本質上即不相同， 因此無論如何水平移動，仍有非零的水平差異值。然而，該水平差異值并非 定值，而是一開口朝上的曲線，如圖1C如所示。該曲線具有一最小值，即表 示該水平偏移量為該第一眼觀看圖像P1以及該第二眼觀看圖像P2的最佳的 相對水平偏移。但需注意的是，由于水平差異值的計算方式不同，最后調整 的水平偏移量可能不是圖1C中的最低點，但至少是相對低點。根據該優選具 體實施例，每次計算水平差異值移動N個像素，并且通過設定該N值以權衡 合成圖像品質與處理速度。當然不排除動態地設定該N值或其它方式決定移 動量以更有效率地權衡合成圖像品質與處理速度。
另外，對于一般情形，該第一眼觀看圖像Pl以及該第二眼觀看圖像P2 本質上即具有一水平的相對關系。根據該優選具體實施例，該第二眼觀看圖 像P2是右側地擷取于一場景，并且該第一眼觀看圖像Pl是左側地擷取于該 場景。因此，該第一處理模塊12重疊該第一眼觀看圖像P1以及該第二眼觀 看圖像P2后，僅需向右水平移動即可，如圖1B所示。
同樣地，該第二處理模塊13從該第一處理模塊12接收重疊并且已水平 移動的該第一眼觀看圖像P1以及該第二眼觀看圖像P2的圖像。該第二處理 模塊13相對該第一眼觀看圖像P1垂直移動該第二眼觀看圖像P2直到該第一 眼觀看圖像P1與該第二眼觀看圖像P2之間的垂直差異大致上達到一最小值。 不同于水平移動，該第一眼觀看圖像P1以及該第二眼觀看圖像P2之間在垂
直方向并無本質上的相對關系，所以垂直偏移方向上下均有可能。然而垂直 差異值具有類似水平差異值的特性，也就是垂直差異值呈現一開口朝上的曲 線，如圖1D所示。為找出偏移方向，可先固定第一眼觀看圖像Pl,再將第
二眼觀看圖像P2分別向上以及向下移動，分別計算垂直差異值，并且選取較 小的垂直差異值的方向當然垂直移動的方向。該垂直差異值的計算同該水平 差異值的計算。
參見圖1E，圖1E是圖解該第一眼觀看圖像Pl以及該第二眼觀看圖像 P2的垂直偏移的示意圖。該示意圖包由上而下含3個部分。第一部分，即圖 一E中最上部分，圖解第一模塊12處理結果。第二部分是圖解該第二眼觀看 圖像P2已向下水平移動M個像素的示意圖，其中M是一自然數。第三部分 是圖解該第二眼觀看圖像P2已再向下水平移動M個像素的示意圖。此時， 該垂直差異值達到最小值，垂直移動完成，并且得到重疊并且已水平、垂直 移動的該第一眼觀看圖像P1以及該第二眼觀看圖像P2的圖像，當做該相配 的立體圖像。
值得一提的是，根據該優選具體實施例，該第二處理模塊13雖然耦合該 第一處理模塊12,并且處理該第一處理模塊12處理后的信息，但是并非除 非該第二處理模塊13直接耦合至該接收模塊11,與該第一處理模塊12處于 同一階層。也即在資源允許下，該水平移動以及垂直移動可分別同時進行以 求得水平偏移量以及垂直偏移量，隨后再以該求得的水平偏移量以及垂直偏 移量來合成該立體圖像。
另外，本發明的裝置的第一眼觀看圖像以及第二眼觀看圖像來源可由單 眼相機2搭配適當的工具3拍攝提供。如圖2A所示，該工具(腳架)3可提供 該單眼相機2兩個不同的固定位置，以分別拍攝出第一眼觀看圖像以及第二 眼觀看圖像。如果由雙眼相機提供，則可一次同時提供第一眼觀看圖像以及 第二眼觀看圖像。同理，如果由多眼相機提供圖像，則可一次同時提供第一 眼觀看圖像以及多個不同視角的第二眼觀看圖像以擇一合成一立體圖像，或 合成多個不同視角的立體圖像。因此，本發明的裝置其及方法也可直接建構 在相機上，直接在相機上合成立體圖像。
此外，本發明裝置和方法也可直接建構在具有兩個圖像擷取裝置42、 52 的計算機4、 5內，如圖2B所示。利用這些圖像擷取裝置42、 52分別擷取圖
像供做第 一眼觀看圖像以及第二眼觀看圖像。在實時視頻的應用中，在開始 通信之前，以第 一次取得的第 一眼觀看圖像以及第二眼觀看圖像設定后續立
體圖像合成參數，此參數包含這些圖像擷取裝置42、 52間的距離、這些圖像 擷取裝置42、 52與被拍攝物體的距離以及偏移量的設定值等等。因為只有在 一開始時執行調整運算，得到的參數供后續的圖像直接參用，所以不會增加 實時圖像傳輸的負擔。然而，并不排除在一預定的時間間隔再次自動或手動 執行調整運算以更新參數。
參見圖3，圖3是圖解根據該優選具體實施例的流程圖。如圖3所示， 本發明的調整方法包括首先，輸入該第一眼觀看圖像以及該第二眼觀看圖 像，如步驟S100所示。接著，重疊該第一眼觀看圖像以及該第二眼觀看圖像， 如步驟S102所示。再接著，相對該第一眼觀看圖像水平移動該第二眼觀看圖 像直到該第 一 眼觀看圖像與該第二眼觀看圖像之間的水平差異大致上達到一 最小值，如步驟S104所示。最后，相對該第一眼觀看圖像垂直移動該第二眼 觀看圖像直到該第 一 眼觀看圖像與該第二眼觀看圖像之間的垂直差異大致上 達到一最小值，如步驟S106所示。其中，步驟S106的結果即為該相配的立 體圖像。此外，步驟S104以及步驟S106也可并行，最后再將步驟S104以及 步驟S106得到的水平偏移量和垂直偏移量來合成該立體圖像。
因此，根據本發明的裝置及其方法，利用調整第一眼觀看圖像以及第二 眼觀看圖像的偏移以產生相配的立體圖像，可有效率地合成立體圖像，提高 合成圖像的成功率。
通過以上對優選具體實施例的詳述，希望能更加清楚描述本發明的特征
相反地，其目的是希望能涵蓋各種改變及具等效性的安排于本發明所欲申請 的專利范圍的范疇內。因此，本發明所申請的專利范圍的范疇應該根據上述 的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具等效性的安排。
權利要求
1、一種圖像處理方法，用以利用第一眼觀看圖像以及第二眼觀看圖像來產生最適化的立體圖像，該第一眼觀看圖像以及該第二眼觀看圖像擷取于一場景，該方法包含下列步驟(a)輸入該第一眼觀看圖像以及該第二眼觀看圖像；(b)重疊該第一眼觀看圖像以及該第二眼觀看圖像；(c)相對該第一眼觀看圖像水平移動該第二眼觀看圖像直到該第一眼觀看圖像與該第二眼觀看圖像之間的水平差異達到一最小值；以及(d)相對該第一眼觀看圖像垂直移動該第二眼觀看圖像直到該第一眼觀看圖像與該第二眼觀看圖像之間的垂直差異達到一最小值，步驟(d)的結果即為該最適化的立體圖像。
2、 如權利要求l所述的圖像處理方法，其中步驟(c)執行相對該第一眼觀 看圖像水平移動該第二眼觀看圖像每次移動N個像素，N是一 自然數。
3、 如權利要求l所述的圖像處理方法，其中步驟(d)執行相對該第一眼觀 看圖像垂直移動該第二眼觀看圖像每次移動M個像素，M是一自然數。
4、 一種圖像處理裝置，用于利用第一眼觀看圖像以及第二眼觀看圖像 來產生最適化的立體圖像，該第 一眼觀看圖像以及該第二眼觀看圖像系擷取 于一場景，該裝置包括接收模塊，該接收模塊其結構在于配合接收該第一眼觀看圖像以及該第 二眼觀看圖像的輸入；第一處理模塊，該第一處理模塊耦合至該接收模塊，該第一處理模塊用 于重疊該第 一眼觀看圖像以及該第二眼觀看圖像，并且相對該第 一眼觀看圖 像水平移動該第二眼觀看圖像直到該第 一 眼觀看圖像與該第二眼觀看圖像 之間的水平差異達到一最小值；以及第二處理模塊，該第二處理模塊耦合至該第一處理模塊，該第二處理模 塊用于接收重疊并且已水平移動的該第一眼觀看圖像以及該第二眼觀看圖 像的圖像，相對該第 一眼觀看圖像垂直移動該第二眼觀看圖像直到該第 一眼 觀看圖像與該第二眼觀看圖像之間的垂直差異達到一最小值，并且得到重疊且已垂直移動的該第一眼觀看圖像以及該第二眼觀看圖像的圖像，即為該最 適化的立體圖像。
5、 如權利要求4所述的圖像處理裝置，其中該第一處理模塊相對該第一 眼觀看圖像水平移動該第二眼觀看圖像每次移動N個像素，N是一 自然數。
6、 如權利要求4所述的圖像處理裝置，其中該第二處理模塊相對該第一 眼觀看圖像垂直移動該第二眼觀看圖像每次移動M個像素，M是一 自然數。
全文摘要
本發明提供一種利用第一眼觀看圖像以及第二眼觀看圖像以產生最適化的立體圖像的裝置及其方法。該第一眼觀看圖像以及該第二眼觀看圖像擷取于一場景。根據本發明之裝置重疊并且水平移動該第一眼觀看圖像以及該第二眼觀看圖像直到水平差異大致上達到一最小值，并且隨后垂直移動該第一眼觀看圖像以及該第二眼觀看圖像直到垂直差異大致上達到一最小值。該移動后的圖像即該最適化的立體圖像。
文檔編號G02B27/22GK101174031SQ20061014255
公開日2008年5月7日 申請日期2006年10月30日 優先權日2006年10月30日
發明者李宛靜, 許茂琳, 謝東霖, 陳旭宏, 黃鈺雯 申請人:廣達電腦股份有限公司