移動圖像捕獲設備、信息處理系統、信息處理設備、以及圖像數據處理方法

移動圖像捕獲設備、信息處理系統、信息處理設備、以及圖像數據處理方法
【專利摘要】一種配備了立體照相機的捕獲設備，其生成其中逐步縮小了左右幀圖像的多個不同大小的去馬賽克圖像。另外，通過根據一個預定的規則遍布圖像行的像素行循環產生一個所連接的流，生成一個包括所述多個去馬賽克圖像的虛擬合成圖像（222），其中，所述各行的像素行為經歷了一輪連接的像素行。主機終端向捕獲設備發送一個指出合成圖像中沿長度方向具有一個共享范圍的多個區域的數據請求信號。捕獲設備顯露出所指定的區域，并且向主機終端發送一個僅包含所顯露出的區域的新合成圖像（240）的流。主機終端將其分割成獨立的圖像，這些獨立的圖像被擴展為主存（42）中的連續的地址。
【專利說明】移動圖像捕獲設備、信息處理系統、信息處理設備、以及圖像數據處理方法
【技術領域】
[0001]本發明涉及根據對象的移動進行信息處理的技術。
【背景技術】
[0002]在相關技術中，這樣的游戲已為人們所熟悉:其中，通過攝像機捕獲用戶身體的一部分(例如，頭部)的圖像，從所述圖像抽取一個預定的區域(例如，一個包括眼睛、嘴、手等的圖像的區域)，使用另一個圖像取代所述區域，以將其顯示在顯示器上(例如，參見專利文獻I)。一種接收作為操作應用的指令的攝像機所捕獲的嘴或者手的移動的用戶接口也為人們所熟悉。
[0003][相關技術列表]
[0004][專利文獻]
[0005][專利文獻I]申請號為0999518的歐洲專利申請。

【發明內容】

[0006][本發明所解決的問題]
[0007]在諸如以上所描述的技術中，為了抽取一個預定的區域(例如，一個包括用戶的嘴、手等的區域)，請求一個高分辨率圖像。然而，隨著攝像機的成像部件性能的提高，圖像數據的量也在增加。因此，存在著增加數據采掘處理(例如，過濾、規模放大與縮小、顯露等)的成本的問題，其中，所述數據采掘處理按適當的規模提供了用于傳送的壓縮/擴展處理、識別處理、檢測處理、測量處理等所需的信息。另外，還存在著增加了從照相機輸入的時間到處理的每一次輸出的時間的等待時間的問題。把照相機用作用戶接口引發了這樣一個問題:等待時間的增加明顯地降低了可用性。如所描述的，即使當提高了攝像機成像部件的性能時，也可能降低整個系統的性能。
[0008]本發明解決了以上所提到的問題，其一個目的旨在提供能夠使用其數據，同時使用高性能成像部件抑制從圖像捕獲時間到圖像顯示時間的等待時間。
[0009][解決問題的方法]
[0010]本發明的一個實施例涉及一種移動圖像捕獲設備。所述移動圖像捕獲設備包括:圖像數據生成單元，被配置為根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像生成多個圖像數據段，并且配置為針對每個單一水平像素行順序地輸出作為流的圖像數據；圖像合成單元，被配置為針對每個單一水平像素行或者針對范圍小于單一水平行的每個像素行循環地連接從圖像數據生成單元所輸出的所述多個圖像數據段，并且配置為輸出作為流的結果數據，以生成包括所述多個圖像的虛擬合成圖像，并且其中，在連接循環完成時所導致的像素行被定義為水平像素行；以及圖像傳輸單元，被配置為從所連接的主機終端接收請求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個矩形區域的數據，配置為針對圖像合成單元所輸出的虛擬合成圖像的每一個像素行顯露出相應于矩形區域的范圍，配置為連接所述范圍，以及配置為作為流傳輸到主機終端。
[0011]本發明的另一個實施例涉及一種信息處理系統。所述信息處理系統包括:移動圖像捕獲設備，被配置為捕獲目標對象的圖像，并且生成移動圖像數據；以及主機終端，被配置為從移動圖像捕獲設備獲取一部分移動圖像數據、配置為通過使用所述一部分移動數據執行預定的圖像處理、并且配置為顯示圖像。所述移動圖像捕獲設備包括:圖像數據生成單元，被配置為根據移動圖像的每幀圖像生成多個圖像數據段，并且配置為針對每個單一水平像素行順序地輸出作為流的圖像數據；圖像合成單元，被配置為針對每個單一水平像素行或者針對范圍小于單一水平行的每個像素行循環地連接從圖像數據生成單元輸出的所述多個圖像數據段，并且配置為輸出作為流的結果數據，以生成包括所述多個圖像的虛擬合成圖像，并且其中，在連接循環完成時所導致的像素行被定義為水平像素行；以及圖像傳輸單元，被配置為從所連接的主機終端接收請求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個矩形區域的數據，配置為針對圖像合成單元所輸出的虛擬合成圖像的每一個像素行顯露出相應于矩形區域的范圍，配置為連接所述范圍，以及配置為作為流傳輸到主機終端。主機終端包括:數據請求單元，被配置為通過設置用于所述矩形區域的公共垂直范圍來指定虛擬合成圖像中的多個矩形區域以請求數據的傳輸，所述矩形區域對應于包括在移動圖像捕獲設備中所生成的多個圖像數據段中的至少兩段圖像數據；以及數據部署單元，被配置為基于每一個所指定的矩形區域的水平長度把從移動圖像捕獲設備所傳輸的流分割為單個圖像數據段，并且配置為把數據作為二維圖像部署在存儲器中。
[0012]本發明的另一個實施例涉及一種信息處理設備。所述信息處理設備包括:數據請求單元，被配置為通過指定合成圖像中的多個矩形區域同時設置用于所述矩形區域的公共垂直范圍來請求從移動圖像捕獲設備傳輸數據，所述移動圖像捕獲設備生成其中在預定舉行區域布置有根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像所生成的多個圖像的合成圖像，所述矩形區域對應于至少兩段圖像數據；以及數據部署單元，被配置為響應所述請求，基于每一個所指定的矩形區域的水平長度，把按流格式從移動圖像捕獲設備傳輸來的圖像數據分離成一段或多段單個圖像數據，并且配置為把數據作為二維圖像部署在存儲器中，其中，針對每一個像素行循環地連接所指定的多個矩形區域的像素值；以及，數據處理單元，被配置為使用二維圖像執行預定的圖像處理，并且配置為顯示圖像。
[0013]本發明的另一個實施例涉及一種圖像數據處理方法。由一個移動圖像捕獲設備所執行的這一圖像數據處理方法包括:根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像生成多個圖像數據段，并且針對每個單一水平像素行，順序地輸出作為流的圖像數據；針對每個單一水平像素行或者針對范圍小于單一水平行的每個像素行循環地連接所輸出的所述多個圖像數據段，并且輸出作為流的結果數據，以生成包括所述多個圖像并且其中在連接循環完成時導致的像素行被定義為水平像素行的虛擬合成圖像；以及從所連接的主機終端接收傳輸指定虛擬合成圖像中多個具有公共垂直范圍的矩形區域的數據的請求，針對虛擬合成圖像的每個像素行顯露出相應于矩形區域的范圍，連接所述范圍，以及作為新的流傳輸到主機終端。
[0014]也可以把以上所提到的構成部件的可選的組合以及本發明的實現按方法、裝置、系統、計算機程序、以及存儲計算機程序的記錄媒體的形式作為本發明的其它模式加以實踐。[0015][本發明的優點]
[0016]根據本發明，能夠使用其數據，抑制從圖像捕獲時間到圖像顯示時間的等待時間。【專利附圖】

【附圖說明】
[0017]圖1描述了可以把本實施例施用于其的信息處理系統的一個示范性配置；
[0018]圖2描述了根據本實施例的主機終端和成像設備的一個配置；
[0019]圖3描述了根據本實施例的成像設備的第一照相機的一個詳細配置；
[0020]圖4描述了根據本實施例的圖像合成單元和圖像傳輸單元的詳細配置；
[0021]圖5示意性地描述了根據本實施例的成像設備和主機終端中數據形式的一個基本轉換；
[0022]圖6為說明了來自根據本實施例的棱錐過濾單元的1/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像的各像素值的輸入定時的一個時間圖；
[0023]圖7示意性地描述了根據本實施例的一個其中圖像合成單元連接多個圖像的像素行的數據段的狀態；
[0024]圖8描述了在針對從第一照相機輸出的或者從第二照相機輸出的每一段圖像數據交替地重復參照圖7時所解釋的一個過程的情況下所生成的一個合成圖像；
[0025]圖9示意性地描述了響應來自根據本實施例的主機終端的一個請求的過程中圖像數據的流程；
[0026]圖10描述了根據本實施例的、在配有滾動快門的第一照相機和第二照相機按不同幀率捕獲圖像的情況下圖像合成單元所生成的一個合成圖像的轉換；
[0027]圖11描述了在圖10中所說明的圖像捕獲條件下顯露單元通過顯露出圖像所生成的新合成的圖像以及存儲在主機終端的主存中的圖像；
[0028]圖12描述了在滿足圖10中所示圖像捕獲條件的具體條件之一下、在把第二照相機的快門速度減小至1/4以致第二照相機能夠捕獲一個幀，而第一照相機能夠捕獲4個幀的情況下合成圖像的轉換；
[0029]圖13描述了在圖12中所說明的圖像捕獲條件下顯露單元通過顯露出圖像所生成的新合成的圖像以及存儲在主機終端的主存中的圖像；
[0030]圖14描述了在第一照相機以比第二照相機的視角窄的視角捕獲，而且幀率高于第二照相機的幀率的圖像的情況下合成圖像的轉換；
[0031]圖15描述了在圖14中所說明的圖像捕獲條件下顯露單元通過顯露出圖像所生成的新合成的圖像以及存儲在主機終端的主存中的圖像；以及
[0032]圖16描述了說明根據本實施例的、其中主機終端和成像設備互相協作顯示圖像的處理規程的一個實例的流程圖。
【具體實施方式】
[0033]圖1描述了可以把本實施例施用于其的信息處理系統的一個示范性配置。信息處理系統10包括一個在其上安裝了兩個照相機的捕獲諸如用戶I等的目標對象的成像設備12、依據所捕獲的圖像根據用戶請求處理信息的主機終端20、以及一個輸出作為主機終端20的處理結果所獲得的圖像數據的顯示設備16。主機終端20的配置旨在能夠與諸如Internet等的網絡18相連接。
[0034]可以通過電纜把主機終端20連接于成像設備12、顯示設備16、以及網絡18，也可以經由無線局域網(LAN)等無線把主機終端20連接于成像設備12、顯示設備16、以及網絡18。通過按集成方式加以組合，可以裝備成像設備12、主機終端20、以及網絡18中的任何兩個或者全部。不必把成像設備12安裝在顯示設備16上。用戶I可以不為人類，而且并未限制其數目。
[0035]把成像設備12配置為按其間已知的距離把兩個數字攝像機(即，第一照相機22a和第二照相機22b)排列在右與左側。第一照相機22a和第二照相機22b分別包含一個諸如電荷耦合器件(CCD)、互補金屬氧化物半導體(CMOS)等的成像部件。兩個數字攝像機按相同的幀率或者不同的幀率分別從右與左位置捕獲存在于同一空間中的目標對象。成像設備12使用作為捕獲的結果所獲得的圖像生成多種類型的圖像。
[0036]按以下將描述的流格式，把成像設備12所捕獲和所生成的圖像的數據傳輸于主機終端20。主機終端20使用所傳輸的圖像數據進行必要的信息處理，并且生成一個輸出圖像。未對主機終端20所執行的處理的類型特別加以限制，而是根據用戶所請求的功能或者應用適當地加以設置。
[0037]例如，在玩一個其中出現一個把作為目標對象的用戶I的移動反映于其的人物的游戲的情況下，或者在執行把用戶I的移動轉換為命令輸入的信息處理過程的情況下，主機終端20在與從成像設備12所獲取的時刻相同的時刻、根據有關右與左圖像的數據執行立體匹配。通過針對照相機的視場，按預定的速率識別高度、寬度以及深度三維空間中目標對象的位置的坐標，主機終端20獲取位置坐標的時間變化。根據其結果，主機終端20對所捕獲的圖像執行一個預定的過程與/或把結果反映于一個預先準備的圖像，以生成輸出圖像。
[0038]在視頻聊天應用的情況下，經由網絡18把用戶I的圖像實時地傳輸于聊天中的另一個用戶。在這一情況下，主機終端20可以執行一個面部檢測過程，并且可以處理圖像，例如，通過僅以高分辨率描繪作為面部檢測過程的結果所獲得的用戶I的面部區域。除了這樣的圖像處理之外，主機終端20還可以對諸如用于執行各種應用的菜單或者光標的對象圖像進行合成。
[0039]當需要時，作為圖像，顯示設備16顯示主機終端20所執行的處理的結果。顯示設備16可以為配有用于輸出圖像的顯不器或者用于輸出聲音的揚聲器的電視機，因而,例如，可以為液晶電視、等離子電視、PC顯示器等。
[0040]如上所述，使用成像設備12所捕獲的移動圖像，可以把各種類型的處理用作信息處理系統10中所執行的處理，并未對處理的類型加以限制。在執行這些過程之一的任何一種情況下，根據本實施例，成像設備12不僅捕獲移動圖像，而且還使用所捕獲的移動圖像生成多種類型的圖像數據。僅高效地傳輸主機終端20所指定的圖像數據，可以實現這樣一個信息處理系統:對于從捕獲圖像到顯示圖像的過程，具有低等待時間，并且能夠進行復雜的處理。也可以根據應用等適當地確定成像設備12所生成的圖像的類型。然而，以下將針對生成使用其按多個分辨率表示移動圖像的每一個幀的圖像的數據的情況進行解釋。
[0041]圖2描述了主機終端20和成像設備12的配置。在以下將加以描述的圖2、圖3以及4中，可以通過諸如中央處理器(CPU)、隨機存取存儲器(RAM)、只讀存儲器(ROM)、繪制電路等的構成部件，按硬件實現各功能模塊中所示的部件，也可以通過提供諸如數據輸入功能、數據存儲功能、圖像分析功能、繪制功能等的程序，按軟件實現各功能模塊中所示的部件。因此，本領域技術人員將會明顯意識到:可以僅按硬件、僅按軟件、或者通過它們的組合，按各種方式實現各功能塊。
[0042]主機終端20包括指令輸入單元36、信息處理單元38、圖像處理單元40、主存42、以及通信單元44。指令輸入單元36獲取從用戶那里輸入的指令。信息處理單元38按統一的方式控制主機終端20和成像設備12，并且根據某一目的進行信息處理。主存42存儲從成像設備12提供的數據。通信單元44為一個向成像設備12請求圖像數據，并且從成像設備12獲取圖像數據的接口。
[0043]指令輸入單元36接收從用戶那里輸入的指令、根據所述指令生成一個請求某一過程的信號、并且把所述信號傳輸于信息處理單元38。通過通常使用的輸入設備(例如，按鈕、鍵盤、鼠標器、跟蹤球、觸摸面板等)和解釋輸入于輸入設備并且生成一個請求某一過程的信號的處理器等之間的協作，實現指令輸入單元36。
[0044]根據從指令輸入單元36所獲取的請求某一過程的信號，信息處理單元38向成像設備12發布一個對圖像數據的請求、向圖像處理單元40等發布一個對圖像處理的請求。信息處理單元38把從成像設備12所傳輸的圖像數據部署在以下將加以描述的主存42中。另外，當需要時，取決于信息處理系統10所執行的過程，信息處理單元38使用從成像設備12所傳輸的圖像數據進行圖像分析(例如，立體匹配、目標對象的跟蹤、面部檢測、姿態檢測
-rf* ) O
[0045]圖像處理單元40使用部署在主存42中的圖像，根據從信息處理單元38所發送的請求進行圖像處理，并且生成顯示圖像。把所生成的顯示圖像存儲在幀存儲器(未在圖中加以顯示)中，并且在信息處理單元38的控制下，順序地將其顯示在顯示設備16上。通信單元44從成像設備12獲取一個請求圖像數據的信號，即由信息處理單元38所生成的信號，并且將該信號傳輸于成像設備12。另外，通信單元44還響應所述信號獲取從成像設備12所傳輸的圖像數據，并且把圖像數據傳輸于信息處理單元38。
[0046]成像設備12包括第一照相機22a和第二照相機22b、圖像合成單元30、圖像傳輸單元32、以及通信單元34。第一照相機22a和第二照相機22b捕獲移動圖像，并且生成多種類型的圖像數據。圖像合成單元30把多種類型的圖像數據加以集成。圖像傳輸單元32抽取主機終端20所請求的圖像數據，并且對圖像數據進行打包。通信單元34為一個從主機終端20接收請求圖像數據的信號，并且傳輸圖像數據的接口。
[0047]第一照相機22a和第二照相機22b從右與左觀察點捕獲同一目標對象的移動圖像。然后，第一照相機22a和第二照相機22b把所捕獲的幀圖像的大小縮小至多個大小，以生成不同分辨率的多個圖像數據段。圖像合成單元30把第一照相機22a和第二照相機22b所生成的圖像數據加以集成，并且生成一個以下將加以描述的虛擬合成圖像。
[0048]圖像傳輸單元32從第一照相機22a和第二照相機22b所捕獲的RAM圖像以及從圖像合成單元30所生成的虛擬合成圖像抽取圖像傳輸單元32所請求的圖像數據，并且對所抽取的圖像數據進行打包。在這一過程中，在請求包括在虛擬合成圖像中的圖像數據的情況下，顯露處理剪輯圖像。
[0049]通信單元34接收從主機終端20所發送的請求圖像數據的信號。然后，通信單元34向圖像傳輸單元32通知所述信號，并且獲取圖像傳輸單元32所生成的圖像數據的數據包，然后把數據包傳輸于主機終端20。通信單元34根據預定的通信協議，例如，根據USB1.0/2.0/3.0等，把數據包傳輸于主機終端20。與主機終端20的相互通信并不局限于有線通信，也可以為無線通信，例如，無線LAN通信(例如，IEEE802.lla/b/g等)或者紅外通信(例如，IrDA等)。
[0050]主要針對圖像的每一水平像素行執行成像設備12所執行的過程，并且把所處理的數據提供于下一個針對每一水平像素行的功能塊。于是，僅一個最小行緩沖器作為提供在成像設備12的每一個功能塊中的存儲器足以，而且能夠以低等待時間執行從圖像捕獲到圖像傳輸的各個過程。
[0051]圖3詳細地描述了成像設備12的第一照相機22a的配置。第二照相機22b也具有類似的配置。第一照相機22a包含圖像獲取單元102a、去馬賽克單元104a、以及棱錐過濾單元135a。圖像獲取單元102a按一個預定的幀率讀取暴露于諸如CXD或者CMOS的成像部件的圖像。在以下的解釋中，假設所述圖像沿水平方向具有“W”個像素的寬度，沿垂直方向具有“H”個像素的寬度。所述圖像為所謂的RAM圖像。每次針對RAW圖像的單一水平行完成曝光時，圖像獲取單元102a把所述RAM圖像傳輸于去馬賽克單元104a和圖像傳輸單元32。
[0052]去馬賽克單元104a具有容量為W個像素的先進先出(FIFO)緩沖器105以及簡單的去馬賽克處理單元106。把RAW圖像的單一水平像素行信息輸入和存儲在FIFO緩沖器105中，直至把針對下一個水平行的像素輸入于去馬賽克單元104a。當針對2個水平行接收像素時，簡單的去馬賽克處理單元106使用所接收的像素，針對每一個像素，根據其周圍的像素，執行一個補色信息的去馬賽克過程，然后創建一個全色圖像。
[0053]如技術人員所知，就所述去馬賽克過程而言，存在著許多方法。然而，在這一情況下，一種僅使用針對2個水平行的像素的簡單的去馬賽克過程足以。例如，當將針對其計算相應YCbCr值的像素僅具有G值時，通過取右與左相鄰像素的各R值的平均值，分別使用本像素的G值和上或者下相鄰像素的B值，獲得RGB值，然后將其代入一個預定的轉換方程，以計算YCbCr值。由于這樣的去馬賽克過程已為人們所熟悉，因此省略了對其的進一步的詳細解釋。去馬賽克單元104a所生成的或者相繼過程中的圖像數據的顏色空間并不局限于 YCbCr。
[0054]之所以簡單去馬賽克過程就足夠了的其原因是因為當需要高質量圖像時，可以使用RAM圖像。在簡單的去馬賽克過程的一個變體中，可以使用形成4個RGB像素中的一個單像素的YCbCr值的方法。在這一情況下，可以獲得RAM像素1/4大小的去馬賽克圖像。于是，以下所描述的第一過濾器IlOa是非必要的。
[0055]如圖中所示，例如，簡單的去馬賽克處理單元106把為2個水平像素X2個垂直像素的4個像素的RGB轉換為YCbCr顏色信號。把由這4個像素構成的一個塊作為一個1/1去馬賽克圖像傳送于圖像合成單元30，而且也將其傳輸于棱錐過濾單元135a。
[0056]棱錐過濾單元135a具有把某一給定圖像層次化為多個分辨率，并且生成層次化的圖像的功能。通常，為棱錐過濾器配備其數目符合所需分辨率水平的1/4縮小過濾器。在本實施例中，棱錐過濾器包括3級過濾器:第一過濾器IlOa?第三過濾器130a。每一個過濾器執行互相相鄰的4個像素的一個雙線性插值的過程，然后計算4個像素的平均像素值。因此，所述過程之后所獲得的圖像大小變為所述過程之前圖像的1/4大小。本領域技術人員將很容易地意識到，即使使用不同于3級過濾器的其它過濾器也可以達到同樣效果。
[0057]在第一過濾器IlOa之前，為Y、Cb、以及Cr信號分別相應提供一個針對W個像素的單FIFO緩沖器112。在從簡單的去馬賽克處理單元106輸出針對下一水平行的像素之前，這些FIFO緩沖器112均具有存儲針對單一水平行的YCbCr像素的作用。根據成像部件的行掃描速度確定像素的存儲時間。當輸入了針對2個水平行的像素時，第一過濾器IlOa針對2個水平像素X 2個垂直像素的4個像素平均Y、Cb、以及Cr像素值。通過重復這一過程，1/1去馬賽克圖像的長度沿垂直和水平方向均變為1/2，從而把整個圖像轉換為具有1/4的大小。把所轉換的1/4去馬賽克圖像傳輸于圖像合成單元30，并且也將其傳送于相繼第二過濾器120a。
[0058]在第二過濾器120a之前，為Y、Cb、以及Cr信號分別相應提供了一個針對W/2個像素的單FIFO緩沖器122。在從第一過濾器IlOa輸出針對下一水平行的像素之前，這些FIFO緩沖器122也分別具有存儲針對單一水平行的YCbCr像素的作用。當輸入了針對2個水平行的像素時，第二過濾器120a針對2個水平像素X 2個垂直像素的4個像素平均Y、Cb、以及Cr像素值。通過重復這一過程，1/4去馬賽克圖像的長度沿垂直和水平方向均變為1/2，從而把整個圖像轉換為具有1/16的大小。把所轉換的1/16去馬賽克圖像傳輸于圖像合成單元30，并且也將其傳送于第三過濾器130a。
[0059]在第三過濾器130a的前方，提供了針對W/4個像素的FIFO緩沖器132。除此之夕卜，重復與以上所描述的過程相同的過程。然后把1/64大小的去馬賽克圖像傳輸于圖像合成單元30。由于諸如以上所描述的棱錐過濾器的棱錐過濾器已為人們所熟悉，如專利文獻I中所描述的，所以在本說明書中省略了對其的進一步的解釋。
[0060]如所描述的，把已經逐一縮小至1/4的像素的輸出從棱錐過濾單元135a的各過濾器輸入于圖像合成單元30。由此可以明顯看出，由于棱錐過濾單元135a中通帶濾波器的數目變大，每一個過濾器之前所需的FIFO緩沖器的大小變小。過濾器的數目并不局限于3個，也可以依據所需分辨率范圍適當地加以確定。
[0061]由于按與第一照相機22a的方式類似的方式配置第二照相機22b，所以省略了對其的說明。然而，在以下的解釋中，將通過參照數字稱謂第二照相機22b的圖像獲取單元、去馬賽克單元、棱錐過濾單元、第一過濾器、第二過濾器、以及第三過濾器，即，將它們稱為圖像獲取單元102b、去馬賽克單元104b、棱錐過濾單元135b、第一過濾器110b、第二過濾器120b、以及第三過濾器130b。
[0062]圖4描述了圖像合成單元30和圖像傳輸單元32的詳細配置。圖像合成單元30包括輸出定時調整單元140、FIF0緩沖器172a、174a、176a、170b、172b、174b、以及176b。輸出定時調整單元140調整從第一照相機22a或者第二照相機22b所傳輸的、并且輸出于圖像傳輸單元32的每一大小的圖像數據的輸出定時。FIFO緩沖器172a、174a、176a、170b、172b、174b、以及176b用于調整輸出定時。盡管分別表示了有關Y、Cb、Cr的每一段數據，以及針對圖3針對每一段數據表示了針對數據的輸入/輸出的箭頭，但為了防止圖變得復雜，以下將把這些元素表示為一個集合。
[0063]FIFO緩沖器172a、174a、176a分別存儲從第一照相機22a的第一過濾器110a、第二過濾器120a、以及第三過濾器130a發送的1/4、1/16、以及1/64去馬賽克圖像的單一水平行中的YCbCr像素值。因此，FIFO緩沖器172a、174a、以及176a為分別存儲W/2、W/4、以及W/8個像素的像素值的緩沖器。
[0064]FIFO緩沖器170b、172b、174b以及176b分別存儲從第二照相機22b的第一過濾器110b、第二過濾器120b、以及第三過濾器130b發送的1/1、1/4、1/16、以及1/64去馬賽克圖像的單一水平行中的YCbCr像素值。因此，FIFO緩沖器170b、172b、174b、以及176b為分別存儲W、W/2、W/4、以及W/8個像素的像素值的緩沖器。
[0065]在把從第一照相機22a的去馬賽克單兀104a所發送的針對1/1去馬賽克圖像的單一水平像素行值輸出于圖像傳輸單元32之后，輸出定時調整單元140輸出第二照相機22b的針對1/1去馬賽克圖像的單一水平像素行值，即已經存儲在FIFO緩沖器170b中的像素值。接下來，通過根據以下將詳細描述的規則輸出一行針對單一水平像素行值或者一行針對小于單一水平行的一個區域的像素值，輸出定時調整單元140調整輸出定時，以能夠生成新的像素行，其中，針對Y、Cb、以及Cr的各像素值循環地連接1/1、1/4、1/16、以及1/64去馬賽克圖像。
[0066]如上所述，按其中開始點位于圖像的左上方，并且向下從左到右重復一個過程的屏面次序，執行根據本實施例的成像設備12所執行的過程，其中，所述過程的基本單位為像素的一個單一水平行，并且基本上按其中從頂部順序連接針對每一單一水平像素行值的流格式執行從每一照相機向圖像傳輸單元32的圖像數據的輸入/輸出以及圖像數據向主機終端20的傳輸。
[0067]從圖像合成單元30輸出的數據也為相繼的像素值的流，包含其中分別按4個分辨率表示右與左幀圖像的去馬賽克圖像的像素行的混合。因此，精確地講，不把連接8個去馬賽克圖像的結果生成為2個二維圖像。然而，如以下將加以描述的，對于從圖像合成單元30所輸出的流，如果把各去馬賽克圖像的連接向后循環至其開始點時的像素的像素行的數目定義為針對一個圖像的單一水平像素行的數目，則相繼的過程將類似于RAM圖像的過程，而且不涉及圖像合成單元30。因此，圖像合成單元30實質上生成為1/4、1/16、以及1/64去馬賽克圖像的一個合成的圖像。以下，把這一虛擬圖像稱為“合成圖像”。
[0068]圖像傳輸單元32包括控制單元142、數據選擇單元144、以及打包單元146。根據來自主機終端20的請求信號，控制單元142指示數據選擇單元144把各種類型的圖像數據中的哪種圖像數據作為數據包加以傳輸。控制單元142還從主機終端20接收請求圖像捕獲的開始或者結束的信號、指出圖像捕獲條件的信號等，并且把其信息適當地提供于第一照相機22a和第二照相機22b的圖像獲取單元102a、102b等。然而，將省略關于其的詳細解釋，因為可以把通常使用的技術施用于其。
[0069]數據選擇單元144定義了以下輸入數據:有關從第一照相機22a的圖像獲取單元102a以及第二照相機22b的圖像獲取單元102b輸入的右與左RAM圖像的像素行的數據；以及有關從圖像合成單元30的輸入的合成圖像的像素行的數據。然后，數據選擇單元144選擇和抽取控制單元142所指示的數據，并且把所述數據發送于打包單元146。
[0070]數據選擇單元144包括流選擇單元148和顯露單元150。流選擇單元148從右與左RAM圖像和合成圖像的流中選擇所請求的流。在主機終端20請求去馬賽克圖像之一的情況下，顯露單元150從流選擇單元148獲取合成圖像的流，并且從包括在所述流中的去馬賽克圖像的像素行顯露所請求的行。[0071]在請求多個去馬賽克圖像的情況下，顯露單元150并行顯露相應于所述多個圖像的像素行。通過連接所顯露的像素行的各段數據，顯露單元150能夠重新構造一個流，并且把所述流發送于打包單元146。在主機終端20請求RAM圖像的情況下，流選擇單元148把RAM圖像流直接發送于打包單元146。
[0072]針對符合通信單元34的協議的每一大小，打包單元146對已經從數據選擇單元144輸入的流進行打包，并且把所打包的流寫入一個內部數據包緩沖器(未在圖中加以顯示)。例如，在USB的情況下,打包單元146針對結束點的每一個大小對流進行打包。通信單元108根據一個預定的通信協議把數據包緩沖器中的數據包傳輸于主機終端20。
[0073]圖5示意性地說明了成像設備12和主機終端20中數據形式的一個基本轉換。在這一情況下，例如，考慮了這樣一種情況:其中，把水平方向具有“W”個像素寬度以及垂直方向具有“H”個像素寬度的整個幀圖像200的數據從成像設備12傳輸于主機終端20。如上所述，在本實施例中，按像素的屏面次序執行圖像數據的生成、選擇、以及傳輸，分別針對單一水平行順序地連接像素行，并且按流格式加以處理。
[0074]在這樣的情況下，數據選擇單元144所輸出的數據為一個流202。在此圖中，流202的水平軸表示時間的逝去，構成流202的矩形L1、L2、…、以及LH表示幀圖像202的第一行的像素、第二行的像素、…、以及第H行的像素的相應數據段。當假設單像素的數據大小為d字節時，每一個矩形的數據大小為W*d個字節。
[0075]打包單元146針對每一預定的大小對流202進行分組和打包，并且生成數據包Pl、P2、P3、P4、P5、…。接下來，按？1、？2、？3、？4、卩5、…的次序把數據包從成像設備12發送于主機終端20。當經由通信單元44接收到數據包P1、P2、P3、P4、P5、…時，在信息處理單元38的控制下，主機終端20把各數據包的數據存儲在主存42中。
[0076]在這一過程中，按屏面次序把各數據包的數據排列在主存42中，以把原始幀圖像200的水平方向的像素的數目W設置為寬度。通過在W*d*H個字節的連續的地址中部署數據，生成為幀圖像200的一個重構的圖像204。圖中構成圖像204的矩形表示各數據包的數據。圖像處理單元40通過對已經部署在主存42中的圖像204進行處理、通過把圖像204與另一個圖像加以合成等提交一個將被顯示在顯示設備16上的圖像。
[0077]以下，將解釋圖像合成單元30使用其對不同分辨率的去馬賽克圖像進行合成的方法。盡管圖6和7中表示了 1/1、1/4、以及1/16的3種類型的去馬賽克圖像，然而同樣的原理也適用于其中添加了 1/64或者更小的去馬賽克圖像的情況。圖6為說明了將從棱錐過濾單元135a的各過濾器輸入的1/1去馬賽克圖像、1/4去馬賽克圖像、以及1/16去馬賽克圖像的圖像的各像素值的輸入定時的一個時間圖。圖中的時間步長S1、S2、S3、S4、…分別表不一個其中輸入1/1去馬賽克圖像的第一行、第二行、第三行、第四行、…的像素值的周期。
[0078]如在以上所說明的1/1去馬賽克圖像的情況下，在棱錐過濾單元135a中，包括在合成圖像中的圖像中具有最高分辨率的圖像擁有最高數據生成率。因此，把其中輸入針對具有最高分辨率的圖像的單一水平像素行值的周期設置為參照時間步長，把時間步長與針對合成圖像的單一水平像素行行相關聯。換句話說，作為參照周期，在其中輸入針對具有最高分辨率的圖像的單一水平像素行值的周期期間生成針對合成圖像的單一水平行的數據。
[0079]圖的上行、中行、以及下行分別描述了 1/1去馬賽克圖像的輸入定時、1/4去馬賽克圖像的輸入定時、以及1/16去馬賽克圖像的輸入定時，一個單矩形相應于針對一個單像素的輸入。首先，在時間步長SI中，從左像素開始輸入1/1去馬賽克圖像的第一行的像素SL(1/1)1的像素值。在這一時間步長中，不生成1/4去馬賽克圖像和1/16去馬賽克圖像，因此不輸入1/4去馬賽克圖像和1/16去馬賽克圖像。
[0080]接下來，在時間步長S2中，從左像素開始輸入1/1去馬賽克圖像的第二行的像素SL(1/1)2的像素值。此時，使用1/1去馬賽克圖像的第一行的像素行L(1/1)l的像素值和第二行的像素行L(1/1)2的像素值，在棱錐過濾單元135a中生成1/4去馬賽克圖像的第一行的像素行L(1/4)l。于是，在時間步長S2中，也輸入所述像素行的像素值。
[0081]例如，使用1/1去馬賽克圖像的第一行的像素行L(1/1)l中的周期206中輸入的2個像素的像素值以及第二行的像素行L(1/1)2中的周期208中輸入的2個像素的像素值，在1/4去馬賽克圖像的第一行的像素行L(1/4)l的左端生成在周期210中輸入的像素值。因此，在時間步長S2中，與像素行L(1/1)2的相應像素的像素值的輸入定時相比，把像素行L(1/4)l的像素值的輸入定時延遲了至少2個像素。
[0082]在時間步長S3中，輸入1/1去馬賽克圖像的第三行的像素行L(1/1)3的像素值。在這一時間步長中，不生成1/4去馬賽克圖像的第二行的像素值，也不生成1/16去馬賽克圖像的第二行的像素值。于是，也不輸入它們。在時間步長S4中，S卩，在其中輸入1/1去馬賽克圖像的第四行的像素行L(1/1)4的像素值的周期中，也輸入1/4去馬賽克圖像的第二行的像素行L(1/1)4的像素值，如在時間步長S2的情況下。
[0083]另外，使用1/4去馬賽克圖像的第一行的像素行L(1/4)l的像素值和第二行的像素SL(1/4)2的像素值，在棱錐過濾單元135a中生成1/16去馬賽克圖像的第一行的像素行L(1/16)l。于是，在時間步長S4中也輸入該像素行的像素值。例如，使用1/4去馬賽克圖像的第一行的像素行L(1/4)l中的周期210和212中輸入的2個像素的像素值以及第二行的像素行L(1/4)2的周期214和216中輸入的2個像素的像素值生成1/16去馬賽克圖像的第一行的像素行L(1/16)l中的第一周期218中輸入的像素值。
[0084]因此，在時間步長S4中，與像素行L(1/4)2的相應像素的像素值的輸入定時相比，像素行L(1/16)l的輸入定時變為延遲了至少2個像素。接下來，通過按同樣的方式重復各圖像的像素值的輸入，把1/1去馬賽克圖像、1/4去馬賽克圖像、以及1/16去馬賽克圖像的全部像素值輸入于圖像合成單元30。
[0085]如上所述，從第一照相機22a的棱錐過濾單元135a、第二照相機22b的棱錐過濾單元135b的相應過濾器按單個流的屏面次序輸入各圖像的像素值。圖像合成單元30連接這些流，以形成一個單一的流，并且把該流輸出于圖像傳輸單元32。最簡單的可行方式是，按輸入時間的次序連接像素值的相應數據段，而不管原始圖像如何。在這一情況下，盡管合成過程本身容易，但必須針對相繼過程中的每一個圖像對每一單行的數據段進行分類和抽取針，因此所述過程變得復雜。
[0086]也能夠針對每一時間步長收集針對每一個圖像的像素值，以形成像素行，然后串行連接這些像素行。在這一情況下，盡管時間步長SI和S3中所輸入的像素值僅為1/1去馬賽克圖像的數據，然而，例如，在步長S4中，所輸入的為3種圖像的數據:1/1去馬賽克圖像、1/4去馬賽克圖像、以及1/16去馬賽克圖像的數據。如所描述的，所輸出的數據的長度很大程度地取決于時間步長。因此，對于具有其間不輸入數據的時間步長的圖像，使用所述時間步長輸出最最近輸入的某些像素值，以使每一時間步長中所輸出數據的長度幾乎相
坐寸O
[0087]圖7示意性地描述了一個其中圖像合成單元30連接多個圖像的像素行的各數據段的狀態。盡管為了有助于理解該圖表示了一個其中連接圖6中所示的3種類型的去馬賽克圖像的狀態，然而實際上是交替地連接來自右與左照相機的圖像數據，如以下將加以描述的。在該圖中，步長S0、S1、S2、S3、…為類似于圖6中所示時間步長的時間步長，并且在每一個周期中輸入1/1去馬賽克圖像的單行的像素值。
[0088]該圖按針對每一圖像的不同的加陰影的矩形描述了每一時間步長中針對其輸出數據的像素行。如參照圖6所解釋的，在時間步長SI中，僅輸入1/1去馬賽克圖像的第一行的像素行L(1/1)l的像素值，因此圖像合成單元30直接輸出像素值。當把水平方向的原始RAM圖像的像素值設置為W時，針對1/1去馬賽克圖像的單行的像素的數目也為W，如該圖中所示。
[0089]在隨后時間步長S2中，在圖6中所示的定時、并行地輸入1/1去馬賽克圖像的第二行的像素行L(1/1)2的像素值與1/4去馬賽克圖像的第一行的像素行L(1/4) I的像素值。在這些像素值中，圖像合成單元30首先把1/4去馬賽克圖像的第一行的像素行L(1/4)l的像素值臨時存儲在FIFO緩沖器172a中，并且順序地輸出1/1去馬賽克圖像的第二行的像素行
L(1/1)2的像素值。
[0090]當完成了 1/1去馬賽克圖像的第二行的像素行L(1/1)2的所有像素值的輸出時，圖像合成單元30接著從FIFO緩沖器172a讀取1/4去馬賽克圖像的第一行的像素行L(1/4)l，并且輸出像素SL(1/4) I。此時，考慮到將在相繼的時間步長S3中輸出的像素值的量，圖像合成單元30僅輸出1/4去馬賽克圖像的第一行的像素行L(1/4)l的所有像素的前一半(圖像平面中的左半部)的像素值，并且繼續在FIFO緩沖器172a中存儲其余部分。
[0091]在隨后時間步長S3中，僅輸入1/1去馬賽克圖像的第三行的像素行L(1/1)3的像素值。圖像合成單元30直接輸出像素行的像素值。接下來，圖像合成單元30從FIFO緩沖器172a讀取1/4去馬賽克圖像的第一行的像素行L(l/4) I的尚未輸出的后一半(圖像平面中的右半部)的像素值，并且輸出像素值。
[0092]在接下來的時間步長S4中，在圖6中所示的定時、并行地輸入1/1去馬賽克圖像的第四行的像素行L(1/1)4的像素值與1/4去馬賽克圖像的第二行的像素行L(1/4)2的像素值。在這些像素值中，圖像合成單元30首先把1/4去馬賽克圖像的第二行的像素行L(1/4)2的像素值和1/16去馬賽克圖像的第一行的像素行L(1/16)l的像素值分別臨時存儲在FIFO緩沖器172a和174a中，并且順序地輸出1/1去馬賽克圖像的第四行的像素行L(1/1)4的像素值。
[0093]當完成了 1/1去馬賽克圖像的第四行的像素行L(1/1)4的所有像素值的輸出時，圖像合成單元30接著從FIFO緩沖器172a讀取1/4去馬賽克圖像的第二行的像素行L(1/4)2的前一半，并且輸出像素行L(1/4)2的前一半。然后，圖像合成單元30輸出1/16去馬賽克圖像的第一行的像素行L(1/16)l。此時，考慮到將在接下來的時間步長S5、S6、以及S7中輸出的像素值的量，圖像合成單元30把1/16去馬賽克圖像的第一行的像素行L(1/16)l劃分為4份，并且僅輸出第一份的像素值。圖像合成單元30把其余部分存儲在174a中。
[0094]在相繼的時間步長S5中，僅輸入1/1去馬賽克圖像的第五行的像素行L(1/1)5的像素值。圖像合成單元30直接輸出像素行的像素值。接下來，圖像合成單元30從FIFO緩沖器172a讀取1/4去馬賽克圖像的第二行的像素行L(1/4)2的尚未輸出的后一半的像素值，并且輸出像素值。而且，圖像合成單元30還輸出1/16去馬賽克圖像的第一行的像素行L(1/16) I的尚未輸出并且已經被劃分為4份的數據的第二份的像素值。
[0095]相類似，在接下來的時間步長S6中，圖像合成單元30輸出1/1去馬賽克圖像的第六行的像素行L(1/1)6的像素值、1/4去馬賽克圖像的第三行的像素行L(1/4)3的像素值、以及1/16去馬賽克圖像的第一行的像素行L(1/16)l的尚未輸出并且已經被劃分為4份的數據的第三份的數據的像素值。在相繼的時間步長S7中，圖像合成單元30輸出1/1去馬賽克圖像的第七行的像素行L(1/1)7的像素值、1/4去馬賽克圖像的第三行的像素行L(1/4)3的后一半的像素值、以及1/16去馬賽克圖像的第一行的像素行L(1/16)l的已經被劃分為4份的數據的最后一份的數據的像素值。
[0096]換句話說，在2個時間步長S2和S3中，分別輸出1/4去馬賽克圖像的第一行的像素行L(1/4)l的一半。在4個時間步長S4、S5、S6、以及S7中，分別輸出1/16去馬賽克圖像的第一行的像素行L(1/16)l的四分之一。當水平方向RAM圖像的像素的數目為W時，1/4去馬賽克圖像的單一水平像素行的數目和1/16去馬賽克圖像的單一水平像素行的數目分別為W/2和W/4。于是，如該圖中所示，每時間步長均分別輸出針對(W/2)/2個像素的數據和針對(W/4)/4個像素的數據。
[0097]重復上述輸出過程，直至各像素的相應的底行。在這一情況下，在輸出針對1/1去馬賽克圖像的底像素行的數據時，尚未輸出針對1/4去馬賽克圖像的底像素行的后一半的數據和針對1/16去馬賽克圖像的底行像素的其余四分之三的數據。于是，在緊接著的時間步長S(H+1)中，圖像合成單元30輸出針對1/4去馬賽克圖像的底像素行的后一半的數據和針對1/16去馬賽克圖像的已經被劃分為4份的底像素行的第二份的數據。
[0098]此時，圖像合成單元30首先輸出無效數據，即，作為針對至此已經針對其輸出了1/1去馬賽克圖像的數據的W個像素的數據，然后輸出1/4去馬賽克圖像的數據和1/16去馬賽克圖像的數據。在接下來的2個時間步長S(H+2)和S(H+3)中，圖像合成單元30首先輸出無效數據，即，作為針對至此已經針對其輸出了 1/4去馬賽克圖像的數據的W+(W/2)/2個像素的數據，然后輸出1/16去馬賽克圖像的已經被劃分為4份的底像素行的第三和第四份的相應數據段。
[0099]如圖所示，如上所述，當執行輸出時，在除前3個時間步長和后3個時間步長之外的所有的時間步長輸出用于[W+(W/2)/2+(W/4)/4=21W/16]個像素的數據。為了輸出針對單行的像素值，需要I個針對1/1去馬賽克圖像的時間步長、2個針對1/4去馬賽克圖像的時間步長、以及4個針對1/16去馬賽克圖像的時間步長。于是，輸出針對單幀的圖像數據所需時間步長的數目與針對所有幀所需時間步長的數目相等，即，H=(H/2)*2=(H/4)*4。因此，輸出代表單幀的3種圖像的數據所需時間步長的數目為H+3。
[0100]如上所述，圖像合成單元30所輸出的數據為一行像素值。通過預先把相應于每一時間步長的像素的數目(即，21W/16)提供為單一水平像素行的數目，圖像傳輸單元32把每一個時間步長中所輸出的數據作為針對單行圖像的數據加以處理，如在RAM圖像的情況下。
[0101]因此，通過沿垂直方向把每一個時間步長映像于圖像的像素，輸出過程變為等同于圖7中一個完整矩形區域所表示的合成圖像220的生成過程。通過固定每一個時間步長中所輸出的像素行中針對每一個圖像的數據所占據的范圍，如上所述，1/1去馬賽克圖像的數據、1/4去馬賽克圖像的數據、以及1/16去馬賽克圖像的數據在合成圖像220中分別形成一個矩形塊區域。因此，能夠使用局部化，容易地執行逐圖像對數據的分段。
[0102]圖8描述了在針對有關從第一照相機22a以及第二照相機22b輸出的每一圖像的數據交替地重復參照圖7時所解釋的過程時所生成的一個合成圖像。合成圖像222包含第一照相機22a的1/1去馬賽克圖像224、第二照相機22b的1/1去馬賽克圖像226、第一照相機22a的1/4去馬賽克圖像228、第二照相機22b的1/4去馬賽克圖像230、第一照相機22a的1/16去馬賽克圖像232、第二照相機22b的1/16去馬賽克圖像234、第一照相機22a的1/64去馬賽克圖像236、以及第二照相機22b的1/64去馬賽克圖像238。
[0103]分別在該圖中的1/1去馬賽克圖像224和226中表示從右和從左所捕獲的用戶I的面部。其它去馬賽克圖像(即，1/4去馬賽克圖像228和230、1/16去馬賽克圖像232和234、以及1/64去馬賽克圖像236和238)為通過以下操作所生成的圖像:將它們的1/1去馬賽克圖像分別縮小至1/4、1/16、以及1/64 ;把單一水平行中的像素行分別劃分為2、4、以及8段；并且沿垂直方向排列所劃分的像素行。
[0104]因此，針對1/1去馬賽克圖像224和226的單一水平像素行的區域相應于合成圖像222中針對1/4去馬賽克圖像228和230中的2個水平行的像素的區域、針對1/16去馬賽克圖像232和230中的4個水平行的像素的區域、針對1/64去馬賽克圖像236和238中的8個水平行的像素的區域，如各圖像頂部的加陰影的區域所示。在該圖中，為了有助于解釋，說明了寬于實際圖像的單像素行寬度的單像素行的寬度。因此，能夠通過一個寬區域說明針對無效數據的區域。然而，根據使用圖7所解釋的原理，實際上，就其最大值而言，針對無效數據的區域相應于7行像素，并且相應于合成圖像222的整個區域的1%或者不足1%。
[0105]圖像傳輸單元32的顯露單元150從合成圖像222中僅顯露主機終端20所請求的圖像數據。顯露單元150所執行的過程類似于剪輯圖像中所指定的一個矩形區域，并且消除不需要的區域的通常所使用的顯露處理。根據本實施例，不針對每一個圖像平面，而針對像素的每一水平行執行顯露處理。然而，如果預先給定針對合成圖像的單一水平像素行的數目的信息，則很容易把圖像平面的二維坐標映像于流的一維坐標。因此，能夠按類似的方式標識加以剪輯的像素。
[0106]在本實施例中，把有關1/1去馬賽克圖像、I/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像的右與左圖像數據收集于諸如圖8中所示合成圖像的合成圖像上的矩形區域中。于是，所述顯露處理能夠容易地對圖像進行分段。
[0107]圖9示意性地描述了響應來自主機終端20的一個請求的過程中圖像數據的流程。首先，主機終端20向成像設備12傳輸一個指出合成圖像中的一個區域的請求數據的信號。例如，在這一情況下，指出合成圖像222中垂直方向的像素范圍和水平方向的像素范圍。
[0108]在圖9中所示的實例中，指出了 4個區域。由(最小值,最大值)=(Ys，Ye)表示4個區域的垂直(y-軸)范圍，由(最小值，最大值)=(Xsl, Xel)、(Xs2，Xe2)、(Xs3，Xe3)、以及(Xs4，Xe4)分別表示4個區域的水平(x-軸)范圍。范圍(Xsl，Xel)和(Xs2，Xe2)中的圖像為包括右與左照相機的1/1去馬賽克圖像的面部和周邊的區域。(Xs3，Xe3)中的圖像為照相機之一的整個1/4去馬賽克圖像。(Xs4，Xe4)中的圖像為照相機之一的整個1/16去馬賽克圖像。[0109]顯露單元150把圖像合成單元30已經針對單一水平行中的每一個像素行輸入的合成圖像顯露于所指定的區域中。更具體地講，顯露單元150從位于位置Ys的像素行挖掉范圍(Xsl，Xel)、(Xs2，Xe2)、(Xs3，Xe3)、以及(Xs4，Xe4)中的像素行，并且將所挖的像素串行地傳輸于打包單元146。接下來，顯露單元150按類似的方式從位于位置Ys+1的像素行、從位于位置Ys+2的像素行、…挖掉相同范圍中的像素行，并且將所挖的像素串行地傳輸于打包單元146。打包單元146連接所顯露的像素行，以形成一個流，并且順序地對所述流進行打包。
[0110]因此，主機終端20所接收的圖像數據為僅由所顯露的區域組成的新合成圖像240的一個流。主機終端20中的信息處理單元38把所述流分割為單個的圖像，并且將圖像部署在主存42中的連續的地址上。于是，存儲在主存42中的是:包括在右與左1/1去馬賽克圖像中的面部的圖像242和244以及周邊、1/4去馬賽克圖像的整個圖像246、以及1/16去馬賽克圖像的整個圖像248。作為選擇，信息處理單元38也可以直接把合成圖像240部署在主存42中，而且當使用用于圖像處理等的圖像時，能夠區分圖像。
[0111]在這一方式下，主機終端20可以通過指出合成圖像中的區域并行地請求多種類型的圖像和圖像中的一個具體的區域。然后，顯露單元150并行地顯露多個圖像數據段，并且通過在針對每一個像素行所指定的范圍內抽取像素值，生成一個僅由所請求的圖像數據組成的新的流。
[0112]在這一模式下，主機終端20為并行指出的多個區域設置一個公共垂直范圍。在圖9中所示的實例中，把針對所有所指定的4個區域的垂直范圍設置為(Ys，Ye)。通過按這一方式設置范圍，為所有像素行設置了一個將加以抽取的相同的范圍，甚至是在顯露單元150單個抽取合成圖像中針對每一水平像素行的像素值的情況下。
[0113]因此，即使為形成流連接所抽取的像素，所抽取的像素也不隨像素行而變化。于是，在新新合成圖像240中·完整地保留了一個顯露的矩形的圖像平面。于是，能夠根據主機終端20中每一個所請求的區域的水平方向的像素數目很容易把所獲取的流部署為單個圖像。
[0114]以下，將給出按不同方式改變成像設備12中的成像捕獲條件時將本實施例施用于其的實例。圖10描述了在均配有滾動快門的第一照相機22a和第二照相機22b分別按60fps和15fps幀率捕獲圖像的情況下圖像合成單元30所生成的一個合成圖像的轉換。圖10上方的粗線描述了針對各個具有時間消逝的照相機的掃描線的位置。每次第一照相機22a捕獲圖像的4個幀時，第二照相機22b捕獲圖像的I個幀。作為實例，僅描述了這些幀率，以及任何滿足每次第一照相機22a捕獲預定數目的I個以上的幀時，第二照相機22b捕獲圖像的I個幀的條件的幀率。
[0115]在這一情況下，在其中僅第一照相機22a捕獲一個圖像的第一拍攝周期(從時間t0至tl)、第二拍攝周期(從時間tl至t2)、以及第三拍攝周期(從時間t2至t3)中，僅把第一照相機22a所捕獲的圖像的1/1去馬賽克圖像250、1/4去馬賽克圖像252、1/16去馬賽克圖像254、以及1/64去馬賽克圖像256從圖像合成單元30串行地輸出，如該圖中所描述的。然后，在其中第二照相機22b也捕獲一個圖像的第四拍攝周期(從時間t3至t4)，輸出兩個照相機所捕獲的圖像的1/1去馬賽克圖像258和260、1/4去馬賽克圖像262和264、1/16去馬賽克圖像266和268、以及1/64去馬賽克圖像270和272。[0116]即使在其間不從第二照相機22b的每一個過濾器輸入圖像數據的周期中，當從第二照相機22b輸出數據時，圖像合成單元30也按每一去馬賽克圖像的量把無效數據添加于所述流。接下來，如該圖中所示，不針對任何周期改變針對合成圖像的單一水平像素行的數目，并且在同一位置排列相同類型的圖像。因此，合成圖像的圖像數據的類型和區域一一對應。于是，可以簡化主機終端20對區域的指出。在相繼周期中，也重復圖像數據的這樣的傳輸。
[0117]圖11描述了在圖10中所說明的圖像捕獲條件下顯露單元150通過顯露出圖像所生成的新合成的圖像以及存儲在主機終端20的主存42中的圖像。假設，在這一情況下，主機終端20指出圖9中所示的區域，并且請求圖像數據。垂直軸上所表示的各時刻描述了捕獲各原始幀時的時刻，同時把這些時刻與圖10中的時刻相關聯。省略了顯露處理的時間或者把數據存儲在主存42中的存儲過程以及存儲過程之前的過程所需的時間。
[0118]從時間t0至tl (即，第一拍攝周期)，由于僅把第一照相機22a所捕獲的幀圖像輸入于顯露單元150，所以針對每一行抽取包括在所述幀的1/1去馬賽克圖像中的面部及其周邊的一個區域、所述幀的1/4去馬賽克圖像的整個圖像284、以及所述幀的1/16去馬賽克圖像的整個圖像286。在這一過程中，其中將把第二照相機22b所捕獲的幀的1/1去馬賽克圖像的面部以及周邊的圖像插入在合成圖像上的區域，也由主機終端20加以指出，而不管圖像數據是否存在。因此，顯露單元150抽取一個為原始合成圖像中無效數據的部分282。
[0119]當以流格式接收這樣的圖像數據時，主機終端20把圖像數據部署在主存42中。在這一過程中，如果遺棄為無效數據的部分，則可以在時間tl完成主存42中圖像的存儲，其中，所存儲的圖像為:包括在第一照相機22a所捕獲的幀的1/1去馬賽克圖像中的面部及其周邊的一個區域288、所述幀的1/4去馬賽克圖像的整個圖像290、以及所述幀的1/16去馬賽克圖像的整個圖像292。把同樣的過程施用于第二拍攝周期(從時間tl至時間t2)以及第三拍攝周期(從時間t2至時間t3)。
[0120]從時間t3至t4 (即，在第四拍攝周期中)順序地抽取如下數據:包括兩個照相機所捕獲的幀的1/1去馬賽克圖像中的面部及其周邊的一個區域的圖像294和296、第一照相機22a所捕獲的一個幀的1/4去馬賽克圖像的整個圖像298、以及第一照相機22a所捕獲的所述幀的1/16去馬賽克圖像的整個圖像300，并且在時間t4完成主存42中圖像的部署。
[0121]例如，可以把本發明的這一方面用于這樣的情況:在顯示設備16上顯示其中通過使用1/1去馬賽克圖像，同時通過在主機終端20中每4個幀執行一次立體匹配檢查目標對象(即，用戶等)的位置增加包括面部的區域的分辨率的1/4去馬賽克圖像或者1/16去馬賽克圖像的整個圖像。把立體匹配的結果反饋至:從成像設備12請求圖像數據時指出一個區域的過程、成像設備12的變焦機制或者搖攝/俯仰控制機制等。于是，可以通過最小圖像數據傳輸，穩定地顯示一個其中僅詳細顯示目標對象及其周邊的整個圖像，甚至是當目標對象移動時。
[0122]作為選擇，也可以為兩個照相機設置不同的曝光時間，兩個照相機可用于不同的目的，從而能夠把具有長曝光時間和足夠亮度的圖像用于顯示，并且把具有低亮度和高幀率的圖像用于圖像分析。
[0123]圖12描述了取代圖10中所示圖像捕獲條件，在把第二照相機22b的快門速度減小至1/4以致第二照相機22b能夠捕獲一個幀，而第一照相機22a能夠捕獲4個幀的情況下合成圖像的轉換。在這一情況下，在從第一照相機22a輸出針對1/1去馬賽克圖像的4個水平行的數據之前，針對其從第二照相機22b輸出數據的1/1去馬賽克圖像的水平行不改變。按類似的方式，也針對其它分辨率的圖像，在一個為從第一照相機22a輸出的數據的周期的4倍的周期中從第二照相機22b輸出數據。僅作為實例描述了幀率和快門速度，事實上可以采用任何幀率和快門速度，只要幀率和快門速度滿足第二照相機22b的幀率和快門速度為第一照相機22a的幀率和快門速度的1/N (N為大于I的正整數)即可。
[0124]因此，如該圖中所示，第二照相機22b所捕獲的一個幀的1/1去馬賽克圖像302處于被延伸至其中時間的逝去相應于垂直方向中的像素的合成圖像中的4倍垂直長度的狀態(更具體地講，為一個具有針對每4個像素行的一個相同像素值的圖像)。在該圖中，在第一拍攝周期(從時間to至tl)中，輸出包括用戶I的頭的一個部分，在第二拍攝周期(從時間tl至t2)輸出包括眼睛的一個部分，在第三拍攝周期(從時間t2至t3)輸出包括嘴的一個部分，在第四拍攝周期(從時間t3至t4)輸出包括肩的一個部分，另外，對于每一個拍攝周期，1/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像變為其縮小的圖像。
[0125]圖13描述了在圖12中所說明的圖像捕獲條件下顯露單元150通過顯露出圖像所生成的新合成的圖像以及存儲在主機終端20的主存42中的圖像。以與圖11的方式相類似的方式描述了該圖。在這一情況下，從時間to至tl (即，第一拍攝周期)，針對每一單行抽取包括在第一照相機22a所捕獲的一個幀的1/1去馬賽克圖像中的面部及其周邊的一個區域304、包括在第二照相機22b所捕獲的一個幀的1/1去馬賽克圖像中的面部及其周邊的一個區域306、第一照相機22a所捕獲的一個幀的1/4去馬賽克圖像的整個圖像308、以及所述幀的1/16去馬賽克圖像的整個圖像310。
[0126]主機終端20按與圖11中所示方式相類似的方式把圖像數據部署在主存42中。然而，主機終端20從包括在從成像設備12所傳輸的流中的第二照相機22b所捕獲的幀的1/1去馬賽克圖像部分中具有相同像素值的4行數據中丟棄3行的量的數據。因此，在時間t4，當第四拍攝周期結束時，完成了包括在第二照相機22b所捕獲的一個幀的1/1去馬賽克圖像中的面部及其周邊的一個圖像312的部署。作為主存42中的圖像，圖11、13、以及15僅描述了部署完成時已經使用其完成部署的圖像。然而，實際上，恰在t0之后開始圖13中所示的第二照相機22b所捕獲的幀的1/1去馬賽克圖像的存儲過程，然后逐漸進行。主存42中的其它圖像類似于圖11中所示的其它圖像。
[0127]圖14描述了這樣一種情況下合成圖像的轉換:把第二照相機22b的幀率設置為60fps,第一照相機22a采用高于第二照相機22b幀率的240fps幀率以比第二照相機22b的視角窄的視角捕獲圖像。在該圖中所示的實例中，第一照相機22a捕獲包括用戶I的眼睛的部分4次，而第二照相機22b捕獲一個幀。這些值僅示為實例，事實上，當第一照相機22a的視角的垂直長度為第一照相機22a的視角的垂直長度的1/N時，可以通過把第一照相機22a的幀率設置為第二照相機22b的幀率的N倍(N為大于I的正整數)，同步化兩個照相機，如該圖中所示。
[0128]因此，在相應于第二照相機22b的各拍攝周期的合成圖像中，第一照相機22a的一個幀的1/1去馬賽克圖像314為一個其中沿垂直方向串行地排列一個包括用戶I的眼睛的部分的4個圖像的圖像，如該圖中所示。第一照相機22a的1/4去馬賽克圖像、1/16去馬賽克圖像、以及1/64去馬賽克圖像也變為其針對每一拍攝周期縮小了的圖像。[0129]圖15描述了在圖14中所說明的圖像捕獲條件下顯露單元150通過顯露出圖像所生成的新合成的圖像以及存儲在主機終端20的主存42中的圖像。以與圖11方式相類似的方式描述了該圖。然而，在該圖的情況下，顯露出了一個包括第一照相機22a以高幀率所捕獲的眼睛的部分的1/1去馬賽克圖像316、以及第二照相機所捕獲的1/1去馬賽克圖像318和1/4去馬賽克圖像320。
[0130]因此，在相應于各拍攝周期的結束時刻完成了王機終端20的王存42中圖像的部署。例如，可以把本發明的這一方面用于在顯示設備16上顯示其中通過使用1/1去馬賽克圖像增加包括面部的區域的分辨率的1/4去馬賽克圖像的整個圖像，而通過使用包括眼睛的部分1/1去馬賽克圖像、通過跟蹤具有高分辨率的眼睛或者眼瞼的移動檢測面部表情或者姿態的情況。
[0131]在這一過程中，可以根據所檢測的面部表情或者姿態處理將加以顯示的圖像。經由網絡把圖像顯示在另一個用戶的顯示設備上，能夠實現其中根據面部表情把裝飾與/或動畫添加于圖像的視頻聊天等。盡管在圖15中所示的實例中以高分辨率捕獲了一個包括眼睛的部分，然而也可以捕獲用戶的手或者用戶所持的標記物，并且可以將其設置為跟蹤目標。在這一情況下，可以把手或者標記物用作信息處理的操作輸入機制。
[0132]圖16為描述了說明其中主機終端20和成像設備12互相協作顯示圖像的處理規程的一個實例的流程圖。用戶通過主機終端20輸入的激活應用的指令啟動圖16的流程圖。盡管為了有助于理解，在其中捕獲移動圖像的周期，由串行連接的矩形表示各步驟，然而也可以假設針對每個像素行和針對每一個幀并行地執行這些步驟。
[0133]首先，主機終端20指示成像設備12開始拍攝，并且通過指出針對應用程序等所設置的初始條件和所需的圖像數據，請求從成像設備12的數據的傳輸(S10)。初始條件指的是成像設備12的兩個照相機所捕獲的移動圖像的分辨率、幀率、快門速度、視角等。在相繼的過程，可以通過成像部件改變其自身曝光的條件設置，也可以通過調整(例如，從成像部件所發送的數據的稀釋)，改變照相機所捕獲的移動圖像的分辨率與/或幀率。
[0134]如上所述，由合成圖像中的一個區域指出所需的圖像數據。然而，作為初始值，指出被視為包括用戶圖像的一個區域的1/1去馬賽克圖像，或者具有任何一個分辨率的整個圖像。接收對初始條件的指出和對圖像數據的請求的成像設備12的第一照相機22a和第二照相機22b，在初始條件下開始移動圖像的捕獲(S12)。
[0135]去馬賽克單元104a和104b以及棱錐過濾單元135a和135b針對每一個像素行處理每一個照相機所捕獲的RAM圖像。圖像合成單元30對針對各時間步長中所輸出的相應電平的去馬賽克圖像進行合成(S14)。接下來，圖像傳輸單元32從合成圖像中僅顯露出在步驟SlO指出的圖像數據，以形成一個流、對所述流打包、并且把數據包傳輸于主機終端20(S16和S18)。在請求了 RAM圖像的數據的情況下，可以跳過步驟S16的過程。
[0136]已經接收到數據的主機終端20的信息處理單元38把所傳輸的流作為圖像部署在主存42中(S20)。信息處理單元38使用所部署的圖像、根據正在執行的應用，執行一個過程(S22)。此時，當需要時，信息處理單元38從圖像處理單元40請求圖像處理，圖像處理單元40從主存42讀出圖像，并且處理或者合成圖像。部署在主存42中的圖像數據類似于通常所使用的圖像數據。因此，也可以把所部署的圖像數據作紋理(texture)讀出。
[0137]在步驟S22中，信息處理單元38可以執行圖像分析處理，例如，立體匹配、跟蹤、面部檢測、姿態檢測等，并且可以把其結果反映于將加以顯示的圖像。在這一方式下，生成將加以顯示的圖像，然后將其顯示在顯示設備16上(S24和S26)。另外，在步驟S22中，信息處理單元38還可以通過以上所描述的圖像分析標識一個包括目標對象的區域，并且能夠改變所請求的圖像數據。在這一情況下，當處理一個新圖像幀時，成像設備12中的顯露單元150根據說明改變將加以顯露出的區域。通過重復步驟S14?步驟S26的過程，可以把使用成像設備12所捕獲的圖像的移動圖像顯示在顯示設備16上。
[0138]根據以上所描述的本實施例，在包括用于捕獲用戶等的移動的照相機以及用于顯示使用照相機的圖像的主機終端的系統中，把已經捕獲的移動圖像改變為照相機內具有多個分辨率的數據。然后，把所述數據改變為一個流，其中，針對圖像的每一類型和分辨率按像素的屏面次序連接像素值。接下來，根據來自主機終端的請求，傳輸其一部分，以在主機終端的存儲器中構造一個圖像。如所描述的，通過在未在照相機內部署作為幀圖像的數據的像素行的狀態下順序地執行各過程，能夠把提供在照相機中的存儲器的大小保持為最小。另外，由于為引發了這樣的問題:在圖像捕獲之后，在向主機終端傳輸之前，需要等待針對單幀的所有數據準備好，所以作為一個整體的所述系統能夠在低等待時間的情況下進行相應于移動的圖像顯示。
[0139]另外，針對單行的每一個像素值，通過連接各段數據，把多個分辨率的圖像數據包括在一個單流中。按其生成“針對單行的像素值”的速率隨分辨率的變化而變化。因此，在具有其中按低速率生成數據的低分辨率的圖像的情況下，進行分配，以使數據均勻地包括在一個流中，甚至是在其中不生成數據的周期期間。于是，每單位時間將加以處理和傳輸的數據的大小變得相等。因此，對輸出之前所需的時間、將加以使用的傳輸帶寬、以及傳輸所需的時間的估計變得容易，并且降低了因數據大小不可預料的增加所導致的傳輸帶寬損耗的可能性。
[0140]在相繼的過程中，可以按與僅由單分辨率的圖像數據構成的流相同的方式對待所描述的所生成的流。于是，實質上，生成了一個由具有多個分辨率的圖像構成的合成圖像。通過連接以上所描述的各數據段，將被組合的每一個圖像在合成圖像中形成一個矩形區域。于是，通過指出合成圖像中的一個區域，能夠通過稱為顯露的通常所使用的圖像過程容易地分隔共存于單流中的多個圖像的相應數據段。
[0141]通過顯露處理并行地(concurrently)對包括在合成圖像中的多個區域進行分段與剪輯，并且在其中共存多個圖像數據類型的狀態下將它們作為一個流加以傳輸。在這一過程中，通過設置與多個區域的垂直范圍相同的范圍，可以執行顯露處理，同時維持合成圖像中的矩形區域，甚至是在針對每一個像素行執行實際處理的情況下。因此，能夠在主機終端容易地區分圖像。
[0142]由于能夠混合以及并行地發送多個圖像數據段，所以能夠以低等待時間傳輸各種類型的圖像數據，并且能夠在無需提供可以并行傳輸數據段的多通道傳輸機制的情況下將圖像數據用于圖像處理。根據與合成圖像的原理相類似的原理，根據相應大小的圖像數據的圖像生成率，也在將加以傳輸的數據的流中均化包括在流中的各數據段的大小。因此，抑制了因增加比特率所導致的傳輸延遲。
[0143]以上給出的是一個基于實施例的解釋。所述實施例僅為說明性的，本領域技術人員將會明顯意識到，可以對構成部件和過程的進行多方面的修改，而且這樣的修改也屬于本發明的范圍。
[0144]例如，根據本實施例，可以在一個流中混合由為不同分辨率立體圖像表示的多個圖像數據段，以生成一個虛擬的合成圖像。在這一情況下，就可以通過適當地在合成圖像中排列具有不同數據生成率的圖像均化比特率而言，本實施例特別有效。同時，包括在合成圖像中的圖像并不局限于以上所描述的圖像，而可以為任何圖像，只要所述圖像為在相應時刻所生成的多種類型的圖像即可，并且能夠對它們加以合成、顯露出、并且能夠按類似的方式將它們發送至主機終端。
[0145]例如，所述圖像可以僅由一個分辨率的一對兒立體圖像構成。作為選擇，也可以在圖像中混合在圖像平面上表示深度方向目標對象的位置的深度圖像、幀之間的差圖像等。在后面一種情況下，在成像設備中提供了用于立體匹配的機制與/或用于幀之間差別處理的機制。作為選擇，圖像也可以不為立體圖像，而為根據單幀圖像生成的多種類型的圖像。在任何情況下，在合成圖像中指出沿垂直方向具有一個公共范圍的多個區域，可以由顯露處理并行地顯露多種類型的圖像、將它們混合為一個流、并且將其發送于主機終端。因此，在主機終端中，能夠在無需提供傳輸路徑的多個通道的情況下，通過僅指出區域，以低等待時間獲取多種類型的圖像。
[0146][參照數字的描述]
[0147]10信息處理系統，12成像設備，16顯示設備，20主機終端，22a第一照相機，22b第二照相機，30圖像合成單元，32圖像傳輸單元，34通信單元，36指令輸入單元，38信息處理單元，40圖像處理單元，42主存，44通信單元，102a圖像獲取單元，104a去馬賽克單元，IlOa第一過濾器，120a第二過濾器，130a第三過濾器，135a棱錐過濾單元，140輸出定時調整單元，142控制單元，144數據選擇單元，146打包單元，148流選擇單元，以及150顯露單元。
[0148][產業上的可利用性]
[0149]如上所述，本發明適用于信息處理設備以及諸如計算機、游戲設備、照相機、圖像顯示設備等的信息處理系統。
【權利要求】
1.一種移動圖像捕獲設備，包含: 圖像數據生成單元，被配置為根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像生成多個圖像數據段，并且配置為針對每個單一水平像素行順序地輸出作為流的圖像數據； 圖像合成單元，被配置為針對每個單一水平像素行或者針對范圍小于單一水平行的每個像素行循環地連接從圖像數據生成單元所輸出的所述多個圖像數據段，并且配置為輸出作為流的結果數據，以生成包括所述多個圖像的虛擬合成圖像，并且其中，在連接循環完成時所導致的像素行被定義為水平像素行；以及 圖像傳輸單元，被配置為從所連接的主機終端接收請求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個矩形區域的數據，配置為針對圖像合成單元所輸出的虛擬合成圖像的每一個像素行顯露出相應于矩形區域的范圍，配置為連接所述范圍，以及配置為作為流傳輸到主機終端。
2.根據權利要求1所述的移動圖像捕獲設備，還包含兩個照相機，配置為從排列在右與左側的其間距離已知的觀察點捕獲目標對象的圖像， 其中，圖像數據生成單元通過把兩個照相機所捕獲的右與左幀圖像的大小分別縮小至多個大小,生成不同分辨率的多個圖像數據段。
3.根據權利要求2所述的移動圖像捕獲設備， 其中，每次在第一照相機捕獲了大于I的預定數目的幀時，兩個照相機中的第二照相機以相同的快門速度捕獲一個幀， 其中，在其中僅有根據第一照相機所捕獲的幀圖像生成的圖像數據從圖像數據生成單元輸出的周期中，圖像合成單元通過連接無效數據而不是連接根據第二照相機所捕獲的幀圖像生成的圖像數據，把無效數據添加到所述流，以及 其中，圖像傳輸單元顯露出所指定的區域，而不管無效數據是否存在。
4.根據權利要求2所述的移動圖像捕獲設備， 其中，兩個照相機中的第二照相機以第一照相機的幀率和快門速度的1/N(N為一個大于I的正整數)的幀率和快門速度捕獲圖像，以及 其中，針對根據第一照相機所捕獲的幀圖像所生成的圖像數據的各個N個水平像素行，N次連接根據第二照相機所捕獲的幀圖像所生成的圖像數據的單一水平像素行。
5.根據權利要求2所述的移動圖像捕獲設備， 其中，兩個照相機中的第一照相機以第二照相機的幀率的N倍的幀率捕獲其垂直長度為第二照相機的垂直長度的1/N (N為一個大于I的正整數)的視野的圖像，以及 其中，圖像合成單元分別把用于第一照相機所捕獲的N個幀的圖像數據的像素行與第二照相機所捕獲的I個幀的圖像數據的像素行相連接。
6.根據權利要求1~5任何之一所述的移動圖像捕獲設備， 其中，圖像數據生成單元通過把每幀圖像的垂直大小和水平大小均縮小至1/2來生成不同分辨率的多個圖像數據段，以及 其中，圖像合成單元通過循環連接通過把其縮小率為1/2η (η為整數)的圖像的單一水平行除以2η所生成的各個像素行，連接其縮小率為1/2η的圖像的單一水平像素行。
7.根據權利要求1~5任何之一所述的移動圖像捕獲設備，其中，圖像數據生成單元通過把單一水平行像素設置為處理單位并行地生成多個圖像數據段，并且把圖像數據順序地輸出到圖像合成單元，以及 圖像合成單元順序地連接從圖像數據生成單元輸出的圖像數據，并且作為流流輸出圖像數據。
8.根據權利要求7所述的移動圖像捕獲設備，其中，圖像合成單元連接圖像數據，使得所述多個圖像分別被配置為合成圖像中的矩形區域。
9.一種信息處理系統，包含:移動圖像捕獲設備，被配置為捕獲目標對象的圖像，并且生成移動圖像數據；以及主機終端，被配置為從移動圖像捕獲設備獲取一部分移動圖像數據、配置為通過使用所述一部分移動數據執行預定的圖像處理、并且配置為顯示圖像， 其中，所述移動圖像捕獲設備包含: 圖像數據生成單元，被配置為根據移動圖像的每幀圖像生成多個圖像數據段，并且配置為針對每個單一水平像素行順序地輸出作為流的圖像數據； 圖像合成單元，被配置為針對每個單一水平像素行或者針對范圍小于單一水平行的每個像素行循環地連接從圖像數據生成單元輸出的所述多個圖像數據段，并且配置為輸出作為流的結果數據，以生成包括所述多個圖像的虛擬合成圖像，并且其中，在連接循環完成時所導致的像素行被定義為水平像素行；以及 圖像傳輸單元，被配置為從所連接的主機終端接收請求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個矩形區域的數據，配置為針對圖像合成單元所輸出的虛擬合成圖像的每一個像素行顯露出相應于矩形區域的范圍，配置為連接所述范圍，以及配置為作為流傳輸到主機終端，以及其中，主機終端,包含: 數據請求單元，被配置為通過設置用于所述矩形區域的公共垂直范圍來指定虛擬合成圖像中的多個矩形區域以請求數據的傳輸，所述矩形區域對應于包括在移動圖像捕獲設備中所生成的多個圖像數據段中的至少兩段圖像數據；以及 數據部署單元，被配置為基于每一個所指定的矩形區域的水平長度把從移動圖像捕獲設備所傳輸的流分割為單個圖像數據段，并且配置為把數據作為二維圖像部署在存儲器中。
10.一種信息處理設備，包含: 數據請求單元，被配置為通過指定合成圖像中的多個矩形區域同時設置用于所述矩形區域的公共垂直范圍來請求從移動圖像捕獲設備傳輸數據，所述移動圖像捕獲設備生成其中在預定舉行區域布置有根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像所生成的多個圖像的合成圖像，所述矩形區域對應于至少兩段圖像數據；以及 數據部署單元，被配置為響應所述請求，基于每一個所指定的矩形區域的水平長度，把按流格式從移動圖像捕獲設備傳輸來的圖像數據分離成一段或多段單個圖像數據，并且配置為把數據作為二維圖像部署在存儲器中，其中，針對每一個像素行循環地連接所指定的多個矩形區域的像素值；以及， 數據處理單元，被 配置為使用二維圖像執行預定的圖像處理，并且配置為顯示圖像。
11.一種由移動圖像捕獲設備所執行的圖像數據處理方法，包含: 根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像生成多個圖像數據段，并且針對每個單一水平像素行，順序地輸出作為流的圖像數據； 針對每個單一水平像素行或者針對范圍小于單一水平行的每個像素行循環地連接所輸出的所述多個圖像數據段，并且輸出作為流的結果數據，以生成包括所述多個圖像并且其中在連接循環完成時導致的像素行被定義為水平像素行的虛擬合成圖像；以及 從所連接的主機終端接收傳輸指定虛擬合成圖像中多個具有公共垂直范圍的矩形區域的數據的請求，針對虛擬合成圖像的每個像素行顯露出相應于矩形區域的范圍，連接所述范圍，以及作為新的流傳輸到主機終端。
12.一種用于圖像捕獲設備的計算機的程序，所述圖像捕獲設備根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像生成多個圖像數據段，并且針對每個單一水平像素行順序地輸出作為流的圖像數據，所述程序嵌入在非瞬時計算機可讀記錄媒體中，所述程序包含: 被配置為針對每個單一水平像素行或者針對范圍小于單一水平行的每個像素行循環地連接從圖像數據生成單元輸出的所述多個圖像數據段并且配置為輸出作為流的結果數據以生成包括所述多個圖像以及其中在連接循環完成時所導致的像素行被定義為水平像素行的虛擬合成圖像的模塊；以及 配置為從所連接的主機終端接收請求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個矩形區域的數據、配置為針對圖像合成單元所輸出的虛擬合成圖像的每一個像素行顯露出相應于矩形區域的范圍、配置為連接所述范圍以及配置為作為流傳輸到主機終端的模塊。
13.一種非瞬時計算機可讀記錄媒體，具有嵌入在其上用于圖像捕獲設備的計算機的程序，所述圖像捕獲設備根據通過捕獲目標對象的圖像所獲得的移動圖像的每幀圖像生成多個圖像數據段，并且針對每個單一水平像素行順序地輸出作為流的圖像數據，所述程序包含: 被配置為針對每個單一水平 像素行或者針對范圍小于單一水平行的每個像素行循環地連接從圖像數據生成單元輸出的所述多個圖像數據段并且配置為輸出作為流的結果數據以生成包括所述多個圖像以及其中在連接循環完成時所導致的像素行被定義為水平像素行的虛擬合成圖像的模塊；以及 配置為從所連接的主機終端接收請求以傳輸指定虛擬合成圖像中具有公共垂直范圍的多個矩形區域的數據、配置為針對圖像合成單元所輸出的虛擬合成圖像的每一個像素行顯露出相應于矩形區域的范圍、配置為連接所述范圍以及配置為作為流傳輸到主機終端的模塊。
【文檔編號】H04N13/00GK103797790SQ201280045359
【公開日】2014年5月14日 申請日期:2012年5月31日 優先權日:2011年7月25日
【發明者】大場章男, 勢川博之, 齋藤英幸 申請人:索尼電腦娛樂公司