包括圖像傳感器的移動系統和圖像傳感器的操作方法

包括圖像傳感器的移動系統和圖像傳感器的操作方法
【專利摘要】本發明公開了一種移動系統、一種三維圖像傳感器的操作方法以及一種具有多個深度像素和彩色像素的圖像傳感器的操作方法。移動系統可以包括：位于所述移動系統的第一表面上的三維圖像傳感器，所述三維圖像傳感器構造成進行第一感測以檢測對象的接近度并且通過獲取對象的距離信息來進行第二感測以識別對象的手勢；以及/或者位于所述移動系統的第一表面上的顯示裝置，所述顯示裝置用于顯示所述第一感測和所述第二感測的結果。移動系統可以包括：光源單元；多個深度像素；以及/或者多個彩色像素。可以基于所述移動系統的操作模式啟動光源單元、多個深度像素或多個彩色像素。
【專利說明】包括圖像傳感器的移動系統和圖像傳感器的操作方法
[0001]相關申請的交叉引用
[0002]本申請要求2012年10月23日提交韓國知識產權局(KIPO)的韓國專利申請N0.10-2012-0117760的優先權，在此通過引用方式將該申請的全部內容并入本文。
【技術領域】
[0003]本發明的一些示例性實施例一般性地涉及圖像傳感器。本發明的一些示例性實施例涉及包括圖像傳感器的移動系統、圖像傳感器的操作方法以及包括圖像傳感器的移動系統的操作方法。
【背景技術】
[0004]圖像傳感器是用于將包含關于圖像或距離(例如，深度)信息的光信號轉換為電信號的裝置。已經積極地進行了對圖像傳感器的研究，以精確并準確地提供所需的信息。尤其已經積極地進行了對能夠提供距離信息和圖像信息的三維(3D)圖像傳感器的研究和探討。3D圖像傳感器主要用于動作識別或手勢識別。同時，如果未來在移動系統中應用3D顯示器，則會需要采用空間觸碰方案的用戶界面。在這一點上，會需要在移動系統中有效安裝3D圖像傳感器的技術和降低3D圖像傳感器功耗的技術。

【發明內容】

[0005]本發明的一些示例性實施例可以提供配備有3D圖像傳感器的移動系統，以在不增加移動系統尺寸的情況下進行接近度感測和/或動作識別。
[0006]本發明的一些示例性實施例可以提供圖像傳感器的操作方法，其中該圖像傳感器能夠進行接近度感測和/或動作識別。
[0007]本發明的一些示例性實施例可以提供移動系統的操作方法，其中該移動系統具有能夠進行接近度感測和/或動作識別的圖像傳感器。
[0008]在一些不例性實施例中，一種移動系統可以包括:位于所述移動系統的第一表面上的三維(3D)圖像傳感器，所述3D圖像傳感器構造成進行第一感測以檢測對象的接近度并且通過獲取對象的距離信息來進行第二感測以識別對象的手勢；和/或位于所述移動系統的第一表面上的顯示裝置，所述顯示裝置用于顯示所述第一感測和所述第二感測的結果O
[0009]在一些示例性實施例中，可以基于觸發信號啟動第一操作模式以進行所述第一感測。當所述第一感測的結果表示對象接近所述3D圖像傳感器時可以選擇性地進行所述第
二感測。
[0010]在一些示例性實施例中，所述移動系統還可以包括輸入裝置，所述輸入裝置用于接收使用者的輸入。當對象接近所述3D圖像傳感器時啟動第二操作模式和第三操作模式中的至少一種操作模式，所述第二操作模式基于所述第二感測進行第一目標操作，所述第三操作模式基于由所述輸入裝置產生的輸入信號進行第二目標操作。[0011]在一些示例性實施例中，當對象接近所述3D圖像傳感器時可以啟動所述第二操作模式，并且/或者可以基于所述第一目標操作而將所述移動系統的操作模式保持在所述第二操作模式或者將所述移動系統的操作模式從所述第二操作模式轉換為所述第三操作模式。
[0012]在一些示例性實施例中，當對象接近所述3D圖像傳感器時可以啟動所述第三操作模式，并且可以基于所述第二目標操作而將所述移動系統的操作模式保持在所述第三操作模式或者將所述移動系統的操作模式從所述第三操作模式轉換為所述第二操作模式。
[0013]在一些示例性實施例中，當對象接近所述3D圖像傳感器時可以同時啟動所述第二操作模式和所述第三操作模式。
[0014]在一些示例性實施例中，所述移動系統還可以包括位于所述移動系統的第一表面上的二維(2D)圖像傳感器，所述2D圖像傳感器進行第三感測以獲取對象的彩色圖像信息。
[0015]在一些示例性實施例中，可以基于觸發信號啟動第一操作模式以進行所述第一感測，并且當所述第一感測的結果表示對象接近所述3D圖像傳感器時可以進行所述第二感測和所述第三感測中的至少一種感測。
[0016]在一些示例性實施例中，所述3D圖像傳感器可以包括多個深度像素，并且可以基于所述深度像素之中彼此相鄰的第一深度像素而在所述第一操作模式下進行所述第一感測。
[0017]在一些示例性實施例中，所述3D圖像傳感器可以包括多個深度像素，所述2D圖像傳感器可以包括多個彩色像素。當對象接近所述3D圖像傳感器時可以啟動第二操作模式、第三操作模式、第四操作模式和第五操作模式中的一種操作模式，所述第二操作模式基于所述深度像素之中的在構成局部陣列的同時彼此相鄰的第一深度像素進行所述第二感測，所述第三操作模式基于所述深度像素進行所述第二感測，所述第四操作模式基于所述彩色像素進行所述第三感測，所述第五操作模式基于所述深度像素和所述彩色像素同時進行所述第二感測和所述第三感測。
[0018]在一些示例性實施例中，當對象接近所述3D圖像傳感器時可以啟動所述第二操作模式，并且可以基于在所述第二操作模式下進行的所述第二感測的結果將所述移動系統的操作模式從所述第二操作模式轉換為所述第三操作模式至所述第五操作模式中的一種操作模式。
[0019]在一些示例性實施例中，當對象接近所述3D圖像傳感器時可以啟動所述第三操作模式，并且可以基于在所述第三操作模式下進行的所述第二感測的結果將所述移動系統的操作模式保持在所述第三操作模式或者將所述移動系統的操作模式從所述第三操作模式轉換為所述第四操作模式和所述第五操作模式中的一種操作模式。
[0020]在一些示例性實施例中，當啟動所述第二操作模式時，還可以基于所述彩色像素的一部分進行所述第三感測。
[0021]在一些示例性實施例中，所述3D圖像傳感器和所述2D圖像傳感器可以是一個集成電路芯片或者是彼此獨立的兩個集成電路芯片。
[0022]在一些示例性實施例中，所述3D圖像傳感器可以包括多個深度像素，所述2D圖像傳感器可以包括多個彩色像素，并且所述深度像素和所述彩色像素可以構成一個像素陣列或者構成彼此獨立的兩個像素陣列。[0023]在一些示例性實施例中，所述3D圖像傳感器可以包括光源單元，在進行所述第一感測時不啟動所述光源單元，而在進行所述第二感測時啟動所述光源單元。
[0024]在一些示例性實施例中，所述3D圖像傳感器可以包括光源單元，在進行所述第一感測時所述光源單元發出低亮度光，而在進行所述第二感測時所述光源單元發出高亮度光。
[0025]在一些示例性實施例中，一種三維(3D)圖像傳感器的操作方法可以包括步驟:基于觸發信號進行第一感測以檢測對象的接近度；和/或當所述第一感測的結果表示對象接近所述3D圖像傳感器時，通過獲取對象的距離信息來進行第二感測以識別對象的手勢。
[0026]在一些示例性實施例中，所述方法還可以包括:基于所述第二感測進行目標操作。
[0027]在一些示例性實施例中，所述3D圖像傳感器可以包括多個深度像素。可以基于所述深度像素的一部分進行所述第一感測，并且基于全部所述深度像素進行所述第二感測。
[0028]在一些示例性實施例中，一種具有多個深度像素和彩色像素的圖像傳感器的操作方法可以包括步驟:基于觸發信號進行第一感測以檢測對象的接近度；和/或當所述第一感測的結果表示對象接近所述圖像傳感器時，進行第二感測和第三感測中的至少一種感測，所述第二感測通過獲取對象的距離信息來識別對象的手勢，所述第三感測獲取對象的彩色圖像信息。
[0029]在一些示例性實施例中，進行所述第二感測和所述第三感測中的至少一種感測的步驟可以包括:基于所述深度像素之中的在構成局部陣列的同時彼此相鄰的第一深度像素進行所述第二感測；基于所述深度像素進行所述第二感測；基于所述彩色像素進行所述第三感測；和/或基于所述深度像素和所述彩色像素同時進行所述第二感測和所述第三感測。
[0030]在一些示例性實施例中，進行所述第二感測和所述第三感測中的至少一種感測的步驟還可以包括:基于所述第一深度像素進行所述第二感測，基于所述第二感測的結果轉換所述圖像傳感器的操作模式。
[0031]在一些示例性實施例中，一種具有三維(3D)圖像傳感器的移動系統的操作方法可以包括:基于觸發信號進行第一感測以檢測對象的接近度；和/或當所述第一感測的結果表示對象接近所述圖像傳感器時，通過獲取對象的距離信息來進行第二感測以識別對象的手勢。
[0032]在一些示例性實施例中，所述移動系統還可以包括輸入裝置，所述輸入裝置用于接收使用者的輸入。選擇性進行所述第二感測的步驟還可以包括基于所述第二感測進行第一目標操作；和/或基于由所述輸入裝置產生的輸入信號進行第二目標操作。
[0033]在一些示例性實施例中，一種移動系統可以包括光源單元、多個深度像素、和/或多個彩色像素。可以基于所述移動系統的操作模式啟動所述光源單元、所述多個深度像素中的至少一個深度像素或所述多個彩色像素中的至少一個彩色像素。
[0034]在一些示例性實施例中，可以基于所述移動系統的操作模式啟動所述光源單元。
[0035]在一些示例性實施例中，可以基于所述移動系統的操作模式啟動所述多個深度像素中的至少兩個深度像素。
[0036]在一些示例性實施例中，可以基于所述移動系統的操作模式啟動所述多個深度像素中的全部深度像素。[0037]在一些示例性實施例中，可以基于所述移動系統的操作模式啟動所述多個彩色像素。
[0038]在一些示例性實施例中，為了降低所述移動系統的功耗，可以基于所述移動系統的操作模式啟動所述光源單元、所述多個深度像素中的至少一個深度像素或所述多個彩色像素中的至少一個彩色像素。
[0039]在一些示例性實施例中，為了降低所述移動系統的功耗，可以基于所述移動系統的操作模式啟動所述光源單元、所述多個深度像素中的至少一個深度像素和所述多個彩色像素中的至少一個彩色像素。
【專利附圖】

【附圖說明】
[0040]結合附圖，從下面的示例性實施例的詳細描述中將會更清楚并且更容易理解上述和/或其他方面和優點，附圖中:
[0041]圖1是示出根據一些示例性實施例的移動系統的平面圖；
[0042]圖2是示出圖1所示移動系統的示例性實施例的框圖；
[0043]圖3是示出在圖1所示移動系統中包括的3D圖像傳感器的實例的框圖；
[0044]圖4是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖；
[0045]圖5A、圖5B、圖5C、圖6A、圖6B、圖6C和圖6D是示出圖4所示的圖像傳感器的操作方法的視圖；
[0046]圖7A和圖7B是示出根據一些示例性實施例的移動系統的操作方法的流程圖；
[0047]圖8A、圖8B、圖8C、圖8D和圖8E是用于說明圖7A和圖7B所示的移動系統的操作方法的視圖；
[0048]圖9A和圖9B是示出根據一些示例性實施例的移動系統的操作方法的流程圖；
[0049]圖1OA和圖1OB是示出根據一些示例性實施例的移動系統的操作方法的流程圖；
[0050]圖1lA和圖1lB是用于說明圖1OA和圖1OB所示的移動系統的操作方法的視圖；
[0051]圖12A和圖12B是示出根據一些示例性實施例的移動系統的操作方法的流程圖；
[0052]圖13是示出根據一些示例性實施例的移動系統的平面圖；
[0053]圖14是示出圖13所示移動系統的框圖；
[0054]圖15是示出在圖13所示移動系統中包括的二維(2D)圖像傳感器的實例的框圖；
[0055]圖16A和圖16B是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖；
[0056]圖17、圖18A、圖18B、圖18C、圖18D、圖19A、圖19B和圖20是示出圖16A和圖16B
所示的圖像傳感器的操作方法的視圖；
[0057]圖21A和圖21B是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖；
[0058]圖22A和圖22B是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖；
[0059]圖23是示出根據一些示例性實施例的移動系統的操作方法的流程圖；
[0060]圖24是示出根據一些示例性實施例的移動系統的平面圖；
[0061]圖25是示出圖24所示移動系統的實例的框圖；[0062]圖26是示出根據一些示例性實施例的移動系統的平面圖；
[0063]圖27是示出圖26所示移動系統的實例的框圖；
[0064]圖28是示出在圖27所示移動系統中包括的圖像傳感器的實例的框圖；
[0065]圖29A和圖29B是示出在圖28所示圖像傳感器中包括的感測單元的實例的視圖；以及
[0066]圖30是示出在根據一些示例性實施例的移動系統中使用的接口的實例的框圖。【具體實施方式】
[0067]將參考附圖更全面地描述示例性實施例。然而，實施例可以以多種不同的形式具體實現并且不應當解釋為限于本文所述的實施例。相反，提供這些實施例是為了使得本發明公開內容是詳盡和完整的，并且將本發明概念的范圍完全轉達給本領域的技術人員。在附圖中，為了清楚，層或區域的厚度會被放大。
[0068]應當理解的是，當一個元件被稱為“在另一個元件上”、與另一個元件“連接”、“電連接”或“耦合”時，該一個元件可以直接在另一個元件上、與另一個元件直接連接、電連接或耦合，或者可以存在中間元件。相反，當一個元件被稱為“直接在另一個元件上”、與另一個元件“直接連接”、“直接電連接”或“直接耦合”時，則不存在中間元件。本文所使用的術語“和/或”包括所列相關項目中的一個或多個項目的任何和所有組合。
[0069]應當理解的是，雖然在本文中可以使用術語第一、第二、第三等來描述各種元件、部件、區域、層和/或部分，但是這些元件、部件、區域、層和/或部分不應當被這些術語所限制。這些術語僅用來將一個元件、部件、區域、層和/或部分與另一個元件、部件、區域、層和/或部分區分開。例如，在不脫離示例性實施例的教導的情況下，第一元件、第一部件、第一區域、第一層和/或第一部分可以被稱為第二元件、第二部件、第二區域、第二層和/或第二部分。
[0070]為了便于描述，在本文中使用空間關系術語“下方”、“下面”、“下部”、“上面”、“上部”等來描述在附圖中所示的一個部件和/或特征與另一個部件和/或特征或者其他(一些)部件和/或特征之間的關系。應當理解的是，除了附圖描繪的方位以外，空間關系術語旨在涵蓋設備在使用時或在操作時的不同朝向。
[0071]本文所使用的術語僅用來描述具體的示例性實施例而不旨在成為示例性實施例的限制。除非文章中明確地指出，否則本文所使用的單數形式“一”、“一個”和“該”旨在也包括復數形式。還應當理解的是，在本文中使用的術語“包括”、“包括……的”、“包含”和/或“包含……的”表明存在所規定的特征、整體、步驟、操作、元件和/或部件，而不要排除存在或增加一種或多種其他特征、整體、步驟、操作、元件、部件和/或它們的組。
[0072]參考作為理想化示例性實施例(和中間結構)的示意性視圖的剖視圖來描述示例性實施例。因此，例如由于制造技術或容差造成的與所示形狀之間的變化是可以預料的。因此，示例性實施例不應當被解釋為限于本文所示部位的具體形狀，而是應當包括例如由制造而產生的形狀偏差。例如，以矩形示出的注入區域可以具有圓角或曲線形特征，和/或在邊緣處具有注入物濃度變化，而不是從注入區域到非注入區域的二元變化。同樣，由注入形成的埋置區域會在埋置區域與發生注入的表面之間的區域中導致一些注入。因此，附圖中所示的區域實際上是示意性的，它們的形狀不是用來示出裝置的區域的實際形狀并且不是用來限制示意性實施例的范圍。
[0073]除非另有定義，否則在本文中使用的所有術語(包括技術術語和科學術語)具有示例性實施例所屬領域的一名普通技術人員通常理解的相同含義。還應當理解，除非在本文中明確地定義，否則術語(例如通用字典中定義的術語)應當解釋為具有與相關領域上下文中的含義一致的含義，而不應當以理想化或過于正式的意義進行解釋。
[0074]將參考附圖所示的示例性實施例，相似的附圖標記在各個附圖中始終表示相同的部件。
[0075]圖1是示出根據一些示例性實施例的移動系統的平面圖。移動系統的一些示例性實施例可以包括檢測接近度、深度和/或顏色的圖像傳感器。移動系統的一些示例性實施例可以包括不檢測接近度的圖像傳感器。移動系統的一些示例性實施例可以包括不檢測深度的圖像傳感器。移動系統的一些示例性實施例可以包括不檢測顏色的圖像傳感器。
[0076]參考圖1，移動系統1000包括3D圖像傳感器100和顯示裝置1041。移動系統1000還可以包括觸摸屏幕1044、按鍵1043和1045、麥克風1047以及揚聲器1048。
[0077]3D圖像傳感器100安裝在移動系統1000的第一表面(例如，前表面)上。3D圖像傳感器100進行第一感測以檢測對象的接近度并且通過獲取對象的距離信息來進行第二感測以識別對象的手勢。也就是說，3D圖像傳感器100可以具有接近度感測功能和手勢識別功能。
[0078]3D圖像傳感器100可以包括具有多個深度像素的感測單元110和用于發射紅外線或近紅外線的光源單元140。根據操作模式，光源單元140可以選擇性地啟動或者可以發出彼此具有不同亮度的光。另外，根據操作模式，可以啟動包括在感測單元110中的全部或一部分深度像素。將在后面描述3D圖像傳感器100的具體操作和結構。
[0079]在一些示例性實施例中，3D圖像傳感器100可以是需要光源并采用行程時間(TOF)法、結構光法、圖案光或亮度分布圖法的多種深度傳感器之一。
[0080]在圖1中，3D圖像傳感器100安裝在移動系統1000的前表面的左上部。然而，3D圖像傳感器100可以安裝在移動系統1000的預定位置以進行接近度感測和手勢識別。
[0081]顯示裝置1041安裝在移動系統1000的第一表面上，用于顯示第一感測和第二感測的結果。顯示裝置1041可以包括多種顯示面板，例如，液晶顯示器(IXD)、有機發光二極管(OLED)顯示器和場致發射顯示器(FED)。
[0082]觸摸屏幕1044以及按鍵1043和1045可以接收使用者的輸入并且可以產生輸入信號以基于使用者的輸入進行使用者想要的功能(例如，目標操作)。例如，當使用者的手指或手寫筆觸碰該觸摸屏幕1044的表面時，可以進行使用者想要的功能。另外，當使用者的手指按壓按鍵1043和1045時，也可以進行使用者想要的功能。按鍵1043可以是啟動或關閉移動系統1000的電源鍵。麥克風1047可以進行語音識別，揚聲器1048可以輸出語音。
[0083]在一些示例性實施例中，觸摸屏幕1044可以是多種觸摸屏幕之一，例如電容式觸摸屏幕、電阻式觸摸屏幕和超聲波式觸摸屏幕。觸摸屏幕1044與顯示裝置1041在相互重疊的同時可以一體化設置。根據一些示例性實施例，可以省略按鍵1043和1045、麥克風1047和揚聲器1048中的至少一者。
[0084]根據現有技術的移動系統包括:安裝在移動系統前表面上的各種輸入/輸出裝置(例如，進行接近度感測的接近度傳感器)、顯示裝置、觸摸屏幕、按鍵、麥克風和揚聲器。因此，當在移動系統中增加動作識別功能時，除非移動系統尺寸增加，否則在移動系統中不容易安裝3D圖像傳感器100。
[0085]根據一些示例性實施例的移動系統包括進行接近度感測和動作識別的3D圖像傳感器100。3D圖像傳感器100在進行第一感測時可以用作接近度傳感器，而在進行第二感測時可以用作普通的深度傳感器。因為移動系統1000只包括一個3D圖像傳感器100而沒有包括接近度傳感器和深度傳感器，所以移動系統1000可以在不增加移動系統1000尺寸的情況下具有動作識別功能和接近度感測功能。另外，根據其操作模式，3D圖像傳感器100可以以各種方式運行。例如，當進行第一感測時，光源單元140可以不啟動或者發出具有低亮度的光，并且啟動包括在感測單元110中的一些深度像素以降低3D圖像傳感器100和移動系統1000的功耗。另外，當進行第二感測時，光源單元140啟動或發出具有高亮度的光，并且全部深度像素會啟動以使3D圖像傳感器100和移動系統1000可以精確地識別對象的動作。
[0086]圖2是示出圖1所示移動系統的實例的框圖。
[0087]參考圖2，移動系統1000包括應用程序處理器1010、連接單元1020、存儲裝置1030,3D圖像傳感器100、用戶接口 1040和電源1050。根據一些示例性實施例，移動系統1000可以是預定的移動系統，例如移動電話、智能電話、平板個人計算機(PC)、便攜式計算機、數字個人助理(PDA)、便攜式多媒體播放器(PMP)、數字照相機、音樂播放器、便攜式游戲機或導航系統。
[0088]應用程序處理器1010可以執行操作系統以操作移動系統1000。另外，應用程序處理器1010可以執行各種應用程序以提供因特網瀏覽器、游戲和動態圖像。根據一些示例性實施例，應用程序處理器1010可以包括單核處理器或多核處理器。另外，根據一些示例性實施例，應用程序處理器1010還可以包括設置在應用程序處理器1010內部或外部的高速緩沖存儲器。
[0089]連接單元1020可以與外部設備通信。例如，連接單元1020可以進行通用串行總線(USB)通信、以太網通信、近場通信(NFC)、無線射頻識別(RFID)通信、移動通信或存儲卡通信。例如，連接單元1020可以包括基帶芯片組并且可以支持諸如全球移動通信系統(GSM)、通用分組無線業務(GPRS)、寬帶碼分多址移動通信系統(WCDMA)和高速分組接入(HSxPA)
等通信。
[0090]存儲裝置1030可以儲存由應用程序處理器1010處理的數據，或者可以用作工作存儲器。另外，存儲裝置1030可以儲存用于引導移動系統1000的底層鏡像、與操作移動系統1000的操作系統有關的文件系統、與連接在移動系統1000上的外部設備有關的設備驅動器以及在移動系統1000中執行的應用程序。例如，存儲裝置1030可以包括易失性存儲器，例如，動態隨機存取存儲器(DRAM)、靜態隨機存取存儲器(SRAM)、移動DRAM、雙數據速率(DDR)同步動態隨機存取存儲器(SDRAM)、低功耗雙數據速率(LPDDR) SDRAM、圖形雙數據速率(⑶DR) SDRAM或內存總線式動態隨機存取存儲器(RDRAM)，或者存儲裝置1030可以包括非易失性存儲器，例如，電可擦除可編程只讀存儲器(EEPR0M)、閃存、相變隨機存取存儲器(PRAM)、電阻式隨機存取存儲器(RRAM)、納米浮置柵極存儲器(NFGM)、聚合物隨機存取存儲器(PoRAM)、磁性隨機存取存儲器(MRAM)或鐵電隨機存取存儲器(FRAM)。
[0091]3D圖像傳感器100可以進行第一感測和第二感測。例如，3D圖像傳感器100可以首先進行第一感測，然后基于第一感測的結果繼續進行或選擇進行第二感測。
[0092]用戶接口 1040可以包括至少一個輸入裝置，例如，鍵盤、按鍵1043和1045(例如，圖1)或觸摸屏幕1044 (例如，圖1)，和/或至少一個輸出裝置，例如，揚聲器1048 (參見，圖1)或顯示裝置1041 (例如，圖1)。電源1050可以向移動系統1000提供操作電壓。
[0093]可以使用多種封裝類型來安裝移動系統1000或移動系統1000的組件，封裝類型例如:封裝件層疊(PoP )、球柵陣列(BGA)、芯片尺寸封裝(CSP )、塑料引線芯片載體(PLCC)、塑料雙列直插式封裝(PDIP)、華夫組件芯片(Die in Waffle Pack)、華夫形式芯片(Diein Wafer Form)、板上芯片(COB)、陶瓷雙列直插式封裝(CERDIP)、塑料公制四方扁平封裝(MQFP)、薄四方扁平封裝(TQFP)、小外形集成電路(S0IC)、收縮型小外形封裝(SS0P)、薄型小外形封裝(TSOP )、薄四方扁平封裝(TQFP )、系統級封裝(SIP )、多芯片封裝(MCP )、晶片級制造封裝(WFP )和晶片級處理層疊封裝(WSP )。
[0094]圖3是示出在圖1所示移動系統中包括的3D圖像傳感器100的實例的框圖。
[0095]參考圖3，3D圖像傳感器100可以包括感測單元110、行驅動(RD)單元120、模數轉換(ADC)單元130、光源單元140、數字信號處理(DSP)單元150和控制單元160。
[0096]光源單元140可以輸出具有所需波長的光TL(可是預定的或不是預定的；例如，紅外線或近紅外線)。根據操作模式，光源單元140可以選擇性地啟動或者可以發出具有互不相同的亮度的光。
[0097]光源單兀140可以包括光源141和透鏡143。光源141可以產生光TL。例如,光源141可以實現為發光二極管(LED)或激光二極管。在一些示例性實施例中，光源141可以產生亮度被調制成周期性變化的光。例如，光TL的亮度可以被調制成具有連續脈沖的脈沖波、正弦波或余弦波的形式。在一些示例性實施例中，光源141可以產生具有恒定亮度的光，即非調制光。透鏡143可以將從光源141發出的光TL匯聚到對象180上。后面將參考圖6B、圖6C和圖6D描述光源單元140發出的光TL的波形。
[0098]感測單元110接收從對象180反射的光RL并將光RL轉換為電信號。在一些示例性實施例中，基于光源單元140發出的紅外線或近紅外線TL產生被接收光RL。在一些示例性實施例中，基于環境光中包括的紅外線或近紅外線產生被接收光RL。在一些示例性實施例中，基于在環境光中包括的可見光線產生被接收光RL。在一些示例性實施例中，同時基于紅外線或近紅外線和可見光線產生被接收光RL。
[0099]感測單元110可以包括多個深度像素111。根據操作模式，可以啟動全部或部分深度像素111。深度像素111以像素陣列的形式排列并且提供關于3D圖像傳感器100與對象180之間距離的信息。例如，在深度像素111上可以形成有紅外線濾光器或近紅外線濾光器。
[0100]行驅動單元120與感測單元110的各個行連接，以產生用于驅動各個行的驅動信號。例如，行驅動單元120可以驅動包括在感測單元110中的以行為單位的深度像素111。
[0101]ADC單元130與感測單元110的各個列連接，以將感測單元110輸出的模擬信號轉換為數字信號。在一些示例性實施例中，ADC單元130包括多個模擬-數字轉換器并且可以進行列ADC以并行地(S卩，同時地)將從各個列線輸出的模擬信號轉換為數字信號。在一些示例性實施例中，ADC單元130包括單個模擬-數字轉換器并且可以進行單一 ADC以順序地將模擬信號轉換為數字信號。[0102]根據一些示例性實施例，ADC單元130可以包括用于提取有效信號成分的相關雙采樣(CDS)單元。在一些示例性實施例中，CDS單元可以進行模擬雙采樣，以基于表示復位成分的模擬復位信號與表示信號成分的模擬數據信號之間的差異來提取有效信號成分。在一些示例性實施例中，CDS單元可以進行數字雙采樣，以便在將模擬復位信號和模擬數據信號轉換為兩個數字信號之后，基于兩個數字信號之間的差異來提取有效信號成分。在一些示例性實施例中，⑶S單元可以通過進行模擬雙采樣和數字雙采樣兩者來進行雙重相關雙采樣。
[0103]DSP單元150接收ADC單元130輸出的數字信號以進行與數字信號有關的圖像數據處理。例如，DSP單元150可以進行圖像插值、色彩校正、白平衡、伽馬校正和顏色轉換。
[0104]控制單元160可以控制行驅動單元120、ADC單元130、光源單元140和DSP單元150。控制單元160可以提供控制信號，例如，操作行驅動單元120、ADC單元130、光源單元140和DSP單元150所需的時鐘信號和時序控制信號。在一些示例性實施例中，控制單元160可以包括邏輯控制電路、鎖相環(PLL)電路、時序控制電路和通信接口電路。
[0105]圖4是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖。圖4所示的圖像傳感器的操作方法可以用于操作安裝在移動系統1000中的3D圖像傳感器100以進行接近度感測和動作識別。圖5A、圖5B、圖5C、圖6A、圖6B、圖6C和圖6D是示出圖4所示的圖像傳感器的操作方法的視圖。出于便于說明的目的，在圖5A、圖5B、圖5C和圖6A的移動系統中僅示出3D圖像傳感器100和顯示裝置1041。
[0106]參考圖1、圖4、圖5A、圖5B、圖5C、圖6A、圖6B、圖6C和圖6D，為了操作3D圖像傳感器100，判斷是否啟動了觸發信號(操作步驟S110)。例如，如圖5A所示，移動系統1000和3D圖像傳感器100在操作的初期是關閉的。如果使用者通過按壓電源按鍵1043來啟動移動系統1000，或者移動系統1000準備立即運行，即，在移動系統1000是便攜式電話或智能電話的情況下當另一使用者向移動系統1000發送呼叫時，可以啟動觸發信號。
[0107]如果沒有啟動觸發信號(操作步驟SllO:否)，則3D圖像傳感器100等待觸發信號的啟動。
[0108]如果啟動了觸發信號(操作步驟SllO:是)，則啟動第一操作模式(例如，接近度感測模式)。3D圖像傳感器100進行用于檢測對象接近度的第一感測(操作步驟S120)。例如，如圖5B所示，當另一使用者發送呼叫時，啟動觸發信號并且啟動第一操作模式以進行第一感測。在圖5B所示的示例性實施例中，如果啟動該操作模式,則可以不啟動光源單元140,使得不會發出光。另外，可以僅啟動包括在感測單元110中的一些深度像素，例如，可以僅啟動彼此相鄰的第一深度像素。基于啟動的第一深度像素進行第一感測，并且啟動的第一深度像素可以基于包括在環境光中的紅外線或近紅外線來提供關于對象接近度的信息。例如，第一深度像素是包括在感測單元110的深度像素之中的布置在一行或一列中的全部或一部分深度像素。
[0109]基于第一感測判斷對象的接近度(操作步驟S130)。例如，在對象不接近3D圖像傳感器100時(S卩，在對象與3D圖像傳感器100之間的距離大于基準距離時)射入到感測單元110的紅外線或近紅外線的量不同于在對象接近3D圖像傳感器100時(B卩，在對象與3D圖像傳感器100之間的距離小于基準距離時)射入到感測單元110的紅外線或近紅外線的量。可以通過檢測射入到感測單元110的紅外線或近紅外線的量的變化來提供關于對象接近度的信息。
[0110]如果確定對象不接近3D圖像傳感器100 (操作步驟S130:否)，則3D圖像傳感器100保持進行第一感測。
[0111]如果確定對象接近3D圖像傳感器100 (操作步驟S130:是)，則啟動第二操作模式(例如，3D操作模式或深度模式)。3D圖像傳感器100獲取關于對象距離的信息并且進行第二感測以識別對象的動作(操作步驟S140)。例如，如圖5C所示，如果在接收到來自另一使用者的呼叫的同時對象180接近3D圖像傳感器100，則啟動第二操作模式。在圖5C的示例性實施例中，當啟動第二操作模式時，啟動光源單元140以使光源單元140可以發出光(例如，高亮度光)。另外，可以啟動包括在感測單元110中的全部深度像素。可以基于啟動的深度像素進行第二感測。啟動的深度像素可以基于在從光源單元140發出之后被對象反射的反射光來提供關于對象距離和動作的信息。
[0112]移動系統1000基于第二感測進行目標操作(操作步驟S150)。例如，目標操作可以是多種操作之一，例如基于動作識別選擇或執行菜單和/或應用程序(例如，3D界面操作)、基于動作識別在執行的菜單和/或應用程序上執行使用者想要的功能(例如，諸如游戲操縱或多媒體文件播放等3D應用程序操作)以及3D圖形的攝影(例如，3D攝影操作)。
[0113]同時，與圖5B的示例性實施例不同的是，在啟動第一操作模式時可以啟動光源單元140。例如，如圖6A所示，當收到來自另一使用者的呼叫時，可以啟動觸發信號并且可以啟動第一操作模式。在圖6A的示例性實施例中，如果啟動了第一操作模式，則啟動光源單元140以使光源單元140可以發出光(例如，低亮度光)。另外，可以僅啟動包括在感測單元110中的深度像素之中的第一深度像素，并且可以基于啟動的第一深度像素進行第一感測。啟動的第一深度像素可以基于在從光源單元140發出之后被對象反射的反射光來提供關于對象接近度的信息。
[0114]如果在第一操作模式和第二操作模式下都啟動光源單元140，則光源單元140可以基于操作模式發出彼此具有不同亮度的光。例如，如圖6B所示，光源單元140可以在進行第二感測的第二操作模式下發出高亮度光TLH。高亮度光TLH的亮度對應于幅度Al并且高亮度光TLH可以被調制成其強度能夠周期性變化(以具有類似于脈沖波一樣的連續脈沖)。在一些示例性實施例中，如圖6C所示，光源單元140可以在進行第一感測的第一操作模式下發出低亮度光TLLl。低亮度光TLLl的亮度對應于幅度A2并且低亮度光TLLl可以被調制成其強度能夠周期性變化。在一些示例性實施例中，如圖6D所示，光源單元140可以在進行第一感測的第一操作模式下發出低亮度光TLL2。低亮度光TLL2的亮度對應于幅度A2，并且低亮度光TLL2具有沒有調制的恒定強度以使3D圖像傳感器100和移動系統1000的功耗能夠在第一操作模式下進一步降低。
[0115]同時，如后面將參考圖7A、圖7B、圖10A、圖10B、圖12A和圖12B所述，如果確定對象接近3D圖像傳感器100 (操作步驟S130:是)，則3D圖像傳感器100可以選擇性地進行
第二感測。
[0116]另外，根據一些示例性實施例，圖4所示的3D圖像傳感器100的操作方法可以用于操作包括3D圖像傳感器100的移動系統1000。
[0117]圖7A和圖7B是示出根據一些示例性實施例的移動系統1000的操作方法的流程圖。圖7A和圖7B所示的移動系統的操作方法可以用于操作包括3D圖像傳感器100和輸入裝置的移動系統1000，其中3D圖像傳感器100進行接近度感測和動作識別，輸入裝置例如為觸摸屏幕1044以及按鍵1043和1045。圖8A、圖8B、圖8C、圖8D和圖8E是用于說明圖7A和圖7B所示的移動系統的操作方法的視圖。出于便于說明的目的，在圖8A、圖SB、圖8C、圖8D和圖8E的移動系統中僅示出3D圖像傳感器100、顯示裝置1041、電源按鍵1043和觸摸屏眷1044。
[0118]參考圖1、圖7A、圖7B、圖8A、圖8B、圖8C、圖8D和圖8E，為了操作移動系統1000，
判斷是否啟動了觸發信號(操作步驟S110)。如果沒有啟動觸發信號(操作步驟SllO:否)，則移動系統1000等待觸發信號的啟動。如果啟動了觸發信號(操作步驟SllO:是)，則啟動第一操作模式(例如，接近度感測模式)(操作步驟S115)并且進行第一感測(操作步驟S120)。例如，如圖8A所示，如果使用者按壓電源按鍵1043，則啟動觸發信號并且啟動第一操作模式以進行第一感測。基于第一感測判斷對象的接近度(操作步驟S130)。操作步驟SI 10、S120和S130與圖4所示的操作步驟SI 10、S120和S130基本相同。
[0119]如果確定對象不接近3D圖像傳感器100 (操作步驟S130:否)，則3D圖像傳感器100保持進行第一感測。
[0120]如果確定對象接近圖像傳感器100 (操作步驟S130:是)，則啟動第二操作模式(例如，3D操作模式)(操作步驟S210)。3D圖像傳感器100獲取關于對象距離的信息并且進行第二感測以識別對象的動作(操作步驟S220)。移動系統1000基于第二感測進行第一目標操作(操作步驟S230)。例如，如圖8A和圖8B所示，當對象180接近3D圖像傳感器100時，在顯示裝置1041上顯示用于選擇菜單和/或應用程序的屏幕并且啟動3D操作模式。啟動光源單元140以使光源單元140可以發出光(例如，高亮度光)。另外，可以啟動包括在感測單元110中的全部深度像素。3D圖像傳感器100可以進行第二感測，以識別對象180在空間中挑選或點擊菜單圖標和/或應用程序圖標的動作。移動系統1000可以基于第二感測選擇或執行菜單和/或應用程序。也就是說，第一目標操作可以是基于第二感測選擇或執行菜單和/或應用程序的3D界面操作。
[0121]可以基于第一目標操作改變或保持移動系統1000的操作模式。
[0122]如果由于第一目標操作而需要使用諸如觸摸屏幕1044以及按鍵1043和1045等輸入裝置的操作(操作步驟S235:U2),則啟動第三操作模式(例如，2D操作模式)(操作步驟S240)。輸入裝置基于使用者的輸入產生輸入信號(操作步驟S250)。移動系統1000基于輸入信號進行第二目標操作(操作步驟S260)。例如，如圖SC所示，當選擇文本應用程序時，在如圖8C所示的顯示裝置1041上顯示文本輸入屏幕并且啟動2D操作模式。觸摸屏幕1044可以基于觸碰事件(例如，使用者的手指190與觸摸屏幕1044接觸)產生輸入信號。移動系統1000可以基于輸入信號輸入文本。具體地說，第二目標操作可以涉及使用輸入裝置在執行的菜單和/或應用程序上進行使用者想要的功能的操作(例如，文本輸入之類的2D應用程序操作)。同時，在第三操作模式中，可以不啟動光源單元140和包括在感測單元110中的深度像素。
[0123]如果由于第一目標操作而仍然需要第二感測(操作步驟S235:U3)，則保持第二操作模式(操作步驟S270)。3D圖像傳感器100進行第二感測(操作步驟S280)。移動系統1000基于第二感測進行第三目標操作(操作步驟S290)。例如，如果如圖8D所示選擇照相應用程序，則如圖8E所示，3D圖像傳感器100可以通過進行第二感測來進行3D圖像攝影。也就是說，第三目標操作可以涉及進行3D圖像攝影的3D攝影操作。根據一些示例性實施例，第三目標操作可以是基于動作識別進行使用者想要的功能的3D應用程序操作，或者可以是與第一目標操作基本相同的3D界面操作。同時，保持啟動光源單元140和包括在感測單元110中的深度像素。
[0124]在圖7A和圖7B的示例性實施例中，如果確定對象接近3D圖像傳感器100，則啟動3D操作模式，并且移動系統1000的操作模式可以基于在3D操作模式下進行的3D界面操作而保持在3D操作模式或者可以從3D操作模式轉換為2D操作模式。
[0125]同時，雖然在附圖中沒有示出，但是可以通過在操作步驟S220中基于構成了部分陣列的深度像素進行第二感測來進一步降低3D圖像傳感器100和移動系統1000的功耗。
[0126]圖9A和圖9B是示出根據一些示例性實施例的移動系統1000的操作方法的流程圖。
[0127]參考圖9A和圖9B，與圖7A和圖7B相比，附加地進行操作步驟S215、S265和S295以操作移動系統1000。圖9A和圖9B的操作步驟S110、S115、S120、S130、S210、S220、S230、S240、S250、S260、S270、S280 和 S290 分別與圖 7A 和圖 7B 的操作步驟 S110、S115、S120、S130、S210、S220、S230、S240、S250、S260、S270、S280 和 S290 基本相同，所以將省略多余的描述。
[0128]在啟動第二操作模式(操作步驟S210)之后，判斷是否產生了第一完成命令(操作步驟S215)。如果沒有產生第一完成命令(操作步驟S215:否)，則3D圖像傳感器100進行第二感測(操作步驟S220)。如果產生了第一完成命令(操作步驟S215:是)，則第二操作模式完成并且再次啟動第一操作模式(操作步驟S115)。例如，用于選擇和執行圖SB和圖8D所示菜單和/或應用程序的屏幕消失，動作識別完成，并且再次進行接近度感測。
[0129]在已經進行了第二目標操作(操作步驟S260)之后，判斷是否產生了第二完成命令(操作步驟S265)。如果沒有產生第二完成命令(操作步驟S265:否)，則移動系統等待使用者的輸入。如果產生了使用者的輸入，則產生輸入信號(操作步驟S250)并進行第二目標操作(操作步驟S260)，然后重復該過程。如果產生了第二完成命令(操作步驟S265:是)，則第三操作模式完成并且再次啟動第二操作模式(操作步驟S210)。例如，如圖SC所示的用于輸入文本的屏幕消失，顯示如圖8B和圖8D所示的用于選擇或執行菜單和/或應用程序的屏幕并且對3D界面操作再次進行動作識別。
[0130]在已經進行了第三目標操作(操作步驟S290)之后，判斷是否產生了第三完成命令(操作步驟S295)。如果沒有產生第三完成命令(操作步驟S295:否)，則移動系統等待對象的動作。如果檢測到對象的動作，則進行第二感測(操作步驟S280)并進行第三目標操作(操作步驟S290)，然后重復該過程。如果產生了第三完成命令(操作步驟S295:是)，則過程返回到操作步驟S210，使得再次啟動第二操作模式。例如，如圖SE所示的圖像攝影屏幕消失，顯示如圖SB和圖8D所示的用于選擇或執行菜單和/或應用程序的屏幕并且對3D界面操作再次進行動作識別。
[0131]圖1OA和圖1OB是示出根據一些示例性實施例的移動系統1000的操作方法的流程圖。圖1OA和圖1OB所示的移動系統的操作方法可以用于操作包括3D圖像傳感器100和輸入裝置的移動系統1000。圖1IA和圖1IB是用于說明圖1OA和圖1OB所示的移動系統的操作方法的視圖。出于便于說明的目的，在圖1lA和圖1lB的移動系統中僅示出3D圖像傳感器100、顯示裝置1041、電源按鍵1043和觸摸屏幕1044。
[0132]參考圖1、圖10A、圖10B、圖1lA和圖11B，為了操作移動系統1000，判斷是否啟動了觸發信號(操作步驟S110)。如果沒有啟動觸發信號(操作步驟SllO:否)，則移動系統1000等待觸發信號的啟動。如果啟動了觸發信號(操作步驟SllO:是)，則啟動第一操作模式(例如，接近度感測模式)(操作步驟S115)，進行第一感測(操作步驟S120)并且判斷對象的接近度(操作步驟S130)。操作步驟S110、S115、S120和S130與圖7A所示的操作步驟S110、S115、S120 和 S130 基本相同。
[0133]如果確定對象接近3D圖像傳感器100 (操作步驟S130:是)，則啟動第三操作模式(例如，2D操作模式)(操作步驟S310)。諸如觸摸屏幕1044以及按鍵1043和1045等輸入裝置基于使用者的輸入產生輸入信號(操作步驟S320)。移動系統1000基于第二感測進行第一目標操作(操作步驟S330)。例如，當對象180接近3D圖像傳感器100時，如圖1lA和圖1lB所示，在顯示裝置1041上顯示用于選擇菜單和/或應用程序的屏幕并且啟動2D操作模式。觸摸屏幕1044可以基于觸碰事件(例如，使用者的手指190與觸摸屏幕1044接觸)產生輸入信號。移動系統1000可以基于輸入信號選擇或執行菜單和/或應用程序。也就是說，第一目標操作可以涉及通過使用輸入裝置選擇或執行菜單和/或應用程序的操作(例如，2D界面操作)。同時，在第三操作模式下，可以不啟動光源單元140和包括在感測單元110中的深度像素。
[0134]可以基于第一目標操作改變或保持移動系統1000的操作模式(操作步驟S335)。
[0135]如果由于第一目標操作而需要第二感測(操作步驟S335:U3)，則啟動第二操作模式(例如，3D操作模式)(操作步驟S340)。3D圖像傳感器100進行第二圖像感測(操作步驟S350)。移動系統1000基于第二感測進行第二目標操作(操作步驟S360)。例如，如圖1lB所示，如果選擇照相應用程序，則可以啟動3D操作模式。在3D操作模式下，啟動光源單元140以發出光(例如，高亮度光)并且可以啟動包括在感測單元110中的全部深度像素。如圖SE所示，3D圖像傳感器100可以通過進行第二感測來進行3D圖像攝影。也就是說，第二目標操作可以涉及進行3D圖像攝影的3D攝影操作。根據示例性實施例，第二目標操作可以是基于動作識別進行使用者想要的功能的3D應用程序操作。
[0136]如果由于第一目標操作從而仍需要通過輸入裝置進行的操作(操作步驟S335:U2)，則啟動第三操作模式(例如，2D操作模式)(操作步驟S370)。輸入裝置基于使用者的輸入產生輸入信號(操作步驟S380)。移動系統1000基于輸入信號進行第三目標操作(操作步驟S390)。例如，如圖1lA所示，當選擇文本應用程序時，在如圖8C所示的顯示裝置1041上顯示文本輸入屏幕。觸摸屏幕1044可以基于觸碰事件產生輸入信號，并且移動系統1000可以基于輸入信號輸入文本。具體地說，第三目標操作可以涉及進行使用者想要的功能的2D應用程序操作。根據一些示例性實施例，第三目標操作可以是與第一目標操作基本相同的2D界面操作。同時，可以保持不啟動光源單元140和包括在感測單元110中的深度像素。
[0137]在圖1OA和圖1OB的示例性實施例中，如果確定對象接近3D圖像傳感器100，則啟動2D操作模式，并且移動系統1000的操作模式可以基于在2D操作模式下進行的2D界面操作而保持在2D操作模式或者從2D操作模式轉換為3D操作模式。
[0138]雖然在圖1OA和圖1OB中沒有示出，但是為了操作移動系統1000，與圖9A和圖9B的示例性實施例類似，可以增加判斷是否產生了第一完成命令的操作步驟、判斷是否產生了第二完成命令的操作步驟和判斷是否產生了第三完成命令的操作步驟。
[0139]圖12A和圖12B是示出根據一些示例性實施例的移動系統1000的操作方法的流程圖。圖12A和圖12B所示的移動系統的操作方法可以用于操作包括3D圖像傳感器100和輸入裝置的移動系統1000。
[0140]參考圖1、圖12A和圖12B，為了操作移動系統1000，判斷是否啟動了觸發信號(操作步驟S110)。如果沒有啟動觸發信號(操作步驟SllO:否)，則移動系統1000等待觸發信號的啟動。如果啟動了觸發信號(操作步驟Slio:是)，則啟動第一操作模式(例如，接近度感測模式)(操作步驟S115)，進行第一感測(操作步驟S120)并且判斷對象的接近度(操作步驟S130)。操作步驟S110、S115、S120和S130與圖7A所示的操作步驟S110、S115、S120和S130基本相同。
[0141]如果確定對象接近3D圖像傳感器100 (操作步驟S130:是)，則同時啟動第二操作模式(例如，3D操作模式)和第三操作模式(例如，2D操作模式)(操作步驟S410)。因此，進行第二感測或者基于使用者的輸入產生輸入信號(操作步驟S420)。基于第二感測或輸入信號進行第一目標操作(操作步驟S430)。例如，當對象180接近3D圖像傳感器100時，在顯示裝置1041上顯示用于選擇菜單和/或應用程序的屏幕并且同時啟動3D操作模式和2D操作模式。此時，如圖8B和圖8D所示，可以進行第二感測以識別對象180的動作，或者如圖1IA和圖1lB所示，可以基于觸碰事件產生輸入信號。移動系統1000可以基于第二感測和輸入信號選擇或執行菜單和/或應用程序。也就是說，第一目標操作可以是3D界面操作或2D界面操作。
[0142]基于第一目標操作選擇移動系統1000的操作模式之一(操作步驟S435)。如果由于第一目標操作而需要第二感測(操作步驟S435:U3)，則選擇第二操作模式(操作步驟S440)，3D圖像傳感器100進行第二感測(操作步驟S450)并且移動系統1000基于第二感測進行第二目標操作(操作步驟S460)。如果由于第一目標操作而需要使用輸入裝置的操作(操作步驟S435:U2)，則選擇第三操作模式(操作步驟S470)，輸入裝置基于使用者的輸入產生輸入信號(操作步驟S480)并且移動系統1000基于輸入信號進行第三目標操作(操作步驟S490)。
[0143]圖13是示出根據一些示例性實施例的移動系統的平面圖。
[0144]參考圖13，移動系統1100包括3D圖像傳感器100、2D圖像傳感器200和顯示裝置1041。移動系統1100還可以包括觸摸屏幕1044、按鍵1043和1045、麥克風1047以及揚聲器 1048。
[0145]與圖1的移動系統1000相比，圖13的移動系統1100還可以包括2D圖像傳感器200。
[0146]3D圖像傳感器100安裝在移動系統1100的第一表面(例如，前表面)上。3D圖像傳感器100進行第一感測以檢測對象的接近度并且通過獲取對象的距離信息來進行第二感測以識別對象的手勢。3D圖像傳感器100可以包括具有多個深度像素的感測單元110和發射紅外線或近紅外線的光源單元140。
[0147]2D圖像傳感器200安裝在移動系統1100的第一表面上并且進行第三感測以獲取對象的彩色圖像信息。2D圖像傳感器200可以包括具有多個彩色像素的第二感測單元210。
[0148]在圖13的示例性實施例中，3D圖像傳感器100和2D圖像傳感器200可以制備成彼此獨立的兩個集成電路芯片。也就是說，移動系統1100可以包括兩個感測模塊。在這種情況下，深度像素和彩色像素可以構成彼此獨立的兩個像素陣列。
[0149]顯示裝置1041安裝在移動系統1100的第一表面上，用于顯示第一感測、第二感測和第三感測的結果。
[0150]根據一些示例性實施例的移動系統1100包括3D圖像傳感器100，該3D圖像傳感器100進行第一感測和第二感測，從而在不增加移動系統1100的尺寸的情況下，使移動系統1100可以具有動作識別功能和接近度感測功能。另外，根據操作模式選擇性地啟動包括在第一感測單元110中的全部或部分深度像素和3D圖像傳感器100的光源單元140，并且還根據操作模式選擇性地啟動2D圖像傳感器200。因此，可以降低3D圖像傳感器100、2D圖像傳感器200和移動系統1100的功耗。
[0151]同時，在不啟動2D圖像傳感器200的情況下，移動系統1100與圖1的移動系統1000基本相同。在這種情況下，可以基于上面參考圖4至圖11所述的一些示例性實施例來操作移動系統1100。
[0152]圖14是示出圖13所示移動系統的框圖。
[0153]參考圖14，移動系統1100包括應用程序處理器1010、連接單元1020、存儲裝置1030,3D圖像傳感器100、用戶接口 1040和電源1050。
[0154]與圖2的移動系統1000相比，圖14的移動系統1100還可以包括2D圖像傳感器200。
[0155]3D圖像傳感器100可以進行第一感測和第二感測，2D圖像傳感器200可以進行第三感測。例如，3D圖像傳感器100可以主要進行第一感測，并且可以基于第一感測的結果進行第二感測和第三感測中的至少一種感測。
[0156]圖15是示出包括在圖13所示移動系統1000中的2D圖像傳感器200的實例的框圖。
[0157]參考圖15，2D圖像傳感器200可以包括第二感測單元210、行驅動單元220、模數轉換(ADC)單元230、數字信號處理(DSP)單元250和控制單元260。
[0158]第二感測單元210可以將入射光(例如，可見光線)轉換為電信號。第二感測單元210可以包括多個彩色像素211。彩色像素211以像素陣列的形式排列并且提供關于對象彩色圖像的信息。例如，在彩色像素211上可以形成有紅色濾光器、綠色濾光器和藍色濾光器。在一些示例性實施例中，在彩色像素211上可以形成有黃色濾光器、青色濾光器和品紅色濾光器。
[0159]行驅動單元220與第二感測單元210的各個行連接，以產生用于驅動各個行的驅動信號。ADC單元230與第二感測單元210的各個列連接，以將從第二感測單元210輸出的模擬信號轉換為數字信號。根據一些示例性實施例，ADC單元230可以包括用于提取有效信號成分的相關雙采樣(CDS)單元。DSP單元250接收從ADC單元230輸出的數字信號以進行與數字信號有關的圖像數據處理。控制單元260可以控制行驅動單元220、ADC單元230和DSP單元250。
[0160]圖16A和圖16B是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖。圖16A和圖16B所示的圖像傳感器的操作方法可以用于操作安裝在移動系統1100中的3D圖像傳感器100和2D圖像傳感器200。3D圖像傳感器100包括多個深度像素并且進行接近度感測和動作識別。2D圖像傳感器200包括多個彩色像素并且提供彩色圖像信息。
[0161]參考圖13、圖16A和圖16B，為了操作圖像傳感器，判斷是否啟動了觸發信號(操作步驟S110)。如果沒有啟動觸發信號(操作步驟SllO:否)，則移動系統1100等待觸發信號的啟動。如果啟動了觸發信號(操作步驟Slio:是)，則啟動第一操作模式(例如，接近度感測模式)(操作步驟S115)。3D圖像傳感器100進行第一感測，以基于彼此相鄰的第一深度像素來檢測對象的接近度(操作步驟S120a)。例如，在另一使用者發送呼叫或者使用者按壓電源按鍵1043時，啟動觸發信號并且啟動第一操作模式以進行第一感測。
[0162]基于第一感測確定對象的接近度(操作步驟S130)。如果確定對象不接近3D圖像傳感器100 (操作步驟S130:否)，則3D圖像傳感器100保持進行第一感測。
[0163]如果確定對象接近3D圖像傳感器100 (操作步驟S130:是)，則啟動第二操作模式(例如，略讀模式(skim mode))(操作步驟S510)。3D圖像傳感器100基于第二深度像素(第二深度像素在構成局部陣列的同時在深度像素之中彼此相鄰)獲取關于對象距離的信息，并且進行第二感測以識別對象動作(操作步驟S520)。然后，基于第二感測進行第一目標操作(操作步驟S530)。例如，當對象接近3D圖像傳感器100時，在顯示裝置1041上顯示接聽來電呼叫或者選擇菜單和/或應用程序的屏幕，并且可以基于利用第二深度像素的第二感測來選擇或執行菜單和/或應用程序。也就是說，第一目標操作可以是3D界面操作。在第二操作模式下，可以進行比較簡單的動作識別。
[0164]在一些示例性實施例中，第二深度像素的數量可以大于第一深度像素的數量。
[0165]基于第一目標操作改變移動系統1100的操作模式(操作步驟S535)。
[0166]當由于第一目標操作的結果而需要比較復雜的動作識別時(操作步驟S535:MD),啟動第三操作模式(例如，深度模式)(操作步驟S540)。3D圖像傳感器100基于全部深度像素進行第二感測(操作步驟S545)。移動系統1100基于第二感測進行第二目標操作(操作步驟S550)。例如，當基于第一目標操作執行游戲應用程序時，可以基于與全部深度像素有關的第二感測進行游戲操縱。也就是說，第二目標操作可以是3D應用程序操作。
[0167]如果由于第一目標操作的結果而需要彩色圖像攝影(操作步驟S535:MC)，則啟動第四操作模式(例如，彩色模式)(操作步驟S560)。2D圖像傳感器200進行第三感測，以基于全部彩色像素獲取對象的彩色圖像信息(操作步驟S565)。移動系統1100基于第三感測進行第三目標操作(操作步驟S570)。例如，當基于第一目標操作執行2D照相應用程序時，可以基于第三感測進行2D彩色圖像攝影。也就是說，第三目標操作可以涉及進行2D彩色圖像攝影的操作。
[0168]在第三操作模式下只啟動全部深度像素，而在第四操作模式下只啟動全部彩色像素。因此，第三操作模式和第四操作模式可以被稱為單獨模式。
[0169]如果由于第一目標操作的結果而需要彩色3D圖像攝影(操作步驟S535 MCC), M啟動第五操作模式(例如，并行模式(concurrent mode))(操作步驟S580)。3D圖像傳感器100基于全部深度像素進行第二感測，并且同時基于全部彩色像素進行第三感測(操作步驟S585)。基于第二感測和第三感測進行第四目標操作(操作步驟S590)。例如，當基于第一目標操作執行3D照相應用程序時，可以基于第二感測和第三感測進行3D彩色圖像攝影。也就是說，第四目標操作可以涉及進行3D彩色圖像攝影的操作(例如，3D攝影操作)。
[0170]在圖16A和圖16B的示例性實施例中，如果確定對象接近3D圖像傳感器100，則啟動略讀模式，并且移動系統1100的操作模式可以基于在略讀模式下進行的3D界面操作而從略讀模式轉換為深度模式、彩色模式或并行模式。
[0171]雖然在圖16A和圖16B中沒有示出，但是當根據一些示例性實施例啟動第二操作模式時(操作步驟S510)，可以進一步啟動至少一部分彩色像素。例如，當在進行圖像通信的同時進行3D界面操作時，可以同時啟動第二深度像素和至少一部分彩色像素。2D圖像傳感器200可以基于在第二操作模式下啟動的至少一部分彩色像素來進一步進行第三感測。
[0172]圖17、圖18A、圖18B、圖18C、圖18D、圖19A、圖19B和圖20是示出圖16A和圖16B所示的圖像傳感器的操作方法的視圖。出于便于說明的目的，在圖17、圖18A、圖18B、圖18C、圖18D、圖19A、圖19B和圖20的圖像傳感器中僅示出包括多個深度像素的第一感測單元110和包括多個彩色像素的第二感測單元210。
[0173]參考圖16A和圖17，當啟動第一操作模式時(操作步驟S115)，可以啟動包括在第一感測單元Iio中的深度像素的第一深度像素113，并且不啟動光源單元140，使得不會發出光。包括在第二感測單元210中的全部彩色像素可以不啟動。因此，當進行接近度感測時，可用降低3D圖像傳感器100、2D圖像傳感器200和移動系統1100的功耗。
[0174]在圖17中，第一深度像素113排列成對應于一列深度像素。然而，根據一些示例性實施例，第一深度像素113可以排列成對應于一行深度像素或者排列成對應于一行或一列的一部分。此外，根據一些不例性實施例，如圖6C和圖6D所不,光源單兀140可以在第一操作模式下發出低亮度光。
[0175]參考圖16A和圖18A，當啟動第二操作模式時(操作步驟S510)，可以啟動包括在第一感測單元110中的深度像素的第二深度像素115，并且如圖6B所示，光源單元140可以發出高亮度光。包括在第二感測單元210中的全部彩色像素可以不啟動。因此，當進行比較簡單的動作識別時，可以降低3D圖像傳感器100、2D圖像傳感器200和移動系統1100的功耗。尤其是在圖18A的示例性實施例中可以降低第一感測單元110的功耗。
[0176]參考圖16A、圖18B和圖18C，當啟動第二操作模式時(操作步驟S510)，可以啟動包括在第一感測單元Iio中的深度像素的第二深度像素115，并且如圖6B所示，光源單元140可以發出高亮度光。此時，可以啟動包括在第二感測單元210中的彩色像素的第一彩色像素215 (對應于第二深度像素115)(參見圖18B)，或者可以啟動全部彩色像素219 (參見圖18C)。
[0177]參考圖16A和圖18D，當啟動第二操作模式時(操作步驟S510)，進行與包括在第一感測單元Iio中的深度像素有關的像元合并(binning)操作。例如，如圖18D所示，可以通過合并相鄰的四個像素(即，2X2像元合并)來形成一個像素，并且可以通過啟動全部合并后的像素117來進行第二感測。如圖6C所示，光源單元140可以發出低亮度光。包括在第二感測單元210中的全部彩色像素可以不啟動。因此，當進行比較簡單的動作識別時，可以降低3D圖像傳感器100、2D圖像傳感器200和移動系統1100的功耗。尤其是在圖18D的示例性實施例中可以降低光源單元140的功耗。
[0178]根據一些示例性實施例，可以使用硬件或軟件進行像元合并操作。
[0179]根據一些示例性實施例，當進行與包括在第一感測單元110中的深度像素有關的像元合并操作時，可以啟動包括在第二感測單元210中的全部彩色像素219或部分彩色像素(例如，圖18B的第一彩色像素215)。[0180]參考圖16B和圖19A，當啟動第三操作模式(操作步驟540)時，可以啟動包括在第一感測單元Iio中的全部深度像素119，并且如圖6B所示，光源單元140可以發出高亮度光。包括在第二感測單元210中的全部彩色像素可以不啟動。因此，可以精確地進行比較復雜的動作識別。
[0181]參考圖16B和圖19B，當啟動第四操作模式(操作步驟560)時，可以啟動包括在第二感測單元210中的全部彩色像素219。包括在第一感測單元110中的全部深度像素和光源單元140可以不啟動。因此，可以有效地進行2D彩色圖像攝影。
[0182]參考圖16B和圖20，當啟動第五操作模式(操作步驟560)時，可以啟動包括在第一感測單元110中的全部深度像素119，并且如圖6B所示，光源單元140可以發出高亮度光。可以啟動包括在第二感測單元210中的全部彩色像素219。因此，可以有效地進行3D彩色圖像攝影。
[0183]如上文所述，根據操作模式可以選擇性地啟動包括在3D圖像傳感器100中的全部或部分深度像素和/或包括在2D圖像傳感器200中的彩色像素，并且根據操作模式光源單元140選擇性地啟動或發出彼此具有不同亮度的光，從而可以降低3D圖像傳感器100、2D圖像傳感器200以及包括3D圖像傳感器100和2D圖像傳感器200的移動系統1100的功耗。
[0184]圖21A和圖21B是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖。
[0185]參考圖21A和圖21B，與圖16A和圖16B相比，可以附加地進行操作步驟S515、S555、S575和S595來操作圖像傳感器。圖21A和圖21B的操作步驟S110、S115、S120a、S130、S510、S520、S530、S540、S545、S550、S560、S565、S570、S580、S585 和 S590 分別與圖 16A 和圖 16B 的操作步驟 S110、S115、S120a、S130、S510、S520、S530、S540、S545、S550、S560、S565、S570、S580、S585和S590基本相同，所以將省略多余的描述。
[0186]在啟動第二操作模式(操作步驟S510)之后，判斷是否產生了第一完成命令(操作步驟S515)。如果沒有產生第一完成命令(操作步驟S515:否)，則3D圖像傳感器100基于第二深度像素進行第二感測(操作步驟S520)。如果產生了第一完成命令(操作步驟S515:是)，則第二操作模式完成并且再次啟動第一操作模式(操作步驟S115)。
[0187]在已經進行了第二目標操作(操作步驟S550)之后，判斷是否產生了第二完成命令(操作步驟S555)。如果沒有產生第二完成命令(操作步驟S555:否)，則移動系統等待對象的手勢。如果產生了對象的手勢，則進行第二感測(操作步驟S545)并且進行第二目標操作(操作步驟S550)，然后重復該過程。如果產生了第二完成命令(操作步驟S555:是)，則第三操作模式完成并且再次啟動第二操作模式(操作步驟S510)。
[0188]在已經進行了第三目標操作(操作步驟S570)之后，判斷是否產生了第三完成命令(操作步驟S575)。如果沒有產生第三完成命令(操作步驟S575:否)，則根據使用者的輸入進行第三感測(操作步驟S565)并且進行第三目標操作(操作步驟S570)，然后重復該過程。如果產生了第三完成命令(操作步驟S575:是)，則第四操作模式完成并且再次啟動第二操作模式(操作步驟S510)。
[0189]在已經進行了第四目標操作(操作步驟S590)之后，判斷是否產生了第四完成命令(操作步驟S595)。如果沒有產生第四完成命令(操作步驟S595:否)，則根據使用者的輸入進行第二感測和第三感測(操作步驟S585)并且進行第四目標操作(操作步驟S590)，然后重復該過程。如果產生了第四完成命令(操作步驟S595:是)，則第五操作模式完成并且再次啟動第二操作模式(操作步驟S510)。
[0190]圖22A和圖22B是示出根據一些示例性實施例的圖像傳感器的操作方法的流程圖。圖22A和圖22B所示的圖像傳感器的操作方法可以用于操作安裝在移動系統1100中的3D圖像傳感器100和2D圖像傳感器200。
[0191]參考圖13、圖22A和圖22B，為了操作圖像傳感器，判斷是否啟動了觸發信號(操作步驟S110)。如果沒有啟動觸發信號(操作步驟SllO:否)，則移動系統1100等待觸發信號的啟動。如果啟動了觸發信號(操作步驟Slio:是)，則啟動第一操作模式(例如，接近度感測模式)(操作步驟S115)，基于第一深度像素進行第一感測(操作步驟S120a)并且判斷對象的接近度(操作步驟S130)。操作步驟S110、S115、S120a和S130與圖16A所示的操作步驟 S110、S115、S120a 和 S130 基本相同。
[0192]如果確定對象接近3D圖像傳感器100 (操作步驟S130:是)，則啟動第三操作模式(例如，深度模式)(操作步驟S610)。3D圖像傳感器100基于全部深度像素進行第二感測(操作步驟S620)。移動系統1100基于第二感測進行第一目標操作(操作步驟S630)。第一目標操作可以是3D界面操作并且可以基于比較簡單的動作識別來進行3D界面操作。
[0193]可以基于第一目標操作改變或保持移動系統1100的操作模式(操作步驟S635)。
[0194]如果由于第一目標操作的結果而需要比較復雜的動作識別(操作步驟S635:MD),則保持第三操作模式(操作步驟S640)。3D圖像傳感器100基于全部深度像素進行第二感測(操作步驟S545)。移動系統1100基于第二感測進行第二目標操作(操作步驟S550)。如果由于第一目標操作的結果而需要進行彩色圖像攝影(操作步驟S635:MC)，則啟動第四操作模式(例如，彩色模式)(操作步驟S560)。2D圖像傳感器200基于全部彩色像素進行第三感測以獲取對象的彩色圖像信息(操作步驟S565)。移動系統1100基于第三感測進行第三目標操作(操作步驟S570)。如果由于第一目標操作的結果而需要進行彩色3D圖像攝影(操作步驟S635 =MCC),則啟動第五操作模式(例如，并行模式)(操作步驟S580)。3D圖像傳感器100基于全部深度像素和彩色像素同時進行第二感測和第三感測(操作步驟S585)。基于第二感測和第三感測進行第四目標操作(操作步驟S590)。操作步驟S545、S550、S560、S565、S570、S580、S585 和 S590 分別與圖 16B 的操作步驟 S545、S550、S560、S565、S570、S580、S585和S590基本相同。
[0195]在圖22A和圖22B的示例性實施例中，如果確定對象接近3D圖像傳感器100，則啟動深度模式來代替略讀模式，并且移動系統1100的操作模式可以基于在深度模式下進行的3D界面操作而保持在深度模式或者可以從深度模式轉換為彩色模式或并行模式。
[0196]雖然在圖22A和圖22B中沒有示出，但是與圖21A和圖21B的示例性實施例類似，在操作圖像傳感器時還可以增加判斷是否產生了第一至第四完成命令的操作步驟。
[0197]同時，根據一些示例性實施例，圖16A、圖16B、圖21A、圖21B、圖22A和圖22B所示的圖像傳感器的操作方法還可以用于操作包括3D圖像傳感器100和2D圖像傳感器200的移動系統1100。
[0198]圖23是示出根據一些示例性實施例的移動系統的操作方法的流程圖。圖23所示的移動系統的操作方法還可以用于操作包括3D圖像傳感器100、2D圖像傳感器200和輸入裝置的移動系統1100。
[0199]參考圖13、圖16B和圖23，為了操作移動系統，判斷是否啟動了觸發信號(操作步驟S110)。如果沒有啟動觸發信號(操作步驟SllO:否)，則移動系統1100等待觸發信號的啟動。如果啟動了觸發信號(操作步驟Slio:是)，則啟動第一操作模式(例如，接近度感測模式)(操作步驟S115)，基于第一深度像素進行第一感測(操作步驟S120a)并且判斷對象的接近度(操作步驟S130)。操作步驟S110、S115、S120a和S130與圖16A所示的操作步驟S110、S115、S120a 和 S130 基本相同。
[0200]如果確定對象接近3D圖像傳感器100 (操作步驟S130:是)，則啟動2D操作模式(操作步驟S710)。諸如觸摸屏幕1044以及按鍵1043和1045等輸入裝置基于使用者的輸入產生輸入信號(操作步驟S720)。基于輸入信號進行第一目標操作(操作步驟S730)。例如，當對象接近3D圖像傳感器100時，在顯示裝置1041上顯示用于選擇菜單和/或應用程序的屏幕，并且可以基于觸碰事件(例如，與觸摸屏幕1044接觸)產生的輸入信號來選擇或執行菜單和/或應用程序。也即是說，第一目標操作可以是2D界面操作。
[0201]可以基于第一目標操作改變移動系統1100的操作模式(操作步驟S535)。
[0202]當由于第一目標操作的結果而需要比較復雜的動作識別時(操作步驟S535:MD),保持第三操作模式(操作步驟S540)。如果由于第一目標操作的結果而需要彩色圖像攝影(操作步驟S535:MC)，則啟動第四操作模式(例如，彩色模式)(操作步驟S560)。如果由于第一目標操作的結果而需要進行彩色3D圖像攝影(操作步驟S535:MCC)，則啟動第五操作模式(例如，并行模式)(操作步驟S580)。
[0203]在圖23和圖16B的示例性實施例中，如果確定對象接近3D圖像傳感器100，則啟動2D操作模式來代替略讀模式，并且移動系統1100的操作模式可以基于在2D操作模式下進行的2D界面操作而在2D操作模式下從2D操作模式轉換為的深度模式、彩色模式或并行模式。
[0204]雖然在圖23和圖16B中沒有示出，但是與圖21A和圖21B的示例性實施例類似，在操作移動系統時還可以增加判斷是否產生了第一至第四完成命令的操作步驟。
[0205]圖24是示出根據一些示例性實施例的移動系統的平面圖。
[0206]參考圖24，移動系統1200包括圖像傳感器300和顯示裝置1041。移動系統1200還可以包括觸摸屏幕1044、按鍵1043和1045、麥克風1047以及揚聲器1048。
[0207]圖像傳感器300安裝在移動系統1200的第一表面(例如，前表面)上。圖像傳感器300進行第一感測以檢測對象的接近度、通過獲取對象的距離信息來進行第二感測以識別對象的手勢并且進行第三感測以獲取對象彩色圖像信息。圖像傳感器300可以包括具有多個深度像素的第一感測單元110、發出紅外線或近紅外線的光源單元140以及具有多個彩色像素的第二感測單元210。
[0208]在圖24的示例性實施例中，3D圖像傳感器和2D圖像傳感器可以制備成一個集成電路芯片。也就是說，移動系統1200可以包括一個感測模塊。在這種情況下，深度像素和彩色像素可以構成彼此獨立的兩個像素陣列。
[0209]顯示裝置1041安裝在移動系統1200的第一表面上，用于顯示第一感測、第二感測和第三感測的結果。
[0210]除了移動系統1200的3D圖像傳感器和2D圖像傳感器被制備成一個集成電路芯片以外，圖24的移動系統1200與圖13的移動系統1100基本相同。因此，可以基于上面參考圖16A至圖23所述的一些示例性實施例來操作移動系統1200。在不啟動第二圖像傳感器(即，第二感測單元210)的情況下，可以基于上面參考圖4圖圖11所述的一些示例性實施例來操作移動系統1200。
[0211]圖25是示出圖24所示移動系統1200的實例的框圖。
[0212]參考圖25，移動系統1200包括應用程序處理器1010、連接單元1020、存儲裝置1030、圖像傳感器300、用戶接口 1040和電源1050。
[0213]與圖14的移動系統1100相比，圖25的移動系統1200還可以包括集成3D圖像傳感器100和2D圖像傳感器200的圖像傳感器300。
[0214]圖像傳感器300可以進行第一感測、第二感測和第三感測。例如，圖像傳感器300可以主要進行第一感測，并且可以基于第一感測的結果進行第二感測和第三感測中的至少一種感測。
[0215]圖26是示出根據一些示例性實施例的移動系統的平面圖。
[0216]參考圖26，移動系統1300包括圖像傳感器400和顯示裝置1041。移動系統1300還可以包括觸摸屏幕1044、按鍵1043和1045、麥克風1047以及揚聲器1048。
[0217]圖像傳感器400安裝在移動系統1300的第一表面(例如，前表面)上。圖像傳感器400進行第一感測以檢測對象的接近度、通過獲取對象的距離信息來進行第二感測以識別對象的手勢并且進行第三感測以獲取對象彩色圖像信息。圖像傳感器400可以包括具有多個深度像素和彩色像素的感測單元410以及發出紅外線或近紅外線的光源單元440。
[0218]在圖26的示例性實施例中，3D圖像傳感器和2D圖像傳感器可以制備成一個集成電路芯片。也就是說，移動系統1300可以包括一個感測模塊。在這種情況下，深度像素和彩色像素可以構成一個像素陣列。具體地說，圖像傳感器400可以是3D彩色圖像傳感器，例如，RGBZ (紅、綠、藍和深度)傳感器。
[0219]顯示裝置1041安裝在移動系統1300的第一表面上，用于顯示第一感測、第二感測和第三感測的結果。
[0220]除了移動系統1300的3D圖像傳感器和2D圖像傳感器被制備成一個集成電路芯片并且深度像素和彩色像素構成一個像素陣列以外，圖26的移動系統1300與圖13的移動系統1100基本相同。因此，以基于上面參考圖16A至圖23所述的一些示例性實施例來操作移動系統1300。在不啟動彩色像素的情況下，可以基于上面參考圖4至圖11所述的一些示例性實施例來操作移動系統1300。
[0221]圖27是示出圖26所示移動系統的實例的框圖。
[0222]參考圖27，移動系統1300包括應用程序處理器1010、連接單元1020、存儲裝置1030、圖像傳感器400、用戶接口 1040和電源1050。
[0223]與圖14的移動系統1100相比，圖27的移動系統1300還可以包括集成3D圖像傳感器和2D圖像傳感器并且多個深度像素和彩色像素構成一個像素陣列的3D彩色圖像傳感器 400。
[0224]圖像傳感器400可以進行第一感測、第二感測和第三感測。例如，圖像傳感器400可以主要進行第一感測，并且可以基于第一感測的結果進行第二感測和第三感測中的至少一種感測。[0225]圖28是示出包括在圖27所示移動系統中的圖像傳感器的實例的框圖。圖29A和圖29B是示出包括在圖28所示圖像傳感器中的感測單元的實例的視圖。
[0226]參考圖28，圖像傳感器400可以包括感測單元410、第一行驅動單元420a、第二行驅動單元420b、第一模數轉換(ADC)單元430a、第二 ADC單元430b、光源單元440、數字信號處理(DSP)單元450和控制單元460。
[0227]光源單元440可以輸出具有所需波長(可以是預定的或不是預定的；例如，紅外線或近紅外線)的光TL。光源單元440可以根據操作模式而選擇性地啟動或者可以發出具有互不相同的亮度的光。光源單元440可以包括產生光TL的光源441和用于將光匯聚到對象180的透鏡443。
[0228]感測單元410可以通過接收從對象180反射的光RL并將光RL轉換為電信號來提供距離信息。另外，感測單元410還可以通過將入射光(例如，可見光線)轉換為電信號來提供彩色圖像信息。
[0229]感測單元410可以包括多個深度像素和彩色像素。根據一些示例性實施例，深度像素和彩色像素可以以多種數量比和尺寸比包括在感測單元410中。例如，如圖29A所示，感測單元410a可以包括深度像素41 Ia和彩色像素413a，或者如圖29B所示，感測單元410b可以包括深度像素411b和彩色像素413b。在一些示例性實施例中，在深度像素上形成有紅外線濾光器(或近紅外線濾光器)，并且在彩色像素上形成有彩色濾光器(例如，紅色濾光器、綠色濾光器和藍色濾光器)。
[0230]第一行驅動單元420a與彩色像素的各個行連接并且可以產生用于驅動彩色像素的各個行的第一驅動信號。第二行驅動單元420b與深度像素的各個行連接并且可以產生用于驅動深度像素的各個行的第二驅動信號。第一 ADC單元430a與彩色像素的各個列連接并且可以將彩色像素的各個列輸出的第一模擬信號轉換為第一數字信號。第二 ADC單元430b與深度像素的各個列連接并且可以將深度像素的各個列輸出的第二模擬信號轉換為第二數字信號。DSP單元450接收第一 ADC單元430a和第二 ADC單元430b輸出的第一數字信號和第二數字信號，以進行與第一數字信號和第二數字信號有關的圖像數據處理。控制單元460可以控制第一行驅動單元420a、第二行驅動單元420b、第一 ADC單元430a、第二ADC單元430b、光源單元440和DSP單元450。
[0231]圖30是示出在根據一些示例性實施例的移動系統中使用的接口的實例的框圖。
[0232]參考圖30，移動系統2000可以實現為使用或支持移動行業處理器接口(MIPI)的數據處理裝置(例如，便攜式電話、數字個人助理、便攜式多媒體播放器或智能電話)，并且可以包括應用程序處理器2110、圖像傳感器2140和顯示器2150。
[0233]應用程序處理器2110的相機串行接口(CSI)主機2112可以通過CSI與圖像傳感器2140的CSI設備2141進行串行通信。在一個實施例中，CSI主機2112可以包括光學去串行化器DES，CSI設備2141可以包括光學串行化器SER。應用程序處理器2110的顯示器串行接口(DSI)主機2111可以通過DSI與顯示器2150的DSI設備2151進行串行通信。在一個實施例中，DSI主機2111可以包括光學串行化器SER，DSI設備2151可以包括光學去串行化器DES。
[0234]另外，移動系統2000還可以包括可以與應用程序處理器2110進行通信的RF (射頻)芯片2160。根據MIPI DigRF，數據可以在移動系統2000的物理層(PHY) 2113與RF芯片的2160的PHY2161之間傳送。另外，應用程序處理器2110還可以包括DigRF主控機2114以便根據MIPI DigRF控制數據傳輸，RF芯片2160還可以包括由DigRF主控機2114控制的 DigRF 從機 2162。
[0235]同時，移動系統可以包括全球定位系統(GPS) 2120、存儲裝置2170、麥克風2180、動態隨機存取存儲器(DRAM) 2185和揚聲器2190。另外，移動系統2000可以使用超寬帶(UffB) 2210、無線局域網(WLAN) 2220和全球微波互聯接入(WiMAX) 2230來進行通信。移動系統2000的結構和接口僅是說明性的，并且示例性實施例不限于此。
[0236]一些示例性實施例可以應用于能夠進行接近度感測和手勢識別的3D圖像傳感器和包括該3D圖像傳感器的移動系統。例如,一些不例性實施例可以應用于諸如移動電話、智能電話、平板PC、便攜式計算機、數字個人助理(PDA)、便攜式多媒體播放器(PMP)、數字照相機、音樂播放器、便攜式游戲機和導航儀等各種終端。
[0237]應當理解，本文所述的示例性實施例應當理解為是描述性的而不是出于限制的目的。各個實施例中的特征或方面的描述通常應當理解為可用于其他實施例中的類似特征或方面。
【權利要求】
1.一種移動系統，包括: 位于所述移動系統的第一表面上的三維圖像傳感器，所述三維圖像傳感器構造成進行第一感測以檢測對象的接近度并且通過獲取對象的距離信息來進行第二感測以識別對象的手勢；以及 位于所述移動系統的第一表面上的顯示裝置，所述顯示裝置用于顯示所述第一感測和所述第二感測的結果。
2.根據權利要求1所述的移動系統，其中，基于觸發信號啟動第一操作模式以進行所述第一感測，并且 其中，當所述第一感測的結果表示對象接近所述三維圖像傳感器時選擇性地進行所述第二感測。
3.根據權利要求2所述的移動系統，還包括: 輸入裝置，其用于接收使用者的輸入； 其中，當對象接近所述三維圖像傳感器時啟動第二操作模式和第三操作模式中的至少一種操作模式，所述第二操作模式基于所述第二感測進行第一目標操作，所述第三操作模式基于由所述輸入裝置產生的輸入信號進行第二目標操作。
4.根據權利要求3所述的移動系統，其中，當對象接近所述三維圖像傳感器時啟動所述第二操作模式，并且基于所述第一目標操作而將所述移動系統的操作模式保持在所述第二操作模式或者將所述移動系統的操作模式從所述第二操作模式轉換為所述第三操作模式。
5.根據權利要求3所述的移動`系統，其中，當對象接近所述三維圖像傳感器時啟動所述第三操作模式，并且基于所述第二目標操作而將所述移動系統的操作模式保持在所述第三操作模式或者將所述移動系統的操作模式從所述第三操作模式轉換為所述第二操作模式。
6.根據權利要求3所述的移動系統，其中，當對象接近所述三維圖像傳感器時同時啟動所述第二操作模式和所述第三操作模式。
7.根據權利要求1所述的移動系統，還包括: 位于所述移動系統的第一表面上的二維圖像傳感器，所述二維圖像傳感器進行第三感測以獲取對象的彩色圖像信息。
8.根據權利要求7所述的移動系統，其中，基于觸發信號啟動第一操作模式以進行所述第一感測，并且當所述第一感測的結果表示對象接近所述三維圖像傳感器時進行所述第二感測和所述第三感測中的至少一種感測。
9.根據權利要求8所述的移動系統，其中，所述三維圖像傳感器包括多個深度像素，并且基于所述深度像素之中彼此相鄰的第一深度像素而在所述第一操作模式下進行所述第一感測。
10.根據權利要求8所述的移動系統，其中，所述三維圖像傳感器包括多個深度像素，所述二維圖像傳感器包括多個彩色像素，并且 其中，當對象接近所述三維圖像傳感器時啟動第二操作模式、第三操作模式、第四操作模式和第五操作模式中的一種操作模式，所述第二操作模式基于所述深度像素之中的在構成局部陣列的同時彼此相鄰的第一深度像素進行所述第二感測，所述第三操作模式基于所述深度像素進行所述第二感測，所述第四操作模式基于所述彩色像素進行所述第三感測，所述第五操作模式基于所述深度像素和所述彩色像素同時進行所述第二感測和所述第三感測。
11.根據權利要求10所述的移動系統，其中，當對象接近所述三維圖像傳感器時啟動所述第二操作模式，并且基于在所述第二操作模式下進行的所述第二感測的結果將所述移動系統的操作模式從所述第二操作模式轉換為所述第三操作模式至所述第五操作模式中的一種操作模式。
12.根據權利要求10所述的移動系統，其中，當對象接近所述三維圖像傳感器時啟動所述第三操作模式，并且基于在所述第三操作模式下進行的所述第二感測的結果將所述移動系統的操作模式保持在所述第三操作模式或者將所述移動系統的操作模式從所述第三操作模式轉換為所述第四操作模式和所述第五操作模式中的一種操作模式。
13.根據權利要求10所述的移動系統，其中，當啟動所述第二操作模式時，還基于所述彩色像素的一部分進行所述第三感測。
14.根據權利要求7所述的移動系統，其中，所述三維圖像傳感器和所述二維圖像傳感器是一個集成電路芯片或者是彼此獨立的兩個集成電路芯片。
15.根據權利要求7所述的移動系統，其中，所述三維圖像傳感器包括多個深度像素，所述二維圖像傳感器包括多個彩色像素，并且所述深度像素和所述彩色像素構成一個像素陣列或者構成彼此獨立的兩個像素陣列。
16.根據權利要求1所述的移動系統，其中，所述三維圖像傳感器包括光源單元，在進行所述第一感測時不啟動所述光源單元，而在進行所述第二感測時啟動所述光源單元。
17.根據權利要求1所述的移動系統，其中，所述三維圖像傳感器包括光源單元，在進行所述第一感測時所述光源單元發出低亮度光，而在進行所述第二感測時所述光源單元發出高亮度光。
18.—種三維圖像傳感器的操作方法，所述方法包括步驟: 基于觸發信號進行第一感測以檢測對象的接近度；以及 當所述第一感測的結果表示對象接近所述三維圖像傳感器時，通過獲取對象的距離信息來進行第二感測以識別對象的手勢。
19.根據權利要求18所述的操作方法，還包括步驟: 基于所述第二感測進行目標操作。
20.根據權利要求18所述的操作方法，其中，所述三維圖像傳感器包括多個深度像素，并且 其中，基于所述深度像素的一部分進行所述第一感測，并且基于全部所述深度像素進行所述第二感測。
21.—種包括多個深度像素和彩色像素的圖像傳感器的操作方法，所述方法包括步驟: 基于觸發信號進行第一感測以檢測對象的接近度；以及 當所述第一感測的結果表示對象接近所述圖像傳感器時，進行第二感測和第三感測中的至少一種感測，所述第二感測通過獲取對象的距離信息來識別對象的手勢，所述第三感測獲取對象的彩色圖像信息。
22.根據權利要求21所述的操作方法，其中，進行所述第二感測和所述第三感測中的至少一種感測的步驟包括: 基于所述深度像素之中的在構成局部陣列的同時彼此相鄰的第一深度像素進行所述第二感測； 基于所述深度像素進行所述第二感測； 基于所述彩色像素進行所述第三感測；以及 基于所述深度像素和所述彩色像素同時進行所述第二感測和所述第三感測。
23.根據權利要求22所述的操作方法，其中，進行所述第二感測和所述第三感測中的至少一種感測的步驟還包括: 基于所述第一深度像素進行所 述第二感測，基于所述第二感測的結果轉換所述圖像傳感器的操作模式。
【文檔編號】G06F3/0487GK103777750SQ201310504921
【公開日】2014年5月7日 申請日期:2013年10月23日 優先權日:2012年10月23日
【發明者】樸允童, 金元住, 陳暎究, 權東旭, 金慶溢, 金民鎬, 李起相, 李相普, 李鎮京, 崔鎮旭 申請人:三星電子株式會社