自適應數字裝置和用于數字裝置的適配器的制造方法
【專利摘要】一種數字裝置，具有圖像處理功能，并且被適配來在用戶的肩高和用戶的臀高之間的高度處被拿著并且指向場景，所述數字裝置包括：位于所述裝置的第一表面上的顯示器；圖像捕獲組件，其包括能夠位于與第二表面相鄰的透鏡，所述透鏡被適配來捕獲具有位于基本上平行于所述第一表面的軸上的中心的視場；空間姿態檢測器，用于檢測所述裝置相對于基線姿態的當前姿態；選擇器，用于根據所述基線姿態選擇所述視場的部分；失真校正器，用于校正由在所述當前姿態和所述基線姿態之間的角度差引起的所述視野的失真；以及呈現器，用于在所述顯示器上呈現由所述失真校正器校正的圖像。
【專利說明】自適應數字裝置和用于數字裝置的適配器
【技術領域】
[0001]本發明涉及便攜數字裝置的領域，并且更具體地涉及具有圖像處理功能的多功能便攜數字裝置。
【背景技術】
[0002]一些移動裝置包含允許它們用于增強(augmented)現實應用的陀螺儀、指南針、GPS能力、相機和圖像處理功能。增強現實應用是在環境的真實世界圖像上覆蓋虛擬計算機產生的圖像的應用。在一個示例中，在這樣的裝置中的相機可能指向具有歷史意義的建筑物。該裝置可以使用GPS和其他數據來識別該建筑物，并且然后可以尋找與該建筑物相關的歷史數據，并且將該數據顯示為在該裝置的顯示屏幕上顯示的圖像的底部上覆蓋的文本。增強現實可以因此豐富用戶觀看建筑物的體驗。
[0003]增強現實應用依賴于用戶將移動裝置的相機指向感興趣的區域，經常瞄準水平線(horizon),以便將有益的計算機產生的圖像布置在顯示的圖像之上。通常，移動裝置在裝置的背面(與承載顯示器的側相對的一側)使用相機，因此要求用戶在他們面前在大約眼睛高度垂直地拿著該裝置。這感覺很不自然，并且當在行走時特別難以進行。因為許多增強現實應用意欲作為用戶在觀看例如在街道上的建筑物的建筑特色的同時在行走通過的場景的指南，所以該限制相當苛刻。
[0004]本 申請人:因此相信，期望通過向數字裝置提供改善的成像功能以使得它們更適于用于例如增強現實應用來緩解現有技術的缺點。
【發明內容】
[0005]本發明因此在第一方面提供了一種數字裝置，所述數字裝置具有圖像處理功能，并且被適配來在用戶的肩高和用戶的臀高之間的高度處被拿著，并且指向場景，所述數字裝置包括:位于所述裝置的第一表面上的顯示器；圖像捕獲組件，其包括可位于與所述裝置的第二表面相鄰的透鏡，所述透鏡被適配來捕獲具有所述場景的位于基本上平行于所述第一表面的軸上的中心的視場；空間姿態(attitude)檢測器，用于檢測所述裝置相對于基線姿態的當前姿態；選擇器，用于選擇所述視場的與根據所述基線姿態的視野(view)對應的部分；失真校正器，用于校正通過在所述當前姿態和所述基線姿態之間的角度差引起的所述視野的圖像失真；以及呈現器，用于在所述顯示器上呈現由所述失真校正器校正的圖像。
[0006]優選的是，所述數字裝置被適配為手持。所述數字裝置還可以包括增強器，用于提供增強現實數據以顯示在所述顯示器上。
[0007]優選的是，所述軸基本上平行于所述基線姿態。優選的是，所述透鏡是用于捕獲視場的不對稱透鏡，所述視場在所述視場的平面的第一軸中比在所述平面的第二軸中具有場的更大維度(dimension)。優選的是，所述視場的所述更大維度在所述裝置的通常使用中是
垂直維度。[0008]優選的是，所述選擇器相對于所述更大垂直維度而選擇所述視場的所述部分。所述數字裝置還可以包括適配器，所述適配器能夠位于具有位于第三表面上的第二透鏡的數字裝置上，所述適配器配備了光導部件，用于將所述圖像從能夠位于與所述第二表面相鄰的所述透鏡傳導到位于所述第三表面上的所述第二透鏡。
[0009]在第二方面，提供了一種用于操作數字裝置的方法，所述數字裝置具有第一表面、第二表面和圖像處理功能，并且被適配來被拿在在用戶的肩高和用戶的臀高之間的高度處并且指向場景，所述方法包括步驟:通過包括能夠位于與所述裝置的所述第二表面相鄰的透鏡的圖像捕獲組件來捕獲所述場景的視場，所述場景的所述視場具有位于基本上平行于所述第一表面的軸上的中心；通過空間姿態檢測器來檢測所述裝置相對于基線姿態的當前姿態；通過選擇器選擇所述視場的與根據所述基線姿態的視野對應的部分；通過失真校正器來校正由在所述當前姿態和所述基線姿態之間的角度差引起的所述視場的所述部分的圖像失真；并且，通過呈現器來在位于所述裝置的所述第一表面上的顯示器上呈現由所述失真校正器校正的圖像。
[0010]優選的是，所述數字裝置被適配為手持。所述方法還可以包括步驟:通過增強器來提供增強現實數據以顯示在所述顯示器上。
[0011]優選的是，所述軸基本上平行于所述基線姿態。所述方法還可以包括步驟:通過不對稱透鏡來捕獲視場，所述視場在所述視場的平面的第一軸中比在所述平面的第二軸中具有場的更大維度。優選的是，所述視場的所述更大維度在所述裝置的通常使用中是垂直維度。所述方法還可以包括步驟:所述選擇器相對于所述更大垂直維度而選擇所述視場的所述部分。
[0012]所述方法還可以包括:提供適配器，所述適配器能夠位于具有位于第三表面上的第二透鏡的數字裝置上，所述適配器配備了光導部件，用于將所述圖像從能夠位于與所述第二表面相鄰的所述透鏡傳導到位于所述第三表面上的所述第二透鏡。
[0013]在第三方面中，提供了一種計算機程序，所述計算機程序包括計算機程序代碼，所述計算機程序代碼當被加載到計算機系統中并且在其上執行時使得所述計算機系統執行根據第二方面的方法的步驟。
[0014]本發明的優選實施例因此有益地提供了手持數字裝置，該手持數字裝置具有改善的成像功能以使得它們更適于用于增強現實和其他應用。
【專利附圖】
【附圖說明】
[0015]現在將參考附圖僅通過示例來描述本發明的優選實施例，在附圖中:
[0016]圖1A示出根據本發明的實施例的設備；
[0017]圖1B以簡化形式示出本發明的實施例的姿態細節；
[0018]圖1C以簡化的示意形式示出本發明的實施例的組件細節；
[0019]圖2以流程圖形式示出根據本發明的實施例的設備的操作方法；并且
[0020]圖3示出根據本發明的一個替代實施例的設備。
【具體實施方式】
[0021]本發明尋求通過下述方式來解決現有技術的問題:允許用戶在將感興趣的區域的視野正確地顯示在多功能裝置上的同時更自然地拿著該裝置，因此使得該裝置更適于用于增強現實和其他應用。
[0022]轉向一起獲得的圖1A、1B和1C，示出手持數字裝置100，其具有圖像處理功能，并且被適配來拿在用戶的肩高和用戶的臀高之間的高度處并且指向場景。裝置100包括位于裝置100的第一表面104上的顯示器102。圖像捕獲組件106包括能夠位于與裝置100的第二表面110相鄰的透鏡108，該透鏡被適配來捕獲該場景的具有位于基本上平行于第一表面104的軸112上的中心的視場。裝置100也包括空間姿態檢測器114，用于檢測裝置相對于基線姿態120的當前姿態116、118。空間姿態檢測器可以在一個實施例中可操作來使用陀螺輸入信息來確定裝置相對于基線姿態120的當前姿態116、118。如將對于本領域內的技術人員清楚的，手持裝置的圖像捕獲元件易于因為在操作人員的物理控制中固有的誤差的容限而相對于感興趣的場景“未對準”。因此，裝置相對于基線姿態120的當前姿態116、118可能展示出從關于對準的理想狀態的相當大的變化。裝置100因此另外配備了選擇器122，用于選擇視場的與根據基線姿態120的視野對應——即，與感興趣的場景的基本上完全對準的視野對應——的部分。然而，當如此進行時，所選擇的視野通常展示出由在基線姿態120和裝置的當前姿態116、118之間的相差(discr印ancy)引起的某種失真。
[0023]裝置100因此進一步配備有失真校正器124，用于校正由在當前姿態116、118和基線姿態120之間的角度差126、128引起的該視場的該部分的圖像失真。然后，可以通過增強器132利用增強現實數據來增強由失真校正器124輸出的經校正的圖像。然后，將利用了可選的增強現實數據的、從失真校正器124輸出的圖像傳遞到呈現器130以在顯示器120上呈現。
[0024]如將對于本領域內的普通技術人員清楚的，因此使得裝置100更適于用于增強現實和其他應用，而沒有由于需要將裝置拿在眼睛高度或接近眼睛高度而引起的不舒適和不方便。在本發明的優選實施例中，用戶可以在大約例如腰和肩高之間的高度位置攜帶該裝置，將端部安裝的相機透鏡108指向感興趣的場景，同時通過在略向下的方向上一瞥來具有顯示器102屏幕的清楚視野。這使得有可能安全地行走，保持對于周圍的了解，同時具有在顯示器102上觀看增強現實的優點。通過失真校正器124補償裝置100相對于感興趣的場景的幾乎不可避免的略微傾斜。
[0025]位于裝置的端部的鏡頭在一個可能的實施例中可以是可用于捕獲垂直方向上長、但在寬度上窄的環境視野的專業鏡頭。由裝置捕獲的圖像的寬度足以被完全顯示在裝置的顯示器上。在示例性實施例中，所捕獲的圖像的高度可以因此大于可在顯示器平面上容納的高度，并且該圖像包含在概念性的圖像水平線之上和/或之下許多度(可能大約45)的環境視野。
[0026]使用裝置的陀螺儀，在優選的示例性實施例中，為了確定裝置100相對于基線姿態120的當前姿態116、118，在顯示器102上顯示所捕獲的圖像的選擇，由此保證諸如水平線的感興趣的點總是被顯示在顯示器102屏幕的中心，而與用戶如何拿著裝置100(在所捕獲的圖像的限制內)無關。
[0027]移動裝置上的相機捕獲環境的活動圖像。根據拿著裝置的角度，在移動裝置的顯示器上僅顯示該圖像的選擇的部分。如果裝置相對于基線——例如，相對于水平線——的角度減小，則所捕獲的圖像的較高部分出現在裝置的顯示器上。如果相對于水平線的角度增大，則所捕獲的圖像的較低部分出現在裝置的顯示器上。在每種情況下，對于相對于在基線處看到的視野的失真而調整圖像。這意味著與拿著裝置的角度無關，在鏡頭的限制內，圖像在裝置上的垂直方面保持相同。例如，如果用戶在掃描真實世界水平線，則將裝置從一側向另一側移動使得圖像象正常那樣從一側向另一側移動。
[0028]本發明因此適用于使得用戶能夠在觀看感興趣的場景的不失真的圖像的同時在舒適的位置中拿著裝置，該圖像適合于增加增強現實信息。
[0029]將對于本領域內的普通技術人員清楚的是，本發明的優選實施例的方法的至少部分可以適當地和有益地被體現在包括被布置來執行所述方法的步驟的邏輯元件的一個邏輯設備或多個邏輯設備中，并且這樣的邏輯元件可以包括硬件組件、固件組件或其組合。
[0030]將對于本領域內的普通技術人員同樣清楚的是，根據本發明的優選實施例的邏輯布置的全部或部分可以被適當地體現在包括用以執行方法的步驟的邏輯元件的邏輯設備中，并且這樣的邏輯元件可以包括例如可編程邏輯陣列或專用集成電路中的諸如邏輯門的組件。這樣的邏輯布置可以進一步被體現在使能元件中，該使能元件用于使用例如虛擬硬件描述語言來暫時或永久地在這樣的陣列或電路中建立邏輯結構，該虛擬硬件描述語言可以使用固定或可傳輸載體介質被存儲和被傳輸。
[0031]可以明白，也可以在運行在一個或多個處理器(在附圖中未示出)上的軟件中完全地或部分地適當執行如上所述的方法和布置，并且，可以以在諸如磁或光盤等的任何適當數據載體(在附圖中也未示出)上承載的一個或多個計算機程序元素的形式來提供軟件。用于數據的傳輸的信道同樣可以包括所有說明的存儲介質以及信號承載介質，諸如有線或無線信號承載介質。
[0032]轉向圖2，以流程圖形式示出根據本發明的實施例的設備的操作方法。應當在明白圖1A、B和C的描述的情況下閱讀圖2。
[0033]更具體地，在圖2中示出操作手持多功能數字裝置100的方法，該數字裝置100具有圖像處理功能和第一表面104與第二表面110。裝置100被適配來被拿在用戶的肩高和用戶的臀高之間的高度處，并且指向場景。
[0034]操作裝置100的方法包括:在開始步驟200后，通過包括能夠位于裝置的第二表面110上的透鏡108的圖像捕獲組件106來捕獲202場景的視場，該場景的視場具有位于基本上平行于第二表面的軸112上的中心。特殊姿態檢測器檢測204裝置相對于基線姿態的當前姿態。選擇器然后選擇該視場的與根據基線姿態的視野對應的部分。失真校正器124在步驟208校正由在當前姿態和基線姿態之間的角度差引起的該視場的該部分的任何圖像失真。然后可以在可選步驟210處利用增強現實數據來增強經校正的圖像。呈現器130然后在步驟212處在位于裝置100的第一表面104上的顯示器102上呈現由失真校正器124校正的圖像。
[0035]方法一般被設想為導致期望結果的自相一致的步驟序列。這些步驟要求物理量的物理操縱。通常，雖然不必，但是這些量采用能夠被存儲、傳送、組合、比較并且否則操縱的電或磁信號的形式。有時方便的是，主要因為通常使用的原因，將這些信號引用為比特、值、參數、項目、元素、對象、符號、字符、項、數量等。然而，應當注意，所有這些術語和類似術語與適當的物理量相關聯，并且僅是被應用到這些量的方便的標簽。
[0036]本發明可以進一步適當地被部分體現為用于計算機系統的計算機程序產品。這樣的實現方式可以包括一系列計算機可讀指令，其或者被固定在諸如計算機可讀介質(例如，盤、CD-ROM、ROM或硬盤)的有形介質上、或者經由調制解調器或其他接口裝置通過有形介質或無形地使用無線技術而能夠被傳輸到計算機系統，該有形介質包括但不限于光學或模擬通信線路，該無線技術包括但不限于微波、紅外線或其他傳輸技術。該系列計算機可讀指令包含此前所述的功能的全部或部分。
[0037]本領域內的技術人員可以明白，可以以用于許多計算機架構或操作系統的多種編程語言來編寫這樣的計算機可讀指令。而且，可以使用當前或未來的任何存儲器技術來存儲這樣的指令，該存儲器技術包括但不限于半導體、磁或光，或者可以使用當前或未來的任何通信技術來傳輸這樣的指令，該通信技術包括但不限于光、紅外線和微波。可以預期的是，這樣的計算機程序產品可以被分發為具有伴隨的印刷或電子文檔的可移除介質(諸如收縮包裝軟件)，被預加載計算機系統(例如在系統ROM或固定盤上)，或者通過諸如因特網或萬維網的網絡從服務器或電子布告板被分發。
[0038]在一種替代方式中，如圖3中所示，可以以能夠位于已經具有位于第三表面304上的內置第二透鏡的數字裝置100上的適配器300的形式來實現本發明的實施例，適配器300配備了光導部件302，用于將圖像從能夠位于與第二表面110相鄰的透鏡108傳導到位于第三表面304上的第二透鏡。以這種方式，使其內置的透鏡位于與顯示器表面相對的表面上的、諸如相機電話的示例性傳統手持裝置可以被方便地適配來根據本發明的優選實施例作用。對于本領域內的普通技術人員足夠清楚的是，光導部件可以包括例如可以從能夠位于與第二表面110相鄰的透鏡108向位于第三表面304上的第二透鏡傳導光的透鏡、棱鏡和光纖的任何適當的布置。
[0039]對于本領域內的技術人員清楚的是，在不偏離本發明的范圍的情況下，可以對上述示例性實施例進行許多改善和修改。
【權利要求】
1.一種數字裝置，具有圖像處理功能，并且被適配來在用戶的肩高和用戶的臀高之間的高度處被拿著并且指向場景，所述數字裝置包括: 位于所述裝置的第一表面上的顯示器； 圖像捕獲組件，其包括能夠位于與所述裝置的第二表面相鄰的透鏡，所述透鏡被適配來捕獲所述場景的具有位于基本上平行于所述第一表面的軸上的中心的視場； 空間姿態檢測器，用于檢測所述裝置相對于基線姿態的當前姿態； 選擇器，用于選擇所述視場的與根據所述基線姿態的視野對應的部分； 失真校正器，用于校正由在所述當前姿態和所述基線姿態之間的角度差引起的所述視野的圖像失真；以及， 呈現器，用于在所述顯示器上呈現由所述失真校正器校正的圖像。
2.根據權利要求1所述的數字裝置，其中，所述數字裝置被適配為手持。
3.根據權利要求1或權利要求2所述的數字裝置，還包括增強器，用于提供增強現實數據以顯示在所述顯示器上。
4.根據任何在前的權利要求所述的數字裝置，其中，所述軸基本上平行于所述基線姿態。
5.根據任何在前的權利要求所述的數字裝置，其中，所述透鏡是用于捕獲視場的不對稱透鏡，所述視場在所述視場的平面的第一軸中比在所述平面的第二軸中具有場的更大維 度。
6.根據權利要求5所述的數字裝置，其中，所述視場的所述更大維度在所述裝置的通常使用中是垂直維度。
7.根據權利要求6所述的數字裝置，其中，所述選擇器相對于所述更大垂直維度而選擇所述視場的所述部分。
8.根據任何在前的權利要求所述的數字裝置，還包括適配器，所述適配器能夠位于具有位于第三表面上的第二透鏡的數字裝置上，所述適配器配備了光導部件，用于將所述圖像從能夠位于與所述第二表面相鄰的所述透鏡傳導到位于所述第三表面上的所述第二透鏡。
9.一種用于操作數字裝置的方法，所述數字裝置具有第一表面、第二表面和圖像處理功能，并且被適配來被拿在用戶的肩高和用戶的臀高之間的高度處并且指向場景，所述方法包括步驟: 通過包括能夠位于與所述裝置的所述第二表面相鄰的透鏡的圖像捕獲組件來捕獲所述場景的視場，所述場景的所述視場具有位于基本上平行于所述第一表面的軸上的中心；通過空間姿態檢測器來檢測所述裝置相對于基線姿態的當前姿態； 通過選擇器來選擇所述視場的與根據所述基線姿態的視野對應的部分； 通過失真校正器來校正由在所述當前姿態和所述基線姿態之間的角度差引起的所述視場的所述部分的圖像失真；并且， 通過呈現器來在位于所述裝置的所述第一表面上的顯示器上呈現由所述失真校正器校正的圖像。
10.根據權利要求9所述的方法，其中，所述數字裝置被適配為手持。
11.根據權利要求9或權利要求10所述的方法，還包括步驟:通過增強器來提供增強現實數據以顯示在所述顯示器上。
12.根據權利要求9至11的任何一項所述的方法，其中，所述軸基本上平行于所述基線姿態。
13.根據權利要求9至11的任何一項所述的方法，還包括步驟:通過不對稱透鏡來捕獲視場，所述視場在所述視場的平面的第一軸中比在所述平面的第二軸中具有場的更大維度。
14.根據權利要求13所述的方法，其中，所述視場的所述更大維度在所述裝置的通常使用中是垂直維度。
15.根據權利要求14所述的方法，還包括步驟:所述選擇器相對于所述更大垂直維度而選擇所述視場的所述部分。
16.根據權利要求9至15的任何一項所述的方法，還包括:提供適配器，所述適配器能夠位于具有位于第三表面上的第二透鏡的數字裝置上，所述適配器配備了光導部件，用于將所述圖像從能夠位于與所述第二表面相鄰的所述透鏡傳導到位于所述第三表面上的所述第二透鏡。
17.一種計算機程序，所述計算機程序包括存儲在計算機可讀介質上的計算機程序代碼，所述計算機程序代碼當被加載到計算機系統中并且在其上執行時使得所述計算機系統執行根據權利要求9至16的任何一`項所述的方法的所有步驟。
【文檔編號】H04N5/232GK103563352SQ201280026702
【公開日】2014年2月5日 申請日期:2012年5月22日 優先權日:2011年6月10日
【發明者】S.J.哈斯基, L.W.帕特里奇, W-A.哈斯基 申請人:國際商業機器公司