用于成像系統的方法和設備與流程

相關專利申請的交叉引用

本申請要求2016年2月23日提交的美國臨時專利申請序列號62/298,656的權益，并將該申請的公開內容全文以引用方式并入本文。然而，當本公開與任何引用的專利申請沖突時，本公開應當被賦予優先權。

背景技術：

準確估計相機相對于特定參照物(諸如支承該相機的車輛)的取向有利于多種圖像處理和計算機視覺功能。此類功能包括但不限于視圖合成(例如，使用單個倒車相機來從不同視角生成圖像、拼接來自環視相機的圖像以形成全景圖像，等等)、對象檢測(例如，檢測車道、檢測道路上的障礙物，等等)和三維(3d)重建(例如，使用來自一對相機的立體匹配或來自單個相機運動的結構來恢復某場景的3d結構)，上述功能都是先進駕駛輔助系統(adas)中常見的組成部分。相機的取向可使用幾種可互換的表示來體現，包括但不限于歐拉角表示(即，遵循預定旋轉次序的俯仰角、橫擺角和側傾角)、旋轉矩陣表示、四元數表示和軸角表示。

傳統的相機取向估計方法利用專門設計的圖案(諸如網格圖案)、以及既耗時又容易出錯的技術。另外，如果相機的位置改變(諸如當支承該相機的車輛發生意外時)，必須采用特殊的設備和過程重新校準相機，以重新估計相機取向。

在相機上安裝慣性測量單元(imu)具有有限的適用性，這是因為消費級imu的精確度和耐用性都下降，而更高級imu的成本過高。

在不使用專門設計的圖案的情況下自動地估計相機取向的其他解決方案通常采用傳統的特征檢測器和特征匹配器，這些特征檢測器和特征匹配器要么直接使用局部圖像塊，要么依賴從那些圖像塊提取的高維特征向量來描述和匹配特征。這些特征檢測器和特征匹配器通常需要使用幀緩沖器來保存圖像，這不但消耗大量電力，還顯著增大了設計成本。采用嚴重依賴線性系統解算器的模型擬合方法的技術同樣需要更多的存儲空間和電力，這導致校準系統的成本升高。只估計一個或兩個旋轉角的技術通常假設其余的旋轉角是已知的并保持不變。這種假設限制了此類技術的適用性。

考慮到現有的校準方法存在種種限制，imu也存在多種局限，因此期望開發出一種能夠在不使用專門設計的圖案的情況下自動地估計相機取向的低成本低功耗校準方法。這種能力在本文中稱為自校準。

附圖說明

當結合以下示例性附圖考慮時，可通過參照具體實施方式而得到對本發明技術的更完整的理解。在以下附圖中，通篇以類似附圖標記指代各附圖當中的類似元件和步驟。

圖1代表性地示出了根據本發明技術的示例性實施方案的自校準系統的框圖；

圖2代表性地示出了根據本發明技術的示例性實施方案的自校準系統的一部分的框圖；

圖3代表性地示出了根據本發明技術的示例性實施方案的自校準系統的一部分的框圖；

圖4a至圖4j代表性地示出了由根據本發明技術的示例性實施方案的自校準系統使用的相機幀；

圖5a至圖5c根據本發明技術的示例性實施方案相對于車輛坐標系代表性地示出了相機坐標系；

圖6代表性地示出了根據本發明技術的示例性實施方案的自校準相機系統；

圖7示出了根據本發明技術的示例性實施方案的利用自校準方法的過程。

具體實施方式

本發明技術可在功能塊組件和各種加工步驟方面進行描述。這樣的功能塊可通過被構造成執行指定功能并且實現各種結果的任何數量的組件實現。例如，本發明的技術可采用可實施多種功能的各種成像傳感器、圖像處理單元、計算、算法、模型擬合技術、數據劃分，等等。此外，本發明的技術可結合任意數量的系統(諸如汽車系統和航空系統)實施，所述的這些系統僅為該技術的示例性應用。另外，本發明的技術可采用任意數量的傳統技術，來檢測角點、測量距離、計算角度等。

根據本發明技術的各方面的用于成像系統的方法和設備可與任一種合適的成像系統(諸如位于車輛上的相機)配合使用。現在參見圖1和圖6，在本發明技術的示例性實施方案中，用于成像系統600的方法和設備可與包括圖像傳感器665、圖像處理單元145和外圍系統650的自校準成像系統配合使用，并且可實施自校準方法100。圖像處理單元145可檢測從圖像傳感器665接收的像素數據105中的特征110、匹配檢測到的特征115、使用匹配特征執行取向估計120、并執行對估計取向130的驗證。在各種實施方案中，諸如車輛速度和相機高度之類的補充信息705(圖7)也可被成像系統600使用，并被合并到方法100中。

在示例性實施方案中，圖像處理單元145可利用來自圖像傳感器665的像素數據105，該圖像傳感器包含像素陣列，其中像素450(圖4a)被布置成行和列。圖像處理單元145可利用例如來自圖像傳感器665的第一圖像幀405(圖4a)和第二圖像幀410(圖4b)的像素數據105。在另一個實施方案中，在有兩個以上圖像幀400可用的情況下，可利用兩個以上圖像幀400的像素數據105。

在各種實施方案中，圖像處理單元145可包括校準單元165，該校準單元被配置為執行各種圖像處理技術并利用算法確定相機565相對于參考坐標系505(圖5)的取向。校準單元165可執行特征檢測110、特征匹配115、取向估計120和取向驗證130，以確定相機取向。

在各種實施方案中，圖像處理單元145和校準單元165可使用可編程邏輯裝置實施，該可編程邏輯裝置諸如是現場可編程門陣列(fpga)或具有可重新配置的數字電路的任何其他裝置。在其他實施方案中，圖像處理單元145和校準單元165可使用不可編程裝置在硬件中實施。在可供選擇的實施方案中，圖像處理單元145和校準單元165可使用任何合適的互補金屬氧化物半導體(cmos)技術或制造工藝部分或完全地形成于硅集成電路內、形成于asic內、使用處理器和存儲系統形成，也可采用其他合適的實施方式形成。

校準單元165可對圖像數據諸如來自第一圖像幀405和第二圖像幀410(圖4a至圖4b)中每一者的數據執行特征檢測110。在本發明的示例性實施方案中，特征檢測110可包括檢測第一圖像幀405和第二圖像幀410中每一者內的至少兩個特征。在各種實施方案中，校準單元165最初可檢測多個特征，例如10個以上特征。一旦檢測到特征，校準單元165就可提供圖像處理技術，來丟棄無效特征并保留有效特征以供進一步圖像處理。

然而，校準單元165可能會確定沒有足夠的信息來繼續進行特征匹配115，諸如從當前的圖像幀400的像素數據105檢測到的特征少于兩個，在這種情況下，校準單元165可使用新圖像幀400的像素數據105來發起新一輪的特征檢測110。在各種實施方案中，校準單元165可以不對屬于完整圖像幀400的像素數據105執行特征檢測110，而對屬于圖像幀400的一部分的像素數據105執行特征檢測110。例如，校準單元165可以跳過屬于圖像幀400的頂部處的多個行的像素數據105。

參見圖2，由校準單元165執行的特征檢測110可包括利用角點檢測方法(諸如哈里斯角點檢測器和加速分段測試特征(fast)檢測器，或任何其他合適的角點檢測方法)來檢測候選角點集合210。在示例性實施方案中，校準單元165可以對通常會遇到的影像(諸如包含形成角點的所成像道路區域中亮度變化或色彩變化的圖像)執行特征檢測110，并且可以不需要使用專門設計的目標(諸如特定的路面標志、重復的紋理或對稱的虛線車道標記)。例如，校準單元165可從拼接的表面、新修補的道路區域、陰影和/或具有角點的任何道路標記(諸如指示人行道的線條、中央車道標記、減速帶標記、轉向車道標記，等等)檢測角點。

在各種實施方案中，校準單元165可為每個圖像幀400(圖4a至圖4b)生成候選角點集合230。候選角點集合230可包括多個檢測到的特征，諸如多個候選角點。例如，圖4c和圖4d分別示出了第一圖像幀405和第二圖像幀410，其中第一圖像幀405包括一組檢測到的特征420a-j(即，候選角點集合230)，第二圖像幀410包括一組檢測到的特征420a’-i’、420k’(即，候選角點集合230)。

一旦已生成候選角點集合230，校準單元165就可對形成每個候選角點230的像素數據105以及每個候選角點230周圍的像素數據105提供額外的處理。例如，針對候選角點集合230中的每個候選角點，校準單元165可執行關聯邊取向估計215，這就確定與候選角點230關聯的邊的取向，從而將有效角點235與無效角點區分開并丟棄無效角點。在候選角點230變得可用時，或在候選角點集合230的一部分或全部變得可用時，可對每個候選角點230執行這種額外的處理。

在示例性實施方案中，針對每個候選角點230，校準單元165可確定關聯邊的取向215。校準單元165可例如通過至少兩個不同方向(這些方向中的兩個可相互正交)上計算出的梯度，來計算形成候選角點230的像素和/或候選角點230附近的像素的邊取向。校準單元165可利用所述邊取向來計算一組主要邊取向。例如，校準單元165可通過組合邊取向直方圖，接著選擇該直方圖中的主峰，來計算這組主要邊取向。接下來，校準單元165例如通過確定沿源自角點的兩個邊取向中的每個邊取向的像素450(圖4a)的數量并確定跨一個邊的強度/色彩過渡與跨另一個邊的強度/色彩過渡之間的一致性，來測試這組主要邊取向中的每一對的有效性。

參見圖4e至圖4f，在各種實施方案中，被確定為包括至少一對有效的主要邊取向的候選角點230(圖2)可被定義為有效角點235。校準單元165可為每個圖像幀400生成有效角點集合235，該有效角點集合包括多個有效角點(即，有效特征420、420’)。例如，圖4e和圖4f示出了第一圖像幀405和第二圖像幀410，其中第一圖像幀405包括一組有效特征420b、420d-j(即，有效角點集合235)，第二圖像幀410包括一組有效特征420b’-d’、420f’-i’、420k’(即，有效角點集合235)。

再次參見圖2，針對每個有效角點(即，有效特征420、420’)，校準單元165可執行角點描述符生成220，借助該操作可生成角點描述符240，該角點描述符包含與有效角點的性質有關的信息，諸如位置、取向、對向角和對比度，其中，對比度是相對于角點內的像素與角點外的像素之間的強度/色彩過渡來限定的。在其他實施方案中，角點描述符240還可包含與有效角點的鄰域有關的信息，諸如相鄰角點的索引列表，其中鄰域可依據預定的距離量度來限定。預定的距離量度可為空間距離量度、光譜距離量度、組合的空間與光譜距離量度，等等。有效角點在其角點描述符240中的鄰域信息可在圖像幀400的有效角點集合235變得可用時或在執行鄰域匹配315(下文將說明，圖3)之前生成。在示例性實施方案中，方法100可以不需要將完整的圖像幀400、縮減的幀或擴增的幀存儲在存儲單元625(圖6)中以執行特征檢測110。例如，校準單元165可將屬于圖像幀400的一部分的像素數據105傳輸到存儲單元625，使得當執行特征檢測110時，可以在不使用幀緩沖器的情況下存儲像素數據105。在各種實施方案中，校準單元165在執行特征匹配115之前矯正有效特征420、420’，以將透鏡畸變考慮進去。例如，可將有效特征420、420’的位置矯正到未畸變的圖像坐標。也可將有效特征420、420’的對向角和取向矯正到未畸變的圖像坐標。

校正單元165可以在第一圖像幀405與第二圖像幀410之間執行特征匹配115。特征匹配115可包括將第一圖像幀405的有效特征(例如420b、420d-j)與第二圖像幀410的有效特征(例如420b’-d’、420f’-i’、420k’)進行比較，識別具有類似性質的有效特征對，其中，每對有效特征包括來自第一圖像幀405的一個有效特征420和來自第二圖像幀410的對應有效特征420’。一對具有類似性質的有效特征在下文中稱為一對匹配特征455。在示例性實施方案中，有效特征可為有效角點，但其他實施方案可檢測除角點外的特征。

在示例性實施方案中，特征匹配115可包括將來自第一圖像幀405的每個有效角點與來自第二圖像幀410的每個有效角點進行比較。一對具有類似性質的有效角點可被確定為一對匹配特征455。在示例性實施方案中，現在參見圖3，特征匹配115可包括用來形成候選匹配特征集合325的單特征匹配305和用來形成最終匹配特征集合330的鄰域匹配315。單特征匹配305可包括基于每個有效特征的各個性質(諸如位置、取向、對向角和對比度)來匹配有效特征420、420’。例如，參見圖4g至圖4h，可將第一圖像幀405的有效特征420與第二圖像幀410的有效特征420’進行比較，隨后可確定匹配特征對455(1)-(7)。相反地，下文將描述的鄰域匹配315可包括基于每個有效特征的鄰域性質來匹配有效特征420、420’。

第一圖像幀405的有效特征420與第二圖像幀410的有效特征420’可以匹配、也可以不匹配。例如，如展現圖4e的特征和圖4f的特征的疊加的圖4g所示，第一圖像幀405的有效特征420b和第二圖像幀410的有效特征420b’可能被確定為一對匹配特征455(2)，原因是這兩者具有類似的性質；然而，第一圖像幀405的有效特征420i和第二圖像幀410的有效特征420b’可能不被確定為一對匹配特征，原因是這兩者具有不同的性質。

在各種實施方案中，校準單元165可能會確定沒有足夠的信息來繼續執行取向估計120，諸如確定匹配特征455少于兩對，在這種情況下，校準單元165可使用新圖像幀400的像素數據105來發起新一輪的特征檢測110。

成對匹配特征455可被包含在候選匹配特征集合325中。成對匹配特征455也可被包含在最終匹配特征集合330中。

針對候選匹配特征集合325中的每對匹配特征455(1)-(7)，校準單元165可執行鄰域匹配315。鄰域匹配315可包括針對候選匹配特征集合325中的每對匹配特征，基于候選匹配特征集合325和鄰域拓撲結構來確定它們是否彼此鄰域匹配315。對于候選匹配特征集合325內的每對匹配特征中的每個有效特征420、420’，其鄰域的拓撲結構可由該特征的描述符240及其相鄰特征的描述符240確定。在示例性實施方案中，對于候選匹配特征集合325內的每對匹配特征中的每個有效特征420、420’，其鄰域的拓撲結構可為空間拓撲結構，該空間拓撲結構表示了每個相鄰特征相對于該特征的相對位置。候選集合325中的還具有匹配鄰域的每對匹配特征455被包含在最終匹配特征集合330中。

如果兩個鄰域有至少一對特征處于候選匹配特征集合325中，并且如果至少一對特征具有類似的鄰域拓撲結構，則這兩個鄰域可被確定為匹配鄰域。匹配特征對455(1)-(7)可能并非都包含在最終匹配特征集合330中。例如，僅匹配特征對455的子集可被包含在最終匹配特征集合330中。例如，如展現來自兩個圖像幀的疊加特征的圖4h所示，最終匹配特征集合330可僅包含有效特征420i、420i’、420f、420f’、420g、420g’。

針對最終匹配特征集合330內的每對匹配特征455(1)-(7)，校準單元165可生成匹配描述符320，使得每對匹配特征455(1)-(7)具有相關聯的匹配描述符335。匹配描述符335可包含與最終匹配特征集合330內的該對匹配特征相關的信息。例如，匹配描述符335可包含匹配特征的描述符240中每一者的部分或全部信息。相反地，匹配描述符335可包含匹配特征中每一者的指示其在相應特征描述符集合240內的位置的索引。匹配描述符335還可包含指示兩個匹配特征之間的相似性程度的相似性評分。匹配描述符335還可包含指示兩個匹配特征之間的比例變化的比例因子。

在示例性實施方案中，匹配描述符335可包含每個匹配特征的位置、以及比例因子。在示例性實施方案中，對于最終匹配特征集合330內的每對匹配特征，其比例因子可被確定為該對匹配特征中兩個特征的匹配鄰域的函數。例如，該函數可為計算匹配鄰域的大小的測量值之間的比率的函數。在示例性實施方案中，校準單元165可以不需要將完整的圖像幀400、縮減的幀或擴增的幀存儲在存儲單元625中以執行特征匹配115。例如，校準單元165在執行特征匹配115時，可以在不使用幀緩沖器的情況下，將角點描述符集合240存儲在存儲單元625中。

現在參見圖1和圖5，校準單元165可相對于參考坐標系505執行對相機565的取向估計120。在示例性實施方案中，可僅使用最終匹配特征集合330內的那些特征420、420’來執行對相機旋轉角的取向估計120，其中相機旋轉角包括相對于車輛坐標系505的俯仰角515、橫擺角520和側傾角525(俯仰角515、橫擺角520和側傾角525可被共同定義為相機坐標系560)。最終匹配特征集合330可通過最終匹配特征集合330中的匹配特征的匹配描述符集合335和角點描述符集合240來識別。

參見圖4至圖5，取向估計120可包括利用最終匹配特征集合330來估計核點425。在各種實施方案中，核點估計430可包括使用匹配特征330之間的比例的變化來估計相機565的大致移動方向550。例如，如果來自第一圖像幀405的特征420(例如，如圖4e所示)的比例小于第二圖像幀415的匹配特征420’(例如，如圖4i所示)，則相機565正在朝向535場景中形成所述特征的結構移動。相反地，如果來自第一幀405的特征420(例如，如圖4e所示)的比例大于第二圖像幀410的匹配特征420’(例如，如圖4f所示)，則相機565正在遠離555場景中形成所述特征的結構移動。相機565的大致移動方向550可被確定為最終匹配特征集合330中的大部分匹配特征對455保持一致的方向535或555。不與相機565的大致移動方向550一致的那些匹配特征對455可從最終匹配特征集合330中移除。

參見圖4j和圖5，當相機565在兩個圖像幀之間經歷線性運動(即，平移)并且相機565的線性運動方向570不與像平面400平行時，核點425隨后可被計算為像平面上到最終匹配特征集合330(即，同樣與相機565的大致移動方向550一致的那些匹配特征對330)中的每對匹配特征455所形成的線的距離最小的點。可應用各種輕量化模型擬合技術(諸如隨機采樣一致(ransac)方法和類似ransac的方法)來計算核點425。

參見圖5，估計取向120還可包括從核點425提取俯仰角515、橫擺角520和側傾角525(即，旋轉角)。例如，如果側傾角525被指定為零或預先確定的數，則可由核點425計算俯仰角515和橫擺角520。相反地，最初可將任一旋轉角指定為零或預先確定的數，隨后由核點425計算其余的角。

當車輛510在兩個圖像幀之間有線性運動(即，平移)時，如果相機565與車輛510之間的幾何關系在線性運動中并未改變，并且如果參考坐標系505被限定為具有車輛的沿參考坐標系505的一條軸但不與像平面400平行的線性運動方向570，則核點425和三個旋轉角515、520和525可具有以下相關關系：g*e＝k*r(u,v,w)*t＝k*[r(u,v,w)]:,i*[t]i，其中，g表示比例因子；e表示核點425；k表示相機固有矩陣；r(u,v,w)表示代表從參考坐標系505到相機坐標系560的旋轉的旋轉矩陣，并由遵循預定旋轉次序的俯仰角u515、橫擺角v520和側傾角w525限定；t為平移矢量，該平移矢量的符號由相機的大致移動方向550確定；[]:,i表示矩陣的第i列；[]i表示矢量的第i要素；*表示乘號。例如，如果旋轉次序為：首先繞x軸旋轉，接著繞y軸旋轉，然后繞z軸旋轉，則第i軸可為z軸。相機固有矩陣可由相機565的固有參數的標稱值得到或通過校準相機565的固有參數獲得，其中，固有參數可包括相機焦距、主點、像素縱橫比、像素偏斜度和透鏡畸變系數。一旦計算出核點425，就可使用這一關系計算出旋轉角515、520和525。可將參考坐標系505的原點限定為與相機坐標系560的原點重合。如果兩者不重合，則在所有計算中，可假設參考坐標系505的原點與相機坐標系560的原點重合。

參見圖1、圖4h以及圖5a至圖5c，取向估計120還可包括計算最終匹配特征集合330內的每個有效特征420、420’的三維(3d)坐標。例如，最終匹配特征集合330內的每個有效特征420、420’的3d坐標可通過利用旋轉角515、520和525的當前估計值和三角測量技術將最終匹配特征集合330從第一像平面405和第二像平面410中每一者投影到參考坐標系505(例如，車輛坐標系)中來計算。

取向估計120還可包括將最終匹配特征集合330的3d坐標投影到垂直于車輛移動方向570的二維(2d)平面540上，其中，將3d坐標投影到2d平面540上這一做法在2d平面540上形成與最終匹配特征集合330內的每個有效特征420、420’對應的點。將3d坐標投影到2d平面540上可為正交投影。

取向估計120還可包括確定最終匹配特征集合330內的有效特征420、420’是否定位在參考面545(例如，地平面)上。在示例性實施方案中，確定最終匹配特征集合330相對于參考面545的位置包括用2d平面540上的對應于最終匹配特征集合330內每個有效特征420、420’的點擬合出線，然后由擬合線計算斜率。擬合成線可通過各種輕量化模型擬合技術(諸如ransac方法和類似ransac的方法)實現。

在一個示例性實施方案中，取向估計120可包括迭代過程，該過程可包括重復執行以下步驟：1)計算最終匹配特征集合330內每個有效特征420、420’的3d坐標；2)將匹配特征集合的3d坐標投影到2d平面540上；3)用2d平面540上的對應于最終匹配特征集合330內每個有效特征420、420’的點擬合出線；4)由計算出的擬合線斜率來調整側傾角525，以形成調整過的側傾角525’；5)使用核點425和調整過的側傾角525’更新俯仰角515和橫擺角520，直到擬合線斜率的絕對值位于預先確定的公差水平內。在示例性實施方案中，預先確定的公差水平可為比經校準旋轉角515、520、525的期望準確度小的數。例如，如果相機565的經校準旋轉角515、520、525相對于參考坐標系505的誤差在1度范圍內，則公差水平可被限定為至多tan(1度)，其中tan()是三角正切函數。

在其他實施方案中，一旦迭代次數達到預先確定的限值，取向估計120就可結束。例如，預先確定的限值可為少于10次迭代，或實現期望結果的任何其他數目。如果取向估計120無法在預先確定數目的迭代內會聚(即，擬合線斜率的絕對值不在預先確定的公差水平內)，則校準方法100和校準單元165可抓取新圖像幀400的像素數據105，并使用新圖像幀400的像素數據105以及來自先前幀之一的特征描述符集合240執行校準。如果來自先前幀的特征描述符集合240不止一個，則每個集合都可用于新一輪的校準。

在各種實施方案中，當使用匹配特征120執行取向估計120時，校準單元165可能會確定沒有足夠的信息來繼續進行對估計取向130的驗證，諸如未找到核點425、或取向估計120在結束時未會聚到相機取向。在這種情況下，校準單元165可使用新圖像幀400的像素數據105來發起新一輪的特征檢測110。

在各種實施方案中，校準單元165可被配置為對估計取向130進行驗證，諸如使用單應性技術進行。例如，使用單應性技術對估計取向130進行驗證可包括根據所估計的旋轉角515、520、525計算參考坐標系505中由參考面引起的幀間單應性矩陣。參考坐標系505中由參考面引起的幀間單應性矩陣可由相機565固有矩陣、參考坐標系505中由所估計的旋轉角515、520、525限定的相機565旋轉矩陣與參考坐標系505中由相機565的高度歸一化得到的相機平移矢量(即，移動量)合成。唯一不清楚的可能是由相機565的高度歸一化得到的相機565平移矢量，該矢量可利用被確定為位于參考面545上的最終匹配特征集合330中的匹配特征455估算出來。

使用單應性技術對估計取向130進行驗證還可包括由當前的一對圖像幀確定估計取向135的質量。例如，確定估計取向135的質量可包括計算來自單應性矩陣的統計數據、以及使用單應性矩陣計算被確定為位于參考面545上的最終匹配特征集合330的重投影誤差。校準的質量可表示為使用統計數據和重投影誤差限定的質量評分數值。

在示例性實施方案中，來自單應性矩陣的統計數據可以是衡量相機565在參考坐標系505中的平移矢量的多個估計值在兩個圖像幀之間的一致性的量度，其中，每個估計值可從被確定為位于參考面545上的最終匹配特征集合330中的一對匹配特征獲得。在示例性實施方案中，參考面545包括地平面。

在各種實施方案中，校準單元165在對估計取向130進行驗證時，可能無法完成取向驗證130。在這種情況下，可使用新圖像幀400的像素數據105來發起新一輪的特征檢測110。

一旦已驗證相機的旋轉角515、520、525，校準單元165就可將驗證過的相機取向135(包括相對于參考坐標系的俯仰角515、橫擺角520和側傾角525)傳輸到輸出單元655。

現在參見圖1、圖4和圖6，利用上述方法100的系統600可包括圖像傳感器665和圖像處理單元145。

圖像處理單元145還可包括存儲單元625。存儲單元625可暫時地存儲像素數據105和中間數據。在各種實施方案中，可以不將完整的圖像幀400、縮減的幀或擴增的幀存儲到位于存儲單元625內的幀緩沖器，而是作為替代，可存儲屬于圖像幀400的一部分的像素數據105，諸如屬于圖像幀400的幾行的像素數據105。在各種實施方案中，可將有關第一圖像幀405和第二圖像幀410中每一者的檢測到的特征420、420’的信息(諸如角點描述符集合240、匹配描述符集合335)存儲在存儲單元625中。對相機取向135的估計也可存儲在存儲單元625中。

在各種實施方案中，存儲單元625可包括隨機存取存儲器、非易失性存儲器或適合特定應用的任何其他存儲器裝置。存儲單元625可包括一個或多個存儲器單元，諸如動態隨機存取存儲器單元(dram)、靜態隨機存取存儲器單元(sram)或雙穩態觸發器。存儲裝置可使用晶體管或任何其他合適的半導體器件來實施。

在示例性實施方案中，圖像處理單元還可包括輸出單元655。輸出單元655可將相機取向135傳輸到外圍系統650。輸出單元655可先將相機取向135從歐拉角表示515、520、525(圖5)轉換成其他表示(諸如旋轉矩陣表示、四元數表示或軸角表示)，再將相機取向135傳輸到外圍系統650(諸如adas)。輸出單元655可先聚合由多個幀對計算得到的相機取向135的多個估計值，再將聚合的相機取向135傳輸到外圍系統650。例如，相機取向135的多個估計值可使用其相應的質量評分作為權重來求平均值，其中，可對歐拉角、相應的旋轉矩陣、相應的四元數或相應的軸角表示求平均值。

在示例性實施方案中，外圍系統650可使用相機取向135來補償相機565相對參考坐標系505的旋轉偏差。例如，環視系統可使用所傳輸的相機取向135進一步處理來自至少兩個圖像幀400的像素數據105，諸如執行圖像拼接、執行3d重構以及/或者確定圖像中的一個或多個感興趣區域(諸如圖像中對應于參考面545的區域)，以產生環視輸出。然后可將環視輸出傳輸到其他外圍系統650，諸如adas中的其他系統，諸如防碰撞系統和車道偏離警告系統，adas中的這些其他系統可使用視覺提醒、聽覺提醒或感覺提醒來提醒駕駛員。例如，如果adas檢測到駕駛員正在接近另一車輛，就會發出警報聲、閃爍燈光并/或振動座椅。adas還可用于向車輛的駕駛員發出提醒信號，提醒駕駛員注意特定路況，諸如在車輛行駛路線上有物體或行人、車輛已偏離當前車道，等等。

在其他實施方案中，可使用相機取向135物理地將相機565相對于參考坐標系505重新對準為期望的取向。例如，物理地重新對準相機565可通過將相機565機械地旋轉被確定為參考坐標系505內其校準取向135與期望取向之間差值的量來實現。

現在參見圖1、圖6和圖7，在本發明技術的示例性實施方案中，自校準方法100和系統600可由車載相機565實施，該車載相機捕獲連續的圖像幀400(圖4a至圖4b)，例如第一圖像幀405和第二圖像幀410，并將這些幀400的像素數據105流式送輸到存儲單元625。能夠訪問存儲單元625的圖像處理單元145可接收像素數據105(710)并執行特征檢測110(715)。一旦從屬于至少兩個圖像幀的像素數據105檢測到特征，圖像處理單元145就可執行特征匹配115(745)。

一旦檢測到第一圖像幀405和第二圖像幀410中每一者內的特征并將其匹配，圖像處理單元145接著就可估計相機取向515、520、525(720)。如果達到了預先確定的公差水平(725)，則過程繼續，接下來可對估計取向進行驗證(730)，并可計算估計取向的質量(735)。如果并未達到預先確定的公差水平，則可利用第三圖像幀(未示出)或后續的新圖像幀，隨后對來自第二圖像幀410的像素數據105和來自第三圖像幀的像素數據105，以及/或者對來自第一圖像幀405的像素數據105和來自第三圖像幀的像素數據105執行特征檢測110(715)和特征匹配115(745)。如果估計取向的質量超過預先確定的閾值(735)，則相對于參考坐標系505的相機取向515、520、525隨后可被外圍系統650利用(740)。如果估計取向的質量未超過預先確定的閾值(735)，則可利用后續的新圖像幀400來重啟上述過程。

根據一個實施方案，提供了一種成像設備，其包括：圖像傳感器，該圖像傳感器包含像素陣列，所述像素陣列被配置為生成像素數據；存儲單元，該存儲單元耦接到圖像傳感器并被配置為存儲像素數據；以及圖像處理單元，該圖像處理單元通信耦接到圖像傳感器和存儲單元，并被配置為：接收第一圖像幀的像素數據和第二圖像幀的像素數據，其中第一圖像幀和第二圖像幀被循序捕獲；檢測第一圖像幀中的至少兩個特征和第二圖像幀中的至少兩個特征；將第一圖像幀的所述至少兩個特征與第二圖像幀的所述至少兩個特征匹配，由此形成匹配特征；執行取向估計，包括：由匹配特征計算核點；估計相對于核點的旋轉角；通過計算匹配特征中每一者在參考坐標系中的3d坐標，來確定匹配特征是否出現在參考面上；使用匹配特征中每一者的所計算3d坐標和模型擬合技術來更新所估計的旋轉角，直到達到預先確定的公差水平；以及使用單應性技術在參考坐標系中驗證所估計的取向。所述參考面包括地平面。所述參考坐標系包括車輛坐標系。檢測至少兩個特征包括：確定與檢測到的角點關聯的邊的取向并丟棄無效角點；以及生成檢測到的角點的角點描述符，其中角點描述符包括位置、取向、對向角、對比度和相鄰角點的索引中的至少一者。形成匹配特征包括：基于相鄰特征的性質來匹配特征；以及生成每對匹配特征的匹配描述符，其中匹配描述符包括匹配鄰域的大小的測量值之間的比率。由匹配特征計算核點包括：使用匹配特征之間的比例的變化確定移動方向。旋轉角包括俯仰角、橫擺角和側傾角中的至少一者。使用單應性技術在參考坐標系中驗證所估計的取向包括：衡量平移矢量在參考坐標系中的多個估計值在兩個圖像幀之間的一致性。

根據另一個實施方案，提供了一種用于對相機相對于參考坐標系的取向進行校準的成像設備，其包括：相機，該相機用于生成第一圖像幀和第二圖像幀；以及圖像信號處理單元，該圖像信號處理單元被配置為：檢測由相機生成的第一圖像幀和第二圖像幀中每一者的像平面上的至少兩個特征；形成匹配特征，包括將第一圖像幀的至少兩個特征與第二圖像幀的至少兩個特征匹配；利用至少兩對匹配特征和所計算的核點來迭代地估計相機的旋轉角，直到達到預先確定的公差水平；以及在參考坐標系中驗證所估計的旋轉角。旋轉角包括俯仰角、橫擺角和側傾角中的至少一者。該成像設備通過以下方式檢測至少兩個特征：確定與檢測到的角點關聯的邊的取向并丟棄無效角點；以及生成檢測到的角點的角點描述符，其中角點描述符包括位置、取向、對向角、對比度和相鄰角點的索引中的至少一者。在執行特征匹配之前矯正位置、取向和對向角，以將透鏡畸變考慮進去。該成像設備通過以下方式形成匹配特征：基于相鄰特征的性質來匹配特征；以及生成每對匹配特征的匹配描述符，其中匹配描述符包括匹配鄰域的大小的測量值之間的比率，其中每個鄰域由至少兩個特征形成。該成像設備通過使用匹配特征之間的比例的變化確定相機的移動方向，來由所述匹配特征計算核點。該成像設備還通過以下方式來估計相機的旋轉角：計算第一旋轉角的值；以及由核點計算其余的旋轉角。該成像設備通過以下方式計算第一旋轉角的值：將與至少一對匹配特征對應的3d坐標投影到2d平面上以形成點集合，然后用該點集合擬合出線。該成像設備還根據擬合線的斜率來調整至少一個旋轉角。該成像設備通過衡量平移矢量在參考坐標系中的多個估計值在兩個圖像幀之間的一致性，來驗證所估計的相機旋轉角。

根據另一個實施方案，提供了一種在車輛發生線性運動時對車載相機相對于車輛坐標系的取向進行校準的成像系統，其包括：圖像傳感器，該圖像傳感器包含用于捕獲圖像幀的像素陣列，其中像素陣列包含被布置成行和列的像素；圖像處理單元，該圖像處理單元被配置為接收第一圖像幀和第二圖像幀的連續行像素數據，該圖像處理單元包括：校準單元，該校準單元被配置為：檢測第一圖像幀和第二圖像幀中每一者的像平面上的至少兩個特征；將第一圖像幀的所述至少兩個特征與第二圖像幀的所述至少兩個特征匹配，由此形成匹配特征；利用匹配特征和所計算的核點來迭代地估計相機取向，直到達到預先確定的公差水平；在車輛坐標系中驗證所估計的相機取向；以及輸出單元，該輸出單元被配置為將驗證過的相機取向傳輸到外圍系統。該輸出單元還被配置為通過使用質量評分作為權重對相機取向的多個估計值進行加權平均，來估計相機平均取向，其中質量評分衡量相機在車輛坐標系中的平移矢量的多個估計值在兩個圖像幀之間的一致性。

在上述描述中，已結合具體示例性實施方案描述了所述技術。所示和所述特定具體實施方式用于展示所述技術及其最佳模式，而不旨在以任何方式另外限制本發明技術的范圍。實際上，為簡潔起見，方法和系統的常規制造、連接、制備和其他功能方面未詳細描述。此外，多張圖中示出的連接線旨在表示各種元件之間的示例性功能關系和/或步驟。多個替代的或另外的功能關系或物理連接可存在于實際系統中。

已結合具體示例性實施方案描述了所述技術。然而，可在不脫離本發明技術的范圍的情況下作出各種修改和變化。以示例性而非限制性方式考慮說明和附圖，并且所有此類修改旨在包括在本發明技術的范圍內。因此，應通過所述的一般實施方案及其在法律意義上的等同形式，而不是僅通過上述具體例子確定所述技術的范圍。例如，除非另外明確說明，否則可以任何順序執行任何方法或工藝實施例中列舉的步驟，并且不限于具體例子中提供的明確順序。另外，任何設備實施例中列舉的組件和/或元件可以多種排列組裝或者進行操作配置，以產生與本發明技術基本上相同的結果，因此不限于具體例子中闡述的具體配置。

上文已經針對具體實施方案描述了有益效果、其他優點和問題解決方案。然而，任何有益效果、優點、問題解決方案或者可使任何具體有益效果、優點或解決方案出現或變得更明顯的任何要素都不應被解釋為關鍵、所需或必要特征或組成部分。

術語“包含”、“包括”或其任何變型形式旨在提及非排他性的包括，使得包括一系列要素的工藝、方法、制品、組合物或設備不僅僅包括這些列舉的要素，而且還可包括未明確列出的或此類工藝、方法、制品、組合物或設備固有的其他要素。除了未具體引用的那些，本發明技術的實施所用的上述結構、布置、應用、比例、元件、材料或組件的其他組合和/或修改可在不脫離其一般原理的情況下變化或以其他方式特別適于具體環境、制造說明、設計參數或其他操作要求。

上文已結合示例性實施方案描述了本發明技術。然而，可在不脫離本發明技術的范圍的情況下對示例性實施方案作出變化和修改。這些和其他變化或修改旨在包括在本發明技術的范圍內，如以下權利要求所述。