用于確定變焦鏡頭焦距的方法
【專利摘要】本發明公開了一種用于確定變焦鏡頭焦距的方法。在一種用于確定安裝到攝像機的鏡頭的焦距的方法中，捕獲場景的畸變圖像。對該畸變圖像或該畸變圖像的一部分應用畸變校正函數。識別最具代表性的畸變校正函數，并且通過將所述識別與數據編譯相互關聯來識別鏡頭的當前焦距設定。
【專利說明】
用于確定變焦鏡頭焦距的方法
技術領域
[0001]本發明涉及一種用于確定焦距的方法。
【背景技術】
[0002]每種鏡頭系統都會引入各種類型的光學偽影，并且本公開涉及幾何畸變，更確切地說涉及確定幾何畸變并利用該幾何畸變。
[0003]包括變焦鏡頭的成像系統中的常見類型的幾何畸變是桶形畸變。桶形畸變因放大倍率隨著到光軸的距離降低而顯露，桶形畸變被分類為徑向畸變，正如枕形畸變和胡子形畸變(moustache distort1n)。桶形畸變的效果可以是具有四個直邊的矩形物體在成像時將獲得像桶一樣的形狀，其中各個邊是凸的，因此得名。
[0004]取決于透鏡規格和變焦設定，幾何畸變可以是比較顯著的或不太顯著的。攝像機的光圈影響圖像質量，并且最佳光圈取決于焦距。為了使變焦鏡頭在成像系統對圖像質量最優化的有效點操作，必須根據當前焦距來調節光圈，并且因此連續更新當前焦距設定的信息是有重要價值的。為了跟蹤當前焦距，一些鏡頭使用來自變焦馬達的反饋。然而，還存在不具有這種特征的變焦鏡頭，例如，手動進行變焦設定的鏡頭以及沒有反饋功能的其它變焦鏡頭。“變焦鏡頭”的種類典型地被分成可變焦距鏡頭和等焦面鏡頭，并且為本公開的目的，將主要使用詞語“變焦鏡頭”，并且將并行使用變焦設定和焦點設定或者焦距設定。
【發明內容】
[0005]—種用于確定安裝到攝像機的鏡頭的焦距設定的方法，包括:捕獲場景的畸變圖像并且通過邊緣檢測算法識別圖像中的邊緣。針對所識別的邊緣的至少一段，識別對它們進行描述的函數。將所識別的函數、或者所識別的函數的選擇和/或組合和與鏡頭的特性有關的數據進行比較。所述數據可以包括轉換數據，該轉換數據將畸變校正函數與鏡頭的若干個焦距設定相互關聯，所述數據用于識別與所識別的函數、或者所識別的函數的選擇和/或組合有關的焦距設定。
[0006]通過使用該方法，可從包含在畸變圖像中的圖像數據提取目前的焦距設定的數值，并且用于任何期望目的。可能重要的是要注意，在多數情況下，一個畸變校正函數和同一畸變校正函數將描述整個圖像的畸變(針對每個焦距設定)，并且評估的較多數量的邊緣可以增加識別過程中的精度和準確性。
[0007]在一個或多個實施例中，識別函數的步驟對在畸變圖像中識別的處于畸變形式的邊緣執行。桶形畸變的典型外觀是，本應該是直的線條或邊緣在畸變圖像中具有彎曲的外觀，并且彎曲的邊緣非常適合曲線擬合。桶形畸變(實際上線條的曲率)將隨著距光軸的距離而增加的事實可以導致進一步遠離光軸的線條可以用于以更好的準確性和精度來識別函數。
[0008]在一個或幾個實施例中，識別函數的步驟基于轉換數據中可用的畸變校正函數的擬合，即在描述鏡頭特性的畸變校正函數中選擇的畸變校正函數。可以以幾種不同方式執行該識別。在多數實施例中，期望使在擬合中評估的函數與在后期階段要被比較的函數的至少格式相符合，以便擬合結果是可使用的。然而在本實施例中，所使用的畸變校正函數限于存在于與鏡頭特性有關的數據中的函數。查找最佳擬合識別過程的過程可以遵循任何合適的優化算法。
[0009]在一個或幾個實施例中，畸變校正在識別最佳擬合之前執行或者作為在識別最佳擬合中的步驟執行。在對畸變圖像應用畸變校正函數之后，識別直邊緣的數量。在應用新的畸變校正函數后，也識別直邊緣的數量。通過迭代數據中存在的各種畸變校正函數的過程，可以識別最佳擬合畸變校正函數。再者，任何合適的優化算法可以用于該過程。在評估中，使用整個圖像可能是優選的或可能不是優選的。一種替代可以是僅僅使用圖像的部分，例如被識別為前景的部分、或者包括具有邊緣的物體的部分、或者僅僅是在邊緣檢測中識別的邊緣或者邊緣的一段。
[0010]畸變校正函數可以是5次多項式或更低次的多項式，例如4次多項式、3次多項式、2次多項式或者I次多項式。3次多項式可以是優選的，因為其足夠復雜來描述畸變，但又不足夠復雜以能夠進行快速識別過程。
[0011]與鏡頭特性有關的數據可以包括多項式或其它函數的映射以及鏡頭的相關焦距設定。
【附圖說明】
[0012I圖1是攝像頭的示意框圖。
[0013]圖2是顯不桶形畸變的圖像。
[0014]圖3是在已經應用畸變校正函數之后圖2的圖像。
[0015]圖4是本發明第一實施例的流程圖。
[0016]圖5是本發明第二實施例的流程圖。
【具體實施方式】
[0017]每種鏡頭在捕獲的場景中都引入幾何畸變。在變焦鏡頭中，幾何畸變因不同焦距而變化。桶形畸變是在廣角鏡頭中引入的一種幾何畸變的形式。固定焦距的幾何畸變的量取決于與鏡頭中心的距離，即半徑。至于任何其它鏡頭或鏡頭系統，在變焦鏡頭中，針對每種焦距設定，幾何畸變是與鏡頭中心相距距離的函數。經驗法則是變焦鏡頭的焦距設定越短那么畸變越大。因此，幾何畸變可以被描述為半徑r的函數，并且在某種意義上被描述為焦距f的函數。針對每個焦距，幾何畸變將根據具體函數隨著半徑而變化。
[0018]本公開的一個目的是在用于查找鏡頭的當前焦距設定的方法中利用這種依賴性。這可以通過基于幾何畸變的分析來執行，這將在下面更詳細地進行描述。
[0019]圖1是如在本發明的若干個實施例中使用的攝像頭的框圖。攝像機10具有鏡頭14(一組鏡頭，物鏡等)，該鏡頭將光從要被成像的區域投射到圖像傳感器16上。來自圖像傳感器16的信息在圖像處理器18中被處理，圖像處理器18可以形成或者可以不形成中央處理單元20的一部分。圖像處理器18在一個或多個實施例中可以與易失性存儲器22通信，其還可以與中央處理單元20通信。非易失性存儲器24可被設置成與CPU20進行通信，這是正常的方式。視頻攝像機還可以包括用于在網絡內通信的網絡接口 26。鏡頭14是變焦鏡頭。手動設定變焦鏡頭并且可能不存在當前變焦設定的日志記錄。
[0020]圖2是包括建筑物30、路燈柱32、一組樹34以及地平線36的場景的示意成像視圖。物體本身不是至關重要的，可是卻通過本應該是直線的曲線舉例說明圖像畸變的影響。每個物體可以包含本應該是直線的多條線條。值得注意的是，成像場景中的畸變不能被模仿，而是僅僅用于解釋的目的。此外，盡管場景中的物體僅僅是例子，但是其非常典型，直線具有對人造物體(房子、房子的元素和路燈柱)的較高表示性。在用于攝像機的典型監控應用中，例如在監視應用中，場景會包括人造物體，并且通過該攝像機，要被捕獲的場景會包括直線。因為該原因，本公開針對這種監控的應用可能尤其相關。
[0021]在圖3中，已經應用了畸變校正函數。再者，圖像僅僅是用于解釋的目的。在應用了畸變校正函數之后，被設想為要成為直線的線條已經變直，并且在畸變圖像中變化放大倍率的影響是校正的圖像的幀獲得了枕形形狀。畸變校正函數可以具有不同的復雜度，并且取決于例如輸入數據，在畸變校正后，一些或其它畸變也可能占主導。
[0022]至于校正函數，通用的方法是使用η次多項式。在下面，方程式Ru表示校正的、未畸變的半徑，該半徑是畸變半徑rbd的函數。常數kn是在將函數擬合到曲線的過程中可以被推導的常數。
[0023]Ru(rbd)f = ko+kirbd+k2rbd2+k3rbd3+k4rbd4+k5rbd5+...[公式I]
[0024]以通常認為是可接受的簡化方式，除了ko，kjPk3，所有常數被設定為零，使得:
[0025]Ru(rbd)f = ko+kirbd+k3rbd3 [公式2]
[0026]通過對坐標系統進行適當地設定，ko也可以被設定為零。在其它實施例中，可以使用其它次多項式，并且在另外其它實施例中可以替代地使用其它函數。
[0027]一旦選擇了多項式的適當形式，就可以建立數據庫或者數據編譯。這通過在圖4和圖5的流程圖中的第一個步驟來舉例說明。從映射校正多項式的步驟到隨后步驟的虛線意在表示特征數據的映射和產生通常被以單獨的步驟執行，與獲取圖像的隨后步驟在時間上并不接近或甚至是有間隔。這些數據可以通過攝像機制造商、鏡頭制造商、另一服務提供商、用戶組等來提供。一些產品如今已經提供這些數據，例如為了允許用戶在后期制作過程中美化所獲取的圖片。照此，數據對于方法的函數來說可能是重要的，而編譯數據的創建細節可能不那么重要。
[0028]在針對特定的鏡頭或者鏡頭組合編譯數據(執行映射)時，針對多項式的常數1^的一組數值將與每個變焦設定或焦距關聯。結果是，對于有限多個變焦或焦距的離散設定，就簡化方程式公式2的kQ、k#Pk3來說，將存在針對常數的一組數值。在可能時，這些組可以表達為函數本身，使得針對中間焦距的它們的數值也可以被插值。
[0029]在實際情況中，數據可以針對每個鏡頭編譯一次，但是其也可以針對每種類型的鏡頭或鏡頭系統編譯一次。然后，數據的任何后續用戶可以下載數據，和/或數據可以包括在攝像機系統的非易失存儲器中。
[0030]圖4是圖示第一實施例的流程圖。第一操作將形成數據40，這已經討論過。組合的數據在一個或多個實施例中可以采取函數形式，這在某些應用中可能是有利的和有效的。盡管多項式是常見形式，但畸變校正函數不必須是多項式。
[0031]在接下來的步驟42中，獲取圖像并且開始分析，并且在該第一實施例中，因為伸長的邊緣是在應用畸變校正函數之后要被轉換成直線的可能候選者，因此通過在畸變的圖像中識別伸長的邊緣來開始分析44。使用任何現有的邊緣檢測算法可以查找到邊緣。
[0032]在已經識別和確定邊緣的位置之后，針對該問題的多項式或其它函數可以被擬合到伸長的邊緣46。將函數擬合到位于圖像中的一組點也可以通過幾種不同方式完成。可以使用利用最小平方法的直接擬合和評估，也可以使用利用霍夫轉換(Hough transform)的到參數空間和參數解的轉換。根據情況，一些擬合方法可以比其它擬合方法更合適，并且選擇使用哪種擬合方法對于本領域技術人員來說是簡單的操作。在識別了多項式時，可以依據最終常數kjt較結果。即使提及是多余的，但為了擬合結果可使用并將導向約束添加到求解過程，多項式的形式優選地可以與在對數據進行編譯時使用的多項式相同。
[0033 ]在將多項式擬合到畸變圖像的曲線以及在步驟48中識別最佳擬合之后，在步驟50中，常數Iu的數值可被用于與數據進行比較。根據該比較，可以選擇最佳擬合并且可以識別與該特定擬合關聯的數據。從該方法導出的一個輸出可以是鏡頭系統的當前焦距設定(步驟52)。焦距是可以在幾個過程中、在背景部分所提及的光圈優化中使用的屬性。一些進一步的示例，且舉幾種，包括:曝光設定的最優化、圖像穩定性(最小化搖擺和振動的影響)以及將焦距設定呈現給用戶以方便用戶以任何其它方式使用的能力。
[0034]圖5的流程圖圖示第二實施例，在該實施例中應用更多的全局視圖。再次獲取場景圖像(步驟42)，圖像顯示諸如桶形畸變的畸變。選擇標準包括迭代過程，同樣地其類似于先前描述的選擇標準，然而以更加直接的方式使用存儲在數據編譯中的畸變校正函數。迭代過程包括對畸變圖像應用特定焦距的畸變校正函數(步驟54)。已經被“盲目地”校正的畸變圖像可能仍然是畸變的，并且很有可能會是這樣的。因而，在步驟56中，下一個動作是評估修正圖像。在一個示例中，執行直邊緣檢測，并且在其它示例中可以使用已經提及的技術中的一種技術。可以再一次提及的是，用來描述針對特定鏡頭和針對該特定鏡頭的各種焦點設定的多項式或轉換函數可以是已知的，并且通常是已知的。使用該輸入作為進一步的約束并且有效地限制求解可用的空間，可以進一步加速分析。
[0035]如果使用直邊緣檢測，那么推導畸變圖像中的直邊緣的數量的測量結果，能夠進行圖像之間的比較。一種設想可以是直邊緣的數量越大，校正越好。在隨后的步驟中，應用針對另一焦距的另一畸變校正函數，并且在直線檢測之后，推導在修正圖像中的直線的數量的新的測量結果。新的數值與先前的數值(或者幾個先前的數值)進行比較并且可以推導校正是向好的方向發展還是向壞的方向發展。然后迭代該過程直到實現優化擬合(見步驟58)。存在可以使用的幾個優化算法，這些算法中的一些已經提及。在所有和任何提及的實施例中，可以對圖像的部分而不是在整個圖像執行評估。在相關實施例中，可以修改過程中的事件順序，并且取代在迭代過程中將進行比較作為一個步驟，可以在已經應用了所有可用畸變函數之后執行比較，在此之后，選擇對應于在一組數據中查找極限值(最大值或最小值)。在步驟52中，輸出將仍然是焦距設定的數值。
[0036]在只有圖像的部分而不是整個圖像被評估時，這些部分可以通過圖像分析被用戶選擇或識別。示例可以是如果物體已經被識別為具有直邊緣(諸如建筑物)的物體，那么它可以被選擇為要被使用的部分中的一個，同時如果物體被識別為不期望具有直邊緣(諸如人)的物體，那么它可以從要被評估的部分移除。此外，圖像的各個部分在評估中可以被給定不同的權重。一個示例可以是因為畸變的影響將隨著與光軸相距的距離而增加，那么進一步遠離光軸的邊緣可以被給定更大的權重。
[0037]再者，輸出可以是特定鏡頭或鏡頭系統的當前焦距設定的數值。
[0038]在可替代的方法中，其可以被定義為第三實施例，全局優化僅僅對局部伸長的邊緣執行。這種實施例將暗示在第一實施例中，在已經檢測到伸長的邊緣時，應用第二實施例的選擇標準。因而，在迭代優化過程中，查找最佳擬合多項式，并且在迭代過程的每個步驟中，量化直線的“數量”。因此可以說，可以使用其它優化過程或擬合過程。
[0039]本公開的任何實施例可以被應用到具有變焦鏡頭或鏡頭系統的成像系統。實施例對校準或識別變焦系統的當前焦距設定特別有用。同時，至少在編譯數據約束和使用該編譯數據內，將識別優化畸變校正。
[0040]在監控系統中，根據本公開的方法是有用的，特別是如果使用的鏡頭系統是包括變焦鏡頭或可變焦距鏡頭的類型，在該類型中，當前設定不被以任何方式跟蹤。對于這種監控系統，該方法可以基于操作者的請求或作為在啟動或校準過程中的步驟而應用。即使可能，對于該方法連續不斷地運行不存在明顯的必要或益處。已經識別焦距設定和優化畸變校正，并且新的識別是不必要的直到已經發生變化。
[0041]此外，在本說明書中已經通篇使用“變焦”、“變焦設定”、“焦距”和“焦距設定”等，來自該方法的輸出可以同樣是另一測量結果或參數，通過該測量結果或參數可以推導命名的參數。
[0042]存在可以用于推導最具代表性的畸變校正函數的幾個方法，并且動作順序可以不同于在關于實施例中所呈現的動作的順序。
[0043]由此而論，應用到所有實施例的一般評論可以是所編譯的數據不必包含像這樣的畸變校正函數。相反地，它可以包括隨后被用于識別畸變校正函數的信息。一個示例可以是，數據包括任何由畸變校正函數使用的任何常數，同時畸變校正函數的基本形式被存儲在別處。盡管從優化信息流的觀點而言，不同的觀念可以在不同的情況下使用，但從實際觀點而言，這并不重要。本公開不要求為了應用而在這方面的任何限制。
【主權項】
1.一種用于確定安裝到攝像機的鏡頭的焦距設定的方法，所述方法包括: 通過所述鏡頭捕獲場景的圖像，此步驟將畸變引入所捕獲的圖像； 通過邊緣檢測算法識別所述圖像中的邊緣； 識別對所識別的邊緣的至少一段進行描述的函數； 將所識別的函數或者所識別的函數的選擇和/或組合與所述鏡頭的數據編譯進行比較，其中所述數據編譯包括將畸變校正函數與所述鏡頭的若干個焦距設定相互關聯的轉換數據； 通過使用所述數據編譯來識別與所識別的函數、或者所識別的函數的選擇和/或組合有關的焦距設定。2.根據權利要求1所述的方法，其中識別函數的步驟對在畸變圖像中識別的處于畸變形式的邊緣執行。3.根據權利要求1或2所述的方法，其中識別函數的步驟基于所述轉換數據中可用的所述畸變校正函數的擬合。4.根據權利要求1或2所述的方法，其中識別函數的步驟基于所述轉換數據中可用的所述畸變校正函數的擬合，包括: 對畸變圖像或畸變圖像的部分應用畸變校正函數； 評估所述圖像或所述圖像的部分中的直線數量； 識別導致直線最大數量的畸變校正函數； 識別與所識別的畸變校正函數對應的焦距設定。5.根據權利要求3所述的方法，其中識別函數的步驟僅對所識別的邊緣或所識別的邊緣的子選擇執行。6.根據權利要求1所述的方法，其中所述畸變校正函數是5次多項式或更低次的多項式。7.根據權利要求6所述的方法，其中所述畸變校正函數是4次多項式或更低次的多項式。8.根據權利要求6所述的方法，其中所述畸變校正函數是3次多項式、2次多項式或I次多項式。9.根據權利要求1所述的方法，其中識別函數的步驟利用迭代數學優化技術。10.根據權利要求1所述的方法，其中所述數據編譯包括與所述鏡頭的焦距設定相互關聯的多項式的映射。11.一種用于執行根據權利要求1所述的方法的攝像機，所述攝像機包括: 圖像處理器，其中所述處理器被配置成通過應用邊緣檢測算法識別獲取的圖像中的邊緣以及被配置成識別對所識別的邊緣的至少一段進行描述的函數； 所述攝像機進一步包括:包含與轉換數據有關的數據編譯的存儲區域，所述轉換數據將畸變校正函數與鏡頭的若干個焦距設定相互關聯，并且所述攝像機被配置成通過使用所述數據編譯和所識別的函數或者所識別的函數的選擇和/或組合來識別與所識別的函數或者所識別的函數的選擇和/或組合有關的焦距設定。
【文檔編號】G02B27/00GK106054379SQ201610172709
【公開日】2016年10月26日
【申請日】2016年3月24日 公開號201610172709.9, CN 106054379 A, CN 106054379A, CN 201610172709, CN-A-106054379, CN106054379 A, CN106054379A, CN201610172709, CN201610172709.9
【發明人】約納斯·耶爾姆斯特倫, 安德里亞·尼爾森
【申請人】安訊士有限公司