一種光流測速模塊與測速方法
【專利摘要】一種光流測速模塊包含：攝影機數組、運算單元以及統計單元。攝影機數組包含有N×M個攝影機，用以拍攝N×M個周圍環境影像；運算單元根據N×M個周圍環境影像運算出N×M個攝影機速度與N×M個標準差；統計單元根據N×M個攝影機速度與N×M個標準差運算出一統計運動速度，其中N與M皆為大于1的自然數。相較于現有技術，本發明利用多個攝影機所組成的攝影機數組拍攝多個影像，以減少因為地面反光或是環境光源造成影像紋理不易辨識的不利因素，可提升利用光流測速模塊測量速度的可靠性。
【專利說明】
-種光流測速模塊與測速方法
技術領域
[0001] 本發明關于一種光流測速模塊與測速方法，更明確地說，是關于一種利用攝影機 數組拍攝多個影像來測速的光流測速模塊與測速方法。
【背景技術】
[0002] 光流測速模塊是一套用來運算自身速度的模塊。在現有技術中，它常裝設于UAV 上，通過一個對地拍攝的相機，取得地面的影像，并運算影像像素的位移來得到速度的信 息。然而，實務上，在運算光線的流動時，卻常常容易受到環境光源或地面材質造成光線反 射而影響到運算。
[0003] 運是因為光流測速模塊是通過連續拍攝地面，比對影像紋理的移動，來運算相對 速度。若是影像的紋理清晰可辨識，則易于通過光流運算法來推算光流測速模塊的速度。但 現有的光流測速模塊通常只搭載一個攝影機，若是拍攝時地面反光相當嚴重或環境光源過 亮時，都會對光流運算產生影響。
【發明內容】
[0004] 對應前述問題，本發明的一范疇在于提供一種光流測速模塊，通過具有多個攝影 機的攝影機數組，拍攝多組的多個影像，再進行影像分析W運算出每個影像所呈現的速度 與標準差后，再進行統計運算W求取出統計后的光流測速模塊速度。
[0005] 本發明提供的光流測速模塊，裝設于機動設備上用W測量所述機動設備的運動速 度，包含:攝影機數組、運算單元W及統計單元。攝影機數組包含有N X M個攝影機，用W拍攝 而取得機動設備的多組NXM個周圍環境影像;運算單元與攝影機數組電性連接，并根據多 組N X M個周圍環境影像運算出N X M個攝影機速度與N X M個標準差;統計單元與運算單元電 性連接，用于根據NXM個攝影機速度與NXM個周圍環境影像標準差運算出機動設備的運動 速度，其中N與M皆為大于1的自然數。
[0006] 于本發明的一實施例中，其中所述統計單元W下列公式運算出所述機動設備的所 述運動速度：
[0007]
[000引其中，K = NXM、Vs為每一所述NXM個攝影機速度、Os為每一所述NXM個標準差、Vcmt 為所述機動設備的所述運動速度。
[0009] 于本發明的一實施例中，其中運算單元包含圖像處理單元，用W將多組NXM個周 圍環境影像的像素與亮度數值化，并對應產生NXM個周圍環境影像的數值化結果與像素數 目-亮度分析直方圖。
[0010] 于本發明的一實施例中，其中運算單元包含速度運算裝置，速度運算裝置根據N X M個周圍環境影像的數值化結果，利用光流運算法W運算出NXM個攝影機速度。
[0011] 于本發明的一實施例中，其中運算單元包含標準差運算裝置，用于根據每一N XM 個像素數目-亮度分析直方圖所呈現的數據，進行每一 N X M個標準差的運算。
[0012] 本發明的另一范疇在于提供一種光流測速模塊的測速方法，用W測量機動設備的 運動速度，機動設備上裝設有光流測速模塊，光流測速模塊包含有攝影機數組、運算單元W 及統計單元，其中攝影機數組包含有NXM個攝影機，而N與M皆為大于1的自然數，光流測速 模塊的測速方法包含W下步驟:Sl:使用攝影機數組的N XM個攝影機進行拍攝，取得機動設 備的多組NXM個周圍環境影像;S2:使用運算單元根據多組NXM個周圍環境影像，運算出N XM個攝影機速度;S3:使用所述運算單元根據多組NXM個周圍環境影像，運算出NXM個標 準差；W及S4:使用統計單元根據NXM個攝影機速度，與NXM個標準差運算出機動設備的運 動速度。
[0013] 于本發明的另一實施例中，其中所述統計單元W下列公式運算出所述機動設備的 所述運動速度：
[0014]
[001引其中，K = NXM、Vs為每一所述NXM個攝影機速度、Os為每一所述NXM個標準差、Vout 為所述機動設備的所述運動速度。
[0016] 于本發明的另一實施例中，其中運算單元包含圖像處理單元，光流測速模塊測速 方法進一步包含步驟:使用圖像處理單元將多組NXM個周圍環境影像的像素與亮度數值 化，并對應產生NXM個周圍環境影像的數值化結果，W及像素數目-亮度分析直方圖。
[0017] 于本發明的另一實施例中，其中運算單元包含速度運算裝置，用于根據NXM個周 圍環境影像的數值化結果通過光流運算法W運算出N X M個攝影機速度。
[0018] 于本發明的另一實施例中，其中運算單元包含標準差運算裝置，用于根據每一像 素數目-亮度分析直方圖所呈現的數據，進行每一 N X M個標準差的運算。
[0019] 相較于現有技術，本發明利用多個攝影機所組成的攝影機數組拍攝多個影像，W 減少因為地面反光或是環境光源造成影像紋理不易辨識的不利因素，可提升利用光流測速 模塊測量速度的可靠性。
【附圖說明】
[0020] 圖1繪示了本發明一具體實施例的功能方塊示意圖。
[0021 ]圖2繪示了本發明的攝影機數組的俯視圖。
[0022] 圖3繪示了本發明的攝影機數組的側視圖。
[0023] 圖4A至4B繪示了本發明一具體實施例的一周圍環境影像及與其相應的像素數目- 亮度分析直方圖。
[0024] 圖5A至5B繪示了本發明一具體實施例的又一周圍環境影像及與其相應的像素數 目-亮度分析直方圖。
[0025] 圖6A至6B繪示了本發明一具體實施例的另一周圍環境影像及與其相應的像素數 目-亮度分析直方圖。
[0026] 圖7繪示了本發明一具體實施例的周圍環境影像、相應的像素數目-亮度分析直方 圖W及所述周圍環境影像代表的權重的示意圖。
[0027] 圖8繪示了本發明另一范疇的功能方塊示意圖。
[0028] 【符號說明】
[0029] 1:光流測速模塊
[0030] 10:攝影機數組
[0031] 102:基座 104:攝影機
[0032] 12:運算單元
[0033] 122:圖像處理裝置 124:速度運算裝置
[0034] 126:標準差運算裝置
[00：35] 14:統計單元
[0036] 2:光流測速模塊的測速方法
[0037] Vs:攝影機速度 Vout:機動設備的運動速度
[003引 Os:標準差
【具體實施方式】
[0039] 請先參閱圖1至圖3,圖1繪示了本發明一具體實施例的功能方塊示意圖。圖2繪示 了本發明的攝影機數組的俯視圖。圖3繪示了本發明的攝影機數組的側視圖。
[0040] 本發明提供一種光流測速模塊1，用于裝設在機動設備上并運算所述機動設備的 運動速度，包含:攝影機數組10、運算單元12W及統計單元14。
[0041] 攝影機數組10包含有基座102與NXM個攝影機104,用W拍攝而取得機動設備的多 組NXM個周圍環境影像;運算單元12與攝影機數組10電性連接，并根據NXM個周圍環境影 像運算出N X M個攝影機速度與N X M個標準差;N X M個標準差表示，針對N X M個攝影機104所 拍攝的NXM個周圍環境影像，進行計算，一組NXM個周圍環境影像中的每一個周圍環境影 像，都對應有一個標準差，運些標準差有NXM個，統稱為NXM個標準差。統計單元14與運算 單元12電性連接，用于根據NXM個攝影機速度與NXM個標準差運算出機動設備的運動速 度，其中N與M皆為大于1的自然數。
[0042] 其中關于影像一詞，被解釋為靜態影像或動態影像，只是于本實施例中是W靜態 影像作解。然「多組」一詞是針對靜態影像所述，本領域技術人員也可知曉此處是WNXM個 攝影機拍攝到N X M個動態影像，再將N X M個動態影像逐格分解成多個的N X M個靜態影像。 [00創于本實施例中，如圖2所示的攝影機數組10為一4X4方陣，亦即N = M = 4的攝影機 數組，然此實施例僅為方便說明，本發明并不加 W限制攝影機數組10必須W方陣形成攝影 機數組，而且，本發明的攝影機數組10里的每個攝影機104不W全往同一方向拍攝為限制， 攝影機104往不同的方向拍攝，W進一步減少影響速度測量的環境因素。
[0044] 本發明提供的光流測速模塊1所裝設的機動設備可為無人飛行機、自行車、機動車 輛等機動設備，當裝設有本發明光流測速模塊1的機動設備在運動時，攝影機數組10的NXM 個攝影機104將拍攝機動設備周圍的多組NXM個周圍環境影像，W供測速使用。運NXM個周 圍環境影像再經由運算單元12來分別算出NXM個攝影機速度與NXM個標準差。
[0045] 運算單元12包含有圖像處理裝置122、速度運算裝置124W及標準差運算裝置126。 圖像處理裝置122將每一個攝影機104所拍攝的周圍環境影像進行像素與亮度的分析，來對 應產生NXM個周圍環境影像的數值化結果，再根據運些數值化結果產生NXM個周圍環境影 像的像素數目-亮度分析直方圖。
[0046] 請參閱圖4A至圖4B、圖5A至圖5BW及圖6A至圖6B等S組圖組。圖4A至圖4B、圖5A至 圖5BW及圖6A至圖6B分別繪示了本發明一具體實施例的周圍環境影像與其相應的像素數 目-亮度分析直方圖。
[0047] 其中圖4A是經由攝影機數組10的攝影機104所拍攝的在一般環境亮度下的周圍環 境實驗影像，圖5A是在高環境亮度下由攝影機104拍攝的周圍環境實驗影像，圖6A是在低環 境亮度下由攝影機104拍攝的周圍環境實驗影像。而圖4B、圖5BW及圖6B則分別是將圖4A、 圖5AW及圖6A經由圖像處理裝置122W計算機視覺處理后的數值化結果，再將統計像素數 目-亮度之間關系而產生的周圍環境實驗影像的像素數目-亮度分析直方圖。
[0048] 請先參閱圖4A至圖4B，在一般環境亮度的背景下，可W明顯看出圖4A中圖像的紋 理，而其相對應的圖4B中能看出圖4A有相當部分的像素 W高亮度呈現，但也有一定數量的 像素分布在中、低亮度的部分。呈現出影像亮度分布平均而標準差較高的傾向。
[0049] 接著請參閱圖5A至圖5B，在較高環境亮度的背景下，圖5A中大約只剩一半的圖像 紋理部分依然可見，而其相對應的圖5B中能看出圖5A極大部分的像素都W高亮度呈現，而 鮮少有像素分布至中、低亮度的部分。呈現出影像亮度集中區域偏高亮度而標準差較低，平 均亮度值高的傾向。
[0050] 最后請參閱圖6A至圖6B，在較低環境亮度的背景下，圖6A中大部分的圖像紋理部 分幾乎不易可見，而其相對應的圖6B中能看出圖6A極大部分的像素都W低亮度呈現，而鮮 少有像素分布至中、高亮度的部分。呈現出影像亮度集中區域偏低亮度而標準差較低，平均 亮度值低的傾向。
[0051] 接著，NXM個周圍環境影像的數值化結果被輸出至速度運算裝置124,速度運算裝 置124根據NXM個周圍環境影像的數值化結果，通過光流運算法來算出每一個攝影機104所 拍攝到的NXM個周圍環境影像所包含的運動速度，而NXM個周圍環境影像的像素數目-亮 度分析直方圖則被傳送到標準差運算裝置126，W根據像素數目-亮度分析直方圖所呈現的 數據運算出每一個周圍環境影像的標準差。
[0052] 請參閱圖7,圖7繪示了本發明一具體實施例的周圍環境影像、相應的像素數目-亮 度分析直方圖W及所述周圍環境影像代表的權重的示意圖。需了解的是，若是有一周圍環 境影像的像素數目-亮度分析直方圖表現出亮度分布都集中在高亮度區間，且其標準差值 和/或權重值偏低時，如圖7(C)所示，則代表所述周圍環境影像受到光折射的影響過大，導 致過曝光，無法提供足夠的影像紋理來判斷速度。相反的，若是有周圍環境影像的像素數 目-亮度分析直方圖表現出亮度分布都集中在低亮度區間，且其標準差值和/或權重值偏低 時，如圖7(A)所示，則代表所述周圍環境影像曝光不足，過暗，同樣無法提供足夠的影像紋 理來判斷速度。而若周圍環境影像的像素數目-亮度分析直方圖表現出各個亮度區間都有 像素分布，且其標準差值和/或權重值不至偏低時，如圖7(B)所示，則代表所述周圍環境影 像幾乎未受到光折射的影響，沒有過曝光的問題，應可提供足夠的影像紋理來判斷速度。
[0053] 而前述關于影像的數值化處理、利用光流運算法求取影像速度W及標準差計算的 方法應屬現有技術，所屬技術領域具通常知識者在閱讀本說明書時應可自然知曉相關技術 內容。
[0054]算得每一攝影機104的運動速度Vs與每一周圍環境影像的標準差之后，統計單元 14則根據運動速度與每一周圍環境影像的標準差，W下列式一進行安裝有攝影機數組10的 機動設備的運動速度的計算。
[0化5] 式一；
[0化6]
[0化7] 其中，K = NXM、Vs為每一所述NXM個攝影機速度、Os為每一所述NXM個標準差、Vout 為所述機動設備的所述運動速度。而在式一中，標準差Os代表權重，標準差Os值較高者，代表 與所述標準差值對應的周圍環境影像能提供較足夠的影像紋理，而拍攝下所述周圍環境影 像的攝影機速度具有較高的參考價值;相反的，標準差Os值較低者，代表與所述標準差值對 應的周圍環境影像不能提供較足夠的影像紋理，而拍攝下所述周圍環境影像的攝影機速度 具有較低的參考價值。標準差Os有NXM個，統稱為NXM個標準差，分別對應NXM個攝影機所 拍攝的一組NXM個周圍環境影像中的每一個周圍環境影像。
[005引經過統計單元14的運算，即可獲得除去地面反光或環境光源過亮或是環境光源不 足等不利因素的，可靠的機動設備速度測量值。
[0059] 接著請參閱圖8,圖8繪示了本發明另一范疇的功能方塊示意圖。本發明的另一范 疇在于提供一種光流測速模塊的測速方法，用W測量機動設備的運動速度，機動設備上裝 設有光流測速模塊，光流測速模塊包含有攝影機數組10、運算單元12W及統計單元14,其中 攝影機數組10包含有基座102與NXM個攝影機104,而N與M皆為大于1的自然數，光流測速模 塊的測速方法包含W下步驟:S1:使用攝影機數組的NXM個攝影機進行拍攝，取得機動設備 的多組N X M個周圍環境影像;S2:使用運算單元根據多組N X M個周圍環境影像，運算出N X M 個攝影機速度；S3:使用所述運算單元根據多組NXM個周圍環境影像，運算出NXM個標準 差；W及S4:利用統計單元根據NXM個攝影機速度，與NXM個標準差運算出機動設備的運動 速度。
[0060] 于步驟Sl中，使用裝設于機動設備，例如無人飛行機上的具有NXM個攝影機的攝 影機數組拍攝機動設備周圍的多組NXM個周圍環境影像。其中，本發明的攝影機數組10里 的每個攝影機104不W全往同一方向拍攝為限制，攝影機104往不同的方向拍攝，W進一步 減少影響速度測量的環境因素。
[0061] 接著在步驟S2中，運算單元12將根據多組NXM個周圍環境影像運算出每一個攝影 機104的速度。首先，運算單元12包含有圖像處理裝置122、速度運算裝置124W及標準差運 算裝置126。圖像處理裝置122先將每一個攝影機104所拍攝的周圍環境影像進行像素與亮 度的分析，藉W對應產生NXM個周圍環境影像的數值化結果，并再根據那些數值化結果產 生NXM個周圍環境影像的像素數目-亮度分析直方圖。故在步驟Sl與S2之間，進一步包含步 驟S15:使用圖像處理單元將NXM個周圍環境影像的像素與亮度數值化，并對應產生NXM個 周圍環境影像的數值化結果，W及像素數目-亮度分析直方圖。
[0062] 而在NXM個周圍環境影像的數值化結果產生之后，速度運算裝置124執行步驟S2， 通過光流運算法來算出每一個攝影機104所拍攝到的周圍環境影像所包含的運動速度。
[0063] 接著，NXM個周圍環境影像的像素數目-亮度分析直方圖則被傳送到標準差運算 裝置126,而標準差運算裝置126將執行步驟S3W根據像素數目-亮度分析直方圖呈現的數 據運算出每一個周圍環境影像的標準差。
[0064]最后在步驟S4中，統計單元14根據經由步驟S2算得的每一個攝影機的運動速度， W及經由步驟S3算得的每一個周圍環境影像的標準差，W下列公式進行安裝有攝影機數組 10的機動設備的運動速度的計算。
[00化]式一；
[0066]
[0067] 其中，K = NXM、Vs為每一所述NXM個攝影機速度、Os為每一所述NXM個標準差、Vout 為所述機動設備的所述運動速度。而于式一中，標準差Os代表權重，標準差Os值較高者，代表 與所述標準差值對應的周圍環境影像能提供較足夠的影像紋理，而拍攝下所述周圍環境影 像的攝影機速度具有較高的參考價值;相對的，標準差Os值較低者，代表與所述標準差值對 應的周圍環境影像不能提供較足夠的影像紋理，而拍攝下所述周圍環境影像的攝影機速度 具有較低的參考價值。
[0068] 通過上述步驟使用本發明的光流測速模塊1，即可獲得除去地面反光或環境光源 過亮或是環境光源不足等不利因素的，可靠的機動設備速度測量值。
[0069] 綜上所述，本發明提供一種光流測速模塊與其測速方法，光流測速模塊包含攝影 機數組、運算單元與統計單元。攝影機數組包含NXM個攝影機，用W拍攝一機動設備的多組 NXM個周圍環境影像，運算單元根據多組NXM個周圍環境影像分別算出NXM個周圍環境影 像所代表的攝影機速度與其標準差，統計單元再根據N X M個攝影機速度與N X M個標準差運 算出機動設備的運動速度。
[0070] 相較于現有技術，本發明利用多個攝影機所組成的攝影機數組拍攝多個影像，W 減少因為地面反光或是環境光源造成影像紋理不易辨識的不利因素，可提升利用光流測速 模塊測量速度的可靠性。
[0071] 通過W上較佳具體實施例的詳述，希望能更加清楚描述本發明的特征與精神，而 并非W上述所掲露的較佳具體實施例來對本發明的范疇加 W限制。相反地，其目的是希望 能涵蓋各種改變及具相等性的安排于本發明所欲申請的專利范圍的范疇內。因此，本發明 所申請的專利范圍的范疇應所述根據上述的說明作最寬廣的解釋，W致使其涵蓋所有可能 的改變W及具相等性的安排。
【主權項】
1. 一種光流測速模塊，裝設于機動設備上用以測量所述機動設備的運動速度，其特征 在于，所述光流測速模塊包含： 攝影機數組，所述攝影機數組包含有多組N X Μ個攝影機，用以拍攝而取得所述機動設 備的多組Ν X Μ個周圍環境影像； 運算單元，與所述攝影機數組電性連接，并根據所述多組ΝΧΜ個周圍環境影像運算出Ν XΜ個攝影機速度與ΝXΜ個標準差；以及 統計單元，與所述運算單元電性連接，用于根據所述Ν X Μ個攝影機速度與所述Ν X Μ個 標準差運算出所述機動設備的所述運動速度； 其中Ν與Μ皆為大于1的自然數。2. 如權利要求1所述的光流測速模塊，其特征在于，所述統計單元以下列公式運算出所 述機動設備的所述運動速度：其中，Κ = Ν X M、Vs為每一所述Ν X Μ個攝影機速度、〇s為每一所述Ν X Μ個標準差、Vcmt為所 述機動設備的所述運動速度。3. 如權利要求1所述的光流測速模塊，其特征在于，所述運算單元包含圖像處理單元， 用以將所述多組NXM個周圍環境影像的像素與亮度數值化，并對應產生NXM個周圍環境影 像的數值化結果，與像素數目-亮度分析直方圖。4. 如權利要求3所述的光流測速模塊，其特征在于，所述運算單元包含速度運算裝置， 所述速度運算裝置根據所述NXM個周圍環境影像的數值化結果，利用一光流運算法以運算 出所述Ν X Μ個攝影機速度。5. 如權利要求3所述的光流測速模塊，其特征在于，所述運算單元包含一標準差運算裝 置，用于根據每一所述多組ΝΧΜ個周圍環境影像的所述ΝΧΜ個像素數目-亮度分析直方圖 所呈現的數據，進行每一所述Ν X Μ個標準差的運算。6. -種光流測速模塊的測速方法，用以測量機動設備的運動速度，所述機動設備上裝 設有光流測速模塊，所述光流測速模塊包含有攝影機數組、運算單元以及統計單元，其中所 述攝影機數組包含有Ν XΜ個攝影機，而Ν與Μ皆為大于1的自然數，其特征在于，所述光流測 速模塊的測速方法包含以下步驟： 使用所述攝影機數組的所述ΝΧΜ個攝影機進行拍攝，取得所述機動設備的多組ΝΧΜ個 周圍環境影像； 使用所述運算單元根據所述多組ΝΧΜ個周圍環境影像，運算出ΝΧΜ個攝影機速度； 使用所述運算單元根據任一組所述ΝΧΜ個周圍環境影像，運算出所述任一組的所述Ν XΜ個周圍環境影像所對應的ΝXΜ個標準差；以及 使用所述統計單元根據所述ΝΧΜ個攝影機速度，與所述ΝΧΜ個標準差，運算出所述機 動設備的所述運動速度。7. 如權利要求6所述的光流測速模塊測速方法，其特征在于，所述統計單元以下列公式 運算出所述機動設備的所述運動速度：其中，K = N X M、Vs為每一所述N X Μ個攝影機速度、〇s為每一所述N X Μ個標準差、Vcmt為所 述機動設備的所述運動速度。8. 如權利要求6所述的光流測速模塊測速方法，其特征在于，所述運算單元包含圖像處 理單元，所述光流測速模塊測速方法進一步包含步驟:使用所述圖像處理單元將所述多組N XM個周圍環境影像的像素與亮度數值化，并對應產生NXM個周圍環境影像的數值化結果， 以及像素數目-亮度分析直方圖。9. 如權利要求8所述的光流測速模塊測速方法，其特征在于，所述運算單元包含速度運 算裝置，用于根據所述多組NXM個周圍環境影像的數值化結果通過一光流運算法以運算出 所述NX Μ個攝影機速度。10. 如權利要求8所述的光流測速模塊測速方法，其特征在于，所述運算單元包含標準 差運算裝置，用于根據每一所述像素數目-亮度分析直方圖所呈現的數據，進行每一所述Ν X Μ個標準差的運算。
【文檔編號】G06T7/20GK105954536SQ201610493464
【公開日】2016年9月21日
【申請日】2016年6月29日
【發明人】張彥杰
【申請人】英華達（上海）科技有限公司, 英華達股份有限公司, 英華達(上海)電子有限公司