一種單目視覺位姿測量系統的制作方法
【專利摘要】本實用新型提供了一種單目視覺位姿測量系統，至少包括搭載合作目標模板的目標物，位姿圖像采集單元、圖像處理單元、電源及顯示存儲單元，所述的合作目標模板采用四個共面圓環組成，圓環面積大小不一；位姿圖像采集單元為基于USB接口的相機，位姿圖像采集單元與圖像處理單元相連接，將數據輸出至圖像處理單元；所述的圖像處理單元設置有USB接口和網口或串口，所述的圖像處理單元采用STM320DM8148硬件平臺，內部集成了ARM和DSP的異構雙核處理器；圖像處理單元通過網口或串口將數據輸出，所述的電源與圖像處理單元連接并供電。該系統提供了一種硬件平臺，能夠與算法相結合，從而實現單目視覺位姿精確測量。
【專利說明】
-種單目視覺位姿測量系統
技術領域
[0001 ]本實用新型提供了一種單目視覺位姿測量系統，屬于視覺檢測技術領域。
【背景技術】
[0002] 視覺檢測技術是近二十幾年來發展的一口新興測量技術，采用了大量自動化、智 能化技術，通過計算機識別和控制，測量過程只需很少的人工干預就可完成。隨著視覺技術 的不斷發展成熟，使得它在工業、醫學、航空航天、軍事等領域獲得了廣泛的應用。視覺技術 可W代替人類進行尺寸檢測、目標物跟蹤、機器人導航等，而對于重復性高、非接觸精密測 量、信息獲取迅速W及現場環境惡劣的應用更加適合。
[0003] 目前大多數對視覺測量的研究都是基于PC端，因其體積大、功耗高，大多不適合機 載，因此如何將嵌入式技術應用到視覺檢測技術中逐漸受到關注，并日益成為研究的熱點。 但視覺檢測相關算法復雜，圖像處理計算量大，跟蹤的實時性問題一直未得到有效解決，其 中硬件平臺的性能和軟件算法的效率是兩大影響因素，因此，在該領域仍須做大量的研究 工作。
[0004] 視覺測量系統中的圖像采集硬件平臺系統主要包括W下部分：圖像采集單元，圖 像處理分析單元，數據存儲單元和控制反饋單元等。其中，圖像采集單元是計算機視覺系統 中獲取信息的關鍵部件，其最本質的功能就是將光信號轉變成為有序的電信號并通過一定 的方式傳輸到信號處理平臺。而圖像采集單元的設計主要與光學敏感器及其接口有關。
[0005] 傳統的視覺測量系統大多基于乂CD十視頻信號處理忍片+C化D/FPGA+DSP"構架 的。目前運種構架相對成熟，但CCD傳感器需要數量可觀的外部支持電路，在電源管理電路 設計上的難度更高。其功耗和體積較大，硬件設計復雜，開發難度較大。
[0006] CMOS傳感器具有體積小、功耗低、高集成度、新型USB接口及紅外接口技術運些突 出的優點。其原有的出現雜點的幾率很大，很容易受干擾影響現在成熟的產品也都能從后 級電路上進行補償和優化，使得COMS技術的攝像頭成品成為市場主導產品。
[0007] 基于USB接口的COMS相機不需要額外的采集設備即可獲得實時無壓縮視頻數據和 對圖像的捕捉。但其傳輸過程設及復雜通信協議，若是基于傳統的乂化D/FPGA+DSP"構架， 需要構建相當復雜的邏輯電路來管理。而ARM處理器在運類系統中能很好的發揮控制功能， 只需要使用內部的USB化S巧區動接收攝像頭數據，就可W獲得完整的或者壓縮過的圖像或 者視頻。在圖像的存儲和處理方面，對于己經上了操作系統的運種圖像采集處理平臺，圖像 可W作為文件，存儲在文件系統里面對數據的處理。而單一的ARM處理器在處理復雜圖像算 法時稍顯不足，無法勝任運算復雜度較高的任務。DSP忍片的可編程性和強大的處理能力， 使其可用于快速地實現各種數字信號處理算法，成為目前圖像處理系統的最佳選擇。因此， 我們提出采用乂 0MS+ARM+DSP"架構來構建視覺測量硬件平臺。TI公司的達芬奇系列處理器 集成了ARM和DSP的異構雙核處理器，使得達芬奇處理器具備了ARM和DSP各自的優勢，能很 好地滿足應用需求。
[000引目前國內對于單目視覺位姿測量系統的研究大多還處于理論仿真階段，還沒有成 型的產品。單目視覺位姿測量方法也大多基于PC端，依賴于化enCV計算機視覺庫。由于有PC 機強大的硬件作為保障，在應用開發的過程中不需要過多的考慮系統開銷問題，OpenCV視 覺庫提供豐富的視覺處理算法，簡化了算法的實現難度。但考慮到PC機體型大不便于普及 應用，隨著嵌入式技術的發展，相關的硬件平臺性能進一步提升，讓嵌入式平臺對于視覺圖 像處理相關應用也能夠較好的支持。而且嵌入式本身具有低功耗和低成本的特點，使得基 于嵌入式技術的視覺測量系統受到了越來越多的關注。因此，研究一種高效可靠的單目視 覺位姿測量系統很有必要。 【實用新型內容】
[0009] 本實用新型提供了一種基于合作目標的單目視覺位姿測量系統，解決了【背景技術】 中的不足，該系統提供了一種硬件平臺，能夠與算法相結合，從而實現單目視覺位姿精確測 量。
[0010] 實現本實用新型上述目的所采用的技術方案為：
[0011] -種單目視覺位姿測量系統，至少包括合作目標模板、位姿圖像采集單元、圖像處 理單元、電源及顯示存儲單元，合作目標模板搭載在目標物上，所述的合作目標模板為四個 共面的圓環，且四個圓環的面積大小均不相同；所述的位姿圖像采集單元為基于USB接口的 COMS相機，所述COMS相機中包括圖像傳感部分、信號讀出電路和控制電路，圖像傳感部分、 信號讀出電路和控制電路集成在一塊忍片上，位姿圖像采集單元與圖像處理單元相連接， 將位姿圖像數據通過USB接口輸出至圖像處理單元;所述的圖像處理單元設置有用于接收 位姿圖像數據的USB接口和用于傳輸數據的網口或串口，所述的圖像處理單元采用TI公司 的STM320DM814如則牛平臺，其內部集成了ARM和DSP的異構雙核處理器；圖像處理單元與顯 示存儲單元連接，所述的電源與圖像處理單元連接并給圖像處理單元供電。
[0012] 所述的顯示存儲單元為顯示屏加 SD卡，或者為PC端。
[001引與現有技術相比，本實用新型采用乂0MS+ARM+DSP"架構來構建視覺測量硬件平 臺。基于USB接口的COMS相機不需要額外的采集設備即可獲得實時無壓縮視頻數據和對圖 像的捕捉。TI公司的達芬奇系列處理器集成了 ARM和DSP的異構雙核處理器，使得達芬奇處 理器具備了 ARM和DSP各自的優勢，ARM作為主控處理器，負責外設和數據采集功能，DSP因其 具備高效的運算能力，用于位姿解算處理。克服了傳統基于PC端視覺檢測技術中，針對應用 于特殊環境時體積過大，不便于攜帶等問題，同時也避免了基于普通嵌入式平臺實時性和 效率不好的問題。具有低功耗和低成本的特點，能很好地滿足應用需求。本系統所結合的算 法在位姿測量方法上提出采用化SU法進行二值化，相比傳統的方法，Otsu法在嵌入式平臺 運行效率更高。同時，因為兩帖圖像的差別不大，本系統計算闊值時可W采用上一帖計算好 的值，運樣計算闊值和二值化可W并行進行，速度可W極大提高。
【附圖說明】
[0014] 圖1為本實用新型提供的位姿測量系統的原理框圖；
[0015] 圖2為算法流程圖；
[0016] 圖3為坐標轉換圖；
[0017] 圖4為數據傳輸圖。
【具體實施方式】
[0018] 下面結合附圖對本實用新型做詳細具體的說明，但是本實用新型的保護范圍并不 局限于W下實施例。
[0019] 本實用新型提供的位姿測量系統分為五個部分:合作目標模板，位姿圖像采集單 元、圖像處理單元、電源及顯示和存儲單元。整個系統的結構框圖如圖1所示。
[0020] (1)合作目標模板:本系統在使用時合作目標模板搭載在目標物上，所述的合作目 標模板采用含四個共面圓環標志作為合作目標模板，為便于識別圓的對應關系，四個圓環 的面積大小均設為不同。
[0021] (2)位姿圖像采集單元:本設計方案采用基于USB接口的COMS相機獲取位姿圖像， 所述COMS相機中包括圖像傳感部分、信號讀出電路和控制電路，圖像傳感部分、信號讀出電 路和控制電路集成在一塊忍片上，位姿圖像采集單元與圖像處理單元相連接，將位姿圖像 數據通過USB接口輸出至圖像處理單元，其輸出的數據為1280*1024灰度圖像。
[0022] (3)圖像處理單元:通過USB接口采集位姿圖像信息，經智能圖像處理算法處理后， 將處理結果和原始圖像通過顯示單元顯示并通過存儲單元保存。其中，智能處理算法部分 主要設及到圖像二值化、特征點提取和位姿解算=部分。
[0023] (4)電源:將市電220V電壓轉換DC12V電壓并給DM814如更件平臺供電。
[0024] (5)顯示和存儲單元：負責與圖像處理單元建立連接，實時顯示并存儲圖像處理單 元輸出的原始圖像數據W及智能算法處理結果，并可對相機參數及存儲路徑進行設置。通 過顯示測試系統精度和可靠性。所述的顯示存儲單元為顯示屏加 SD卡，或者為PC端，還可W 為其他裝置。
[0025] 系統的開發基于TI公司提供的針對達芬奇系列忍片ARM+DSP體系結構特點的一整 套軟件組件和框架標準。在此框架下進行達芬奇應用開發能夠實現ARM和DSP的實時通信和 協調工作。可W簡化應用的開發難度，縮短開發周期，同時保證了應用的可移植性。數據傳 輸的具體過程如圖4所示。
[0026] USB接口相機:采集圖像，輸出圖像數據。攝像頭內部己經完成了圖像采集系統中 圖像的采集、轉換、輸出功能，最后通過USB Slave部件整理數據并輸出。
[0027] 圖像處理單元:采用TI公司的STM320DM814如更件平臺，其內部集成了 ARM和DSP的 異構雙核處理器。本系統中ARM處理器搭載Linux操作系統，作為主控處理器，使用內部的 USB化S巧區動接收攝像頭數據，就可W獲得完整的圖像或者視頻。通過USB接口采集來的圖 像數據存放在共享內存中，為了優化圖像數據在內存中的存儲，提高系統的實時處理能力， 采用抓MA控制器將DSP需要處理的那一帖數據從共享內存拷貝到DSP data段，同時將處理 完的結果傳送回共享內存，便于ARM處理器調用，DSP處理器的CPU只用于圖像數據的計算。 最后ARM處理器將存于共享內存的圖片原始數據和處理結果通過串口或者網口輸出并通過 顯示存儲單元進行顯示和存儲。
[0028] 本實用新型所提供的系統結合W下方法進行使用，具體的方法如下：
[0029] 基于達芬奇技術的單目視覺位姿測量方法的流程如圖2所示，具體步驟如下：
[0030] 1、二值化。（格式）
[0031] 在PC端二值化不需要考慮時間花費，一般采用高斯模板進行二值化，因嵌入式平 臺對速度要求較高，考慮將傳統的使用高斯模板二值化改成使用化SU法來計算。Otsu法被 公認為是效果最好，應用面最廣的二值化方法，對大多數樣本都實用。Otsu法二值化的主要 思想是從圖像的灰度直方圖中把灰度值的集合用闊值T分為兩類，然后根據兩個類別的平 均值方差(類間方差)和各類的方差(類內方差)的比為最大來確定闊值T。
[0032] 因為兩帖圖像的差別不大，闊值可W采用上一帖計算好的值，運樣計算闊值和二 值化可W并行進行，速度可W極大提高。
[0033] 2、輪廓提取
[0034] 首先提取合作目標圖片中的所有輪廓，根據圓的性質依次檢驗是否為圓，若是圓 則提取質屯、。理論上來講，輪廓的大小不一，那么不同的輪廓上的像素點總數會有很大的差 別。4個圓環的輪廓上的像素點的總數滿足一定的范圍，遍歷所有的輪廓，判斷是否輪廓的 像素點總數處于一個范圍。通過像素點總數，過濾掉一部分不可能是圓的輪廓，運樣可W進 一步簡化計算。圓的面積S等于31 丫 2,周長C等于如r，不難發現
，運用運個比例關系， 我們可W識別該輪廓是否為圓。由于提取的輪廓存在噪聲點，提取的圓的輪廓不會嚴格的 滿足運個比例關系，但是實際的比例在1的左右不會有太大的波動。根據W上方法可W快速 檢測目標圓。采用RANSAC算法進行圓曲線擬合，確定圓屯、。根據圓環面積大小依次排序，找 到圓環間位置對應關系。
[00巧]3位姿解算
[0036] 根據前面圖像處理得到的特征參數結合相機標定參數求解相對位姿。如圖3所示， 建立圖像坐標與空間位置之間的相互關系。Ow表示實物空間坐標系，Oc表示相機坐標系原 點，（u，v)表示成像平面。
[0037] 從Ow坐標系到化，V)成像平面之間的轉換關系如公式（1)，即相機成像模型。其中， R和T分別表示相機坐標系和世界坐標系的姿態和位置變換矩陣。f是相機焦距，山和dy是像 元在xy方向上的尺寸。利用提取的合作目標中的圓屯、坐標和相應的相點坐標構成二維成像 平面和S維實物空間匹配點對。結合公式（1)中的相機內外參數矩陣，利用P4P算法進行位 姿解算，得到合作目標的位姿信息。
[00；3 引 (D。
【主權項】
1. 一種單目視覺位姿測量系統，至少包括合作目標模板、位姿圖像采集單元、圖像處理 單元、電源及顯示存儲單元，其特征在于:合作目標模板搭載在目標物上，所述的合作目標 模板為四個共面的圓環，且四個圓環的面積大小均不相同；所述的位姿圖像采集單元為基 于USB接口的COMS相機，所述COMS相機中包括圖像傳感部分、信號讀出電路和控制電路，圖 像傳感部分、信號讀出電路和控制電路集成在一塊芯片上，位姿圖像采集單元與圖像處理 單元相連接，將位姿圖像數據通過USB接口輸出至圖像處理單元;所述的圖像處理單元設置 有用于接收位姿圖像數據的USB接口和用于傳輸數據的網口或串口，所述的圖像處理單元 采用TI公司的STM320DM8148硬件平臺，其內部集成了ARM和DSP的異構雙核處理器；圖像處 理單元與顯示存儲單元連接，所述的電源與圖像處理單元連接并給圖像處理單元供電。2. 根據權利要求1所述的單目視覺位姿測量系統，其特征在于:所述的顯示存儲單元為 顯示屏加 SD卡，或者為PC端。
【文檔編號】G01C21/00GK205692214SQ201620447304
【公開日】2016年11月16日
【申請日】2016年5月17日 公開號201620447304.7, CN 201620447304, CN 205692214 U, CN 205692214U, CN-U-205692214, CN201620447304, CN201620447304.7, CN205692214 U, CN205692214U
【發明人】張莉君, 羅小依, 姜珺, 李能
【申請人】中國地質大學（武漢）