視線追蹤及人眼感興趣區域定位系統的制作方法
【專利摘要】本實用新型公開了一種視線追蹤及人眼感興趣區域定位系統，包括圖像采集設備、硬件平臺和顯示輸出設備，圖像采集設備包括紅外人眼相機和前景相機，紅外人眼相機和前景相機的輸出端分別與硬件平臺的輸入端相連，硬件平臺的輸出端與顯示輸出設備的輸入端相連；所述硬件平臺包括存儲單元，硬件平臺是基于FPGA和雙核ARM9處理器；所述紅外人眼相機用于拍攝人眼瞳孔圖像，并將該圖像實時傳輸至硬件平臺；前景相機用于拍攝人眼視線區域圖像，將人眼視線區域圖像實時傳輸至硬件平臺；通過利用本實用新型瞳孔與標記點的映射關系即可以確定人眼在視線區域圖像中的注視點/感興趣點，實現了視線追蹤的功能。
【專利說明】
視線追蹤及人眼感興趣區域定位系統
技術領域
[0001]本實用新型涉及一種可穿戴式電子設備，尤其是一種基于瞳孔檢測技術的視線追蹤和人眼感興趣區域定位系統。
【背景技術】
[0002]視線追蹤技術廣泛用于商業數據分析、車輛輔助駕駛、心理與生理學研究、人因分析、虛擬現實等領域。目前國內視線追蹤領域的研究也正處于起步階段，國外主要是為數不多的幾家發達國家高科技公司掌握關鍵技術并推出了成熟產品。它們的產品價格都十分昂貴，配套軟件需要額外購買，并且結構復雜，使用過程相對繁瑣，這些因素限制了視線追蹤技術更加廣泛的應用。
【實用新型內容】
[0003]為了解決【背景技術】中的問題，本實用新型提出了一種精度較高，成本較低，結構簡單，容易使用的視線追蹤及人眼感興趣區域定位系統。
[0004]本實用新型給出以下技術方案:
[0005]視線追蹤及人眼感興趣區域定位系統，其特殊之處在于:包括圖像采集設備、硬件平臺和顯示輸出設備，圖像采集設備包括紅外人眼相機和前景相機，紅外人眼相機和前景相機的輸出端分別與硬件平臺的輸入端相連，硬件平臺的輸出端與顯示輸出設備的輸入端相連；
[0006]所述硬件平臺包括存儲單元，硬件平臺是基于FPGA和雙核ARM9處理器；
[0007]所述紅外人眼相機，用于拍攝人眼瞳孔圖像，并將該圖像實時傳輸至硬件平臺；前景相機用于拍攝人眼視線區域圖像，將人眼視線區域圖像實時傳輸至硬件平臺；
[0008]硬件平臺用于處理接收到的人眼瞳孔圖像，并獲得相應瞳孔的運動軌跡；
[0009]硬件平臺還用于:生成設有多個標記點的標記點圖像，建立標記點圖像中標記點的坐標，將標記點圖像發送至顯示輸出設備;采集瞳孔位置，瞳孔位置是指觀察標記點圖像中標記點的瞳孔位置，建立瞳孔的坐標:根據標記點的坐標與瞳孔的坐標，建立瞳孔與標記點的映射關系；
[0010]硬件平臺還用于將接收到的人眼視線區域圖像與瞳孔運動軌跡結合，根據建立的瞳孔與標記點的映射關系，得到瞳孔運動軌跡與人眼視線區域圖像的映射關系，并在顯示輸出設備顯不;
[0011]其中，標記點圖像與人眼視線區域圖像的分辨率相同；
[0012]所述存儲單元用于存儲硬件平臺接受到的人眼瞳孔圖像和人眼視線區域圖像。
[0013]瞳孔與標記點的映射關系是根據標記點的坐標除以對應的瞳孔坐標建立的。具體的建立方法:硬件平臺生成標記點圖像(標記點圖像設有多個標記點)，建立標記點圖像中標記點的坐標，將標記點圖像發送至顯示輸出設備，通過人眼觀測顯示輸出設備上標記圖像內的標記點，記錄瞳孔在人眼注視這些標記點時的位置，建立瞳孔坐標，再用每個標記點的坐標除以對應的瞳孔坐標，得到映射系數，利用映射系數建立瞳孔與標記點的映射關系。
[0014]因此以后只需檢測瞳孔運動軌跡，利用瞳孔與標記點的映射關系即可以確定人眼在視線區域圖像中的注視點/感興趣點，實現視線追蹤的功能。
[0015]硬件平臺運行的軟件系統包括Linux操作系統，內核版本為3.03，在Linux操作系統中運行QT和OpenCV交叉編譯環境，在交叉編譯環境中生成雙核ARM9處理器可執行文件；存儲單元還用于存儲Linux操作系統。
[0016]上述硬件平臺還包括電源模塊、VGA顯示接口和USB OTG接口；
[0017]所述電源模塊為TI公司TPS系列電源芯片；
[0018]所述VGA顯示接口為ADV7511芯片和HDM1-VGA轉接器；
[0019]所述USB OTG接口為TUSBl 210芯片；
[0020]所述存儲單元為SD卡和/或U盤；
[0021 ] 所述FPGA和雙核ARM9處理器為Xilinx公司的ZYNQ-7020芯片。
[0022]紅外人眼相機為320*240分辨率的近紅外CMOS相機，前景相機為640*480分辨率的廣角可見光CMOS相機。
[0023]硬件平臺通過存儲在存儲單元卡中的Linux操作系統，將Linux操作系統掛載在雙核AMR9處理器內部。
[0024]上述QT軟件版本為4.8.1,所述OpenCV版本為2.4.11。
[0025]上述紅外人眼相機和前景相機分別通過USB OTG接口與硬件平臺相連;所述顯示輸出設備通過VGA顯示接口與硬件平臺相連
[0026]上述視線追蹤及人眼感興趣區域定位系統還包括具有控制功能的外部設備，具有控制功能的外部設備是鼠標和鍵盤，所述鼠標和鍵盤均通過USB OTG接口與硬件平臺相連。
[0027]本實用新型具有以下技術效果:
[0028]利用本實用新型瞳孔與標記點的映射關系，可以確定人眼在視線區域圖像中的注視點/感興趣點，能夠實現視線追蹤的功能，因此，本實用新型可以為商業領域的宣傳文案、海報設計、網頁視覺效果、包裝設計等提供觀測效果的試驗分析，計算消費者對海報廣告設計的主要觀測興趣位置，從而優化海報廣告的設計以達到更好的宣傳期望；也可以將本實用新型制作成可穿戴的，可以輔助用戶實時分析測試者感興趣區域。
【附圖說明】
[0029]圖1是本實用新型視線追蹤及人眼感興趣區域定位系統的實現框圖。
[0030]圖2是硬件平臺具體電路原理圖。
[0031]圖3是本實用新型軟件系統總體結構。
[0032]圖4是本實用新型外部接口示意圖。
[0033]圖5是本實用新型軟件系統流程圖。
【具體實施方式】
[0034]本實用新型提出了一種視線追蹤及人眼感興趣區域定位系統，如圖1至圖5，包括圖像采集設備、硬件平臺和顯示輸出設備，圖像采集設備包括紅外人眼相機和前景相機，紅外人眼相機和前景相機的輸出端分別與硬件平臺的輸入端相連，硬件平臺的輸出端與顯示輸出設備的輸入端相連；
[0035]所述硬件平臺包括存儲單元，硬件平臺是基于FPGA和雙核ARM9處理器；
[0036]所述紅外人眼相機，用于拍攝人眼瞳孔圖像，并將該圖像實時傳輸至硬件平臺；前景相機用于拍攝人眼視線區域圖像，將人眼視線區域圖像實時傳輸至硬件平臺；
[0037]硬件平臺用于處理接收到的人眼瞳孔圖像，并獲得相應瞳孔的運動軌跡；
[0038]硬件平臺還用于:生成設有多個標記點的標記點圖像，建立標記點圖像中標記點的坐標，將標記點圖像發送至顯示輸出設備;采集瞳孔位置，瞳孔位置是指觀察標記點圖像中標記點的瞳孔位置，建立瞳孔的坐標:根據標記點的坐標與瞳孔的坐標，建立瞳孔與標記點的映射關系；
[0039]硬件平臺還用于將接收到的人眼視線區域圖像與瞳孔運動軌跡結合，根據建立的瞳孔與標記點的映射關系，得到瞳孔運動軌跡與人眼視線區域圖像的映射關系，并在顯示輸出設備顯不;
[0040]其中，標記點圖像與人眼視線區域圖像的分辨率相同；
[0041]所述存儲單元用于存儲硬件平臺接受到的人眼瞳孔圖像和人眼視線區域圖像。
[0042I硬件平臺運行的軟件系統包括Linux操作系統，內核版本為3.03，Linux操作系統為基于Linux3.13內核版本的定制操作系統，具體版本為Ubuntul2.04LTS;在Linux操作系統中運行QT和OpenCV交叉編譯環境，在交叉編譯環境中實現映射關系，其中，QT軟件版本為4.8.1，OpenCV版本為2.4.11；存儲單元還用于存儲Linux操作系統;硬件平臺通過存儲在存儲單元卡中的Linux操作系統，將Linux操作系統掛載在雙核AMR9處理器內部。
[0043]如圖2，硬件平臺還包括電源模塊、VGA顯示接口和USB OTG接口；電源模塊為TI公司TPS系列電源芯片；VGA顯示接口為ADV7511芯片和HDM1-VGA轉接器；USB OTG接口為TUSB1210芯片;存儲單元為SD卡和/或U盤。FPGA和雙核ARM9處理器均為Xilinx公司的ZYNQ-7020芯片。該芯片內部集成Xi I inx公司最新7系列FPGA和雙核ARM9處理器，并且通過AXI總線實現FPGA與ARM處理器的高速通信。
[0044]紅外人眼相機和前景相機分別通過USBOTG接口與硬件平臺相連;所述顯示輸出設備通過VGA顯示接口與硬件平臺相連；
[0045]紅外人眼相機可采用為320*240分辨率的近紅外CMOS相機，前景相機可采用為640*480分辨率的高清廣角可見光CMOS相機。
[0046]顯示輸出設備為一塊1280*800分辨率的VGA接口顯示屏。顯示器主要顯示紅外相機拍攝人眼瞳孔圖像、前景相機模擬人眼視野圖像、人眼感興趣區域標記與追蹤、參數設置區域。
[0047]視線追蹤及人眼感興趣區域定位系統還包括具有控制功能的外部設備，具有控制功能的外部設備是鼠標和鍵盤，所述鼠標和鍵盤均通過USB OTG接口與硬件平臺相連，實現人機交互界面控制和Linux操作系統命令輸入。
[0048]參見圖3，是硬件平臺運行的軟件系統的總體結構和模塊外部設計。根據軟件系統的功能性需求，可以將軟件系統劃分為5個功能模塊分別為:相機控制與顯示、人眼視線中心定位、革E標定位、感興趣區域的定位，姿態估計與目標位置矯正。
[0049]參見圖4，用戶界面中的要素主要有三部分:紅外拍攝瞳孔相機的顯示區域、前景相機視頻的顯示區域、測試圖像的顯示與更新區域。
[0050]參見圖5，測試人員通過用戶界面按照系統提示完成瞳孔位置標定，瞳孔位姿與顯示區域映射關系建立。
[0051]相對于現有的技術，本實用新型視線追蹤及人眼感興趣區域定位系統，充分利用了ARM加FPGA硬件平臺，在嵌入式操作系統中運行QT和OpenCV鏡像庫文件，在QT編程界面中利用C++語言實現人眼瞳孔檢測和視線追蹤，并建立友好的人機交互界面，利用高清顯示器標記人眼感興趣區域，最終將統計數據保存以備后續分析。相比于現有同類型產品具有相似精度，但成本較低，技術難度要求小的特點。
[0052]上述內容是結合具體的優選實施方式對本實用新型作說明，不能認定本實用新型的具體實施只局限于這些說明。對于本實用新型所屬技術領域的普通技術人員來說，在不脫離本實用新型構思的前提下，還可以做出若干簡單推演或替換。
【主權項】
1.視線追蹤及人眼感興趣區域定位系統，其特征在于:包括圖像采集設備、硬件平臺和顯示輸出設備，圖像采集設備包括紅外人眼相機和前景相機，紅外人眼相機和前景相機的輸出端分別與硬件平臺的輸入端相連，硬件平臺的輸出端與顯示輸出設備的輸入端相連； 所述硬件平臺包括存儲單元，硬件平臺是基于FPGA和雙核ARM9處理器； 所述紅外人眼相機用于拍攝人眼瞳孔圖像，并將該圖像實時傳輸至硬件平臺；前景相機用于拍攝人眼視線區域圖像，將人眼視線區域圖像實時傳輸至硬件平臺； 硬件平臺用于處理接收到的人眼瞳孔圖像，并獲得相應瞳孔的運動軌跡； 硬件平臺還用于:生成設有多個標記點的標記點圖像，建立標記點圖像中標記點的坐標，將標記點圖像發送至顯示輸出設備;采集瞳孔位置，瞳孔位置是指觀察標記點圖像中標記點的瞳孔位置，建立瞳孔的坐標:根據標記點的坐標與瞳孔的坐標，建立瞳孔與標記點的映射關系； 硬件平臺還用于將接收到的人眼視線區域圖像與瞳孔運動軌跡結合，根據建立的瞳孔與標記點的映射關系，得到瞳孔運動軌跡與人眼視線區域圖像的映射關系，并在顯示輸出設備顯示； 其中，標記點圖像與人眼視線區域圖像的分辨率相同； 所述存儲單元用于存儲硬件平臺接受到的人眼瞳孔圖像和人眼視線區域圖像。2.根據權利要求1所述的視線追蹤及人眼感興趣區域定位系統，其特征在于:所述硬件平臺還包括電源模塊、VGA顯示接口和USB OTG接口 ； 所述電源模塊為TI公司TPS系列電源芯片； 所述VGA顯示接口為ADV7511芯片和HDM1-VGA轉接器； 所述USB OTG接口為TUSB1210芯片； 所述存儲單元為SD卡和/或U盤； 所述FPGA和雙核ARM9處理器為Xi I inx公司的ZYNQ-7020芯片。3.根據權利要求2所述的視線追蹤及人眼感興趣區域定位系統，其特征在于:紅外人眼相機為320*240分辨率的近紅外CMOS相機，前景相機為640*480分辨率的廣角可見光CMOS相機。4.根據權利要求3所述的視線追蹤及人眼感興趣區域定位系統，其特征在于:所述紅外人眼相機和前景相機分別通過USB OTG接口與硬件平臺相連;所述顯示輸出設備通過VGA顯示接口與硬件平臺相連。5.根據權利要求4所述的視線追蹤及人眼感興趣區域定位系統，其特征在于:所述視線追蹤及人眼感興趣區域定位系統還包括具有控制功能的外部設備，具有控制功能的外部設備是鼠標和鍵盤，所述鼠標和鍵盤均通過USB OTG接口與硬件平臺相連。
【文檔編號】G06F3/01GK205563453SQ201521052147
【公開日】2016年9月7日
【申請日】2015年12月16日
【發明人】李斌, 吳孟杰, 李飛鵬, 宋宗璽
【申請人】中國科學院西安光學精密機械研究所