專利名稱：基于鷹眼技術的網球賽仿真裝置及其仿真處理方法
技術領域：
本發明涉及的是一種運動目標檢測、跟蹤技術，以及對比賽結果做判斷、三維視景重現的裝置。本發明還涉及一種仿真處理方法。
背景技術：
在2006年的美國網球公開賽中，引入了“鷹眼”技術，這項技術早在2001年初問世時便獲得了英國皇家電視協會頒發的科技革新獎，2003年又因廣泛使用于網球轉播而獲全美電視最高獎艾美獎的“杰出科技貢獻獎”。“鷹眼”的正式名稱是“即時回放系統”，它的技術原理并不復雜，只是十分精密。這個系統由8個或者10個高速攝像頭、四臺電腦和大屏幕組成。首先，借助電腦的計算把比賽場地內的立體空間分隔成以毫米計算的測量單位；然后，利用高速攝像頭從不同角度同時捕捉網球飛行軌跡的基本數據；再通過電腦計算，將這些數據生成三維圖像；最后利用即時成像技術，由大屏幕清晰地呈現出網球的運動路線及落點。從數據采集到結果演示，這個過程所耗用的時間，不超過10秒鐘。通常用于電視轉播。但是該技術成本造價很高，并且對采集到的數據進行處理時運算量非常大。
基于鷹眼技術的網球賽仿真研究的主要關鍵技術是運動目標檢測和跟蹤。目標檢測就是實時地在被監視的場景中檢測運動目標，并將其提取出來。運動目標檢測算法依照被監視場景與攝像頭之間是否存在相對運動分為靜止背景下運動目標的檢測和運動背景下運動目標的檢測兩大類。
目前，針對背景圖像靜止不動的情況，所提出的檢測運動目標的算法主要基于以下三個思想第一是基于幀間差異的算法；第二類是基于背景估計圖像與當前幀圖像差異的算法；第三類是基于背景統計模型的算法。目前雖然存在著各種各樣的算法，但每個算法多是針對某一特定的場合提出的，并且許多算法仍有許多值得改進的地方，如有的算法在精確地檢測和提取運動目標的輪廓方面，有的算法在計算量等方面仍值得改進。
當背景圖像運動時，許多視頻分割的算法可以直接應用到運動背景的視頻監視中。已經提出了許多專門針對運動背景視頻監視的算法。直接利用視頻分割的算法進行運動目標檢測，往往存在著計算量較大的問題。因為視頻監視的場景圖像序列有著自身的許多特點，所以如何很好的利用這些特點的算法是值得研究的。
在序列圖像中進行目標跟蹤一直是計算機視覺、圖像處理和模式識別領域里非常活躍的課題。所謂運動目標跟蹤，就是在一段序列圖像中的每幅圖像中找到所感興趣的運動目標所處的位置。在視頻監視中運動目標的跟蹤的作用非常重要，因為它不但可以提供被監視目標的運動軌跡，也為場景中運動目標的運動分析、場景分析提供了可靠的數據來源，同時運動目標的跟蹤信息也為運動目標的正確檢測以及運動目標的識別提供了幫助。
目前已經提出了許多目標跟蹤的算法。這些算法有的是針對剛性目標的跟蹤；有的是針對非剛體運動目標的跟蹤；有的針對提高跟蹤匹配的準確性而提出的，這類算法主要的特點是通過選取好的跟蹤特征來提高目標的搜索匹配速度和匹配的正確程度；有的算法提針對縮小目標搜索范圍提出的，這類算法主要特點是通過某種方法預測目標下一時刻可能出現的位置，通過縮小目標的搜索范圍來縮短目標搜索時間。目標跟蹤的困難主要在于，目標的三維運動以及還可能伴隨著的形變。對于剛體目標的跟蹤來說，其主要內容包括選取和提取適合跟蹤的目標特征，解決目標三維運動給目標匹配帶來的困難，另外一方面是設計快速有效的目標搜索算法。
發明內容本發明的目的在于提供一種價格低廉，適合普遍使用和推廣，不僅可以提高運動員的技術水平和訓練質量，還可以提高裁判判斷的精確度的基于鷹眼技術的網球賽仿真裝置。本發明的目的還在于提供這種仿真裝置的仿真處理方法。
本發明的目的是這樣實現的本發明的基于鷹眼技術的網球賽仿真裝置的組成包括視頻圖像采集模塊、圖像預處理模塊、運動目標檢測與跟蹤模塊、三維視景仿真模塊、球賽仿真與三維重現模塊，視頻圖像采集模塊將視頻轉換為一幀一幀的圖像輸入圖像預處理模塊，圖像預處理模塊對圖像進行二值化、銳化、去噪處理后輸入運動目標檢測與跟蹤模塊和三維視景仿真模塊，運動目標檢測將背景差分法與數學形態學相結合對運動目標進行檢測后輸入球賽仿真與三維重現模塊。
本發明的裝置還可以包括這樣一些結構特征1、視頻圖像采集模塊的組成包括CCD攝像機，CCD攝像機通過多路視頻轉換器連接圖像采集卡輸入到計算機。
2、所述的CCD攝像機為兩臺，兩臺CCD攝像機交叉放置。
3、圖像預處理模塊通過對圖像進行二值化、銳化和去噪等處理，來提高圖像的質量。處理平臺為Visual C++6.0。
4、運動目標檢測與跟蹤模塊包括運動目標檢測和運動目標跟蹤兩部分。運動目標檢測的功能是從復雜背景中檢測出運動目標。運動目標跟蹤的功能是提取出運動目標的坐標，來對其運動軌跡進行標定。該模塊以Visual C++6.0為處理平臺。
5、三維視景仿真模塊的功能是對網球場景進行仿真，通過3D MAX實現。球賽仿真和三維重現模塊包括軌跡設定、碰撞檢測、大屏幕重現等。軌跡設定是根據運動目標跟蹤得到的各個坐標點來設定的。碰撞檢測通過對網球的落點來判斷網球是否出界。大屏幕用于對仿真的網球賽的比賽過程進行重現，使裁判和觀眾能更加清晰、準確的看到比賽的結果。球賽仿真通過VEGA軟件來實現。
本發明的仿真處理方法為通過兩臺交叉放置的CCD攝像機采集視頻，通過圖像采集卡將采集到的視頻輸入到計算機中，并將視頻轉換為一幀一幀的圖像；在處理和分析圖像之前采用圖像二值化、銳化、去噪技術對圖像進行預處理；將背景差分法與數學形態學相結合對運動目標進行檢測，運動目標檢測是指檢測并提取視頻序列中與背景存在相對表現運動的運動前景目標，并根據灰度、邊緣、紋理等二維圖像特征將運動前景步分割為若干獨立目標；通過運動目標檢測來實現對運動目標的檢測，然后對檢測出來的目標進行特征提取并計算出該特征點的坐標，估計出球的運動軌跡；對運動目標精確檢測與跟蹤后，對采集到的比賽過程進行實時仿真和三維重現。
本發明的方法還可以包括1、運動目標特征提取與跟蹤的過程為(1)計算出運動目標的灰度質心坐標；(2)通過計算畫出目標的最大外接矩形，計算出該最大外接矩形的兩條對角線的的交點；(3)對質心坐標和對角線交點坐標進行比較，最終確定跟蹤點；(4)估計運動軌跡。
2、仿真和三維重現為根據上面處理得到的每幀圖像中運動球的坐標點，設置球的運動路徑，來實現對球運動的仿真；同時對球的落點進行判斷，判斷球是否出界，幫助裁判員做出正確的判斷。
本發明構建了一個球賽仿真系統，包括用于采集圖片的視頻采集模塊，用于對采集到的圖像進行預處理的圖像預處理模塊，用于對運動目標進行檢測、跟蹤和識別的跟蹤模塊、用于對運動物體運動軌跡進行仿真的仿真模塊。視頻采集模塊由CCD攝像頭、圖像采集卡和計算機系統三部分組成。在視頻圖像采集系統中圖像采集卡將來自CCD攝像機的模擬信號轉換成數字信號輸入到計算機進行處理，它可被認為是CCD攝像機與計算機的接口。
考慮到天氣的變化、光照的變化、運動物體運動造成的運動模糊等因素，圖像中夾雜這各種類型的噪聲。所以，在處理和分析圖像之前對圖像進行預處理。圖像預處理模塊的主要功能就是在處理和分析圖像之前，對圖像進行噪聲去除等預處理工作。圖像濾波是去除圖像噪聲最常用的方法，主要可分為空域濾波和頻域濾波方法。為了去除噪聲或突出圖像的某些特征，常需要對圖像進行平滑或銳化，根據其特點和功能可分為線性平滑濾波、非線性平滑濾波、線性銳化濾波和非線性銳化濾波。
運動目標檢測與跟蹤模塊是該系統的核心。運動目標檢測與跟蹤包括兩方面的內容運動目標檢測和運動目標跟蹤。運動目標檢測是在運動圖像序列中檢測出我們所感興趣的目標；運動目標跟蹤是通過傳感器拍攝到的圖像序列進行分析，計算出目標在每幀圖像上的位置等信息的估計。運動目標檢測效果的好壞直接關系到運動目標跟蹤，而且也關系到整個系統的優劣和實用性。通常情況下，運動目標檢測的算法可以按照被監視場景是室內還是室外分為室內監測算法和室外算法，也可以按照算法具體使用的方法分為連續幀間差分法、背景差分法和光流法。常見的圖像跟蹤技術基本上可以分為波門跟蹤和相關跟蹤兩種方式。波門跟蹤算法可分為質心跟蹤算法、邊緣跟蹤算法和區域平衡跟蹤算法等。相關跟蹤器能在較低的信噪比條件下提供更好的跟蹤性能。主要有相關匹配和特征匹配兩種方法。為了使系統可以對運動的目標進行準確的跟蹤，本發明使用背景差法與數學形態學相結合的方法對運動球進行檢測。該方法可以精確的檢測出運動目標并且可以有效地去除噪聲。對運動目標跟蹤通過對以往方法的研究和分析，提出了一種新的基于特征點跟蹤的改進方法。通過視頻采集，球處于高速運動狀態，采集到的圖像容易變形或被遮擋。該跟蹤方法可以有效的解決這些問題，提高了運動目標跟蹤的準確性和魯棒性。
三維視景仿真模塊主要用于對網球賽場進行模擬。通過對視景的仿真是該系統更加具有真實性和沉浸感。球場的視景仿真主要由靜態幾何模型構成，如建筑物，網球場，看臺等。
仿真模塊主要用于對運動目標的運動軌跡進行仿真，使比賽過程可以三維重現。通過以上幾個模塊的處理，可以獲得序列圖像中運動目標的運動軌跡，通過仿真軟件對該軌跡進行設置。為了使仿真更加逼真，還要應用到碰撞檢測技術。碰撞檢測是虛擬仿真軟件的一個重要特性。VEGA軟件專門設計了Isector類處理各種碰撞檢測問題，并提供八種碰撞檢測算法供開發者進行選擇(VOLUME，Z，HAT，ZPR，TRIPOD，LOS，XYZHPR，BUMP)。其中VOLUME方法用于用戶指定的體與目標場景的碰撞檢測；Z，HAT，ZPR，TRIPOD方法用于高程查詢(功能略有不同)；XYZHPR方法用于非平面地球坐標系交點及姿態計算；LOS方法用于射線交點和距離查詢；BUMP方法可以用于物體間的碰撞檢測計算。
本發明克服了現有技術的價格高昂和計算冗余度大的缺陷，提供了一個價格低廉，適合普遍使用和推廣，特別適合于網球賽實時仿真也可以推廣到其他球賽，不僅可以提高運動員的技術水平和訓練質量，還可以提高裁判判斷的精確度。使比賽走上現代化、規范化和科學化的道路。
圖1是基于鷹眼技術的網球賽仿真裝置的組成結構圖；圖2是視頻圖像采集模塊結構圖；圖3是背景差分法與數學形態學相結合的運動目標檢測原理圖；圖4是運動目標跟蹤流程圖；圖5是比賽過程仿真與三維重現流程圖。
具體實施方式
下面結合附圖舉例對本發明做更詳細地描述結合圖1，基于鷹眼技術的網球賽仿真裝置的功能模塊主要包括視頻圖像采集模塊、圖像預處理模塊、運動目標檢測與跟蹤模塊、三維視景仿真模塊、網球賽仿真與三維重現模塊。
結合圖2，視頻圖像采集模塊通過兩臺交叉放置的CCD攝像機4采集視頻，通過圖像采集卡2將采集到的視頻輸入到計算機1中，并將視頻轉換為一幀一幀的圖像。CCD攝像機、圖像采集卡、監視器5之間通過視頻多路轉換器3連接。
考慮到天氣的變化、光照的變化、運動物體運動造成的運動模糊等因素，圖像中夾雜這各種類型的噪聲。所以，在處理和分析圖像之前要對圖像進行預處理。圖像預處理主要采用圖像二值化、銳化、去噪等技術。
結合圖3，運動目標檢測與跟蹤模塊將背景差分法與數學形態學相結合對運動目標進行檢測。運動目標檢測是指檢測并提取視頻序列中與背景存在相對表現運動的運動前景目標，并根據灰度、邊緣、紋理等二維圖像特征將運動前景步分割為若干獨立目標。背景差分方法是目前運動檢測中最常用的一種方法，它是利用當前圖像與背景圖像的差分來檢測出運動區域的一種技術。形態學的基本思想是用具有一定形態的結構元素去度量和提取圖像中對應形狀以達到對圖像分析和識別的目的。基本的形態學運算是腐蝕和膨脹。對圖像先進行腐蝕運算然后進行膨脹運算，稱之為開運算。對圖像先進行膨脹運算然后進行腐蝕運算，稱之為閉運算。將開和閉運算結合起來可以構成形態學噪聲濾波器。
結合圖4，基于特征點跟蹤的改進算法流程，通過運動目標檢測來實現對運動目標的檢測。然后對檢測出來的目標進行特征提取并計算出該特征點的坐標，估計出網球的運動軌跡。該算法可以有效的解決運動目標由于高速而產生的變形，同時也可以解決遮擋問題，提高了跟蹤的準確性。該算法主要針對形狀規則的物體。其思想是先在序列圖像中分割出運動目標，計算出運動目標的灰度質心坐標。然后通過計算畫出目標的最大外接矩形，計算出該最大外接矩形的兩條對角線的的交點。最后對質心坐標和對角線交點坐標進行比較，最終確定跟蹤點。運動目標特征提取與跟蹤的過程為(1)計算出運動目標的灰度質心坐標；(2)通過計算畫出目標的最大外接矩形，計算出該最大外接矩形的兩條對角線的的交點；(3)對質心坐標和對角線交點坐標進行比較，最終確定跟蹤點；(4)估計運動軌跡。
結合圖5，網球賽仿真與三維重現是對運動目標精確檢測與跟蹤后，就要對采集到的比賽過程進行實時仿真。為了增加仿真的真實感，需要對網球場地、看臺等物體進行仿真，通過3D MAX建模軟件來實現。該流程中，對比賽過程的實時仿真是關鍵。根據上面處理得到的每幀圖像中運動網球的坐標點，設置網球的運動路徑，來實現對網球運動的仿真。同時還要對網球的落點進行判斷，判斷球是否出界，幫助裁判員做出正確的判斷。該模塊還將具有三維重現功能，在需要時可以通過大屏幕對比賽過程進行重放。
權利要求
1.一種基于鷹眼技術的網球賽仿真裝置，其組成包括視頻圖像采集模塊、圖像預處理模塊、運動目標檢測與跟蹤模塊、三維視景仿真模塊、球賽仿真與三維重現模塊，其特征是視頻圖像采集模塊將視頻轉換為一幀一幀的圖像輸入圖像預處理模塊，圖像預處理模塊對圖像進行二值化、銳化、去噪處理后輸入運動目標檢測與跟蹤模塊和三維視景仿真模塊，運動目標檢測將背景差分法與數學形態學相結合對運動目標進行檢測后輸入球賽仿真與三維重現模塊。
2.根據權利要求1所述的基于鷹眼技術的網球賽仿真裝置，其特征是視頻圖像采集模塊的組成包括CCD攝像機，CCD攝像機通過多路視頻轉換器連接圖像采集卡輸入到計算機。
3.根據權利要求2所述的基于鷹眼技術的網球賽仿真裝置，其特征是所述的CCD攝像機為兩臺，兩臺CCD攝像機交叉放置。
4.一種基于鷹眼技術的網球賽仿真裝置的仿真處理方法，其特征是通過兩臺交叉放置的CCD攝像機采集視頻，通過圖像采集卡將采集到的視頻輸入到計算機中，并將視頻轉換為一幀一幀的圖像；在處理和分析圖像之前采用圖像二值化、銳化、去噪技術對圖像進行預處理；將背景差分法與數學形態學相結合對運動目標進行檢測，運動目標檢測是指檢測并提取視頻序列中與背景存在相對表現運動的運動前景目標，并根據灰度、邊緣、紋理等二維圖像特征將運動前景步分割為若干獨立目標；通過運動目標檢測來實現對運動目標的檢測，然后對檢測出來的目標進行特征提取并計算出該特征點的坐標，估計出球的運動軌跡；對運動目標精確檢測與跟蹤后，對采集到的比賽過程進行實時仿真和三維重現。
5.根據權利要求4所述的基于鷹眼技術的網球賽仿真裝置的仿真處理方法，其特征是運動目標特征提取與跟蹤的過程為(1)計算出運動目標的灰度質心坐標；(2)通過計算畫出目標的最大外接矩形，計算出該最大外接矩形的兩條對角線的的交點；(3)對質心坐標和對角線交點坐標進行比較，最終確定跟蹤點；(4)估計運動軌跡。
6.根據權利要求4或5所述的基于鷹眼技術的網球賽仿真裝置的仿真處理方法，其特征是仿真和三維重現為根據上面處理得到的每幀圖像中運動球的坐標點，設置球的運動路徑，來實現對球運動的仿真；同時對球的落點進行判斷，判斷球是否出界，幫助裁判員做出正確的判斷。
全文摘要
本發明提供的是一種基于鷹眼技術的網球賽仿真裝置及其仿真處理方法。其組成包括視頻圖像采集模塊、圖像預處理模塊、運動目標檢測與跟蹤模塊、三維視景仿真模塊、球賽仿真與三維重現模塊，視頻圖像采集模塊將視頻轉換為一幀一幀的圖像輸入圖像預處理模塊，圖像預處理模塊對圖像進行二值化、銳化、去噪處理后輸入運動目標檢測與跟蹤模塊和三維視景仿真模塊，運動目標檢測將背景差分法與數學形態學相結合對運動目標進行檢測后輸入球賽仿真與三維重現模塊。本發明提供了一個價格低廉，適合普遍使用和推廣，特別適合于網球賽實時仿真也可以推廣到其他球賽，不僅可以提高運動員的技術水平和訓練質量，還可以提高裁判判斷的精確度。
文檔編號G06T11/00GK101067866SQ200710072289
公開日2007年11月7日 申請日期2007年6月1日 優先權日2007年6月1日
發明者張菁, 李艷波, 于楊, 陳杰, 單穎, 趙明, 王立偉, 王海玲, 于思亮 申請人:哈爾濱工程大學