一種二維碼的增強現(xiàn)實實現(xiàn)方法和裝置制造方法
【專利摘要】本發(fā)明實施方式提出一種二維碼的增強現(xiàn)實實現(xiàn)方法和裝置。方法包括：在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓；識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內(nèi)容信息，并跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息；根據(jù)二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理。應(yīng)用本發(fā)明實施方式之后，將二維碼檢測與識別過程進行分離，減少了運算較慢的二維碼識別處理，提高了二維碼運算速度。
【專利說明】一種二維碼的增強現(xiàn)實實現(xiàn)方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明實施方式涉及二維碼【技術(shù)領(lǐng)域】，更具體地，涉及一種二維碼的增強現(xiàn)實實現(xiàn)方法和裝置。
【背景技術(shù)】
[0002]隨著社會的進步與信息爆炸時代的來臨，人們越來越多依靠各式各樣的消費電子設(shè)備(如移動終端、個人數(shù)字助理(PDA)等)獲取各種信息。比如:打電話與別人溝通，瀏覽網(wǎng)頁獲取新聞和查看電子郵件等。目前廣泛應(yīng)用的人機交互包括依靠傳統(tǒng)的鍵盤鼠標(biāo)等硬件設(shè)備，以及近幾年逐漸流行起來的觸摸屏等。
[0003]人們對于現(xiàn)存的人機交互方式并不滿足，人們期望新一代的人機交互能像人與人交互一樣自然、準(zhǔn)確和快捷。于是在20世紀(jì)90年代人機交互的研究進到了多模態(tài)階段，稱為人機自然交互(Human-Computer Nature Interaction, HCNI 或 Human-Machine NatureInteraction, HMNI)。
[0004]虛擬現(xiàn)實(virtual reality, VR)技術(shù)是利用電腦模擬產(chǎn)生一個三維空間的虛擬世界，提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬，讓使用者如同身歷其境一般，可以及時、沒有限制地觀察三維空間內(nèi)的事物，并與虛擬世界中的元素進行交互。虛擬現(xiàn)實技術(shù)具有超越現(xiàn)實的虛擬性。它是伴隨多媒體技術(shù)發(fā)展起來的計算機新技術(shù)，它利用三維圖形生成技術(shù)、多傳感交互技術(shù)以及高分辨率顯示技術(shù)，生成三維逼真的虛擬環(huán)境。
[0005]增強現(xiàn)實(Augmented Reality,AR)是在虛擬現(xiàn)實的基礎(chǔ)上發(fā)展起來的新技術(shù),也被稱之為混合現(xiàn)實。增強現(xiàn)實是通過計算機系統(tǒng)提供的信息增加用戶對現(xiàn)實世界感知的技術(shù)，將虛擬的信息應(yīng)用到真實世界，并將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，從而實現(xiàn)對現(xiàn)實的增強。
[0006]隨著二維碼技術(shù)的普及，近年來也出現(xiàn)了一些用于二維碼的增強現(xiàn)實方法。當(dāng)前已有的二維碼增強現(xiàn)實方法主要基于開源二維碼識別庫，其優(yōu)點是實現(xiàn)簡單，定位準(zhǔn)確，缺點是一方面二維碼檢測與識別算法混合在一起，速度非常慢；另一方面沒有針對二維碼的跟蹤方法，每一幀都需要檢測與識別，檢測成功率很低，而且無法達到移動終端的實時要求。
【發(fā)明內(nèi)容】
[0007]本發(fā)明實施方式提出一種二維碼的增強現(xiàn)實實現(xiàn)方法，以提高二維碼運算速度。
[0008]本發(fā)明實施方式提出一種二維碼的增強現(xiàn)實實現(xiàn)裝置，以提高二維碼運算速度。
[0009]本發(fā)明實施方式的技術(shù)方案如下:
[0010]一種二維碼的增強現(xiàn)實實現(xiàn)方法，該方法包括:
[0011]在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓；
[0012]識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內(nèi)容信息，并跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息；[0013]根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理。
[0014]一種二維碼的增強現(xiàn)實實現(xiàn)裝置，該裝置包括:二維碼檢測單元、識別跟蹤單元和增強現(xiàn)實單元，其中:
[0015]二維碼檢測單元，用于在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓；
[0016]識別跟蹤單元，用于識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內(nèi)容信息，并跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息；
[0017]增強現(xiàn)實單元，用于根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理。
[0018]從上述技術(shù)方案可以看出，在本發(fā)明實施方式中，在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓；識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內(nèi)容信息，并跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息；根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理。由此可見，應(yīng)用本發(fā)明實施方式之后，將二維碼檢測與識別過程進行分離，對于檢測能夠得到二維碼的情形才進行二維碼的識別，減少了運算較慢的二維碼識別處理。
[0019]而且，本發(fā)明實施方式將二維碼檢測與跟蹤過程進行分離，對于檢測能夠得到二維碼的二維碼輪廓才進行特征點的跟蹤，在跟蹤丟失滿足一定條件后再重啟檢測，通過這一方法減少了運算較慢和檢出成功率較低的二維碼檢測過程執(zhí)行次數(shù)，提高了二維碼運算的速度，并且提高了二維碼位置獲取的穩(wěn)定性與連續(xù)性。
【專利附圖】
【附圖說明】
[0020]圖1為根據(jù)本發(fā)明實施方式二維碼的增強現(xiàn)實實現(xiàn)方法流程圖；
[0021]圖2為根據(jù)本發(fā)明實施方式二維碼的增強現(xiàn)實實現(xiàn)方法的示范性流程圖；
[0022]圖3為根據(jù)本發(fā)明實施方式QR 二維碼錨點示意圖；
[0023]圖4為根據(jù)本發(fā)明實施方式QR 二維碼錨點特征示意圖；
[0024]圖5為根據(jù)本發(fā)明實施方式二維碼檢測方法流程圖；
[0025]圖6為根據(jù)本發(fā)明實施方式QR 二維碼橫向和縱向特征掃描示意圖；
[0026]圖7為根據(jù)本發(fā)明實施方式二維碼檢測和跟蹤流程圖；
[0027]圖8為根據(jù)本發(fā)明實施方式二維碼跟蹤的示范性流程圖；
[0028]圖9為根據(jù)本發(fā)明實施方式二維碼的增強現(xiàn)實實現(xiàn)裝置結(jié)構(gòu)圖。
【具體實施方式】
[0029]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖對本發(fā)明作進一步的詳細描述。
[0030]在現(xiàn)有技術(shù)中，利用增強現(xiàn)實技術(shù)的展示系統(tǒng)主要包括兩種方案，分別是用于特定標(biāo)志的增強現(xiàn)實方法和用于自然圖片的增強現(xiàn)實方法。
[0031]在用于特定標(biāo)志的增強現(xiàn)實方法中，已經(jīng)具有使用自定義的黑白標(biāo)識碼進行定位的技術(shù)，例如常用的有由華盛頓大學(xué)HIT實驗室開發(fā)的ARToolKit增強現(xiàn)實開源庫所用的BCH碼、同心圓標(biāo)志等。此類方案標(biāo)識碼簡單，檢測算法簡單，客戶端運行速度較快，同時識別算法由于不需要大量特征庫的支持，通?？梢苑湃肟蛻舳恕５谴祟惙桨傅娜秉c是通常標(biāo)識碼本身比較固定簡單，信息量少，同時標(biāo)識碼格式不通用難以普及。比如，現(xiàn)有技術(shù)中對于類似BCH碼等特定標(biāo)記的增強現(xiàn)實算法(例如ARToolKit所使用的BCH碼)，總共可以表現(xiàn)0-4095共4096個數(shù)字，無法表示更多數(shù)字內(nèi)容，也無法表現(xiàn)文本等更豐富的信息，而更多的自定義特定標(biāo)記表現(xiàn)的信息量則更少。
[0032]在現(xiàn)有技術(shù)中近些年非常流行的一種增強現(xiàn)實方法是用于自然圖片的增強現(xiàn)實方法。這種方法不會采用特定的標(biāo)志只需把自然平面圖片作為標(biāo)志進行定位即可。此類方法通常使用關(guān)鍵點檢測的方式(例如SIFT、SURF、FAST等等關(guān)鍵點檢測算法)，和局部特征描述子(例如SIFT錯誤！未找到引用源。、SURF、BRIEF等等局部特征描述子)。對于匹配的特征點最后還需要采用幾何驗證(例如RANSAC和PROSAC等幾何驗證算法)獲得其單應(yīng)矩陣。因此其前端檢測算法非常復(fù)雜，很難做到實時。同時更重要的是其識別需要離線訓(xùn)練好特征數(shù)據(jù)庫，訓(xùn)練和識別算法運行時間非常長，同時對于海量圖片必須在服務(wù)器端建立索引數(shù)據(jù)庫，因此識別算法無法放入客戶端，使得對于多目標(biāo)的增強現(xiàn)實方式無法實現(xiàn)。
[0033]隨著二維碼技術(shù)的普及，近年來也出現(xiàn)了一些用于二維碼的增強現(xiàn)實方法。當(dāng)前已有的二維碼增強現(xiàn)實方法基于ZBar、ZXing等開源二維碼識別庫，其優(yōu)點是實現(xiàn)簡單，定位準(zhǔn)確，但是缺點是一方面檢測與識別算法混合在一起，速度非常慢；另一方面沒有跟蹤方法，每一幀都需要檢測與識別，檢測成功率很低同時無法達到各種移動設(shè)備實時的要求。
[0034]傳統(tǒng)QR 二維碼識別算法運算速度較慢無法達到移動設(shè)備實時性的要求。具體地，傳統(tǒng)的QR 二維碼識別算法(例如ZBar、ZXing等)可以達到在PC上接近實時的速度,但是在移動設(shè)備上每秒只能處理1-2幀，無法達到實時性的要求(每秒處理25幀)，因此把傳統(tǒng)的QR 二維碼識別庫用于增強現(xiàn)實技術(shù)無法實現(xiàn)實時定位和實時顯示的效果。這主要是由于兩點原因造成:一個是傳統(tǒng)的QR 二維碼識別算法識別與檢測模塊耦合，而瓶頸主要在識別部分；另一個是傳統(tǒng)的QR二維碼識別算法不具備QR二維碼的跟蹤模塊，因此無法實現(xiàn)實時跟蹤QR 二維碼的位置。
[0035]針對上述現(xiàn)有技術(shù)缺陷，本發(fā)明實施方式提出了一種二維碼的增強現(xiàn)實實現(xiàn)方法。
[0036]首先，對本發(fā)明實施方式的相應(yīng)描述中可能出現(xiàn)的相應(yīng)詞語進行說明。攝像視頻幀圖像:特指從攝像頭所獲得的視頻的每一幀中得到的圖像數(shù)據(jù)；起始攝像灰度幀:特指在跟蹤啟動時的第一個攝像視頻幀圖像進行灰度轉(zhuǎn)換后得到的灰度圖像；當(dāng)前攝像灰度幀:特指對當(dāng)前攝像視頻幀圖像進行灰度轉(zhuǎn)換后得到的灰度圖像:前一攝像灰度幀:特指對上一攝像視頻幀圖像進行灰度轉(zhuǎn)換后得到的灰度圖像；顯示視頻幀圖像:特指從作為顯示素材疊加到設(shè)想視頻幀圖像上的顯示視頻中的每一幀上所得到的圖像數(shù)據(jù)；原始二維碼圖像:特指沒有任何變換的原始二維碼正向圖像；攝像二維碼圖像:特指從攝像頭中所獲得的設(shè)想視頻幀圖像中包含的二維碼圖像的部分。
[0037]圖1為根據(jù)本發(fā)明實施方式二維碼的增強現(xiàn)實實現(xiàn)方法流程圖。
[0038]如圖1所示，該方法包括:
[0039]步驟101:在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓。
[0040]在這里，攝像視頻幀圖像為攝像頭所獲得的視頻的每一幀中得到的圖像數(shù)據(jù)。
[0041]在一個實施方式中，二維碼具體為快速反應(yīng)(QR) 二維碼。[0042]在一個實施方式中，步驟101所述在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓可以包括:將該攝像視頻幀圖像轉(zhuǎn)換為灰度圖像，并將所述灰度圖像轉(zhuǎn)換為二值圖像；針對該二值圖像執(zhí)行橫向錨點特征掃描和縱向錨點特征掃描，獲得橫向錨點特征線和縱向錨點特征線；計算所述橫向錨點特征線和縱向錨點特征線的交點，以獲得QR 二維碼的錨點位置；根據(jù)計算出的QR 二維碼的錨點位置，獲取該QR 二維碼輪廓。
[0043]在一個實施方式中，該方法可以進一步包括:當(dāng)在攝像視頻幀圖像中沒有檢測到二維碼時，針對該攝像視頻幀圖像執(zhí)行降采樣處理，并在執(zhí)行降采樣處理后的攝像視頻幀圖像中再次檢測二維碼。
[0044]步驟102:識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內(nèi)容信息，并跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息。
[0045]在一個實施方式中，二維碼具體為快速反應(yīng)(QR) 二維碼。此時，步驟102所述跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息包括:根據(jù)二維碼輪廓獲取對應(yīng)的起始攝像視頻灰度幀，并在該二維碼輪廓內(nèi)計算起始跟蹤點集合；當(dāng)起始跟蹤點集合數(shù)大于預(yù)先設(shè)定的門限值時，獲取當(dāng)前攝像視頻灰度幀、前一跟蹤點集合和iu —攝像視頻灰度巾貞；將當(dāng)如攝像視頻灰度巾貞、in一跟蹤點集合和如一攝像視頻灰度中貞作為參數(shù)應(yīng)用光流跟蹤方式，以獲取當(dāng)前攝像視頻幀圖像所跟蹤到的當(dāng)前跟蹤點集合；根據(jù)起始跟蹤點集合和當(dāng)前跟蹤點集合中對應(yīng)的點對，計算出單應(yīng)矩陣。
[0046]優(yōu)選地，在獲取當(dāng)前攝像視頻幀圖像所跟蹤到的當(dāng)前跟蹤點集合之后，當(dāng)判定該當(dāng)前跟蹤點集合多于初始跟蹤點集合的預(yù)先設(shè)定比例時，進一步判斷當(dāng)前已經(jīng)跟蹤的攝像視頻幀圖像數(shù)是否大于預(yù)先設(shè)定的門限值，如果不是則根據(jù)起始跟蹤點集合和當(dāng)前跟蹤點集合中對應(yīng)的點對，計算出單應(yīng)矩陣。
[0047]步驟103:根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理。
[0048]在這里，可以根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，在該二維碼的位置顯示平面視頻。其中，在該二維碼的位置顯示平面視頻具體可以包括:將顯示視頻幀圖像大小轉(zhuǎn)化為原始二維碼圖像大小；對于顯示視頻幀圖像，按照二維碼在攝像視頻幀圖像中的位置信息進行變換，并將變換后的顯示視頻幀圖像疊加到攝像視頻幀圖像中。
[0049]可選地，可以根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，在該二維碼的位置顯示立體3D模型。其中在該二維碼的位置顯示3D模型可以包括:計算3D模型的世界坐標(biāo)到投影屏幕平面坐標(biāo)的變換矩陣；應(yīng)用該變換矩陣，按照二維碼在攝像視頻幀圖像中的位置信息，將3D模型疊加到攝像視頻幀圖像中。
[0050]本發(fā)明實施方式所提出的算法流程在功能上可以上分為三大模塊，分別為檢測跟蹤模塊、信息識別模塊和信息顯示模塊。在檢測跟蹤模塊中，包含二維碼檢測、二維碼跟蹤和位置信息獲取的功能實現(xiàn)。在信息識別模塊中，包含二維碼識別和內(nèi)容信息獲取的功能實現(xiàn)。在信息顯示模塊中主要包含增強現(xiàn)實顯示內(nèi)容的功能實現(xiàn)。
[0051]基于上述分析，圖2為根據(jù)本發(fā)明實施方式二維碼的增強現(xiàn)實實現(xiàn)方法的示范性流程圖。
[0052]如圖2所示，該方法包括:[0053]步驟201:在攝像視頻幀圖像中檢測二維碼，其中攝像視頻幀圖像為攝像頭所獲得的視頻的每一幀中得到的圖像數(shù)據(jù)。
[0054]步驟202:判斷是否檢測到二維碼，如果是，則執(zhí)行步驟209及其后續(xù)步驟，并且同時執(zhí)行步驟203及其后續(xù)步驟，如果沒有，則返回執(zhí)行步驟201。也就是說，如果判定檢測到二維碼，則同時執(zhí)行兩個“是”分支，一個分支是順序執(zhí)行步驟203、步驟204、步驟205和步驟206 ;—個分支是順序執(zhí)行步驟209、步驟210和步驟211。
[0055]下面描述第一個分支:
[0056]步驟203:執(zhí)行二維碼跟蹤處理。
[0057]步驟204:判斷是否跟蹤到二維碼，如果是則執(zhí)行步驟205及其后續(xù)步驟，否則執(zhí)行步驟201及其后續(xù)步驟。
[0058]步驟205:判斷是否跟蹤了 30幀，如果是則返回執(zhí)行步驟201及其后續(xù)步驟，否則執(zhí)行步驟206。
[0059]步驟206:獲取二維碼的位置信息。
[0060]至此，判定步驟202檢測到二維碼的第一個“是”分支執(zhí)行完畢。
[0061]下面描述第二個分支:
[0062]步驟209:在步驟202中判定檢測到二維碼后，執(zhí)行二維碼識別。
[0063]步驟210:判斷二維碼識別是否成功，如果是，則執(zhí)行步驟211，否則返回執(zhí)行步驟201.[0064]步驟211:獲取二維碼的內(nèi)容信息。比如:該內(nèi)容信息可以是URL、名片信息等多種形式的內(nèi)容。
[0065]至此，判定步驟202檢測到二維碼的第二個“是”分支執(zhí)行完畢。
[0066]當(dāng)這兩個分支都執(zhí)行完畢之后，執(zhí)行步驟207和步驟208。
[0067]步驟207:利用第一個“是”分支獲取的二維碼位置信息以及第二個“是”分支獲取的二維碼內(nèi)容信息，執(zhí)行二維碼增強顯示顯示。比如:可以根據(jù)二維碼位置信息，在攝像視頻中的相應(yīng)位置處，通過平面視頻或3D視頻的形式展示該二維碼內(nèi)容信息。
[0068]步驟208:判斷是否結(jié)束本流程，如果是則結(jié)束本流程，如果不是則返回執(zhí)行步驟201。
[0069]下面對QR 二維碼為實例，對二維碼檢測的過程進行詳細說明。
[0070]首先，對QR 二維碼進行介紹說明。圖3為根據(jù)本發(fā)明實施方式QR 二維碼錨點示意圖；圖4為根據(jù)本發(fā)明實施方式QR 二維碼錨點特征示意圖。
[0071]在二維碼檢測中，可以利用QR二維碼的錨點進行定位。QR二維碼的四個錨點定義如錯誤！未找到引用源。所示，可以將這四個錨點分別定義為錨點A、錨點B、錨點C和錨點D。同時可以將二維碼圖像矩陣中的白色像素點定義為W，將黑色像素點定義為b。
[0072]根據(jù)二維碼國際標(biāo)準(zhǔn)的定義，二維碼四個錨點需要滿足的特征如下:對于錨點A、B、C鋪點，需要滿足其從水平中心線和垂直中心線從外到內(nèi)掃描依次為b-w-b-b-b-w_b類型特征；對于錨點D需要滿足依次為b-w-b-w-b類型特征，關(guān)于此特征的描述如錯誤！未找到引用源。所示。
[0073]因此，針對QR 二維碼的這一特征定義，可以在檢測圖像中的二維碼過程中采用橫向和縱向兩次掃描，通過先獲得橫向錨點特征線，再獲得縱向錨點特征線，最后由橫向和縱向錨點特征線求交點的方式獲得最終的錨點位置。同時，本發(fā)明實施方式還可以由錨點位置計算出單應(yīng)矩陣和二維碼輪廓用于后續(xù)的二維碼跟蹤算法。
[0074]圖5為根據(jù)本發(fā)明實施方式QR 二維碼檢測方法流程圖。
[0075]如圖5所示，該方法包括:
[0076]步驟501:輸入攝像視頻幀圖像。
[0077]步驟502:將攝像視頻幀圖像轉(zhuǎn)換為灰度圖像。
[0078]在這里，對于輸入的攝像視頻幀圖像，設(shè)其三個彩色通道的像素值分別為R、G、B，
其相應(yīng)的灰度值為Y。則使用以下公式將彩色圖像轉(zhuǎn)換為灰度圖像:
【權(quán)利要求】
1.一種二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，該方法包括: 在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓； 識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內(nèi)容信息，并跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息； 根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理。
2.根據(jù)權(quán)利要求1所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，所述二維碼為快速反應(yīng)QR 二維碼。
3.根據(jù)權(quán)利要求2所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，所述在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓包括: 將該攝像視頻幀圖像轉(zhuǎn)換為灰度圖像，并將所述灰度圖像轉(zhuǎn)換為二值圖像； 針對該二值圖像執(zhí)行橫向錨點特征掃描和縱向錨點特征掃描，獲得橫向錨點特征線和縱向錨點特征線； 計算所述橫向錨點特征線和縱向錨點特征線的交點，以獲得QR 二維碼的錨點位置； 根據(jù)計算出的QR 二維碼的錨點位置，獲取該QR 二維碼輪廓。
4.根據(jù)權(quán)利要求2所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于， 所述跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息包括: 根據(jù)二維碼輪廓獲取對應(yīng)的起始攝像視頻灰度幀，并在該二維碼輪廓內(nèi)計算起始跟蹤點集合； 當(dāng)起始跟蹤點集合數(shù)大于預(yù)先設(shè)定的門限值時，獲取當(dāng)前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀； 將當(dāng)前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀作為參數(shù)應(yīng)用光流跟蹤方式，以獲取當(dāng)前攝像視頻幀圖像所跟蹤到的當(dāng)前跟蹤點集合； 根據(jù)起始跟蹤點集合和當(dāng)前跟蹤點集合中對應(yīng)的點對，計算出單應(yīng)矩陣。
5.根據(jù)權(quán)利要求1所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，該方法進一步包括: 當(dāng)在攝像視頻幀圖像中沒有檢測到二維碼時，針對該攝像視頻幀圖像執(zhí)行降采樣處理，并在執(zhí)行降采樣處理后的攝像視頻幀圖像中再次檢測二維碼。
6.根據(jù)權(quán)利要求4所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，該方法進一步包括: 在獲取當(dāng)前攝像視頻幀圖像所跟蹤到的當(dāng)前跟蹤點集合之后，當(dāng)判定該當(dāng)前跟蹤點集合多于初始跟蹤點集合的預(yù)先設(shè)定比例時，進一步判斷當(dāng)前已經(jīng)跟蹤的攝像視頻幀圖像數(shù)是否大于預(yù)先設(shè)定的門限值，如果不是則根據(jù)起始跟蹤點集合和當(dāng)前跟蹤點集合中對應(yīng)的點對，計算出單應(yīng)矩陣。
7.根據(jù)權(quán)利要求1所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，所述根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理包括: 根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，在該二維碼的位置顯示平面視頻。
8.根據(jù)權(quán)利要求7所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，所述在該二維碼的位置顯示平面視頻包括: 將顯示視頻幀圖像大小轉(zhuǎn)化為原始二維碼圖像大?。? 對于顯示視頻幀圖像，按照二維碼在攝像視頻幀圖像中的位置信息進行變換，并將變換后的顯示視頻幀圖像疊加到攝像視頻幀圖像中。
9.根據(jù)權(quán)利要求1所述的二維碼的增強現(xiàn)實實現(xiàn)方法，其特征在于，所述根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理包括: 根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，在該二維碼的位置顯示立體3D模型。
10.根據(jù)權(quán)利要求9所述的二維碼的 增強現(xiàn)實實現(xiàn)方法，其特征在于，所述 在該二維碼的位置顯示3D模型包括: 計算3D模型的世界坐標(biāo)到投影屏幕平面坐標(biāo)的變換矩陣； 應(yīng)用該變換矩陣，按照二維碼在攝像視頻幀圖像中的位置信息，將3D模型疊加到攝像視頻幀圖像中。
11.一種二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于，該裝置包括:二維碼檢測單元、識別跟蹤單元和增強現(xiàn)實單元，其中: 二維碼檢測單元，用于在攝像視頻幀圖像中檢測二維碼以獲取二維碼輪廓； 識別跟蹤單元，用于識別該檢測出二維碼輪廓的二維碼以獲取二維碼的內(nèi)容信息，并跟蹤該檢測出二維碼輪廓的二維碼以獲取二維碼在攝像視頻幀圖像中的位置信息； 增強現(xiàn)實單元，用于根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，對該二維碼執(zhí)行增強現(xiàn)實處理。
12.根據(jù)權(quán)利要求11所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于，所述二維碼為快速反應(yīng)QR 二維碼。
13.根據(jù)權(quán)利要求12所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 二維碼檢測單元，用于將該攝像視頻幀圖像轉(zhuǎn)換為灰度圖像，并將所述灰度圖像轉(zhuǎn)換為二值圖像； 針對該二值圖像執(zhí)行橫向錨點特征掃描和縱向錨點特征掃描，獲得橫向錨點特征線和縱向錨點特征線； 計算所述橫向錨點特征線和縱向錨點特征線的交點，以獲得QR 二維碼的錨點位置； 根據(jù)計算出的QR二維碼的錨點位置，獲取該QR二維碼輪廓。
14.根據(jù)權(quán)利要求12所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 識別跟蹤單元，用于根據(jù)二維碼輪廓獲取對應(yīng)的起始攝像視頻灰度幀，并在該二維碼輪廓內(nèi)計算起始跟蹤點集合； 當(dāng)起始跟蹤點集合數(shù)大于預(yù)先設(shè)定的門限值時，獲取當(dāng)前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀； 將當(dāng)前攝像視頻灰度幀、前一跟蹤點集合和前一攝像視頻灰度幀作為參數(shù)應(yīng)用光流跟蹤方式，以獲取當(dāng)前攝像視頻幀圖像所跟蹤到的當(dāng)前跟蹤點集合；根據(jù)起始跟蹤點集合和當(dāng)前跟蹤點集合中對應(yīng)的點對，計算出單應(yīng)矩陣。
15.根據(jù)權(quán)利要求11所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 二維碼檢測單元，進一步用于當(dāng)在攝像視頻幀圖像中沒有檢測到二維碼時，針對該攝像視頻幀圖像執(zhí)行降采樣處理，并在執(zhí)行降采樣處理后的攝像視頻幀圖像中檢測二維碼。
16.根據(jù)權(quán)利要求14所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 識別跟蹤單元，進一步用于在獲取當(dāng)前攝像視頻幀圖像所跟蹤到的當(dāng)前跟蹤點集合之后，當(dāng)判定該當(dāng)前跟蹤點集合多于初始跟蹤點集合的預(yù)先設(shè)定比例時，進一步判斷當(dāng)前已經(jīng)跟蹤的攝像視頻幀圖像數(shù)是否大于預(yù)先設(shè)定的門限值，如果不是則根據(jù)起始跟蹤點集合和當(dāng)前跟蹤點集合中對應(yīng)的點對，計算出單應(yīng)矩陣。
17.根據(jù)權(quán)利要求11所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 增強現(xiàn)實單元，用于根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，在該二維碼的位置顯示平面視頻。
18.根據(jù)權(quán)利要求17所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 增強現(xiàn)實單元，用于將顯示視頻幀圖像大小轉(zhuǎn)化為原始二維碼圖像大??；對于顯示視頻幀圖像，按照二維碼在攝像視頻幀圖像中的位置信息進行變換，并將變換后的顯示視頻幀圖像疊加到攝像視頻幀圖像中。
19.根據(jù)權(quán)利要求11所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 增強現(xiàn)實單元，用于根據(jù)所述二維碼的內(nèi)容信息和二維碼在攝像視頻幀圖像中的位置信息，在該二維碼的位置顯示立體3D模型。
20.根據(jù)權(quán)利要求19所述的二維碼的增強現(xiàn)實實現(xiàn)裝置，其特征在于， 增強現(xiàn)實單元，用于計算3D模型的世界坐標(biāo)到投影屏幕平面坐標(biāo)的變換矩陣；應(yīng)用該變換矩陣，按照二維碼在攝像視頻幀圖像中的位置信息，將3D模型疊加到攝像視頻幀圖像中。
【文檔編號】G06K7/10GK103971079SQ201310031075
【公開日】2014年8月6日 申請日期:2013年1月28日 優(yōu)先權(quán)日:2013年1月28日
【發(fā)明者】劉驍, 劉海龍, 陳波 申請人:騰訊科技（深圳）有限公司