專利名稱：一種基于攝像頭的計算機與紙筆信息交互系統的制作方法
技術領域：
本實用新型屬于混合現實領域中的信息交互技術領域，尤其是涉及一種基于攝像 頭的計算機與紙筆信息交互系統。
背景技術：
在當前所處的普適計算時代，計算無處不在。有計算就離不開信息交互，因而決不 能由于交互方式的限制，將某些研究領域阻擋在技術便利的大門之外。目前作為人機接口 設備，鍵盤鼠標扮演了極其重要的角色，然而在一定程度上鼠標與鍵盤卻把一些人擋在了 科技生活的大門之外，傳統的鼠標鍵盤交互方式存在操作步驟比較繁瑣、效率低、勞動強度 較大、需長時間面對電腦且需配備相應的硬件設備等缺陷和不足。隨著人機交互“自然化” 的發展，傳統的鼠標鍵盤交互方式已經不能滿足用戶日益增長的實際需求。
實用新型內容本實用新型所要解決的技術問題在于針對上述現有技術中的不足，提供一種計算 機與紙筆信息交互系統，其設計新穎合理、投資成本低、便于控制并且使用效果好、操作性 非常強，輸寫方便，能簡便將人們早已習慣的紙筆輸入和現代化計算機技術結合在一起。為解決上述技術問題，本實用新型采用的技術方案是一種基于攝像頭的計算機 與紙筆信息交互系統，其特征在于包括平鋪在操作平臺上且上面通過書寫筆繪制有一組 或多組圖文信息的方形紙、實時對方形紙與方形紙上所繪制圖文信息進行攝取的攝像頭、 與攝像頭相接且對攝像頭所攝取圖像信息進行識別和分析處理的控制器以及分別與控制 器相接的參數設置單元、存儲器和對控制器的分析處理結果進行同步顯示的顯示器，所述 攝像頭布設在方形紙上方。上述一種基于攝像頭的計算機與紙筆信息交互系統，其特征是所述參數設置單 元為分別與控制器相接的鼠標和鍵盤，且所述控制器、顯示器、鼠標和鍵盤組裝成一個PC 機。上述一種基于攝像頭的計算機與紙筆信息交互系統，其特征是所述方形紙上面 通過多個封閉邊框線劃分有多個信息輸入區，且每一組所述圖文信息均書寫在一個信息輸 入區內。上述一種基于攝像頭的計算機與紙筆信息交互系統，其特征是所述封閉邊框線 為方框，且信息輸入區的形狀相應為方形。上述一種基于攝像頭的計算機與紙筆信息交互系統，其特征是多個所述封閉邊 框線由上至下布設在同一豎直線上，且多個所述封閉邊框線均布設在方形紙的中部，多個 所述封閉邊框線呈均勻布設。上述一種基于攝像頭的計算機與紙筆信息交互系統，其特征是所述方框為虛線 框。本實用新型與現有技術相比具有以下優點[0011]1、硬件設備簡單且投入成本非常低。2、設計新穎，采用普通矩形的白紙且采用攝像頭作為信息交互手段，達到信息輸 入的目的，具體是通過攝像頭讀取白紙的信息且配合對讀取信息的圖像處理，實現信息輸 入的目的。3、用于分類的標志形狀(即信息分類符)進行圖文信息分類和處理，繪制簡單，很 容易達到對文字、圖片和控制信息的準確分類。4、在整個信息輸入的過程中，不需要人工干預，僅僅通過在白紙寫上自己的輸入 和控制信息，就可以實現信息的自動錄入。5、設計新穎合理、投資成本低、使用操作簡便且文字圖片保存時間長、可操作性 強，以攝像頭為交互方式且能實現白紙上所書寫圖文信息的分類提取和保存處理。綜上所述，本實用新型設計新穎合理、投資成本低、便于控制并且使用效果好、操 作性非常強，將人們早已習慣的紙筆輸入和現代的多樣的計算機技術結合在一起，使計算 機能更方便、更實用地服務于我們，也使得在與計算機的交流過程中，用戶信息的書寫和表 達更自然和具有個人特色。因而，本實用新型實際公開了一種基于攝像頭的信息輸入系統 (即PaperPad)及輸入方法，通過信息分類符來對所書寫的圖文信息進行分類和相應進行 處理，實用價值非常高，具有顯著的經濟效益和社會效益。下面通過附圖和實施例，對本實用新型的技術方案做進一步的詳細描述。
圖1為本實用新型的工作原理框圖。圖2為本實用新型需進行信息交互的方形紙的結構示意圖。圖3為本實用新型進行信息交互的方法流程圖。圖4為本實用新型分析處理得出方形紙四周邊線的方法流程圖。附圖標記說明1-方形紙；1-1-文字分類符；1-2-圖形分類符；1-3-控制類信息分類符；2-攝像頭； 3-PC機；3-1-控制器；3-2-顯示器； 3-3-鼠標；3-4-鍵盤；3-5-存儲器； 4_書寫筆；5-封閉邊框線；6-信息輸入區。
具體實施方式
如圖1所示，本實用新型包括平鋪在操作平臺上且上面通過書寫筆4繪制有一組 或多組圖文信息的方形紙1、實時對方形紙1與方形紙1上所繪制圖文信息進行攝取的攝像 頭2、與攝像頭2相接且對攝像頭2所攝取圖像信息進行識別和分析處理的控制器3-1以及 分別與控制器3-1相接的參數設置單元、存儲器3-5和對控制器3-1的分析處理結果進行 同步顯示的顯示器3-2，所述攝像頭2布設在方形紙1上方。本實施例中，所述參數設置單元為分別與控制器3-1相接的鼠標3-3和鍵盤3-4， 且所述控制器3-1、顯示器3-2、鼠標3-3和鍵盤3-4組裝成一個PC機3。結合圖3，采用本實用新型進行信息交互時，包括以下步驟[0031]步驟一、信息交互前準備工作通過書寫筆4在方形紙1繪制一組或多組圖文信 息，所述圖文信息由圖文信息內容和繪制在所述圖文信息內容前部的信息分類符組成，且 所述圖文信息包括純文字信息、純圖形信息和控制信息三種類型信息；所述純文字信息的 圖文信息內容由一個或多個文字組成，所述純圖形信息的圖文信息內容由一個或多個圖形 組成，所述控制信息的圖文信息內容由文字和/或控制符號組成且所述控制信息中所包含 文字和控制符號的數量為一個或多個。本實施例中，所述方形紙1為A4紙或B5紙。實際操作過程中，所述方形紙1上面通過多個封閉邊框線5劃分有多個信息輸入 區6，且每一組所述圖文信息均書寫在一個信息輸入區6內。實際進行布設時，多個所述封 閉邊框線5由上至下布設在同一豎直線上，且多個所述封閉邊框線5均布設在方形紙1的 中部，多個所述封閉邊框線5呈均勻布設。本實施例中，所述封閉邊框線5為方框，且信息 輸入區6的形狀相應為方形，所述方框具體為虛線框。同時，實際進行繪制時，所述信息分 類符布設在所述封閉邊框線5上，且布設在所述封閉邊框線5的前側中部或上部。本實施例中，所述信息分類符包括分別與純文字信息、純圖形信息和控制信息三 種類型信息相對應的文字分類符1-1、圖形分類符1-2和控制類信息分類符1-3，且文字分 類符1-1具體為三角形，圖形分類符1-2具體為圓形，控制類信息分類符1-3具體為方形。結合圖2，本實施例中，封閉邊框線5的數量為三個，三個封閉邊框線5由上至下布 設在方形紙1的中部，且三個封閉邊框線5分別繪制有一組圖文信息其中最上面的封閉邊 框線5內所繪制的圖文信息為純文字信息，且該組純文字信息的圖文信息內容為“中國人 民”四個字沖間的封閉邊框線5內所繪制的圖文信息為純圖形信息，且該組純圖形信息的 圖文信息內容為一個曲線；最下面的封閉邊框線5內所繪制的圖文信息為控制信息，且該
組控制信息的圖文信息內容為控制符號“0，，。另外，三組圖文信息的信息分類符均布設
在各封閉邊框線5的前側上部。步驟二、信息交互，其交互過程如下201、獲取背景信息通過攝像頭2攝取所述操作平臺的圖像信息并同步上傳至控 制器3-1，所攝取的操作平臺圖像信息即為信息交互用背景信息，且控制器3-1將所述背景 信息存入存儲器3-5內。202、提取前景信息將繪制一組或多組圖文信息的方形紙1平鋪在所述操作平臺 上，再通過攝像頭2攝取所述操作平臺和平鋪在操作平臺的方形紙1的組合式圖像信息并 同步上傳至控制器3-1，所述控制器3-1調用背景濾除模塊將所述組合式圖像信息中的所 述背景信息減除，并相應獲得需進行信息交互的前景信息，且控制器3-1將所述前景信息 存入存儲器3-5內。實際操作時，用步驟202中所述的組合式圖像信息減去步驟201中所述的背景信 息，即可得到當前需進行信息交互的前景信息。203、邊緣檢測控制器3-1調用灰度處理模塊對所述前景信息進行灰度處理，并 將所述前景信息轉換為多灰度級圖像；控制器3-1再調用邊緣檢測模塊對所述多灰度級圖 像進行邊緣檢測，獲得所述多灰度級圖像的邊緣；之后，控制器3-1再調用Hough變換模 塊和對灰度圖像進行角點檢測的角點檢測模塊，且結合Hough變換模塊和角點檢測模塊對 所獲得所述多灰度級圖像的邊緣中的直線段進行分析處理，并相應獲得方形紙1的四周邊
5線，則在所述前景信息中檢測出方形紙1的具體位置。本實施例中，步驟203中所述的邊緣檢測模塊為按照Carmy邊緣檢測算法對所述 多灰度級圖像進行邊緣檢測的Carmy邊緣檢測模塊。本實施例中，對所述前景信息進行灰 度處理之前，還需根據實際需要對所述前景信息進行圖像增強處理。結合圖4，所述控制器3-1調用Hough變換模塊和角點檢測模塊，且結合Hough變 換模塊和角點檢測模塊對所述多灰度級圖像的邊緣中的直線段進行分析處理，并相應獲得 方形紙1的四周邊線時，其分析處理過程如下2031、直線段檢測由所述Hough變換模塊和角點檢測模塊對所述多灰度級圖像 的邊緣中的直線段進行檢測，并對所檢測出的所有直線段進行標注且將標注結果返回至控 制器3-1。2032、連接形成多邊形控制器3-1將標注后的所有直線段依次連接形成一個封 閉多邊形。2033、多邊形逼近控制器3-1調用多邊形逼近模塊，且結合步驟一中所述方形紙 1的實際尺寸和方形四周邊線的基本特性，對步驟2032中所形成的所述封閉多邊形進行逼 近處理，并獲得方形紙1的四周邊線。本實施例中，步驟2033中控制器3-1調用多邊形逼近模塊對所述封閉多邊形進行 多邊形逼近時，其逼近過程如下I、判斷所述封閉多邊形是否有4個頂點當判斷得出所述封閉多邊形有4個頂點 時，則進入步驟II ；否則，退出多邊形逼近過程并將判斷結果返回控制器3-1。II、判斷所述封閉多邊形是否為凸多邊形當判斷得出所述封閉多邊形為凸多邊 形時，則進入步驟III ；否則，退出多邊形逼近過程并將判斷結果返回控制器3-1。III、計算并判斷所述封閉多邊形的面積大小是否接近方形紙1的實際面積當計 算得出所述封閉多邊形的面積為SX (1 士 0.5%)時，則進入步驟IV;否則，退出多邊形逼近 過程并將判斷結果返回控制器3-1，其中S為步驟一中所述方形紙1的實際面積。IV、計算并判斷所述封閉多邊形的所有內角大小是否均接近90° 當計算得出所 述封閉多邊形的所有內角均為90° X(1 士0.5%)時，則進入步驟V;否則，退出多邊形逼 近過程并將判斷結果返回控制器3-1。V、計算并判斷所述封閉多邊形的兩個鄰邊中長邊與短邊的長度比是否均接近 方形紙1的長寬比當計算得出所述封閉多邊形的所有鄰邊中短邊與長邊的長度比均為 AX (1 士 0.5% )時，則進入步驟VI ；否則，退出多邊形逼近過程并將判斷結果返回控制器 3-1，其中A為步驟一中所述方形紙1的長度與寬度間的比值。本實施例中，A = 1. 25。VI、計算并判斷所述封閉多邊形中兩個對角線的長度差值是否接近0:當計算得 出所述封閉多邊形的兩個對角線的長度差值< LX0. 5%時，說明所述封閉多邊形為方形紙 1的四周邊線；否則，退出多邊形逼近過程并將判斷結果返回控制器3-1，其中L為步驟一中 所述方形紙1的長度。本實施例中，步驟203中邊緣檢測完成后，還需進行圖像投影校正與對齊控制器 3-1調用圖像投影校正與對齊模塊，且根據步驟一中所述方形紙1的四個頂點與由步驟203 中所獲得四周邊線圍成的四變形的四個頂點之間的位置對應關系，通過投射變換方法獲取方形紙1與所述四變形之間的透射變換矩陣；再根據所獲得的透射變換矩陣，將步驟三中 所述的前景信息映射到所述四變形內部的方形區域內。進行圖像投影校正與對齊的主要原 因在于由于攝像頭2的布設位置具有不確定性，則在通過邊緣檢測所構造的四邊形的基 礎上，根據方形紙1的四個頂點和該四邊形的四個頂點之間的對應關系，通過透射變換獲 取透射變換矩陣，然后將攝像頭2所攝取的圖像(具體指所述前景信息)映射到所述四邊 形內的方形區域中，這樣將原有攝像頭2自任意布設角度所采集的圖像變成從攝像頭2正 前方所采集的圖像，因而解決了攝像頭2的視角誤差，大大提高了下一步(步驟204)進行 信息分類符識別的識別率。204、信息分類符識別及信息分類控制器3-1調用符號識讀模塊，對步驟203中所 檢測出的方形紙1上的信息分類符進行識讀，并根據所識讀出的信息分類符對方形紙1上 所繪制的一組或多組圖文信息進行分類，且根據分類結果對每一組圖文信息的類型進行標 注；所述符號識讀模塊所識讀出的信息分類符的數量即為方形紙1上所繪制圖文信息的數量。本實施例中，進行信息分類時，通過步驟一中所書寫的打頭三角形標志來區分純 文字信息，通過打頭圓形標志來區分純圖形信息，通過打頭方形標志來區分控制信息。205、信息處理，控制器3-1調用信息處理模塊，且根據步驟204中對每一組圖文信 息所標注的信息類型相應對方形紙1上所繪制的一組或多組圖文信息分別進行處理，對方 形紙1上繪制的任一組圖文信息來說當步驟204中對該組圖文信息所標注的信息類型為純文字信息時，所述信息處理 模塊調用文字識別模塊由前至后對該組圖文信息中的圖文信息內容進行識別，并將識別結 果存為文本數據后存至存儲器3-5中。本實施例中，將“中國人民”四個字存為文本數據后存至存儲器3-5中預先建立的 文本數據庫內。當步驟204中對該組圖文信息所標注的信息類型為純圖形信息時，所述信息處理 模塊將該組圖文信息中的圖文信息內容直接存為圖片格式后存至存儲器3-5中。本實施例中，將所繪制的曲線直接存為圖片格式后存至存儲器3-5中先建立的圖 形數據庫內。當步驟204中對該組圖文信息所標注的信息類型為控制信息時，所述信息處理模 塊調用文字識別模塊和/或控制符號識別模塊由前至后對該組圖文信息中圖文信息內容 的文字和/或控制符號進行相應識別，并按照識別順序將識別結果返回至控制器3-1，控制 器3-1根據識別結果執行對應的控制指令采用所述文字識別模塊對該組圖文信息中的文 字進行識別時，將識別結果轉存為控制器3-1能識讀的數據格式后返回至控制器3-1 ；采用 控制符號識別模塊對該組圖文信息中的控制符號進行識別時，先將識別結果與存儲器3-5 中預先存儲的控制符號指令庫中的控制指令數據進行匹配，再根據匹配結果將與識別結果 相匹配的控制指令數據返回至控制器3-1。本實施例中，控制符號識別模塊將識別出的控制符號與控制符號指令庫中 的控制指令數據進行匹配后，得出“相加指令”并將該指令返回至控制器3-1，控制器3-1再 相應執行相加指令。以上所述，僅是本實用新型的較佳實施例，并非對本實用新型作任何限制，凡是根據本實用新型技術實質對以上實施例所作的任何簡單修改、變更以及等效結構變化，均仍 屬于本實用新型技術方案的保護范圍內。
權利要求1.一種基于攝像頭的計算機與紙筆信息交互系統，其特征在于包括平鋪在操作平臺 上且上面通過書寫筆(4)繪制有一組或多組圖文信息的方形紙(1)、實時對方形紙(1)與方 形紙⑴上所繪制圖文信息進行攝取的攝像頭O)、與攝像頭⑵相接且對攝像頭⑵所攝 取圖像信息進行識別和分析處理的控制器(3-1)以及分別與控制器(3-1)相接的參數設置 單元、存儲器(3- 和對控制器(3-1)的分析處理結果進行同步顯示的顯示器(3-2)，所述 攝像頭( 布設在方形紙(1)上方。
2.按照權利要求1所述的一種基于攝像頭的計算機與紙筆信息交互系統，其特征在 于所述參數設置單元為分別與控制器(3-1)相接的鼠標(3- 和鍵盤(3-4)，且所述控制 器(3-1)、顯示器(3-2)、鼠標(3-3)和鍵盤(3-4)組裝成一個PC機(3)。
專利摘要本實用新型公開了一種基于攝像頭的計算機與紙筆信息交互系統，包括平鋪在操作平臺上且上面通過書寫筆繪制有一組或多組圖文信息的方形紙、實時對方形紙與方形紙上所繪制圖文信息進行攝取的攝像頭、與攝像頭相接且對攝像頭所攝取圖像信息進行識別和分析處理的控制器以及分別與控制器相接的參數設置單元、存儲器和對控制器的分析處理結果進行同步顯示的顯示器，攝像頭布設在方形紙上方。本實用新型設計新穎合理、投資成本低、便于控制并且使用效果好、操作性非常強，輸寫方便，能簡便將人們早已習慣的紙筆輸入和現代化計算機技術結合在一起。
文檔編號G06K9/00GK201876806SQ201020551138
公開日2011年6月22日 申請日期2010年9月29日 優先權日2010年9月29日
發明者崔宇, 柳有權, 肖杰, 黃波 申請人:長安大學