專利名稱：網絡交互環境下視頻、音頻、控制同步的方法
網絡交互環境下視頻、音頻、控制同步的方法 技術領域-本發明涉及一種將控制代碼插入流媒體通過計算機網絡進行交互控制對 方硬件或設備，實現視頻、音頻與控制同步的基于網絡視頻交互環境下控制 對方硬件或設備的方法。
背景技術：
現有技術大都采用WINDOWS XP提供的單向遠程協助功能或其它單向 遠程控制軟件，上述方法對系統外硬件和設備進行控制比較困難，無法實現 交互雙方視頻、音頻和硬件控制的同步，其他遠程控制方式需要計算機硬件 和軟件資源；即系統驅動、接口驅動、應用程序等和I/O接口硬件和其它相 關硬件，對于一般專業人員安裝、調試比較麻煩、開發周期長、系統的通用 性差，系統的造價高，普通用戶實現和使用比較困難。
發明內容
本發明的目的是提供一種基于網絡視頻交互環境下將控制代碼插入流媒 體的方式，同步控制交互對方硬件或設備，實現視頻、音頻和控制同步的方法。上述的目的通過以下的技術方案實現-一種網絡交互環境下視頻、音頻、控制同步的方法，在網絡視頻交互狀 態下雙方計算機通過聲卡的輸入或輸出端分別與各自的控制板連接，由控制 板內按鍵、開關量輸入控制電路、模擬轉換電路接收通過按鍵輸入或由模擬、 開關量傳感器產生控制對方的信息，經控制板處理轉換成DTMF控制代碼， 通過模擬開關插入音頻的R聲道或L聲道中與USB攝象頭獲得的視頻信號一 起同步轉換成流媒體即控制代碼插入流媒體方式，經計算機網絡接 INTERNET傳輸，控制對方與控制板連接的各類繼電器、可控硅和各類模擬 量執行元件，或通過紅外線輸出電路遙控外部設備。這個技術方案有以下有益效果l.本發明的技術方案硬件結構簡單造價低廉；應用軟件開發簡單方便、周 期短；不占用系統接口資源，無需驅動；同步性優于現有技術。
2.本發明技術一般人員便可安裝、調試、使用；通用性強，只需開發簡單 的應用軟件便可方便地在移動領域中的手機、PDA(掌上電腦)中應用；或通過對硬件的一些小改動在有線電話通訊系統的可視電話領域應用。
附圖1是本發明控制代碼時序圖；附圖2是本發明交互雙方系統連接示意圖；附圖3是本發明各部分結構連接圖；附圖4是本發明方法的控制卡1的電路結構示意圖；附圖5是發明方法的工作流程圖。附圖中各部分說明1控制板1. 1單片機系統1. 2控制數據存儲1.3狀態顯示電路(LED)1.4紅外線輸出電路(38k載波的紅外線遙控信號驅動、輸出電路)1.5 DTMF編譯碼電路 1. 5-1 DTMF編譯碼器 1.5-2 DTMF碼輸出1.5- 3 DTMF碼輸入1.6 DTMF/音頻切換電路1.6- 1音頻R信號輸出(接喇叭) 1.6-2音頻R信號輸入/DTLM信號輸入 1.6-3音頻L信號輸出(接喇叭) 1.6-4音頻L信號輸入1.6-5音頻L信號輸出 1.6-6話筒R信號輸出/DTMF輸出 1.6-7話筒R信號輸入(接話筒) 1.6-8話筒L信號輸入(接話筒) 2輸入/輸出電路
2.1 A/D轉換、預處理電路(溫度/壓力…等模擬量傳感器的控制電路) 2.2按鍵、開關量輸入控制電路(連接各類開關、按鍵、開關量傳感器) 2.3開關量隔離、驅動電路(接連各類繼電器、可控硅等驅動元件) 2.4 D/A隔離、驅動電路(接連各類模擬量執行元件) 3計算機 3. 1 USB接口 3. 2接INTERNET 3.3聲卡喇叭R信號輸出 3.4聲卡喇叭L信號輸出 3. 5聲卡立體聲話筒R信號輸入 3. 6聲卡立體聲話筒L信號輸入 4喇叭或耳機 5立體聲話筒 6 USB攝像頭 本發明的
具體實施例方式
實施例l:網絡交互環境下視頻、音頻、控制同步的方法，(網絡視頻交互環境是指網絡視頻聊天、交互式網絡課程、網絡視頻會議等狀態)如圖1、 2、 3、 4、 5 所示。交互雙方控制板1的控制信號\音頻信號R 1.6-6與計算機3聲卡的 立體聲話筒輸入R 3.5連接，控制信號通過聲卡輸出R 3.3 (喇叭R聲道/或 L聲道或線路輸出R聲道/或L聲道)；聲卡喇叭輸出L 3. 4進入控制板1的音 頻R信號輸入端1. 6-2，在網絡視頻交互狀態下，交互一方計算機3連接的控 制板1由輸入/輸出電路2的A/D轉換、預處理電路2. 1，通過模擬傳感器獲 取的模擬量信息，和開關量輸入控制電路2.2通過按鍵或開關量傳感器獲取 的開關量信息，通過單片機系統1. 1控制下的DTMF編譯碼電路1. 5轉換成4 位DTMF編碼信號,通過DTMF/音頻切換電路1. 6切換,經話筒R信號輸出/DTMF 輸出1. 6-6插入與計算機話筒輸入端3. 5連接的R (右)聲道，同時將話筒R (右)聲道話筒R信號輸入端1.6-7輸出信號切換至L (左)聲道(保證在控 制信號傳輸過程中本地聲音信號的正常輸出)，當這一過程結束，控制板l回
到初試狀態。這樣控制信號與本機的音頻信號及USB攝象機獲得的視頻信號 經計算機3處理轉換為同步的流媒體信號，通過網絡同步傳送至交互的另一 方，實現視頻信號、音頻信號、控制信號的同步。由交互另一方計算機3收 到通過網絡傳入的流媒體信號，分離出包含有控制代碼的音頻信號，通過計 算機3聲卡喇叭輸出R 3.3進入控制板1的音頻R聲道輸入/DTLM信號輸入 端1.6-2，由單片機系統1.1控制下的DTMF編譯碼電路1.5譯碼和單片機系 統1.1的處理轉換成控制信號，通過與輸入/輸出電路2連接的開關量隔離、 驅動電路2.3接連放各類繼電器、可控硅等驅動各類開關量執行元件和D/A 隔離、驅動電路2. 4接連各類模擬量執行元件或通過紅外線輸出電路1.4用紅 外線方式控制具有紅外遙控功能的電器設備。同時將音頻R信號輸出1.6-1 信號切換至音頻L (左)信號輸出端1.6-3，保證在控制信號接收過程中二個 喇叭輸出音頻信號，當這一過程結束，控制板1系統回到初始狀態。 實施例2:
網絡交互環境下視頻、音頻、控制同步的方法，如圖l、 2、 3、 4、 5所示， 網絡視頻交互雙方計算機3聲卡喇叭的R、 L輸出端3.3、 3.4 (或線路輸出端) 通過連接電纜分別與控制板1的音頻R信號輸入/DTLM信號輸入1.6-2、音頻L 信號輸入1.6-4連接，立體聲話筒R聲道輸入端3.5/L聲道輸入端3.6分別與控 制板1話筒L信號輸出1.6-5、話筒R信號輸出1.6-6連接，外接喇叭或耳機4的 R聲道/L聲道輸入端和外接立體聲話筒R聲道/L聲道輸出端分別與控制板1的 音頻R信號輸出端1.6-1、音頻L信號輸出端1.6-3和話筒R信號輸入端1.6-7、 話筒L信號輸入端1.6-8連接。
網絡視頻交互環境下控制交互對方硬件和電器設備的控制板有3種狀態， 即初始狀態、主控狀態、被控狀態。
初始狀態，從計算機3聲卡喇叭輸出端R聲道3.3/和輸出端L聲道3.4輸 出的音頻信號進入控制板1 DTMF/音頻切換電路1.6的音頻R信號輸入端1.6-2 和音頻L信號輸入端1.6-4，在單片機系統1.1 P1.6端口控制下DTMF/音頻切換 電路1.6的SW1的狀態為保持音頻R信號輸出端1.6-1與音頻R信號輸入1.6-2 連接；音頻L信號輸入端1.6-4與音頻L信號輸出端1.6-3直接連接；計算機3 的R聲道/L聲道音頻信號通過音頻R信號輸出端1.6-1/音頻L信號輸出端1.6-
進入外接喇叭或耳機4。立體聲話筒5的R聲道/L聲道輸出信號進入DTMF/ 音頻信號切換電路1.6的話筒5的R信號輸入端1.6-7/話筒L信號輸入端1.6-8, 在單片機系統1. 1的P1.5控制下DTMF/音頻信號切換電路1.6 SW2的初始化 狀態為保持1.6-5與話筒R信號輸入端1.6-7連接，話筒L信號輸入端1.6-5 與話筒L信號輸入端1.6-8直接連接，即立體聲話筒5輸出的音頻信號通過上 述連接進入計算機聲卡的話筒輸入R端3.5/聲卡立體聲話筒輸入L端3.6，既計 算機音頻系統功能不變。
主控狀態，控制板l內單片機系統l.l的P0 口 (定義為輸入端口)及相關 電路與輸入/輸出電路2的模擬量采樣和預處理電路2.1連接，該電路與溫度/ 壓力…等模擬量傳感器連接；連接有按鍵、開關量傳感器的開關量輸入控制電 路2，2也與單片機系統U的P0 口及相關電路連接；同時P0 口 、 INTO (注 中斷接口)等相關電路與DTMF編譯碼器1.5-1的D0 D3端及其它相關電路 連接。單片機系統1.1初始化后進入等待中斷申請和對P0 口和相關接口掃描狀 態，在單片機系統l. l相關電路控制下，DTMF編譯碼電路1.5交替進入編碼 和譯碼狀態。在編碼狀態，從P0 口獲得來至A/D轉換、預處理電路2. 1的模擬 量信號和按鍵、開關量輸入控制電路2. 2的開關量輸入信號后，進行處理和A/D 轉換；調用存儲器1.2中預先設定的控制程序，處理結果經過DTMF編譯碼電路 1. 5的編碼轉換成4位DTMF碼，通過DTMF編譯碼電路1. 5的DTMF碼輸出端 1. 5-2輸出。(這里一位DTMF代碼構成一位16進制數，其中4位DTMF碼的第1 位為識別碼，即16進制數A-D中一個，第2位是控制地址碼即卜F，最多可控 制16種設備；第3、 4位是控制量碼，控制分辨率精度為00-FF。 1位指令占 100ms時間段，在100ms時間片，DTMF信號持續50ms，間隔50ms為0電平， 即1條完整控制指令占用400ms，見圖一，如果交互雙方僅為開關量控制，控 制指令為3位DTMF碼，控制量碼為1位這樣1條完整控制指令占用300ms時間。) 在單片機系統1. 1的Pl. 6 口控制下，模擬開關1. 6的SW2切換與立體聲話筒5 連接的R聲道信號1. 6-7至話筒L信號輸出端1. 6-5，使DTMF信號通過DTMF 碼輸出端1. 5-2和話筒R信號輸出/DTMF輸出端1. 6-6直接進入計算機3立體 聲話筒輸入R端3. 5，話筒L信號通過話筒L信號輸出端1. 6-5與話筒L信號 輸入端1.6-8連接直接進入立體聲話筒輸入端3.6。這樣來自聲卡話筒輸入L
端3. 6的音頻信號和話筒輸入R端3. 5的控制信號與USB接口 3. 1連接的攝像 頭6獲得的視頻信號一起，經計算機的處理轉換成流媒體信號，通過網絡傳送 給另一方計算機3。當這一過程結束控制板1回到初始狀態。
被控狀態，計算機3通過網絡收到對方的流媒體信號(即視頻+音頻+控制 代碼)，經過計算機處理分成視頻和音頻2個部分，其中音頻部分(即音頻信號 +控制代碼)通過計算機3聲卡喇叭輸出L端3. 3/和聲卡喇叭輸出R端3. 4至 控制板1的音頻R信號輸入端1. 6-2/音頻L信號輸入端1. 6-4 (這時音頻信號 和控制信號分別占用R聲道和L聲道)，當DTMF編譯碼電路1. 5為譯碼狀態， DTMF信號通過音頻R信號輸入端1. 6-2進入DTMF碼輸入端1. 5-3,在收到第1 位DTMF信號時，DTMF編譯碼1.5-1的IRQ/CF端產生一個中斷申請信號，這個 信號被單片機系統1. 1的INTO端接收，判斷有效后讀P0 口，確定為識別碼后， 單片機系統1. 1通過Pl. 5端口控制DTMF/音頻信號切換電路1. 6中模擬開關的 SW1將1. 6-4音頻L輸入切換至音頻L信號輸出端1. 6-3，保證R聲道/L聲道 喇叭輸出為音頻信號(這時為單聲道)。后3位控制碼通過音頻/DTMF碼控制電 路1. 6-2的SW1直接進入DTMF編碼電路1. 5的DTMF碼輸入端1. 5-3。上述信 號在IRQ/CF端產生3個中斷申請信號，單片機系統1. 1在接到3個中斷申請信 號后，從P0 口讀取這3位信號進行處理；調用控制數據存儲器1. 2中預先設定 的控制程序；產生控制指令；通過單片機系統1. 1的P2 口 (定義為輸出控制端 口)經隔離、驅動電路2.3驅動與其連接的各類繼電器、可控硅等開關量元件; 或通過P2 口連接的D/A隔離驅動電路2. 4驅動各類模擬執行元件；或通過單片 機系統的Pl. 7輸出控制基波，經紅外線輸出電路1.4內的38k載波調制驅動以 紅外方式遙控具有紅外遙控功能的外部電器設備，當這一過程結束系統回到初 始狀態。
權利要求
1.一種網絡交互環境下視頻、音頻、控制同步的方法，其特征是在網絡視頻交互狀態下雙方計算機通過聲卡的輸入或輸出端分別與各自的控制板連接，由控制板內按鍵、開關量輸入控制電路、模擬轉換電路接收通過按鍵輸入或由模擬、開關量傳感器產生控制對方的信息，經控制板處理轉換成DTMF控制代碼，通過模擬開關插入音頻的R聲道或L聲道中與USB攝象頭獲得的視頻信號一起同步轉換成流媒體即控制代碼插入流媒體方式，經計算機網絡接INTERNET傳輸，控制對方與控制板連接的各類繼電器、可控硅和各類模擬量執行元件，或通過紅外線輸出電路遙控外部設備。
全文摘要
網絡交互環境下視頻、音頻、控制同步的方法。在網絡視頻交互狀態下雙方計算機通過聲卡的輸入或輸出端分別與各自的控制板連接，由控制板內按鍵、開關量輸入控制電路、模擬轉換電路接收通過按鍵輸入或由模擬、開關量傳感器產生控制對方的信息，經控制板處理轉換成DTMF控制代碼，通過模擬開關插入音頻的R聲道或L聲道中與USB攝象頭獲得的視頻信號一起同步轉換成流媒體即控制代碼插入流媒體方式，經計算機網絡接INTERNET傳輸，控制對方與控制板連接的各類繼電器、可控硅和各類模擬量執行元件，或通過紅外線輸出電路遙控外部設備。本發明可廣泛運用在網絡游戲、中低速遠程控制領域、遠程家庭醫療監控、遠程交互教學等領域。
文檔編號H04N7/52GK101166278SQ20061015092
公開日2008年4月23日 申請日期2006年10月20日 優先權日2006年10月20日
發明者嚴復鐵, 張天華, 張金傲 申請人:黑龍江大學;黑龍江黑大高新科技產業有限公司