專利名稱：實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法與架構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視訊處理的方法與架構(gòu)，特別涉及當(dāng)耗時(shí)較長(zhǎng)的運(yùn)算模塊 在執(zhí)行運(yùn)算時(shí)，耗時(shí)較短的運(yùn)算模塊可同時(shí)執(zhí)行運(yùn)算，以加快運(yùn)算速度的方法 與架構(gòu)。
背景技術(shù)：
隨著動(dòng)態(tài)影像視訊的應(yīng)用日益廣泛，使用者對(duì)動(dòng)態(tài)影像視訊的需求也日益 增加。因此，動(dòng)態(tài)視訊的處理速度成為一個(gè)非常重要的議題。目前處理動(dòng)態(tài)影
^f象最主要的才支術(shù)為移動(dòng)影l(fā)象編碼標(biāo)準(zhǔn)(Moving Picture Encoding Group, MPEG), 圖1所示的是現(xiàn)有移動(dòng)影像編碼標(biāo)準(zhǔn)-4的視訊編碼系統(tǒng)的功能方塊圖。我們可 將整個(gè)視/孔編碼系統(tǒng)分為兩部^f分，即移動(dòng)估計(jì)器(Motion Estimation)與區(qū)塊編 碼器。其中，區(qū)塊編碼器包含移動(dòng)差異單元(Mot ion Difference)、離散余弦轉(zhuǎn) 換單元(DCT)、量化單元(Quantization)、可變長(zhǎng)度碼單元(Variable length code, VLC)、反量化單元(I鵬rse- Quantization)、反離散余弦轉(zhuǎn)換單元 (Inverse- Quantization)與移動(dòng)比較單元(Motion Compensation)。 由于移動(dòng) 估計(jì)器用于產(chǎn)生移動(dòng)向量(Motion Vector),因此，涉及大量數(shù)學(xué)算法。眾所周 知，其中，移動(dòng)估計(jì)器的運(yùn)算量約占整個(gè)編碼系統(tǒng)的六成至七成。即，移動(dòng)估 計(jì)器所耗費(fèi)的運(yùn)算時(shí)間約為區(qū)塊編碼器的六成至七成。
圖2所示的是現(xiàn)有視訊處理模塊的功能方塊圖?，F(xiàn)有技術(shù)在處理一筆視訊 數(shù)據(jù)時(shí)，主要在各個(gè)運(yùn)算模塊間，加入內(nèi)部共享內(nèi)存。我們可將主運(yùn)算單元視 為移動(dòng)估計(jì)器，而次運(yùn)算單元視為區(qū)塊編碼器。
圖3所示的是現(xiàn)有視訊處理模塊的運(yùn)作示意圖。圖3以分辨率704x576的 影像為例，依序處理時(shí)序0~2，以產(chǎn)生分辨率704x576的一見訊串流、分辨率 352x288的視訊串流、分辨率與176x144的視訊串流。由圖3可知，現(xiàn)有的視訊 處理模塊只能依序處理一種分辨率的數(shù)據(jù)。即，當(dāng)主運(yùn)算單元在處理影像數(shù)據(jù) 時(shí)，次運(yùn)算單元是閑置的(idle),硬件的使用效率非常低。由前述可知，現(xiàn)有 視訊處理才莫塊產(chǎn)生三種分辨率時(shí)，所需的運(yùn)算頻率為1. 31xWxHxfpsxA。其中，W 為影像寬度(width) ， H為影像長(zhǎng)度(height) , fps為每秒圖框數(shù)(frame persecond), A為主運(yùn)算單元的運(yùn)算頻率。圖4所示的是現(xiàn)有^見訊處理才莫塊的時(shí)序 示意圖。如圖所示，除了次運(yùn)算單元使用效率低落以外，同一種分辨率影像必 須依序進(jìn)行主運(yùn)算單元以及次運(yùn)算單元，才可以進(jìn)行下一種分辨率影^像的處理 如圖4所示，若主運(yùn)算單元的運(yùn)算時(shí)間為次運(yùn)算單元的三倍，則硬件閑置 的情況將更為惡化而造成效能更為低落。造成效能低落的主要原因?yàn)?br>
(1) 原本內(nèi)部共享內(nèi)存被期望能大量減少外部?jī)?nèi)存頻寬，然而，由于主運(yùn) 算單元與次運(yùn)算單元共同使用一個(gè)共享內(nèi)存，因此，當(dāng)主運(yùn)算單元使用共享內(nèi) 存，則次運(yùn)算單元無法同時(shí)使用共享內(nèi)存。
(2) 主運(yùn)算單元與次運(yùn)算單元的運(yùn)算時(shí)間差異過大。
(3) 次運(yùn)算單元必須等待主運(yùn)算單元的運(yùn)算結(jié)果，才能進(jìn)行下一步驟的運(yùn)算。
由前述(1) (3)可知，在處理數(shù)據(jù)時(shí)，主運(yùn)算單元與次運(yùn)算單元有互相等 待對(duì)方的情況，因此，造成大量的閑置時(shí)間。
圖5所示的是現(xiàn)有視訊處理模塊處理多信道的不同分辨率視訊串流時(shí)序示 意圖。當(dāng)視訊處理模塊同時(shí)處理來自三個(gè)視訊裝置的視訊數(shù)據(jù)，且同時(shí)也要產(chǎn) 生對(duì)應(yīng)不同信道的不同分辨率視訊串流時(shí)，視訊處理模塊將產(chǎn)生大量的閑置時(shí) 間，不但使硬件的使用效率降低，造成資源浪費(fèi)，也使數(shù)據(jù)處理速度變慢。
由前述可知，現(xiàn)有技術(shù)的架構(gòu)與運(yùn)作方式，不但浪費(fèi)硬件資源，更嚴(yán)重地 影響到數(shù)據(jù)處理的速度。特別是現(xiàn)今網(wǎng)絡(luò)服務(wù)日漸普及，不同的客戶端(client) 對(duì)同一視訊來源有不同的分辨率的需求，例如行動(dòng)電話所需分辨率為176x144, 個(gè)人數(shù)字助理器(PDA)所需分辨率為176x144 - 352x288,個(gè)人計(jì)算機(jī)(COMPUTER) 所需分辨率為352x288 ~ 640x480，數(shù)據(jù)庫(DATABASE)所需分辨率為640x480-1024x768。因此，許多電子裝置需處理多信道的視訊數(shù)據(jù)，并且需要實(shí)時(shí)產(chǎn)生 不同分辨率的視訊串流傳輸至遠(yuǎn)程。不幸的是，現(xiàn)有技術(shù)存在的缺點(diǎn)，將使數(shù) 據(jù)處理的速度面臨瓶頸，無法提升服務(wù)的品質(zhì)。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法與架構(gòu)，該 方法與架構(gòu)適用于視訊編碼處理，使系統(tǒng)中模塊的運(yùn)算時(shí)間平衡，提升系統(tǒng)的整體效能。
為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案
實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，適用于影像處理， 一模塊包括一外
部?jī)?nèi)存、 一系統(tǒng)總線與一主運(yùn)算單元；所述外部?jī)?nèi)存耦接所述系統(tǒng)總線，所述 主運(yùn)算器包括一微處理器、 一主運(yùn)算單元與一次運(yùn)算單元，所述微處理器、主 運(yùn)算單元與次運(yùn)算單元耦接系統(tǒng)總線，以進(jìn)行數(shù)據(jù)傳輸，該方法包括下步驟
(a) 當(dāng)所述模塊處理n筆視訊數(shù)據(jù)時(shí)，使第n個(gè)視訊數(shù)據(jù)降頻m倍，以產(chǎn)生 對(duì)應(yīng)的k組降頻-現(xiàn)訊，其中，m為正實(shí)數(shù)，k為正整數(shù)，m與k為一對(duì)一對(duì)應(yīng)關(guān) 系；
(b) 所述外部?jī)?nèi)存輸出所述第n個(gè)視訊數(shù)據(jù)的一降頻視訊至主運(yùn)算單元，以 產(chǎn)生數(shù)據(jù)D(n),之后，將D(n)儲(chǔ)存于該外部?jī)?nèi)存，其中，D(n)的下標(biāo)n為視訊 數(shù)據(jù)的編號(hào)，n為正整數(shù)；
(c) 在執(zhí)行一重新提取處理后，所述外部?jī)?nèi)存將所述第n個(gè)視訊數(shù)據(jù)與該數(shù) 據(jù)D(n)對(duì)應(yīng)的一目標(biāo)數(shù)據(jù)輸入至所述次運(yùn)算單元，以執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理，并 且，實(shí)時(shí)地使第n-1個(gè)視訊數(shù)據(jù)執(zhí)行對(duì)應(yīng)的步驟(a)至(b);以及，
(d) 通過重復(fù)使用所述D (n),使其余k-l組降頻視訊分別得到對(duì)應(yīng)的目標(biāo)數(shù) 據(jù)，通過所述第n個(gè)視訊數(shù)據(jù)與k-l組降頻視訊對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，使次運(yùn)算單 元執(zhí)行對(duì)應(yīng)的數(shù)據(jù)運(yùn)算，可產(chǎn)生k-1種分辨率的視訊串流，將這些視訊串流儲(chǔ) 存于所述外部?jī)?nèi)存，并且，實(shí)時(shí)地使所述第n-l個(gè)視訊數(shù)據(jù)執(zhí)行對(duì)應(yīng)的步驟(c) ~ (d);
通過前述步驟(a) ~ (d),可使n筆視訊數(shù)據(jù)實(shí)時(shí)地產(chǎn)生對(duì)應(yīng)的復(fù)數(shù)種分辨 率的視訊串流。
為達(dá)上述目的，本發(fā)明還提出一種實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)， 也適用于同時(shí)處理多信道的視訊數(shù)據(jù)，該架構(gòu)包括 復(fù)數(shù)個(gè)視訊裝置，用以擷取n筆視訊數(shù)據(jù)；
一視訊處理模塊，耦接所述視訊裝置，輸入n筆視訊數(shù)據(jù)，執(zhí)行一平行處 理程序，以實(shí)時(shí)地輸出每一筆視訊數(shù)據(jù)對(duì)應(yīng)的復(fù)數(shù)種分辨率的視訊串流，所述 模塊包括
一系統(tǒng)總線；一外部?jī)?nèi)存，該外部?jī)?nèi)存耦接所述系統(tǒng)總線；以及， 一主運(yùn)算器，包括
一微處理器，該微處理器耦接所述系統(tǒng)總線； 一主運(yùn)算單元，該主運(yùn)算單元耦接所述系統(tǒng)總線；以及， 一次運(yùn)算單元，該次運(yùn)算單元耦接所述系統(tǒng)總線；
一第一網(wǎng)絡(luò)服務(wù)器，耦接所述視訊處理模塊與一網(wǎng)絡(luò)系統(tǒng)，在輸入視訊數(shù) 據(jù)后，通過一第一通信協(xié)議，輸出視訊串流至網(wǎng)絡(luò)系統(tǒng)；以及，
一第二網(wǎng)絡(luò)服務(wù)器，耦接所述網(wǎng)絡(luò)系統(tǒng)與復(fù)數(shù)個(gè)接收裝置，通過一第二通 信協(xié)議，輸入所述不同分辨率的視訊串流，并且，輸出對(duì)應(yīng)的一見訊串流分別至 所述接收裝置；
其中，當(dāng)所述視訊處理模塊處理n筆視訊數(shù)據(jù)時(shí)，所述主運(yùn)算器使一第n 個(gè)3見訊數(shù)據(jù)降頻m倍產(chǎn)生對(duì)應(yīng)的k組降頻視訊，其中，m為正實(shí)凄丈，k為正整數(shù)， m與k為一對(duì)一對(duì)應(yīng)關(guān)系；
所述外部?jī)?nèi)存將所述第n個(gè)視訊數(shù)據(jù)中的任一降頻視訊輸出至主運(yùn)算單元， 以產(chǎn)生數(shù)據(jù)D(n)，之后，所述主運(yùn)算器將D(n)儲(chǔ)存于所述外部?jī)?nèi)存，其中，D(n) 的下標(biāo)n為視訊數(shù)據(jù)的編號(hào)，n為正整數(shù)；
所述外部?jī)?nèi)存將第n個(gè)視訊數(shù)據(jù)與數(shù)據(jù)D(n)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)輸入至次運(yùn)算 單元，以執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理，并且，所述主運(yùn)算器實(shí)時(shí)地使第n-l個(gè)視訊數(shù) 據(jù)降頻，以產(chǎn)生對(duì)應(yīng)的降頻;f見訊，且所述外部?jī)?nèi)存輸出對(duì)應(yīng)的降頻4見訊至主運(yùn) 算單元，以產(chǎn)生對(duì)應(yīng)的數(shù)據(jù)，之后，主運(yùn)算器將前述數(shù)據(jù)儲(chǔ)存于所述外部?jī)?nèi)存； 通過所述D (n)，所述主運(yùn)算器使其余k-l組降頻視訊分別地得到對(duì)應(yīng)的目標(biāo)數(shù) 據(jù)，通過所述第n個(gè)視訊數(shù)據(jù)與k-l組降頻視訊對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，次運(yùn)算單元 執(zhí)行對(duì)應(yīng)的數(shù)據(jù)運(yùn)算，可產(chǎn)生k-1種分辨率的視訊串流，所述主運(yùn)算器將這些 視訊串流儲(chǔ)存于所述外部?jī)?nèi)存，所述主運(yùn)算器重復(fù)執(zhí)行前述運(yùn)算，即可使n筆 視訊數(shù)據(jù)實(shí)時(shí)地產(chǎn)生對(duì)應(yīng)的復(fù)數(shù)種分辨率的視訊串流。
依照本發(fā)明的較佳實(shí)施例所述，上述的m值為l、 1/4或者1/16。
依照本發(fā)明的較佳實(shí)施例所述，上述重新提取處理為，若111=1,則將所述資 料D(n)縮小1/Q倍而成為對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，以執(zhí)行對(duì)應(yīng)的步驟，其中，Q為正 整數(shù)，通過不斷改變Q值，及執(zhí)行所述次運(yùn)算單元對(duì)應(yīng)的運(yùn)算，實(shí)時(shí)地得到所述不同分辨率的視訊串流。
依照本發(fā)明的較佳實(shí)施例所述，上述的重新提取處理為，若n^l/P,則將此 資料D(n)放大Q倍而成為此目標(biāo)數(shù)據(jù)，以執(zhí)行對(duì)應(yīng)的步驟。其中，P、 Q為正 整數(shù)，通過不斷改變Q值，再使次運(yùn)算單元執(zhí)行對(duì)應(yīng)的運(yùn)算，可實(shí)時(shí)地得到不 同分辨率的視訊串流。
依照本發(fā)明的較佳實(shí)施例所述，上述的重新提取處理為，若m-l/P,則將此 資料D(n)縮小1/Q倍而成為此目標(biāo)數(shù)據(jù)，以執(zhí)行對(duì)應(yīng)的步驟。其中，P、 Q為 正整數(shù)，通過不斷改變Q值，再使次運(yùn)算單元執(zhí)行對(duì)應(yīng)的運(yùn)算，可實(shí)時(shí)地得到 不同分辨率的^L訊串流。
依照本發(fā)明的較佳實(shí)施例所述，上述的D(n)為移動(dòng)向量數(shù)據(jù)。
依照本發(fā)明的較佳實(shí)施例所述，上述的主運(yùn)算單元處理第n個(gè)視訊數(shù)據(jù)所 需時(shí)間長(zhǎng)于此次運(yùn)算單元y倍，其中，l<y<10。
依照本發(fā)明的較佳實(shí)施例所述，上述的主運(yùn)算單元為移動(dòng)估計(jì)單元，用以 執(zhí)行移動(dòng)估計(jì)的運(yùn)算。
依照本發(fā)明的較佳實(shí)施例所述，上述的次運(yùn)算單元為區(qū)塊編碼單元，包括 移動(dòng)差異單元、離散余弦轉(zhuǎn)換單元、量化單元、可變長(zhǎng)度碼單元、反量化單元、 反離散余弦轉(zhuǎn)換單元與移動(dòng)比較單元。
依照本發(fā)明的較佳實(shí)施例所述，上述的模塊還包括視訊擷取單元，耦接至 少一個(gè)視訊裝置，用以擷取視訊數(shù)據(jù)。
依照本發(fā)明的較佳實(shí)施例所述，上述的模塊還包括網(wǎng)絡(luò)橋接單元，用以連 接接網(wǎng)絡(luò)服務(wù)器。
依照本發(fā)明的較佳實(shí)施例所述，上述的接收裝置為個(gè)人計(jì)算機(jī)、數(shù)據(jù)庫、 個(gè)人數(shù)字助理器或行動(dòng)電話。
現(xiàn)有技術(shù)中，由于運(yùn)算模塊之間有運(yùn)算時(shí)間相差太大的特性，因此提升系
統(tǒng)效能的重點(diǎn)為(1)達(dá)成運(yùn)算模塊之間獨(dú)立平行運(yùn)作的能力。(2)在達(dá)成實(shí)時(shí)
多信道不同分辨率視訊串流指定規(guī)格之下，提高運(yùn)算時(shí)間較短的運(yùn)算單元的使
用率，在整體系統(tǒng)運(yùn)作時(shí)降低運(yùn)算時(shí)間較短的運(yùn)算單元的閑置時(shí)間。(3)在達(dá)成
實(shí)時(shí)多信道不同分辨率視訊串流指定規(guī)格之下，減少運(yùn)算時(shí)間較長(zhǎng)的運(yùn)算單元
的使用率，以縮短整體系統(tǒng)的運(yùn)算時(shí)間并減低功率消耗。(4)平衡各模塊之間的運(yùn)作時(shí)間。
本發(fā)明通過外部?jī)?nèi)存所達(dá)成的模塊獨(dú)立平行運(yùn)算，可使耗時(shí)較長(zhǎng)的運(yùn)算模 塊在執(zhí)行運(yùn)算時(shí)，耗時(shí)較短的運(yùn)算模塊可同時(shí)執(zhí)行多次運(yùn)算，以減少硬件閑置 時(shí)間，達(dá)成模塊運(yùn)算時(shí)間平衡以及整體效能提升的目標(biāo)，提高硬件利用率以及 平行化處理。另外，利用視訊編碼運(yùn)算的特性，減少耗時(shí)較長(zhǎng)運(yùn)算模塊的運(yùn)作 次數(shù)，以達(dá)成實(shí)時(shí)提供各種視訊串流的目的。另外，本發(fā)明可處理多信道的視 訊來源，可實(shí)時(shí)地將不同分辨率的視訊數(shù)據(jù)，通過網(wǎng)絡(luò)系統(tǒng)傳輸至遠(yuǎn)程的接收 裝置。
圖1是現(xiàn)有的移動(dòng)影像編碼標(biāo)準(zhǔn)_ 4的視訊編碼系統(tǒng)的功能方塊圖2是現(xiàn)有^L訊處理裝置的功能方塊圖3是現(xiàn)有視訊處理裝置的針對(duì)多種解析度動(dòng)作示意圖4是現(xiàn)有視訊處理裝置的針對(duì)多種解析度時(shí)序示意圖5是現(xiàn)有視訊處理裝置處理多通道的多種解析度的視訊串流的時(shí)序示意
圖6是依照本發(fā)明一較佳實(shí)施例的實(shí)時(shí)產(chǎn)生不同解析度視訊串流的方法流
程中的電路功能方塊圖7是依照本發(fā)明一較佳實(shí)施例的多通道以及不同解析度視訊主運(yùn)算單元
以及次運(yùn)算單元平行處理程序與外部?jī)?nèi)存存取關(guān)聯(lián)的時(shí)序示意圖； 圖8是依照本發(fā)明一較佳實(shí)施例的重新提取處理的動(dòng)作示意圖； 圖9是依照本發(fā)明一較佳實(shí)施例的重新提取處理的時(shí)序示意圖； 圖10是依照本發(fā)明一較佳實(shí)施例的重新提取處理的動(dòng)作示意圖； 圖11是依照本發(fā)明一較佳實(shí)施例的重新提取程序的時(shí)序示意圖； 圖12是依照本發(fā)明一較佳實(shí)施例的實(shí)時(shí)產(chǎn)生不同解析度視訊串流的架構(gòu)示
意圖13是依照本發(fā)明 一較佳實(shí)施例的實(shí)時(shí)產(chǎn)生多通道及不同解析度視訊串流 的時(shí)序示意圖14是依照本發(fā)明一較佳實(shí)施例的效能分析圖。
具體實(shí)施例方式
圖6所示的是依照本發(fā)明一較佳實(shí)施例的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的 方法流程中的電路功能方塊圖。實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的模塊700包括 ^t處理器702、系統(tǒng)總線704、主運(yùn)算單元706、次運(yùn)算單元708、外部?jī)?nèi)存710、 視訊擷取單元712與網(wǎng)絡(luò)橋接單元714。其中，微處理器702、主運(yùn)算單元706、 次運(yùn)算單元708、外部?jī)?nèi)存710、視訊擷取單元712與網(wǎng)絡(luò)橋接單元714耦接系 統(tǒng)總線704。視訊擷取單元712用以擷取視訊數(shù)據(jù)。網(wǎng)絡(luò)橋接單元714用以連接 至少一個(gè)網(wǎng)絡(luò)服務(wù)器。主運(yùn)算器716包括微處理器702、主運(yùn)算單元706與次運(yùn) 算單元708。外部?jī)?nèi)存710設(shè)置于主運(yùn)算器716的外部。
請(qǐng)參考圖1。主運(yùn)算單元706為一個(gè)移動(dòng)估計(jì)單元，用以執(zhí)行移動(dòng)估計(jì)的運(yùn) 算。次運(yùn)算單元708為一個(gè)區(qū)塊編碼單元，包括移動(dòng)差異單元、離散余弦轉(zhuǎn)換 單元、量化單元、可變長(zhǎng)度碼單元、反量化單元、反離散余弦轉(zhuǎn)換單元與移動(dòng) 比較單元。其中，移動(dòng)差異單元耦接主運(yùn)算單元706。離散余弦轉(zhuǎn)換單元耦接移 動(dòng)差異單元。量化單元耦接離散余弦轉(zhuǎn)換單元?？勺冮L(zhǎng)度碼單元耦接量化單元。 反量化單元耦接可變長(zhǎng)度碼單元與該量化單元。反離散余弦轉(zhuǎn)換單元耦接反量 化單元。移動(dòng)比較單元耦接反離散余弦轉(zhuǎn)換單元。前述移動(dòng)估計(jì)單元與區(qū)塊編 碼單元的硬件架構(gòu)與圖1近似，此部分為習(xí)知技術(shù)，在此不再重述。
當(dāng)模塊700處理n筆視訊數(shù)據(jù)時(shí)，則模塊700執(zhí)行如下步驟
(a) 使第n個(gè)視訊數(shù)據(jù)降頻m倍產(chǎn)生對(duì)應(yīng)的k組降頻視訊。其中，m為正實(shí) 數(shù)，k為正整數(shù)，m與k為一對(duì)一對(duì)應(yīng)關(guān)系。
(b) 外部?jī)?nèi)存輸出第n個(gè)視訊數(shù)據(jù)的任一降頻視訊至主運(yùn)算單元，以產(chǎn)生數(shù) 據(jù)D(n),之后，將D(n)儲(chǔ)存于此外部?jī)?nèi)存，其中，D (n)的下標(biāo)n為視訊數(shù)據(jù)的 編號(hào)，n為整數(shù)，且n大于零。
(c) 在模塊700執(zhí)行重新提取程序后，外部?jī)?nèi)存將第n個(gè)視訊數(shù)據(jù)與數(shù)據(jù)D (n) 對(duì)應(yīng)的目標(biāo)數(shù)據(jù)輸入至次運(yùn)算單元，以執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理，即可得到第一種 分辨率的視訊串流。并且，實(shí)時(shí)地使第n-l個(gè)視訊數(shù)據(jù)執(zhí)行對(duì)應(yīng)的步驟(a)至(b)。
(d) 通過前述D (n)，使其余k-l組降頻視訊執(zhí)行對(duì)應(yīng)的步驟(c)。通過次運(yùn) 算單元處理，即可產(chǎn)生k-l組種分辨率的視訊串流。接著，模塊700將這些視 訊串流儲(chǔ)存在此外部?jī)?nèi)存，并且，模塊70G實(shí)時(shí)地使此第n-l個(gè)視訊數(shù)據(jù)執(zhí)行
13對(duì)應(yīng)的步驟(c) ~ (d)。
舉例來說，當(dāng)模塊700模塊耦接復(fù)數(shù)個(gè)視訊裝置(圖中未繪出)，在一個(gè)時(shí) 間間隔中，這些視訊裝置輸出對(duì)應(yīng)的視訊數(shù)據(jù)至模塊700。之后，當(dāng)模塊700處 理n筆視訊數(shù)據(jù)時(shí)，則模塊700執(zhí)行下列步驟
(a) 通過微處理器702與外部?jī)?nèi)存710的運(yùn)作，模塊700使第n個(gè)視訊數(shù)據(jù) 降頻m倍，以產(chǎn)生k組降頻視訊。其中，m為實(shí)數(shù)。在本實(shí)施例中，m值為1 、 1/4或1/16。
(b) 外部?jī)?nèi)存710輸出前述k組降頻視訊的任何一組降頻-現(xiàn)訊至主運(yùn)算單元 706,以產(chǎn)生數(shù)據(jù)D(n)。之后，主運(yùn)算單元706將D(n)輸入外部?jī)?nèi)存710。其中， D(n)的下標(biāo)n為視訊數(shù)據(jù)的編號(hào)，n為正整數(shù)。在本實(shí)施例中，D(n)為移動(dòng)向量 數(shù)據(jù)。
(c) 通過微處理器702與外部?jī)?nèi)存710的運(yùn)作，當(dāng)模塊700執(zhí)行一個(gè)重新提 取程序后，外部?jī)?nèi)存710將第n個(gè)視訊數(shù)據(jù)與數(shù)據(jù)D(n)對(duì)應(yīng)的一個(gè)目標(biāo)數(shù)據(jù)輸 入次運(yùn)算單元708,以執(zhí)行對(duì)應(yīng)的數(shù)據(jù)運(yùn)算，即可得到第一種^L訊串流。并且， 模塊700實(shí)時(shí)地執(zhí)行第n-l個(gè)視訊數(shù)據(jù)對(duì)應(yīng)的步驟(a)至(b)。即，當(dāng)?shù)谝还P視 訊數(shù)據(jù)執(zhí)行主運(yùn)算單元706的運(yùn)算后，將運(yùn)算結(jié)果儲(chǔ)存至外部?jī)?nèi)存710。之后， 主模塊700將前述運(yùn)算結(jié)果放大或縮小，成為目標(biāo)數(shù)據(jù)。接著，第一筆一見訊數(shù) 據(jù)與目標(biāo)數(shù)據(jù)輸入次運(yùn)算單元708,以執(zhí)行對(duì)應(yīng)的運(yùn)算，并且，第二筆視訊數(shù)據(jù) 實(shí)時(shí)地輸入主運(yùn)算單元706執(zhí)行運(yùn)算，使主運(yùn)算單元706與次運(yùn)算單元708同 時(shí)處理數(shù)據(jù)，即可減少產(chǎn)生閑置時(shí)間，進(jìn)而完成平行處理的目標(biāo)。
(d) 能通過重復(fù)使用前述D (n),使其余k-l組降頻視訊得到個(gè)自對(duì)應(yīng)的目標(biāo) 數(shù)據(jù)。通過第n個(gè)視訊數(shù)據(jù)與這些目標(biāo)數(shù)據(jù)，使次運(yùn)算單元708執(zhí)行對(duì)應(yīng)的數(shù) 據(jù)運(yùn)算，即可產(chǎn)生k-l種分辨率的視訊串流。之后，模塊700將這些影像數(shù)據(jù) 儲(chǔ)存于該外部?jī)?nèi)存710。并且，模塊700實(shí)時(shí)地使該第n-l個(gè)視訊數(shù)據(jù)執(zhí)行對(duì)應(yīng) 之步驟(c)-(d)。即，由于主運(yùn)算單元706處理第n個(gè)視訊數(shù)據(jù)所需時(shí)間相較 于次運(yùn)算單元708時(shí)間長(zhǎng)y倍，其中，l<y<10。因此，當(dāng)?shù)诙P視訊數(shù)據(jù)執(zhí)行 主運(yùn)算單元706的運(yùn)算時(shí)，第一筆視訊數(shù)據(jù)有充裕的時(shí)間進(jìn)行次運(yùn)算單元708 的運(yùn)算，可以反復(fù)執(zhí)行對(duì)應(yīng)的算法數(shù)次，以產(chǎn)生第一筆視訊數(shù)據(jù)對(duì)應(yīng)的各種分 辨率的視訊串流。如此一來，即可大幅減少系統(tǒng)閑置時(shí)間，進(jìn)而完成平行處理的目標(biāo)。通過前述步驟(a) ~ (d)，可使n筆視訊數(shù)據(jù)實(shí)時(shí)地產(chǎn)生對(duì)應(yīng)的復(fù)數(shù)種 分辨率的^見訊串流。
如圖7,所示的是依照本發(fā)明一較佳實(shí)施例的多信道以及不同分辨率視訊主 運(yùn)算單元以及次運(yùn)算單元平行處理程序與外部?jī)?nèi)存存取關(guān)聯(lián)的時(shí)序示意圖。其 中，標(biāo)號(hào)802表示^L訊1，分辨率704x576,第1張。標(biāo)號(hào)804表示^L訊1,分 辨率352x288，第1張。標(biāo)號(hào)806表示^L訊1，分辨率176x144,第1張。標(biāo)號(hào) 808表示視訊2,分辨率704x576,第1張。標(biāo)號(hào)810表示視訊2，分辨率352x288, 第1張。標(biāo)號(hào)812表示視訊2,分辨率176x144,第1張。標(biāo)號(hào)814表示視訊3， 分辨率704x576，第1張。標(biāo)號(hào)816表示^L訊3,分辨率352x288，第1張。標(biāo) 號(hào)818表示視訊3，分辨率176xl44 ，第1張。標(biāo)號(hào)820表示視訊1 ，分辨率704x576， 第1張影像數(shù)據(jù)。標(biāo)號(hào)822表示視訊1，分辨率352x288,第1張的影像數(shù)據(jù)。 標(biāo)號(hào)824表示視訊1，分辨率176x144，第1張的影像數(shù)據(jù)。標(biāo)號(hào)826表示視訊 2，分辨率704x576,第1張的影像數(shù)據(jù)。標(biāo)號(hào)828表示視訊2,分辨率352x288， 第1張的影像數(shù)據(jù)。標(biāo)號(hào)830表示視訊2，分辨率176x144,第1張的影像數(shù)據(jù)。 標(biāo)號(hào)832表示視訊3，分辨率704x576,第1張的影像數(shù)據(jù)。標(biāo)號(hào)834表示視訊 3，分辨率352x288,第1張的影像數(shù)據(jù)。標(biāo)號(hào)836表示視訊3，分辨率176x144, 第1張的影像數(shù)據(jù)。標(biāo)號(hào)838表示視訊1，分辨率704x576,第1張的次運(yùn)算單 元的運(yùn)算結(jié)果。標(biāo)號(hào)840表示視訊1，分辨率352x288,第1張的次運(yùn)算單元的 運(yùn)算結(jié)果。標(biāo)號(hào)842表示視訊1，分辨率176x144,第1張的次運(yùn)算單元的運(yùn)算 結(jié)果。標(biāo)號(hào)844表示視訊2，分辨率704x576，第1張的次運(yùn)算單元的運(yùn)算結(jié)果。 標(biāo)號(hào)846表示視訊2，分辨率352x288，第1張的次運(yùn)算單元的運(yùn)算結(jié)果。標(biāo)號(hào) 848表示視訊2,分辨率176x144，第1張的次運(yùn)算單元的運(yùn)算結(jié)果。標(biāo)號(hào)850 表示視訊3，分辨率704x576，第1張的次運(yùn)算單元的運(yùn)算結(jié)果。標(biāo)號(hào)852表示 視訊3,分辨率352x288,第1張的次運(yùn)算單元的運(yùn)算結(jié)果。標(biāo)號(hào)854表示視訊 3,分辨率176x144,第1張的次運(yùn)算單元的運(yùn)算結(jié)果。
如圖7所示，若多個(gè)視訊數(shù)據(jù)同時(shí)輸入模塊700，則當(dāng)后一筆視訊數(shù)據(jù)執(zhí)行 主運(yùn)算單元706的運(yùn)算時(shí)，由于運(yùn)算時(shí)間相差太大，前一筆視訊數(shù)據(jù)有充裕的 時(shí)間進(jìn)行次運(yùn)算單元708的運(yùn)算，并經(jīng)由主算算單元706運(yùn)算結(jié)果重新提取的 程序，次運(yùn)算單元708進(jìn)行多次運(yùn)算，產(chǎn)生多種分辨率的視訊串流。因此，次運(yùn)算單元708可利用等待主運(yùn)算單元706完成運(yùn)算的空檔，除了^L行對(duì)應(yīng)的多 次運(yùn)算，可以搭配出適合主運(yùn)算單元706運(yùn)作時(shí)間的次運(yùn)算單元708的運(yùn)作次 數(shù)，即可大幅提升次運(yùn)算單元使用次數(shù)，并可以提升的多種分辨率視訊串流的 數(shù)量。
通過微處理器702與外部?jī)?nèi)存710的運(yùn)作，前述重新提取程序可視m值運(yùn) 作如下
(1) 若111=1,則模塊700可將數(shù)據(jù)D(n)縮小1/Q倍而成為目標(biāo)數(shù)據(jù)，以執(zhí) 行對(duì)應(yīng)的步驟(c) ~ (d)。其中，Q為正整數(shù)。通過多次改變Q值，及執(zhí)行次運(yùn)算 單元對(duì)應(yīng)的運(yùn)算，可實(shí)時(shí)地得到不同分辨率的視訊串流。即，若模塊700不改 變?cè)家曈崝?shù)據(jù)的大小，則將此視訊數(shù)據(jù)的移動(dòng)向量值縮小，再送入次運(yùn)算單 元708,即可得到分辨率較低的視訊串流。
(2) 若m-l/P，則模塊700可將數(shù)據(jù)D(n)放大Q倍而成為目標(biāo)數(shù)據(jù)，以執(zhí) 行對(duì)應(yīng)的步驟(c) ~ (d),其中，P、 Q為正整數(shù)，通過多次改變Q值，及^L行該 次運(yùn)算單元對(duì)應(yīng)的運(yùn)算，可實(shí)時(shí)地得到該些不同分辨率的視訊串流。即，若模 塊700縮小原始視訊數(shù)據(jù)的大小，則可將此視訊數(shù)據(jù)的移動(dòng)向量值放大，再送 入次運(yùn)算單元708,即可得到分辨率較高的視訊串流。
(3) 若ir^l/P，則模塊700將數(shù)據(jù)D(n)縮小1/Q倍而成為目標(biāo)數(shù)據(jù)，以執(zhí) 行對(duì)應(yīng)的步驟(c) ~ (d)， P、 Q為正整數(shù)，通過多次改變Q值，及執(zhí)行該次運(yùn)算 單元對(duì)應(yīng)的運(yùn)算，可實(shí)時(shí)地得到該些不同分辨率的視訊串流。即，若模塊700 縮小原始視訊數(shù)據(jù)的大小，則將此視訊數(shù)據(jù)的移動(dòng)向量值再次縮小，再送入次 運(yùn)算單元708,即可得到分辨率更低的視訊串流。
如圖8所示的是依照本發(fā)明一較佳實(shí)施例的重新提取程序的運(yùn)作示意圖。 如圖所示，以分辨率704x576的影像為例，依序處理時(shí)序0 2，以產(chǎn)生分辨率 704x576的視訊串流、分辨率352x288的視訊串流、分辨率與176x144的視訊串 流。當(dāng)處理時(shí)序O時(shí)，m=l,將D(n)不改變，輸出原始分辨率^L訊串流。當(dāng)處 理時(shí)序l時(shí)，m=l，將D(n)縮小1/4,輸出1/4分辨率視訊串流。當(dāng)處理時(shí)序2 時(shí)，m=l，將D(n)縮小1/16，輸出1/16分辨率視訊串流。如圖9，其所示的是 依照本發(fā)明一較佳實(shí)施例的重新提取程序的時(shí)序示意圖。圖9并標(biāo)示每一個(gè)處 理時(shí)序所需耗用的運(yùn)算頻率(clock)。由于利用m=l/4分辨率主運(yùn)算單元的運(yùn)算時(shí)間較利用m=l分辨率主運(yùn)算單元的運(yùn)算時(shí)間減少3/4，所需的運(yùn)算頻率相較于 圖3從1. 31 xWxHxfpsxA下降為1. 16xWxHxfpsxA,其中，W為影像寬度(width)， H為影像長(zhǎng)度(height), fps為每秒圖框數(shù)(frame per second), A為主運(yùn)算單 元的運(yùn)算頻率，B為次運(yùn)算單元的運(yùn)算頻率，本實(shí)例運(yùn)算頻率參考結(jié)果為^i殳主 運(yùn)算單元運(yùn)算時(shí)間為次運(yùn)算單元的兩倍。
如圖10,其所示的是依照本發(fā)明一較佳實(shí)施例的重新提取程序的運(yùn)作示意 圖。如圖所示，以分辨率704x576的影4象為例，依序處理時(shí)序0 2,以產(chǎn)生分 辨率704x576的視訊串流、分辨率352x288的^L訊串流、分辨率與176x144的 視訊串流。當(dāng)處理時(shí)序0時(shí)，m=l/4, D(n)不改變，輸出1/4分辨率^L訊串流。 當(dāng)處理時(shí)序l時(shí)，m=l/4,將D(n)放大4倍，輸出原始分辨率的視訊串流。當(dāng) 處理時(shí)序2時(shí)，m=l/4,將D(n)縮小1/4,輸出1/16分辨率視訊串流。如圖11， 其所示的是依照本發(fā)明一較佳實(shí)施例的重新提取程序的時(shí)序示意圖。圖11并標(biāo) 示每一個(gè)處理時(shí)序所需耗用的運(yùn)算頻率(clock)。所需的運(yùn)算頻率相較于圖8再 從1.16 xWxHxfpsxA下降為0. 78xWxHxfpsxA。其中，W為影i象寬度(width) ， H 為影像長(zhǎng)度(height), fps為每秒圖框數(shù)(frame per second), A為主運(yùn)算單元 的運(yùn)算頻率，B為次運(yùn)算單元的運(yùn)算頻率。
同理，以分辨率704x576的影^象為例，依序處理時(shí)序0 2,以產(chǎn)生分辨率 704x576的影像、分辨率352x288的影像、分辨率與176x144的影像。當(dāng)處理時(shí) 序0時(shí)，n^l/16，D(n)不改變，輸出分辨率1/16數(shù)據(jù)。當(dāng)處理時(shí)序1時(shí)，01=1/16， 將D(n)放大16倍，輸出原始分辨率的數(shù)據(jù)。當(dāng)處理時(shí)序2時(shí)，m=l/16,將D (n) 放大4倍，輸出分辨率1/4的數(shù)據(jù)。
如圖12，所示的是依照本發(fā)明一較佳實(shí)施例的實(shí)時(shí)產(chǎn)生不同分辨率視訊串 流的架構(gòu)示意圖。實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)1300包括實(shí)時(shí)產(chǎn)生不 同分辨率影像數(shù)據(jù)的模塊700、網(wǎng)絡(luò)攝影機(jī)1302、網(wǎng)絡(luò)攝影機(jī)1304、網(wǎng)絡(luò)攝影 機(jī)1306、第一網(wǎng)絡(luò)服務(wù)器1308、網(wǎng)絡(luò)系統(tǒng)1310、第二網(wǎng)絡(luò)服務(wù)器1312、個(gè)人 計(jì)算機(jī)1314、數(shù)據(jù)庫1316、個(gè)人數(shù)字助理器1318與行動(dòng)電話1320。其中，實(shí) 時(shí)產(chǎn)生不同分辨率視訊串流的模塊700耦接網(wǎng)絡(luò)攝影機(jī)1302、網(wǎng)絡(luò)攝影機(jī)1304、 網(wǎng)絡(luò)攝影機(jī)1306與第一網(wǎng)絡(luò)服務(wù)器1308。第一網(wǎng)絡(luò)服務(wù)器1308與第二網(wǎng)絡(luò)服 務(wù)器1312耦接網(wǎng)絡(luò)系統(tǒng)1310，第一網(wǎng)絡(luò)服務(wù)器1308，在輸入視訊數(shù)據(jù)后，通過一第一通信協(xié)議，輸出視訊串流至網(wǎng)絡(luò)系統(tǒng)；第二網(wǎng)絡(luò)服務(wù)器1312耦接個(gè)人 計(jì)算機(jī)1314、數(shù)據(jù)庫1316、個(gè)人數(shù)字助理器1318與行動(dòng)電話1320等接收設(shè)備。 第二網(wǎng)絡(luò)服務(wù)器1312通過一第二通信協(xié)議，輸入所述不同分辨率的^f見訊串流， 并且，輸出對(duì)應(yīng)的^L訊串流分別至接收裝置；
其中，實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的模塊700為視訊處理裝置。模塊700 的結(jié)構(gòu)如圖6所示，其運(yùn)作原理與圖6相同，在此不再重述。視訊處理模塊耦 接復(fù)數(shù)個(gè)視訊裝置，在本實(shí)施例中，前述視訊裝置為網(wǎng)絡(luò)攝影機(jī)。視訊處理模 塊輸入來自視訊裝置的n筆一見訊數(shù)據(jù)，形成多信道(multiple channel)輸入。 并且，模塊700執(zhí)行平行處理程序，以實(shí)時(shí)地輸出每一^L訊數(shù)據(jù)對(duì)應(yīng)的復(fù)數(shù)種 分辨率的視訊串流。在本實(shí)施例中，個(gè)人計(jì)算機(jī)1314、數(shù)據(jù)庫1316、個(gè)人數(shù)字 助理器1318與行動(dòng)電話1320皆可接收到網(wǎng)絡(luò)攝影機(jī)1302、網(wǎng)絡(luò)攝影機(jī)1304與 網(wǎng)絡(luò)攝影機(jī)1306傳送出來的不同分辨率的視訊串流。
圖13，所示的是依照本發(fā)明一較佳實(shí)施例的實(shí)時(shí)地產(chǎn)生多信道及不同分辨 率視訊串流的時(shí)序示意圖。如圖所示，以三個(gè)信道個(gè)別地處理分辨率704x576 的影像為例，以實(shí)時(shí)地產(chǎn)生分辨率704x576的視訊串流、分辨率352x288的視 訊串流、分辨率與176x144的視訊串流。由圖標(biāo)可知，次運(yùn)算單元閑置的任何 時(shí)間，仍可以進(jìn)行更多分辨率視訊串流的運(yùn)算，如此一來，即可大幅提高硬件 的使用效率。
請(qǐng)參見圖3、 8與圖10。若A-2B,則圖3、 9與圖11的運(yùn)作模式所耗用的 運(yùn)算頻率如下
(1) 圖3的模式所需頻率總計(jì)1. 31xWxHxfpsxA
(2) 圖8的模式所需頻率總計(jì)
WxHxfpsxA + WxHxfpsxO. 31B= 1. 16xWxHxfpsxA
(3) 圖IO的模式所需頻率總計(jì)
WxHxfpsxO. 25A + WxHxfpsxl. 06B = 0. 78xWxHxfpsxA
由前述分析可知，圖8的模式可較習(xí)知技術(shù)增加約11%的運(yùn)算速度，圖10 的模式更可較習(xí)知技術(shù)增加40. 45°/。的運(yùn)算速度，其增強(qiáng)的效果十分明顯，且改 善的幅度相當(dāng)高。
如圖14,所示的是依照本發(fā)明一較佳實(shí)施例的效能分析圖。請(qǐng)參考圖8~11,當(dāng)主運(yùn)算單元和次運(yùn)算單元的效能相差兩到三倍時(shí)，可將分辨率176x144 的影像數(shù)據(jù)的移動(dòng)向量數(shù)據(jù)，加以放大而成為目標(biāo)數(shù)據(jù)，即可產(chǎn)生數(shù)種分辨率 的視訊串流。因此，
若A = 2B，貝'J根據(jù)圖IO的模式所需頻率總計(jì)
(1/4) Wx (1/4) Hxf psxA+WxHxf psxB+ (1/2) Wx (1/2) Hxf psxB
=0. 69WxHxfpsxA
若A-3B，則根據(jù)圖IO的模式所需頻率總計(jì)
(1/4)Wx(l/4)HxfpsxA + WxHxfpsxB + (1/2)Wx (1/2) HxfpsxB = 0. 46WxHxfpsxA;
運(yùn)算速度提升比率=(1_0. 46/1. 31) xl00%=64. 88%
由圖H的分析可知，當(dāng)主運(yùn)算單元的運(yùn)算時(shí)間相較于次運(yùn)算單元的運(yùn)算時(shí) 間愈長(zhǎng)，則本發(fā)明改善運(yùn)算速度的效果愈加明顯，甚至能將速度加快64. 88%。
在此要特別加以說明的是，雖然前述實(shí)施例以MPEG的算法來說明，然而熟 悉此技術(shù)的人員應(yīng)當(dāng)知首，實(shí)施例僅為舉例之用。任何數(shù)據(jù)的運(yùn)算，若某一個(gè) 運(yùn)算模塊的運(yùn)算時(shí)間長(zhǎng)于其它運(yùn)算模塊一倍以上，均可利用本發(fā)明的精神加以 改善，本領(lǐng)域技術(shù)人員當(dāng)可自視情況調(diào)整其實(shí)施手段。
綜合上述，本發(fā)明提供一種實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法與架構(gòu)。 本發(fā)明能克服現(xiàn)有技術(shù)的主要缺點(diǎn)如下
(1) 本發(fā)明簡(jiǎn)化現(xiàn)有技術(shù)的硬件架構(gòu)。本發(fā)明在運(yùn)作時(shí)，完全不使用內(nèi)部共 享內(nèi)存。如此一來，不僅可節(jié)省硬件成本，而且可增加半導(dǎo)體制程的良率。
(2) 通過外部?jī)?nèi)存，本發(fā)明可使耗時(shí)較長(zhǎng)的運(yùn)算模塊在執(zhí)行運(yùn)算時(shí)，耗時(shí)較 短的運(yùn)算模塊可同時(shí)執(zhí)行多次運(yùn)算，以減少硬件閑置時(shí)間，達(dá)成數(shù)據(jù)平行處理 的目標(biāo)。
(3) 本發(fā)明減少使用耗時(shí)較長(zhǎng)的運(yùn)算模塊，以加快數(shù)據(jù)處理的速度。
(4) 通過本發(fā)明的模塊，搭配本發(fā)明的平行處理程序，可大幅提高運(yùn)算速度。 當(dāng)主運(yùn)算單元的運(yùn)算時(shí)間相較于次運(yùn)算單元的運(yùn)算時(shí)間愈長(zhǎng)，則本發(fā)明改善運(yùn) 算速度的效果愈加明顯，甚至能將速度加快64. 88°/。，極具進(jìn)步性與產(chǎn)業(yè)利用性。
(5) 由前述(l) ~ (4)，本發(fā)明提出的架構(gòu)可處理多信道的視訊來源，可實(shí)時(shí) 地將不同分辨率的視訊串流，通過網(wǎng)絡(luò)系統(tǒng)傳輸至遠(yuǎn)程的接收裝置。由前述(l) ~ (4)可論證本發(fā)明能有效克服現(xiàn)有技術(shù)的缺點(diǎn)。并且，本發(fā)明 以更低的硬件成本，大幅提升硬件運(yùn)算速度，足以證明本發(fā)明具有非顯而易見 性(non-obviousness)。
值得注意的是，上述的說明僅是為了解釋本發(fā)明，而并非用以限定本發(fā)明 的實(shí)施可能性，敘述特殊細(xì)節(jié)的目的，是為了使本發(fā)明被詳盡地了解。然而， 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知道此并非唯一的解法。在沒有違背發(fā)明的精神或所揭露 的本質(zhì)特征之下，上述的實(shí)施例可以其它的特殊形式呈現(xiàn)，而隨后附上的專利 申請(qǐng)權(quán)利要求書則用以定義本發(fā)明。
權(quán)利要求
1、 一種實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，適用于影像處理， 一模塊包括一外部?jī)?nèi)存、 一系統(tǒng)總線與一主運(yùn)算單元；所述外部?jī)?nèi)存耦接所述系統(tǒng)總線， 該主運(yùn)算器包括一微處理器、 一主運(yùn)算單元與一次運(yùn)算單元，所述微處理器、 主運(yùn)算單元與次運(yùn)算單元耦接所述系統(tǒng)總線，其特征在于，該方法包括下步驟(a) 當(dāng)所述模塊處理n筆視訊數(shù)據(jù)時(shí)，使第n個(gè)視訊數(shù)據(jù)降頻m倍，以產(chǎn)生 對(duì)應(yīng)的k組降頻^見訊，其中，m為正實(shí)凄t, k為正整凄史；(b) 所述外部?jī)?nèi)存輸出所述第n個(gè)視訊數(shù)據(jù)的一降頻視訊至主運(yùn)算單元，以 產(chǎn)生數(shù)據(jù)D(n),之后，將D(n)儲(chǔ)存于該外部?jī)?nèi)存，其中，D(n)的下標(biāo)n為視訊 數(shù)據(jù)的編號(hào)，n為正整數(shù)；(c) 在執(zhí)行一重新提取處理后，所述外部?jī)?nèi)存將所述第n個(gè)視訊數(shù)據(jù)與該數(shù) 據(jù)D(n)對(duì)應(yīng)的一目標(biāo)數(shù)據(jù)輸入至所述次運(yùn)算單元，以執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理，并 且，實(shí)時(shí)地使第n-l個(gè)視訊數(shù)據(jù)執(zhí)行對(duì)應(yīng)的步驟(a)至(b);以及，(d) 通過所述D(n),使其余k-l組降頻視訊分別得到對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，通過 所述第n個(gè)視訊數(shù)據(jù)與k-1組降頻視訊對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，使次運(yùn)算單元執(zhí)行對(duì) 應(yīng)的數(shù)據(jù)運(yùn)算，可產(chǎn)生k-l種分辨率的視訊串流，將這些視訊串流儲(chǔ)存于所述 外部?jī)?nèi)存，并且，實(shí)時(shí)地使所述第n-l個(gè)視訊數(shù)據(jù)才丸行對(duì)應(yīng)的步驟(c) ~ (d);通過前述步驟(a) ~ (d),可使n筆視訊數(shù)據(jù)實(shí)時(shí)地產(chǎn)生對(duì)應(yīng)的復(fù)數(shù)種分辨 率的視訊串流。
2、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述m值為l、 1/4或者1/16。
3、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述模塊耦接復(fù)數(shù)個(gè)視訊裝置，在一時(shí)間間隔中，所述視訊裝置輸出對(duì)應(yīng) 的視訊數(shù)據(jù)至所述模塊。
4、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述重新提取處理為，若111=1，則將所述資料D(n)縮小1/Q倍而成為對(duì)應(yīng) 的目標(biāo)數(shù)據(jù)，以執(zhí)行對(duì)應(yīng)的步驟，其中，Q為正整數(shù)，通過改變Q值，及執(zhí)行所 述次運(yùn)算單元對(duì)應(yīng)的運(yùn)算，實(shí)時(shí)地得到所述不同分辨率的;^見訊串流。
5、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述重新提取處理為，若m-l/P,則將所述資料D(n)放大Q倍而成為對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，以執(zhí)行對(duì)應(yīng)的步驟，其中，P、 Q為正整數(shù)，通過改變Q值，及執(zhí) 行所述次運(yùn)算單元對(duì)應(yīng)的運(yùn)算，實(shí)時(shí)地得到所述不同分辨率的禍/訊串流。
6、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述重新提取處理為，若m-l/P，則將所述資料D(n)縮小1/Q倍而成為對(duì) 應(yīng)的目標(biāo)數(shù)據(jù)，以執(zhí)行對(duì)應(yīng)的步驟，P、 Q為正整數(shù)，通過改變Q值，及執(zhí)行所 述次運(yùn)算單元對(duì)應(yīng)的運(yùn)算，實(shí)時(shí)地得到所述不同分辨率的視訊串流。
7、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述D(n)為一移動(dòng)向量數(shù)據(jù)。
8、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述主運(yùn)算單元處理第n個(gè)^L訊數(shù)據(jù)所需時(shí)間長(zhǎng)于所述次運(yùn)算單元y倍， 其中，l<y<10。
9、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征在 于，所述主運(yùn)算單元為一移動(dòng)估計(jì)單元，用以執(zhí)行移動(dòng)估計(jì)的運(yùn)算。
10、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征 在于，所述次運(yùn)算單元為一區(qū)塊編碼單元，包括一移動(dòng)差異單元，耦接所述主運(yùn)算單元； 一離散余弦轉(zhuǎn)換單元，耦接所述移動(dòng)差異單元； 一量化單元，耦接所述離散余弦轉(zhuǎn)換單元； 一可變長(zhǎng)度碼單元，耦接所述量化單元； 一反量化單元，耦接所述可變長(zhǎng)度碼單元與所述量化單元； 一反離散余弦轉(zhuǎn)換單元，耦接所述反量化單元；以及， 一移動(dòng)比較單元，耦接所述反離散余弦轉(zhuǎn)換單元。
11、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征 在于，所述模塊還包括一視訊擷取單元，耦接至少一視訊裝置，用以擷取視訊 數(shù)據(jù)。
12、 根據(jù)權(quán)利要求1所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法，其特征 在于，所述模塊還包括一網(wǎng)絡(luò)橋接單元，用以連接一網(wǎng)絡(luò)服務(wù)器。
13、 一種實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，適用于多信道的影像處理， 其特征在于，該架構(gòu)包括復(fù)數(shù)個(gè)視訊裝置，用以擷取n筆視訊數(shù)據(jù)；一視訊處理模塊，耦接所述^L訊裝置，輸入所述n筆視訊數(shù)據(jù)，執(zhí)行一平 行處理程序，以實(shí)時(shí)地輸出每一筆視訊數(shù)據(jù)對(duì)應(yīng)的復(fù)數(shù)種分辨率的視訊串流， 所述模塊包括一系統(tǒng)總線；一外部?jī)?nèi)存，該外部?jī)?nèi)存耦接所述系統(tǒng)總線；以及， 一主運(yùn)算器，包括一微處理器，該微處理器耦接所述系統(tǒng)總線； 一主運(yùn)算單元，該主運(yùn)算單元耦接所述系統(tǒng)總線；以及， 一次運(yùn)算單元，該次運(yùn)算單元耦接所述系統(tǒng)總線；一第一網(wǎng)絡(luò)服務(wù)器，耦接所述視訊處理模塊與一網(wǎng)絡(luò)系統(tǒng)，在輸入視訊數(shù) 據(jù)后，通過一第一通信協(xié)議，輸出4見訊串流至網(wǎng)絡(luò)系統(tǒng)；以及，一第二網(wǎng)絡(luò)服務(wù)器，耦接所述網(wǎng)絡(luò)系統(tǒng)與復(fù)數(shù)個(gè)接收裝置，通過一第二通 信協(xié)議，輸入所述不同分辨率的視訊串流，并且，輸出對(duì)應(yīng)的視訊串流分別至 所述接收裝置；其中，當(dāng)所述視訊處理模塊處理n筆視訊數(shù)據(jù)時(shí)，所述主運(yùn)算器使一第n 個(gè)碎見訊數(shù)據(jù)降頻m倍產(chǎn)生對(duì)應(yīng)的k組降頻視訊，其中，m為正實(shí)數(shù)，k為正整數(shù)， m與k為一對(duì)一對(duì)應(yīng)關(guān)系；所述外部?jī)?nèi)存將所述第n個(gè)視訊數(shù)據(jù)中的任一降頻視訊輸出至主運(yùn)算單元， 以產(chǎn)生數(shù)據(jù)D(n)，之后，所述主運(yùn)算器將D(n)儲(chǔ)存于所述外部?jī)?nèi)存，其中，D(n) 的下標(biāo)n為視訊數(shù)據(jù)的編號(hào)，n為正整數(shù)；所述外部?jī)?nèi)存將第n個(gè)視訊數(shù)據(jù)與數(shù)據(jù)D (n)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)輸入至次運(yùn)算 單元，以執(zhí)行對(duì)應(yīng)的數(shù)據(jù)處理，并且，所述主運(yùn)算器實(shí)時(shí)地使第n-1個(gè)^L訊數(shù) 據(jù)降頻，以產(chǎn)生對(duì)應(yīng)的降頻—見訊，且所述外部?jī)?nèi)存輸出對(duì)應(yīng)的降頻^L訊至主運(yùn) 算單元，以產(chǎn)生對(duì)應(yīng)的數(shù)據(jù)，之后，主運(yùn)算器將前述數(shù)據(jù)儲(chǔ)存于所述外部?jī)?nèi)存； 通過所述D (n)，所述主運(yùn)算器使其余k-l組降頻視訊分別地得到對(duì)應(yīng)的目標(biāo)數(shù) 據(jù)，通過所述第n個(gè)視訊數(shù)據(jù)與k-l組降頻視訊對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，次運(yùn)算單元 執(zhí)行對(duì)應(yīng)的數(shù)據(jù)運(yùn)算，可產(chǎn)生k-l種分辨率的視訊串流，所述主運(yùn)算器將這些 視訊串流儲(chǔ)存于所述外部?jī)?nèi)存，所述主運(yùn)算器重復(fù)執(zhí)行前述運(yùn)算，即可使n筆視訊數(shù)據(jù)實(shí)時(shí)地產(chǎn)生對(duì)應(yīng)的復(fù)數(shù)種分辨率的視訊串流。
14 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述視訊裝置為復(fù)數(shù)個(gè)網(wǎng)絡(luò)攝影機(jī)。
15、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述接收裝置為一個(gè)人計(jì)算機(jī)。
16 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述接收裝置為一數(shù)據(jù)庫。
17 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率^L訊串流的架構(gòu)，其特征 在于，所述接收裝置為一個(gè)人數(shù)字助理器。
18 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述接收裝置為一行動(dòng)電話。
19 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率^L訊串流的架構(gòu)，其特征 在于，所述m值為l、 1/4或者1/16。
20 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述架構(gòu)耦接復(fù)數(shù)個(gè)視訊裝置，在一時(shí)間間隔中，所述視訊裝置輸出對(duì) 應(yīng)的視訊數(shù)據(jù)至所述架構(gòu)。
21 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，若m-l，則將所述資料D(n)縮小1/Q倍而成為對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，以執(zhí)行 對(duì)應(yīng)的處理，其中，Q為正整數(shù)，通過改變Q值，及執(zhí)行所述次運(yùn)算單元對(duì)應(yīng)的 運(yùn)算，實(shí)時(shí)地得到所述不同分辨率的視訊串流。
22 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，若m-l/P,則將所述資料D(n)放大Q倍而成為對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，以執(zhí)行 對(duì)應(yīng)的處理，其中，P、 Q為正整數(shù)，通過改變Q值，及執(zhí)行所述次運(yùn)算單元對(duì) 應(yīng)的運(yùn)算，實(shí)時(shí)地得到所述不同分辨率的視訊串流。
23 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率^L訊串流的架構(gòu)，其特征 在于，若m4/P,則將所述資料D(n)縮小1/Q倍而成為對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，以執(zhí) 行對(duì)應(yīng)的處理，P、 Q為正整數(shù)，通過改變Q值，及執(zhí)行所述次運(yùn)算單元對(duì)應(yīng)的 運(yùn)算，實(shí)時(shí)地得到所述不同分辨率的視訊串流。
24 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征在于，所述D(n)為一移動(dòng)向量數(shù)據(jù)。
25 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述主運(yùn)算單元處理第n個(gè)視訊數(shù)據(jù)所需時(shí)間長(zhǎng)于所述次運(yùn)算單元y倍， 其中，l<y<10。
26 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述主運(yùn)算單元為一移動(dòng)估計(jì)單元，用以執(zhí)行移動(dòng)估計(jì)的運(yùn)算。
27 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述次運(yùn)算單元為一區(qū)塊編碼單元，包括一移動(dòng)差異單元，耦接所述主運(yùn)算單元； 一離散余弦轉(zhuǎn)換單元，耦接所述移動(dòng)差異單元； 一量化單元，耦接所述離散余弦轉(zhuǎn)換單元； 一可變長(zhǎng)度碼單元，耦接所述量化單元； 一反量化單元，耦接所述可變長(zhǎng)度碼單元與該量化單元； 一反離散余弦轉(zhuǎn)換單元，耦接所述反量化單元；以及， 一移動(dòng)比較單元，耦接所述反離散余弦轉(zhuǎn)換單元。
28 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述架構(gòu)還包括一視訊擷取單元，耦接至少一視訊裝置，用以擷取視訊 數(shù)據(jù)。
29 、根據(jù)權(quán)利要求13所述的實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的架構(gòu)，其特征 在于，所述架構(gòu)還包括一網(wǎng)絡(luò)橋接單元，用以連接一網(wǎng)絡(luò)服務(wù)器。
全文摘要
本發(fā)明公開一種實(shí)時(shí)產(chǎn)生不同分辨率視訊串流的方法與架構(gòu)，涉及一種視訊處理的方法與架構(gòu)，為解決現(xiàn)有的視訊處理系統(tǒng)中的運(yùn)算模塊之間運(yùn)算時(shí)間相差太大，影響系統(tǒng)效能的問題而發(fā)明。本發(fā)明適用于視訊編碼器，一模塊包括系統(tǒng)總線、外部?jī)?nèi)存與主運(yùn)算器。主運(yùn)算器與外部?jī)?nèi)存耦接系統(tǒng)總線。主運(yùn)算器包括微處理器、主運(yùn)算單元與次運(yùn)算單元。通過外部?jī)?nèi)存，本發(fā)明可使耗時(shí)較長(zhǎng)的運(yùn)算模塊在執(zhí)行運(yùn)算時(shí)，耗時(shí)較短的運(yùn)算模塊可同時(shí)執(zhí)行運(yùn)算，以減少硬件閑置時(shí)間，提高硬件利用率以及平行化處理。
文檔編號(hào)H04N7/14GK101312528SQ20071010723
公開日2008年11月26日 申請(qǐng)日期2007年5月24日 優(yōu)先權(quán)日2007年5月24日
發(fā)明者沈俊甫, 范哲龍, 許仕育 申請(qǐng)人:晶睿通訊股份有限公司