串流編輯方法、系統與裝置和儲存方法、系統與提供系統的制作方法【專利摘要】本發明為一種串流編輯方法、系統與裝置和儲存方法、系統與提供系統。該多媒體串流的編輯方法包括以下步驟：自一來源多媒體串流擷取一第一原始影像；對該第一原始影像進行變異化處理并據此而得出多個轉換畫面；根據該等轉換畫面間的比較結果而進行特征擷取后，據此而得出多個候選像素；根據該等后選像素而在一廣告串流數據庫中搜索出一第一廣告串流；以及將該第一廣告串流加入至該來源多媒體串流。本發明可以讓電視臺在安排廣告內容時，能夠更為靈活且呼應電視節目的內容，進而提升消費者的購買欲望，使廣告的效果更為顯著，并可避免置入性營銷方式所導致的時效問題。【專利說明】串流編輯方法、系統與裝置和儲存方法、系統與提供系統【
技術領域：
】[0001]本發明涉及一種串流編輯方法、系統與裝置和儲存方法、系統與提供系統，且特別涉及一種通過特征像素比對而編輯、儲存與提供串流的方法、裝置、系統。【
背景技術：
】[0002]廣告收益對于電視臺的經營是相當重要的一環。現行的廣告播出方式以時段來決定價格，廣告業主必須在廣告播出前先選擇價位與時段，而非廣告播出時所搭配的節目內容。當廣告業主支付大筆金額給電視臺時，均期待廣告的效益越大越好。然而，常用技術的廣告播送方式卻不一定能刺激、提升消費者的消費欲望。[0003]為了便于說明節目內容與廣告內容間的關系，以下附圖采用長條形狀來代表串流數據的內容。其中，白底的部分代表來源多媒體串流，也就是電視節目的實際內容；具有底紋的部分則代表廣告內容。[0004]請參照圖1A，其是代表編輯前的來源多媒體串流、廣告串流的示意圖。其中來源多媒體串流IO代表尚未加入廣告內容前的原始電視節目的內容，而第一廣告串流13a與第二廣告串流13b則分別代表兩支廣告的內容。[0005]請參照圖1B，其是代表將圖1A的廣告串流數據內容加入來源多媒體串流的示意圖。根據此附圖可以看出，來源多媒體串流的全部內容不會被連貫的播放，而是在其中新增了第一廣告串流13a與第二廣告串流13b，因而產生了編輯后多媒體串流15。[0006]當電視臺播送編輯后多媒體串流15時，使用者所收看的順序為:第一部分的節目內容10a、第一廣告串流13a的廣告內容、第二部分的節目內容10b、第二廣告串流13b的廣告內容以及第三部分的節目內容10c。[0007]然而，利用常用技術編輯串流時，可能產生的問題是:當來源多媒體串流10的內容是一部關于賽車的電影時，第一廣告串流13a與第二廣告串流13b的廣告內容可能是保健食品、家具販賣的廣告。也就是說，節目內容與廣告之間不具有相關性，這種播放方式難以引起觀眾的共鳴。[0008]為了讓節目與廣告之間具有較強的關聯性，常用技術所采用的另外一種做法是采用置入性營銷的方式。也就是說，在拍攝節目的同時，便讓節目畫面中出現所欲廣告的對象。[0009]以007系列電影為例，電影中的主角使用了許多功能新奇的計算機、跑車或其他科技產品等。若是電影在剛推出時，當時的觀眾確實可能因為看到電影里的科技產品而為此感到躍躍欲試，進而刺激該些產品的銷售。然而，隨著科技的發展，電影里的產品也相對顯得落伍。電視臺在播放電影時，距離電影上市的時間已經距離相當時日了，此時，這些在片中以量身打造方式進行置入性營銷的產品，可能在電影被回放的時候早已成為過時甚至停產的產品。[0010]例如，當使用者在觀看一部十年前拍攝的電影，并對電影中的顯示器有深刻的印象，卻不可能在十年后的現在購買與當年電影中相同型號的顯示器。甚至，屏幕的主流技術早已經改朝換代而由陰極射線管(Cathoderaytube，簡稱為CRT)屏幕演變為液晶顯示器(Liquidcrystaldisplay，簡稱為IXD)了。由此可知，即便置入性營銷可以搭配節目內容而進行廣告宣傳，但是這種廣告方式會隨著時間的經過而使產品顯得過時。[0011]根據前述說明可以得知，如何在播放節目的過程中加入適當的廣告內容，并使廣告的效益獲得提升，仍是一個待解決的議題。[0012]因此，需要提供一種串流編輯方法、系統與裝置和儲存方法、系統與提供系統來解決上述問題。【
發明內容】[0013]本發明的一方面為一種多媒體串流的編輯方法，該多媒體串流的編輯方法包含以下步驟:自一來源多媒體串流擷取一第一原始影像；對該第一原始影像進行變異化處理(proceedingvariationcalculation)并據此而得出多個轉換畫面；根據該等轉換畫面間的比較結果而進行特征擷取后，據此而得出多個候選像素；根據該等后選像素而在一廣告串流數據庫中搜索出一第一廣告串流；以及將該第一廣告串流加入至該來源多媒體串流。[0014]本發明的另一方面為一種多媒體串流的編輯系統，該多媒體串流的編輯系統包含:一多媒體串流數據庫，該多媒體串流數據庫提供一來源多媒體串流；一廣告串流數據庫，該廣告串流數據庫具有一搜索引擎并提供多個廣告串流；以及一串流編輯裝置，該串流編輯裝置包含:一傳送接收單元，信號連接于該多媒體串流數據庫與該廣告串流數據庫，該傳送接收單元接收該來源多媒體串流與該等廣告串流；以及一編輯單元，該編輯單元電連接于該傳送接收單元，該編輯單元自該來源多媒體串流擷取一第一原始影像后，對其進行變異化處理并據此而得出多個轉換畫面，接著根據該等轉換畫面間的比較結果而進行特征擷取后，進而得出多個候選像素；其中，該廣告串流數據庫根據該等后選像素而搜索出一第一廣告串流，而該編輯單元在通過該傳送接收單元接收該第一廣告串流后，進而將該第一廣告串流加入至該來源多媒體串流。[0015]本發明的再一方面為一種串流編輯裝置，該串流編輯裝置包含:一傳送接收單元，該傳送接收單元自一多媒體串流數據庫接收一來源多媒體串流；以及一編輯單元，該編輯單元電連接于該傳送接收單元，該編輯單元自該來源多媒體串流擷取一第一原始影像后，對其進行變異化處理并據此而得出多個轉換畫面，接著根據該等轉換畫面間的比較結果而進行特征擷取后，進而得出多個候選像素，而該等候選像素在通過該傳送接收單元而被傳送至一廣告串流數據庫后，由該廣告數據庫根據該等后選像素而搜索出一第一廣告串流，在該傳送接收單元接收該第一廣告串流后，該編輯單元將該第一廣告串流加入至該來源多媒體串流。[0016]本發明的一方面為一種廣告串流的儲存方法，該廣告串流的儲存方法包含以下步驟:對一第一參考圖樣進行特征擷取并得出一第一特征點組合，其中該第一參考圖樣對應于一第一廣告串流；以及儲存該第一特征點組合與該第一廣告串流間的對應關系。[0017]本發明的再一方面為一種廣告串流的儲存系統，該廣告串流的儲存系統包含:一特征擷取服務器，該特征擷取服務器對一第一參考圖樣進行特征擷取并得出一第一特征點組合；以及一儲存服務器，信號連接于該特征擷取服務器，該儲存服務器儲存該第一特征點組合與該第一廣告串流間的對應關系，其中該第一參考圖樣對應于一第一廣告串流。[0018]本發明的又一方面為一種提供多媒體串流的系統，該提供多媒體串流的系統包含:一串流數據庫，該串流數據庫包含:一儲存服務器，該儲存服務器儲存一來源多媒體串流、與多個參考圖樣相對應的多個廣告串流；以及一特征擷取服務器，信號連接于該儲存服務器，該特征擷取服務器對該等參考圖樣分別進行特征擷取而得出多個特征點組合，其中該儲存服務器據此而儲存各該特征點組合與各該廣告串流間的對應關系；以及一串流編輯裝置，該串流編輯裝置包含:一傳送接收單元，信號連接于該串流數據庫，該傳送接收單元接收該來源多媒體串流；以及一編輯單元，該編輯單元電連接于該傳送接收單元，該編輯單元自該來源多媒體串流擷取一第一原始影像后，對其進行變異化處理并據此而得出多個轉換畫面，接著根據該等轉換畫面間的比較結果而進行特征擷取后，進而得出多個候選像素，其中，在該傳送接收單元將該等候選像素傳送至該串流數據庫后，該串流數據庫根據該等后選像素而搜索出一第一廣告串流，其中該編輯單元將該傳送接收單元所接收的該第一廣告串流加入至該來源多媒體串流。[0019]本發明可以讓電視臺在安排廣告內容時，能夠更為靈活且呼應電視節目的內容，進而提升消費者的購買欲望，使廣告的效果更為顯著，并可避免置入性營銷方式所導致的時效問題。[0020]為了對本發明的上述及其他方面有更佳的了解，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下:【專利附圖】【附圖說明】[0021]圖1A，其是代表編輯前的來源多媒體串流、廣告串流的示意圖。[0022]圖1B，其是代表將圖1A的廣告串流數據內容加入來源多媒體串流的示意圖。[0023]圖2A，其是根據本發明構想的較佳實施例中，串流編輯裝置在來源多媒體串流中取得原始影像的示意圖。[0024]圖2B，其是根據第一原始影像內的候選像素組合，而自廣告串流數據庫中得出與候選像素組合相對應的第一廣告串流的示意圖。[0025]圖2C，其是將第一廣告串流加入至來源多媒體串流而產生第一編輯后多媒體串流的示意圖。[0026]圖2D，其是根據本發明構想的較佳實施例所采用的提供多媒體串流的系統的示意圖。[0027]圖3A，其是串流數據庫以參考圖樣作為特征擷取的來源的示意圖。[0028]圖3B，其是串流編輯單元以第一原始影像作為特征擷取的來源的示意圖。[0029]圖4，其是對第一原始影像進行變異化運算并得出轉換畫面的示意圖。[0030]圖5A，其是根據中心剩余畫面而選擇中心剩余像素的示意圖。[0031]圖5B，其是以所選擇的中心剩余像素作為相鄰像素區塊的中心，判斷其值是否具有區域極值的示意圖。[0032]圖6A，其是以一彩帶圖樣的商標圖樣作為參考圖樣的示意圖。[0033]圖6B，其是在原始影像中出現如圖6A的商標圖樣的示意圖。[0034]圖7A，其是以一個候選像素為例，說明如何以候選像素為中心，取得一個預選描述區塊的示意圖。[0035]圖7B，其是將圖7A的預選描述區塊分為四個子區塊的示意圖。[0036]圖7C，其是對圖7A的預選描述區塊內各個像素相對于中心的候選像素而計算像素描述向量的示意圖。[0037]圖7D，其是分別就四個子區塊計算像素描述向量的示意圖。[0038]圖8A，其是將具有第一尺度的第一原始影像轉換為具有第二尺度的第一原始影像的示意圖。[0039]圖SB，其是以類似圖4的做法，針對具有第二尺度的第一原始影像進行變異化運算而得出轉換畫面、剩余畫面的示意圖。[0040]圖9A，其是根據本發明構想的較佳實施例，實現提供多媒體串流的系統的第一種方式的示意圖。[0041]圖9B，其是根據本發明構想的較佳實施例，實現提供多媒體串流的系統的第二種方式的示意圖。[0042]圖10A，其是實現圖9B中的廣告串流數據庫的第一種方式的示意圖。[0043]圖10B，其是實現圖9B中的廣告串流數據庫的第二種方式的示意圖。[0044]圖11A，其是根據本發明構想而提供的廣告串流的儲存方法的流程圖。[0045]圖11B,其是圖1lA中的步驟Sll的進一步說明的流程圖。[0046]圖11C，其是圖1lA中的步驟S13的進一步說明的流程圖。[0047]圖12，其是串流數據庫所儲存的廣告串流與參考圖樣、特征點組合、索引間的對應關系的不意圖。[0048]圖13，其是根據本發明構想，應用于串流編輯裝置上的多媒體串流的編輯方法的流程圖。[0049]主要組件符號說明:[0050]10、Bs來源多媒體串流[0051]13a第一廣告串流[0052]13b第二廣告串流[0053]15編輯后多媒體串流[0054]IOa第一部分的節目內容[0055]IOb第二部分的節目內容[0056]IOc第三部分的節目內容[0057]21,91串流編輯裝置[0058]211,911傳送接收單元[0059]213、913編輯單元[0060]23、93串流數據庫[0061]231、103a搜索引擎[0062]233,933,101特征擷取服務器[0063]235,935,103儲存服務器[0064]61中心剩余像素[0065]63相鄰剩余像素[0066]31,41特征點[0067]71中心像素[0068]70預選描述區塊[0069]70a第一子區塊[0070]70b第二子區塊[0071]70c第三子區塊[0072]70d第四子區塊[0073]93a多媒體串流數據庫[0074]93b廣告串流數據庫[0075]103b第一子服務器[0076]103c第二子服務器[0077]105伺服裝置[0078]951特征擷取單元[0079]953儲存單元[0080]Bel第一編輯后多媒體串流【具體實施方式】[0081]為了避免所播放的廣告內容與節目內容毫無關系，本發明提供了一種能夠因應來源多媒體串流Bs的內容，而動態選擇所加入的廣告串流的做法。這種做法動態且靈活地提供與節目內容相對應的廣告內容，故能避免置入性營銷方式所導致的時效問題。[0082]在根據本發明構想的較佳實施例中，提供了一種應用于串流編輯裝置與儲存串流的數據庫間編輯串流的方法。其中，在數據庫端預先儲存了多個廣告串流，這些廣告串流提供給串流編輯裝置編輯來源多媒體串流時使用。串流編輯裝置首先對來源多媒體串流進行原始影像的擷取，接著根據這些原始影像的內容而自數據庫中搜索出與原始影像的內容相對應的廣告串流后，再將搜索得出的廣告串流加入來源多媒體串流中。[0083]以下先以圖2A、圖2B、圖2C說明串流編輯裝置如何根據本發明的構想，而對來源多媒體串流與搜索得出的廣告串流進行編輯，接著再詳細說明其實現方式。[0084]請參見圖2A，其是根據本發明構想的較佳實施例中，串流編輯裝置在來源多媒體串流中取得原始影像的示意圖。首先，串流編輯裝置先自來源多媒體串流Bs擷取第一原始影像MGsI。[0085]假設第一原始影像IMGsl具有第一尺度，則如附圖所示，進一步放大的第一原始影像相當于由多個第一尺度像素所構成的陣列。當然，此處的第一尺度像素僅是為了說明而繪示。[0086]一旦擷取出第一原始影像后，便判斷第一原始影像MGsl中是否存在代表商標圖案、標志圖樣、符號圖樣、文字圖樣、識別圖樣的多個候選像素組合。若是，便根據這些候選像素組合而自廣告串流數據庫中搜索得出與候選像素組合相對應的廣告串流。[0087]請參見圖2B，其是根據第一原始影像內的候選像素組合，而自廣告串流數據庫中得出與候選像素組合相對應的第一廣告串流的示意圖。[0088]關于串流編輯裝置如何根據第一原始影像而得出候選像素組合，以及串流數據庫如何根據這些候選像素組合而在所儲存的廣告串流中找出第一廣告串流的過程，均將在后續的段落中說明。圖2B代表的是串流數據庫將搜索得出而與第一候選像素組合相對應的第一廣告串流Bal回傳給串流編輯裝置。[0089]請參見圖2C，其是將第一廣告串流加入至來源多媒體串流而產生第一編輯后多媒體串流的示意圖。在此附圖中，由左向右的箭頭方向代表第一編輯后多媒體串流Bel的播放方向與時間順序。由此附圖可以看出，一旦串流編輯裝置擷取出第一原始影像頂Gsl后，若能據此而在廣告串流數據庫中搜索出第一廣告串流Bal，便將第一廣告串流Bal加入至第一原始影像MGsl的下一個廣告時段中。[0090]亦即，當原始影像存在足以識別的各類商標圖案、標志圖樣、符號圖樣、文字圖樣、識別圖樣，且在串流數據庫中儲存了與這些圖樣相對應的廣告內容時，便將與其對應的廣告內容安插在原始影像后接續播出。[0091]例如:若節目內容(原始影像)出現賽車場面時，辨識出原始影像中的賽車影像上具有車商的商標圖樣時，便在緊接賽車場面后的廣告時段中，播放該車商的新車廣告；或者在節目內容出現新奇的手機時，在具有手機的原始影像后將接續播放手機廠商的廣告內容。[0092]更進一步來說，串流編輯裝置能針對來源多媒體串流的不同時點擷取多個原始影像，并因應這些原始影像所具有的候選像素組合，而在串流數據庫中選擇與這些候選像素相對應的廣告串流。[0093]如此一來，當電視臺在播放多媒體串流時，使用者所看到的廣告串流內容便與先前的原始影像高度相關。例如:通過對第一原始影像的特征擷取，判斷在第一原始影像中出現了A車商的商標。因此，便將A車商的廣告(第一廣告串流)加入在緊接著的廣告時段。[0094]對使用者而言，先在電影節目中看到令人感到功能酷炫的A車商的車款，然后又在隨即而來的廣告時段中看到A車商的廣告。由于廣告內容與節目內容彼此呼應，這種廣告播放方式可讓觀眾留下更為深刻的印象。[0095]請參見圖2D，其是根據本發明構想的較佳實施例所采用的提供多媒體串流的系統的示意圖。在此處，提供多媒體串流的系統包含:串流數據庫23與串流編輯裝置21。以下簡要說明串流數據庫23與串流編輯裝置21的用途與功能。[0096]根據此附圖可以看出，串流數據庫提供了來源多媒體串流，以及多個廣告串流(Bal、Ba2、Ba3...);而串流編輯裝置則信號連接于串流數據庫23。[0097]串流數據庫包含了彼此信號連接的儲存服務器與特征擷取服務器。其中儲存服務器用于提供來源多媒體串流Bs、多個廣告串流、多個參考圖樣以及多個特征點組合。[0098]根據本發明的構想，參考圖樣可為商標圖案、標志圖樣、符號圖樣、文字圖樣、識別圖樣等足具特征而可辨識出廠商或產品的圖樣。此外，特征點組合則是由特征擷取服務器233對這些參考圖樣進行特征擷取后所得出的各個參考圖樣(P1、P2、P3...)的特征點描述。[0099]再者，儲存服務器還進一步提供了搜索引擎。因此，當串流數據庫接收到由原始影像中得出的候選像素組合時，便能藉由搜索引擎而在儲存服務器中找出與這些候選像素組合相對應的廣告串流。[0100]在圖2D的例子中，儲存服務器235所儲存的廣告串流包含了第一廣告串流Bal、第二廣告串流Ba2、第三廣告串流Ba3。儲存服務器所儲存的參考圖樣包含了第一參考圖樣P1、第二參考圖樣P2、第三參考圖樣P3以及第四參考圖樣P4。須注意的是，廣告串流與參考圖樣之間的關系可能是一對一的對應關系，也可能是一對多、多對一的對應關系。[0101]例如:第一廣告串流Bal同時對應于第一參考圖樣Pl與第二參考圖樣P2。舉例來說，第一廣告串流Bal的內容是針對A車商的Al車款所拍攝的，則A車商本身的商標可被當作是第一參考圖樣Pl;而八1車款本身的車系識別圖案則可被當作是第二參考圖樣P2。因此，第一廣告串流Bal便同時對應于第一參考圖樣Pl與第二參考圖樣P2。[0102]在圖2D中，第二廣告串流Ba2與第三廣告串流Ba3均對應于第三參考圖樣P3，而第三廣告串流Ba3亦同時對應于第四參考圖樣P4。[0103]這種廣告串流與參考圖樣之間的對應關系可能的例子如:第三參考圖樣P3代表B廠商的商標，而第二廣告串流Ba2是B手機廠商的全系列產品的廣告內容。因此，第二廣告串流Ba2與第三參考圖樣P3彼此相對應。[0104]此外，第四參考圖樣為B手機廠商的BI系列手機的識別圖樣，而第三廣告串流Ba3是BI系列手機的廣告。由于B手機廠商的商標圖樣可能同時對應于全系列產品的廣告內容，也可能對應于BI系列手機的廣告，因此，第三參考圖樣P3同時對應于第二廣告串流Ba2與第三廣告串流Ba3。[0105]關于相同參考圖樣對應于多個廣告串流的情況時，其播放方式可以根據應用不同而選用不同的播放方式。舉例來說:若后續進行廣告串流搜索時，是以第三參考圖樣P3作為比較的依據時，則可設定播放的廣告串流為第二廣告串流Ba2或第三廣告串流Ba3中的任何一個。當然，另一種可能的播放方式則將優先播放第二廣告串流Ba2，之后再接續播放第三廣告串流Ba3。[0106]由于搜索引擎在搜索廣告串流時，是根據候選像素組合與特征點組合之間的比對，因此，特征擷取服務器233會先對這些參考圖樣進行特征擷取，進而將擷取出的特征點組合提供給搜索引擎使用。[0107]也就是說，特征擷取服務器233對第一參考圖樣Pl進行特征擷取而得出第一特征點組合SI，特征擷取服務器233對第二參考圖樣P2進行特征擷取而得出第二特征點組合S2，其余類推。在得出與各個參考圖樣相對應的特征點組合后，特征擷取服務器233再進一步將特征點組合與廣告串流之間的對應關系記錄在儲存服務器235，作為搜索引擎231后續使用的參考。[0108]例如:在圖2D中，以實線的雙箭頭圖案標示出第一廣告串流Bal與第一參考圖樣Pi之間的第一組對應關系；并以另一個實線的雙箭頭圖案標示第一特征點組合Si與第一參考圖樣Pl之間的第二組對應關系；接著，再以一個虛線的雙箭頭圖案標示第一特征點組合SI可以根據前述兩組對應關系而對應于第一廣告串流Bal。同樣的，針對其他的廣告串流、參考圖樣與特征點組合，此處皆以箭頭圖案來標示。當然，在實際應用中，儲存服務器235內的廣告串流、參考圖樣、特征點組合之間的對應關系可能以索引查詢、指針等方式來實現，此為本領域的普通技術人員所能理解而因應系統需求而替換的。[0109]此外，搜索引擎在取得由串流編輯裝置根據第一原始影像所得出的第一候選像素組合后，利用第一后選像素組合而與廣告串流數據庫所包含的多個特征點組合進行比對。通過比對的過程，找出在這些特征點組合中，符合一預設條件者。將候選像素與儲存服務器內的多個特征點組合進行比較后，在找出符合的特征點組合后，搜索引擎便能根據先前儲存的對應關系而找出與特征點組合相對應的廣告串流。其后，再將搜索得出的廣告串流傳送至串流編輯裝置。[0110]舉例來說，倘若搜索引擎231的搜索結果為第一特征點組合SI與第一候選像素組合具有較高的相似度時，便輸出與第一特征點組合SI相對應的第一廣告串流Bal至串流編輯裝置21;倘若搜索引擎231的搜索結果為第四特征點組合S4與第一候選像素組合具有較高的相似度時，便輸出與第四特征點組合S4相對應的第三廣告串流Ba3至串流編輯裝置21。[0111]圖2D說明了串流編輯裝置21包含彼此電連接的傳送接收單元211與編輯單元213，其中傳送接收單元211信號連接于串流數據庫23。[0112]接著，將進一步說明串流編輯裝置21如何根據所擷取的原始影像取得參考圖樣的做法。[0113]首先，在串流編輯裝置21自來源多媒體串流擷取第一原始影像后，串流編輯裝置21會對第一原始影像進行變異化處理并據此而得出多個轉換畫面。[0114]接著，串流編輯裝置21將根據該等轉換畫面間的比較結果而進行特征擷取。若第一原始影像存在商標圖案、標志圖樣、符號圖樣、文字圖樣、識別圖樣時，則進行特征擷取時，將得出多個候選像素。而這些后選像素可進一步得出候選像素組合，作為串流數據庫搜索廣告串流使用。[0115]假設串流編輯裝置21可以根據第一原始影像而得出多個候選像素，并進而根據這些候選像素得出第一候選像素組合。一旦搜索引擎231跟第一候選像素組合而在串流數據庫23中搜索出相對應的廣告串流(假設為第一廣告串流Bal)后，再將第一廣告串流Bal回傳給串流編輯裝置21。[0116]串流編輯裝置21先藉由傳送接收單元211接收第一廣告串流Bal后，接著由編輯單元213將第一廣告串流Bal加入至來源多媒體串流Bs。[0117]綜上所述，圖2A至圖2D大致說明當串流編輯裝置采用了本發明的主要構想后，可以讓使用者在觀看了前一段節目后，接著觀賞與節目內容最為相關的廣告內容，進而提升廣告的效益。[0118]此處僅簡單舉例說明廣告串流與參考圖樣之間的對應關系，以及如何根據參考圖樣而得出相對應的特征點組合后，再將特征點組合對應至廣告串流，進而在后續提供給串流編輯裝置使用。[0119]須注意的是，串流數據庫與串流編輯裝置的實現方式與功能配置并不以前述附圖為限。同樣的，廣告串流與參考圖樣的數量，以及彼此間的對應關系等，僅是為了說明使用。[0120]根據前述說明可以得知，串流數據庫被用于儲存廣告串流與特征點組合之間的對應關系。在已知廣告串流與參考圖樣之間的對應關系的前提下，特征擷取服務器233會對多個參考圖樣分別進行變異化處理、特征擷取等步驟，進而得出多個特征組合。[0121]另一方面，串流編輯裝置21同樣會對在來源多媒體串流Bs中截取的第一原始影像進行變異化處理、特征擷取等步驟。倘若第一原始影像中存在可供識別的參考圖樣時，藉由串流編輯裝置對第一原始影像進行變異化處理與特征擷取的過程，將可得出多個候選像素。更進一步的，還可針對候選像素得出與其相對應的像素描述，據此而得出第一候選像素組合。[0122]根據本發明的構想，當串流編輯裝置得出第一候選像素組合后，便通過傳送接收單元將其傳送至串流數據庫。而串流數據庫便以第一候選像素組合為基礎，將第一候選像素組合用來與儲存服務器中的多個特征點組合相比較。[0123]根據第一候選像素組合與特征點組合相比較的結果，找出符合預設相似程度的其中一個特征點組合(如:第一特征點組合)。由于第一特征點組合與第一廣告串流之間的對應關系為已知，串流數據庫因而將第一廣告串流回傳至串流編輯裝置21。[0124]由此可知，串流編輯裝置與串流數據庫均需提供變異化處理與特征擷取的流程。兩者的差別在于，串流編輯裝置是針對由來源多媒體串流所擷取出的原始影像進行處理；但是串流數據庫是針對不同的參考圖樣進行處理。[0125]請參見圖3A，其是串流數據庫以參考圖樣作為特征擷取的來源的示意圖。在一般的情況下，參考圖樣代表的商標圖案、標志圖樣、符號圖樣、文字圖樣、識別圖樣等，均具有較明確的輪廓與特征點。因此，對參考圖樣進行變異化處理與特征擷取而得出的特征點組合較為明確。也因此，串流數據庫所提供的多個特征點組合可用于比對原始影像的內容。[0126]請參見圖3B，其是串流編輯單元以第一原始影像作為特征擷取的來源的示意圖。當商標圖案、標志圖樣、符號圖樣、文字圖樣、識別圖樣出現在原始影像時，并不會像圖3A般清晰。相反的，這些商標圖案、標志圖樣、符號圖樣、文字圖樣、識別圖樣往往只占了原始影像中的一角。除了圖樣較不清晰外，其尺寸與角度也可能產生變化。[0127]根據圖3A、圖3B的說明可以得知，當廣告串流數據庫端對參考圖樣進行特征點擷取時，由于參考圖樣的外觀為獨立的來源，因而較不受噪聲或外在的影響。另一方面，盡管原始影像存在與參考圖樣相似的圖樣，但是參考圖樣的外觀卻已經產生改變。因此，串流數據庫與串流編輯裝置在比對參考圖樣與原始影像是否存在相似的圖樣時，不能單就參考圖樣中像素點的位置來判斷，而必須利用特征點比較的方式來進行，才能判斷在圖3A、圖3B中是否存在相似的圖樣。[0128]更進一步來說，本發明根據參考圖樣建立相對應的特征點組合，以及在原始影像找出后選像素的方式，是希望藉由特征點比對的方法，比較參考圖樣與原始影像中相似的內容(圖樣)。這種利用特征點比對的方式，能夠克服當參考圖樣出現在原始影像時所產生的位移、旋轉、縮放、亮度差異以及噪聲等情形。[0129]進行特征點擷取的過程可進一步區分為四個階段:其一為轉換畫面的取得；其二是進行尺度空間的像素極值檢測；其三是選取較佳的候選像素；其四則是判斷個別的特征點的方向性，并得出特征點描述。[0130]無論是串流數據庫或串流編輯裝置均須要進行變異化運算與特征點擷取，兩者的差別是進行變異化運算與特征點擷取的對象并不相同。在串流數據庫中，變異化運算與特征點擷取的對象是參考圖樣；在串流編輯裝置中，變異化運算與特征點擷取的對象是原始影像。藉由變異化運算與特征點擷取的流程，根據個別取出的特征點描述進行比對，進而判斷是否能在原始影像中找到與預存的多個參考圖樣相似的部分。[0131]由于對原始影像與參考圖樣進行變異化處理與特征點擷取的過程大致相同，下述的說明主要以第一原始影像作為對象，利用圖4說明如何取得轉換畫面(第一階段)、圖5A、圖5B說明如何根據相鄰像素區塊而檢測具有區域極值的極值像素(第二階段)；以及，根據圖6A、圖6B、圖6C、圖6D而說明如何得出特征點描述(第四階段)。[0132]請參見圖4，其是對第一原始影像進行變異化運算并得出轉換畫面的示意圖。須注意的是，這里繪示的原始影像為說明而舉例，實際包含的像素點并不以此為限。例如:原始影像所采用的分辨率可能為640*480或是其他。[0133]在圖4中，假設第一原始影像具有第一尺度，針對第一原始影像分別使用了五個不同的標準差值(2.5σ、2σ、1.5σ、σ、0.5σ)，對其進行變異化運算，進而得出了對應于這五個標準差值(2.5σ、2σ、1.5σ、σ、0.5σ)的五個轉換畫面。當然,在進行變異化運算時所選用的標準差值并不以此處五個標準差值為限。[0134]須注意的是，在進行變異化運算時，并不會影響畫面的尺度，因此，根據第一原始影像轉換而得出的轉換畫面同樣具有第一尺度。亦即，在進行變異化運算時，是針對在第一原始影像中全部的第一尺度像素進行，所以轉換畫面所包含的第一尺度像素的數量與第一原始影像所包含的第一尺度像素的數量相同。[0135]換言之，對第一原始影像進行變異化處理，并據此而得出多個轉換畫面的步驟指:分別根據多個標準差值而對第一原始影像進行變異化運算后，得出同樣具有第一尺度的多個轉換畫面。在這個較佳實施例中，選擇高斯濾波運算作為變異化運算，變異化運算也可采用其他類型的運算方式。[0136]例如:根據第一標準差值2.5σ而對原始影像進行高斯濾波運算，進而得出第一轉換畫面G(2.5。);根據第二標準差值2σ而對原始影像進行高斯濾波運算，進而得出第二轉換畫面G(2。);根據第三標準差值1.5。而對原始影像進行高斯濾波運算，進而得出第三轉換畫面G(1.5。)；根據第四標準差值σ而對原始影像進行高斯濾波運算，進而得出第四轉換畫面G(σ);根據第五標準差值0.5σ而對原始影像進行高斯濾波運算，進而得出第五轉換畫面G(0.5σ)。[0137]由圖4的右側可以看出，在得出轉換畫面后，接著對每個轉換影像進行兩兩相減，也就是進行高斯差值(difference-of-Gaussian,簡稱為DOG)的運算。為了便于說明，以下以DOG代表剩余畫面，并以括號代表是根據哪些標準差值計算得出。[0138]其中，第一剩余畫面DOG(2.5σ，2σ)代表由第一轉換畫面G(2.5。)以及第二轉換畫面G(2σ)相減后得出的剩余畫面。由于第二剩余畫面DOG(2σ，1.5σ)、第三剩余畫面DOG(1.5σ，σ)、第四剩余畫面DOG(σ，0.5σ)的表示方式亦類似，便不再詳細說明。[0139]藉由高斯差值的運算而得出轉換畫面與轉換畫面之間的剩余畫面后，之后則是進入根據該等剩余像素間的比較而選取其中具有區域極值者的多個極值像素的第二階段。[0140]請參見圖5Α，其是根據中心剩余畫面而選擇中心剩余像素的示意圖。在不同的剩余畫面中，逐一選取在不同的(x，y)位置的像素點，并以其作為中心剩余畫面的中心點。[0141]以圖5A為例，其中選擇第四列第四行的像素作為中心剩余像素61，此處以具有底紋的圓圈代表中心剩余畫面的中心點，而其相鄰的白底圓圈圖樣則代表在同一個剩余畫面中，位于中心剩余像素周邊的相鄰剩余像素63。也就是說，相鄰剩余像素代表與中心剩余像素位于同一個剩余畫面中，相對于中心剩余像素的左上方、上方、右上方、右側、右下方、下方、左下方、左側的八個剩余像素。[0142]須注意的是，在判斷中心剩余像素是否具有區域極值時，除了將其與中心剩余像素位于與同一個剩余畫面中的相鄰剩余像素進行比較外，還需要進一步跟其他的剩余畫面中的相鄰剩余像素進行比較，這部分請進一步參閱圖5B。[0143]此處所指的相鄰剩余畫面指的是，用于得出中心剩余畫面的兩個標準差值與前、后各一個標準差值所得出的剩余畫面。[0144]例如:若中心剩余畫面為根據標準差值(1.5σ,σ)得出的第三剩余畫面，則根據標準差值(2σ,Ι.5σ)所得出的第二剩余畫面，以及根據標準差值(σ，0.5σ)所得出的第四剩余畫面便稱為是第三剩余畫面的相鄰剩余畫面。[0145]請參見圖5Β，其是以所選擇的中心剩余像素作為相鄰像素區塊的中心，判斷其值是否具有區域極值的示意圖。其中，相鄰剩余像素是指在該中心剩余畫面中，以該中心剩余像素為中心的一相鄰像素區塊所包含的多個剩余像素；以及，在與中心剩余畫面相鄰的剩余畫面(上方、下方)中與相鄰像素區塊相對應位置的像素區塊所包含的多個剩余像素。[0146]換言之，若是在一個中心剩余畫面中，位于(X，y)的中心剩余像素所具有的值，與其26個相鄰剩余像素(上、下剩余畫面中各九個相鄰剩余像素與本身所屬的剩余畫面中的八個相鄰剩余像素)所具有的值相比時，相對具有極大值或極小值時，則選擇此中心剩余像素作為極值像素之一。[0147]歸結選取在各該剩余畫面中具有區域極值者的像素作為該等候選像素的做法為:[0148]選取該等剩余畫面的一個作為中心剩余畫面；自中心剩余畫面所包含的多個剩余像素中選擇中心剩余像素；分別比較中心剩余像素所具有的值、中心剩余像素的多個相鄰剩余像素所具有的值；以及，當中心剩余像素所具有的值與中心剩余像素的該等相鄰剩余像素所具有的值相比而具有區域極值時，選擇以中心剩余像素作為該等極值像素的一個。[0149]須注意的是，根據極值比較找出的極值像素并非全部都是穩定的(stable)，所以要刪去一些識別特性較不穩定的極值像素。因此，第三階段便是從極值像素中進一步選出具有較佳穩定性的極值像素。[0150]舉例來說:若極值像素在畫面中位于同一個線條時，其實不需要取得所有在相同線條上的像素作為極值像素，因此刪除該等候選像素中不具有高反差特性者，以及刪除該等極值像素中屬于邊界像素者。[0151]判斷極值像素具有低反差的方法為，根據如下的公式，以泰勒展開式決定。其中，D是剩余畫面的結果，X代表極值像素、T為轉置矩陣。根據X與D，可以計算出一個偏移量(offset)XQ【權利要求】1.一種多媒體串流的編輯方法，該多媒體串流的編輯方法包括以下步驟:自一來源多媒體串流擷取一第一原始影像；對該第一原始影像進行變異化處理并據此而得出多個轉換畫面；根據該等轉換畫面間的比較結果而進行特征擷取后，據此而得出多個候選像素；根據該等后選像素而在一廣告串流數據庫中搜索出一第一廣告串流；以及將該第一廣告串流加入至該來源多媒體串流。2.如權利要求1所述的多媒體串流的編輯方法，其中該第一原始影像具有一第一尺度，而對該第一原始影像進行變異化處理并據此而得出該等轉換畫面的步驟是指:分別根據多個標準差值而對該第一原始影像進行一變異化運算后，得出具有該第一尺度的多個轉換畫面。3.如權利要求2所述的多媒體串流的編輯方法，其中該變異化運算為一高斯濾波運笪ο4.如權利要求2所述的多媒體串流的編輯方法，其中對該第一原始影像進行變異化處理并據此而得出該等轉換畫面的步驟還包括以下步驟:對該第一原始影像進行尺度轉換后，得出具有一第二尺度的該第一原始影像；分別根據該等標準差值而對具有該第二尺度的該第一原始影像進行該變異化運算后，得出具有該第二尺度的多個轉換畫面。5.如權利要求4所述`的多媒體串流的編輯方法，其中具有該第二尺度的該第一原始影像的尺寸小于具有該第一尺度的該第一原始影像的尺寸。6.如權利要求2所述的多媒體串流的編輯方法，其中根據該等轉換畫面間的比較結果而進行特征擷取后，據此而得出該等候選像素的步驟包括以下步驟:根據該等轉換畫面間的比較而得出具有該第一尺度的多個剩余畫面，其中各該剩余畫面均各自包括多個剩余像素；根據該等剩余像素間的比較而選取其中具有區域極值者的多個極值像素；以及選擇在該等極值像素中具有較佳識別特性者作為該等候選像素。7.如權利要求6所述的多媒體串流的編輯方法，其中根據該等剩余像素間的比較而選取其中具有區域極值者的多個極值像素的步驟包括以下步驟:選取該等剩余畫面的一個作為一中心剩余畫面；自該中心剩余畫面所包括的多個剩余像素中選擇一中心剩余像素；分別比較該中心剩余像素所具有的值、該中心剩余像素的多個相鄰剩余像素所具有的值；以及當該中心剩余像素所具有的值與該中心剩余像素的該等相鄰剩余像素所具有的值相比而具有區域極值時，選擇以該中心剩余像素作為該等極值像素的一個。8.如權利要求7所述的多媒體串流的編輯方法，其中該等相鄰剩余像素包括:在該中心剩余畫面中，以該中心剩余像素為中心的一相鄰像素區塊所包括的多個剩余像素；以及在與該中心剩余畫面相鄰的剩余畫面中，與該相鄰像素區塊相對應位置的像素區塊所包括的多個剩余像素。9.如權利要求6所述的多媒體串流的編輯方法，其中自該等極值像素中選取具有較佳識別特性者作為該等候選像素的步驟包括以下步驟:刪除該等極值像素中不具有高反差特性者；以及刪除該等極值像素中位于邊界者。10.如權利要求1所述的多媒體串流的編輯方法，其中根據該等后選像素而在一廣告串流數據庫中搜索出一第一廣告串流的步驟包括以下步驟:根據該等候選像素而得出一第一候選像素組合，其中該第一候選像素組合記錄與各該候選像素相對應的像素描述；利用該第一后選像素組合而與該廣告串流數據庫所包括的多個特征點組合進行比對，進而自該等特征點組合中選取符合一預設條件者；以及根據符合該預設條件的特征點組合，而在該廣告串流數據庫中選擇與其相對應的廣告串流作為該第一廣告串流。11.如權利要求10所述的多媒體串流的編輯方法，其中該廣告串流數據庫所包括的各該特征點組合對應于一商標圖案、一標志圖樣、一符號圖樣、一文字圖樣、一識別圖樣。12.如權利要求10所述的多媒體串流的編輯方法，其中與各該候選像素相對應的像素描述是指:根據以各該候選像素為中心的一預選描述區塊所得出的像素描述向量。13.如權利要求10所述的多媒體串流的編輯方法，其中該預設條件是指:該第一后選像素組合與該特征點組合間符合一預設相似程度。14.如權利要求1所述的多媒體串流的編輯方法，其中該等后選像素的一第一部分對應于一第一候選像素組合，而該等候選像素的一第二部分對應于一第二候選像素組合，而該編輯方法還包括以下步驟:利用該第二后選像素組合而與該廣告串流數據庫所包括的多個特征點組合進行比對，進而自該等特征點組合中得出符合一預設條件的一特征點組合；選擇與該特征點組合相對應的廣告串流作為一第二廣告串流；以及將該第二廣告串流加入至該來源多媒體串流。15.如權利要求1所述的多媒體串流的編輯方法，其中將該第一廣告串流加入至該來源多媒體串流的步驟是指:將該第一廣告串流加入至該第一原始影像在該來源多媒體串流的位置的后段，進而得出一第一編輯后多媒體串流。16.如權利要求15所述的多媒體串流的編輯方法，其中還包括以下步驟:自該來源多媒體串流擷取一第二原始影像；根據該第二原始影像而在該串流數據庫中搜索出與其相對應的廣告串流；以及將與該第二原始影像相對應的廣告串流加入至該第一編輯后多媒體串流。17.如權利要求16所述的多媒體串流的編輯方法，其中該第一原始影像與該第二原始影像在該來源多媒體串流中的位置間隔一播放時間差。18.—種多媒體串流的編輯系統，該多媒體串流的編輯系統包括:一多媒體串流數據庫，該多媒體串流數據庫提供一來源多媒體串流；一廣告串流數據庫，該廣告串流數據庫具有一搜索引擎并提供多個廣告串流；以及一串流編輯裝置，該串流編輯裝置包括:一傳送接收單元，信號連接于該多媒體串流數據庫與該廣告串流數據庫，該傳送接收單元接收該來源多媒體串流與該等廣告串流；以及一編輯單元，該編輯單元電連接于該傳送接收單元，該編輯單元自該來源多媒體串流擷取一第一原始影像后，對其進行變異化處理并據此而得出多個轉換畫面，接著根據該等轉換畫面間的比較結果而進行特征擷取后，進而得出多個候選像素；其中，該廣告串流數據庫根據該等后選像素而搜索出一第一廣告串流，而該編輯單元在通過該傳送接收單元接收該第一廣告串流后，進而將該第一廣告串流加入至該來源多媒體串流。19.一種串流編輯裝置，該串流編輯裝置包括:一傳送接收單元，該傳送接收單元自一多媒體串流數據庫接收一來源多媒體串流；以及一編輯單元，該編輯單元電連接于該傳送接收單元，該編輯單元自該來源多媒體串流擷取一第一原始影像后，對其進行變異化處理并據此而得出多個轉換畫面，接著根據該等轉換畫面間的比較結果而進行特征擷取后，進而得出多個候選像素，而該等候選像素在通過該傳送接收單元而被傳送至一廣告串流數據庫后，由該廣告數據庫根據該等后選像素而搜索出一第一廣告串流，在該傳送接收單元接收該第一廣告串流后，該編輯單元將該第一廣告串流加入至該來源多媒體串流。20.一種廣告串流的儲存方法，該廣告串流的儲存方法包括以下步驟:對一第一參考圖樣進行特征擷取并得出一第`一特征點組合，其中該第一參考圖樣對應于一第一廣告串流；以及儲存該第一特征點組合與該第一廣告串流間的對應關系。21.如權利要求20所述的廣告串流的儲存方法，其中該第一廣告串流對應于多個參考圖樣，而各該參考圖樣分別對應于一特征點組合。22.如權利要求20所述的廣告串流的儲存方法，其中對該第一參考圖樣進行特征擷取并得出該第一特征點組合的步驟包括以下步驟:對該第一參考圖樣進行變異化處理并據此而得出多個第一參考轉換圖樣；根據該等第一參考轉換圖樣間的比較結果而進行特征擷取后，據此而得出多個候選特征像素；以及根據該等后選特征像素而得出該第一特征點組合。23.如權利要求22所述的廣告串流的儲存方法，其中對該第一參考圖樣進行變異化處理并據此而得出該等第一參考轉換圖樣的步驟是指:分別根據多個標準差值而對該第一參考圖樣進行一變異化運算后，得出該等第一參考轉換畫面。24.如權利要求23所述的廣告串流的儲存方法，其中該變異化運算為一高斯濾波運笪ο25.如權利要求22所述的廣告串流的儲存方法，其中根據該等第一參考轉換圖樣間的比較結果而進行特征擷取后，據此而得出該等候選特征像素的步驟包括以下步驟:根據該等第一參考轉換畫面間的比較而得出多個第一參考剩余畫面，其中各該第一參考剩余畫面均各自包括多個剩余像素；根據該等剩余像素間的比較而選取其中具有區域極值者的多個極值像素；以及選擇在該等極值像素中具有較佳識別特性者作為該等候選特征像素。26.如權利要求25所述的廣告串流的儲存方法，其中根據該等剩余像素間的比較而選取其中具有區域極值者的多個極值像素的步驟包括以下步驟:選取該等第一參考剩余畫面的一個作為一中心剩余畫面；自該中心剩余畫面所包括的多個剩余像素中選擇一中心剩余像素；分別比較該中心剩余像素所具有的值、該中心剩余像素的多個相鄰剩余像素所具有的值；以及當該中心剩余像素所具有的值與該中心剩余像素的該等相鄰剩余像素所具有的值相比而具有區域極值時，選擇以該中心剩余像素作為該等極值像素的一個。27.如權利要求26所述的廣告串流的儲存方法，其中該等相鄰剩余像素包括:在該中心剩余畫面中，以該中心剩余像素為中心的一相鄰像素區塊所包括的多個剩余像素；以及在與該中心剩余畫面相鄰的剩余畫面中，與該相鄰像素區塊相對應位置的像素區塊所包括的多個剩余像素。28.如權利要求25所述的廣告串流的儲存方法，其中選擇在該等極值像素中具有較佳識別特性者作為該等候選特征像素的步驟包括以下步驟:刪除該等極值像素中不具有高反差特性者；以及刪除該等極值像素中位于邊界者。29.如權利要求22所述的廣告串流的儲存方法，其中儲存該第一特征點組合與該第一廣告串流間的對應關系的步驟包括以下步驟:`分配一第一索引給該第一特征點組合；儲存該第一索引與該第一特征點組合間的對應關系；以及儲存該第一索引與該第一廣告串流間的對應關系。30.如權利要求20所述的廣告串流的儲存方法，其中該第一參考圖樣可為一商標圖案、一標志圖樣、一符號圖樣、一文字圖樣、一識別圖樣。31.一種廣告串流的儲存系統，該廣告串流的儲存系統包括:一特征擷取服務器，該特征擷取服務器對一第一參考圖樣進行特征擷取并得出一第一特征點組合；以及一儲存服務器，信號連接于該特征擷取服務器，該儲存服務器儲存該第一特征點組合與該第一廣告串流間的對應關系，其中該第一參考圖樣對應于一第一廣告串流。32.如權利要求31所述的廣告串流的儲存系統，其中該儲存服務器包括:一搜索引擎，該搜索引擎分配一第一索引給該第一特征點組合；一第一子服務器，信號連接于該特征擷取服務器，該第一子服務器儲存該第一索引與該第一特征點組合間的對應關系；以及一第二子服務器，信號連接于該第一子服務器，該第二子服務器儲存該第一索引與該第一廣告串流間的對應關系。33.一種提供多媒體串流的系統，該提供多媒體串流的系統包括:一串流數據庫，該串流數據庫包括:一儲存服務器，該儲存服務器儲存一來源多媒體串流、與多個參考圖樣相對應的多個廣告串流；以及一特征擷取服務器，信號連接于該儲存服務器，該特征擷取服務器對該等參考圖樣分別進行特征擷取而得出多個特征點組合，其中該儲存服務器據此而儲存各該特征點組合與各該廣告串流間的對應關系；以及一串流編輯裝置，該串流編輯裝置包括:一傳送接收單元，信號連接于該串流數據庫，該傳送接收單元接收該來源多媒體串流；以及一編輯單元，該編輯單元電連接于該傳送接收單元，該編輯單元自該來源多媒體串流擷取一第一原始影像后，對其進行變異化處理并據此而得出多個轉換畫面，接著根據該等轉換畫面間的比較結果而進行特征擷取后，進而得出多個候選像素，其中，在該傳送接收單元將該等候選像素傳送至該串流數據庫后，該串流數據庫根據該等后選像素而搜索出一第一廣告串流，其中該編輯單元將該傳送接收單元所接收的該第一廣告串流加入至該來源多媒體串流。`【文檔編號】H04N21/85GK103517087SQ201210229457【公開日】2014年1月15日申請日期:2012年7月3日優先權日:2012年6月19日【發明者】陳美滿,秦北辰,廖志彬申請人:緯創資通股份有限公司