進行圖像搜索的系統和方法

進行圖像搜索的系統和方法
【專利摘要】進行圖像搜索的系統和方法包括接收內容，接收從該內容選擇圖像的請求，在該圖像中選擇多個項目，檢索與所選擇的項目相關的信息，并且基于所檢索的信息提供顯示數據。
【專利說明】進行圖像搜索的系統和方法

【背景技術】
[0001] 本發明總體上涉及搜索圖像，更具體地涉及搜索圖像以檢索信息。


【發明內容】

[0002] 這里描述了進行圖像搜索的系統和方法的實施方式。一個實施方式是一種系統， 其包括被配置為從媒體源接收視頻內容的處理電路。該系統可以進一步包括被配置為接收 來自用戶的從該視頻內容選擇圖像的請求的處理電路。該系統還可以包括被配置為將圖像 存儲在存儲器中的處理電路。該系統可以包括被配置為選擇圖像中所顯示的多個項目的處 理電路，其中第一項目具有已知的標識以及第二項目具有未知的標識。該系統還可以包括 被配置為對圖像中的多個所選擇的項目進行突出顯示，其中對第一項目的突出顯示具有不 同于對第二項目的突出顯示的外觀。該系統還可以進一步包括被配置為接收對第一和第二 項目中的一個的用戶選擇的處理電路。該系統可以包括被配置為檢索關于所選擇的項目 的信息的處理電路。該系統還可以包括被配置為基于所檢索的信息提供顯示數據的處理電 路。
[0003] 另一個實施方式是一種方法，其包括在處理器從媒體源接收視頻內容。該方法還 可以包括在處理器接收來自用戶的從該視頻內容選擇圖像的請求。該方法可以進一步包括 將該圖像存儲在存儲器中。該方法可以包括選擇該圖像中的多個項目，其中第一項目具有 已知的標識以及第二項目具有未知的標識。該方法還可以包括對圖像中的多個所選擇的項 目進行突出顯示，其中對第一項目的突出顯示具有不同于對第二項目的突出顯示的外觀。 該方法可以進一步包括在處理器接收對第一和第二項目中的一個的用戶選擇。該方法還可 以進一步包括檢索關于所選擇的項目的信息。該方法可以包括基于所檢索的信息來提供顯 示數據。
[0004] 另一個實施方式是一種用于使用廣告服務器計算機進行廣告發布的方法。該方法 可以包括從媒體源接收基于視頻內容所選擇的圖像。該方法還可以包括利用廣告發布標簽 對包括多個項目的所選擇的圖像進行標記，該廣告發布標簽包括廣告主所生成的內容，該 廣告主所生成的內容包括文本、視頻或超級鏈接中的一個。該方法可以進一步包括提供與 該廣告主相關聯的廣告。
[0005] 所提到的這些實施方式不對本公開的范圍進行限制或限定，而是提供本公開的實 施方式的示例以幫助其理解。能夠開發特定實施方式以實現以下優勢中的一個或多個。
[0006] 本公開的一個或多個實施方式的細節在附圖和以下描述中給出。本公開的其它特 征、方面和優勢將從該描述、附圖和權利要求而變得顯而易見。

【專利附圖】

【附圖說明】
[0007] 圖1圖示了依據所描述的實施方式的選擇圖像；
[0008] 圖2圖示了依據所描述的實施方式的圖像中顯示的多個所選擇的項目；
[0009] 圖3圖示了依據所描述的實施方式的突出顯示的圖像；
[0010] 圖4圖示了依據所描述的實施方式的所選擇的突出顯示的人臉圖像；
[0011] 圖5圖示了依據所描述的實施方式的基于所檢索的關于所選擇的項目的信息的 顯示數據；
[0012] 圖6是依據所描述的實施方式的用于進行視頻內容的圖像搜索的方法的流程圖；
[0013] 圖7是依據所描述的實施方式的用于進行廣告發布的方法的流程圖；和
[0014] 圖8是依據所描述的實施方式的可以被用來實施該系統和方法的設備的框圖。

【具體實施方式】
[0015] 媒體源可以通過服務器向各種應用提供視頻內容，上述應用諸如web瀏覽器、在 web瀏覽器內運行的應用、支持互聯網的電視等。該視頻內容可以包括圖像，所述圖像可以 被提供至諸如服務器、基于客戶端的API等的圖像匹配系統。例如，（多個）圖像文件的格 式可以由可以包括圖像匹配模塊的圖像服務器寫入，以使得該圖像服務器派發的圖像在系 統檢索該（多個）圖像文件時被引用。例如，圖像服務器可以被配置為使用圖像查詢來詢 問web服務器信息，使得當對象被用戶選擇時，與該圖像相關聯的信息可以被顯示。
[0016] 術語"第一項目"和"第二項目"是為了本公開內的清楚和簡明而被使用。圖像內 項目的數量可以包括比第一和第二項目多的項目。每個項目可以具有已知的標識、未知飛 標識、潛在已知的標識等。
[0017] 圖1圖示了依據所描述的實施方式的選擇圖像100。在圖1中，視頻內容從媒體源 接收并且被顯示在顯示設備上。在一些實施方式中，視頻內容可以由在計算設備上運行的 應用提供。在一些實施方式中，該設備可以包括DVR、DVD、Google TV (例如機頂盒、集成的 互聯網設備等）等等。該視頻內容可以包括流內容、網頁/網站內容等。該視頻內容可以 包括多個圖像。該計算設備可以被配置為從用戶接收該用戶將要從視頻內容選擇圖像的通 知。在一些實施方式中，該通知可以是暫停、停止視頻內容或選擇其一部分的請求。該計算 設備可以被配置為顯示用戶輸入設備101，例如"圖像搜索"輸入設備，其被配置為接收對視 頻內容內的圖像的用戶選擇。用戶輸入設備101可以出現在顯示器的控制面板部分103。 該控制面板部分103可以包括播放按鈕105、快進/回退按鈕107、示出播放視頻內容的進 度的滑動條109、內容標題111等。在該實施例中，通過使得視頻內容的一部分通過控制面 板部分而示出，控制面板部分103被示為視頻內容上的覆蓋。在圖1中，圖像100示出了人 102、壁架上的書104和桌子上的瓶子106。
[0018] 這里所公開的特征可以在智能電視模塊（或所連接的電視模塊、混合電視模塊 等）上實施，所述智能電視模塊可以包括被配置為將互聯網連接與更多傳統電視節目源 (例如，經由有線電視、衛星、空中或其它信號所接收的）進行整合的處理電路。該智能電視 模塊在物理上可以被合并到電視機中或者可以包括諸如機頂盒、藍光或其它數字媒體播放 器、游戲機、酒店電視系統和其它配套設備的單獨設備。智能電視模塊可以被配置為允許觀 眾搜索并找到web上、本地有線電視頻道上、衛星電視頻道上或者存儲在本地硬盤驅動上 的視頻、電影、照片和其它內容。機頂盒（STB)或機頂單元（STU)可以包括信息家電設備，其 可以包含調諧器并且連接至電視機以及外部信號源，其將信號調諧到然后在電視屏幕或其 它顯示設備上顯示的內容中。智能電視模塊可以被配置為提供主畫面或頂級畫面，其包括 用于多個不同應用的圖標，諸如web瀏覽器和多個流媒體服務（例如Netflix、Vudu、Hulu 等）、所連接的有線或衛星媒體源、其它web "頻道"等等。該智能電視模塊可以進一步被 配置為向用戶提供電子節目指南。針對智能電視模塊的配套應用可以在移動計算設備上進 行操作以向用戶提供與可用節目相關的附加信息，以允許用戶對智能電視模塊進行控制等 等。在替選的實施例中，該特征可以在膝上型計算機或其它個人計算機、智能電話、其它移 動電話、手持計算機、平板PC或其它計算設備上實施。
[0019] 圖2圖示了依據所描述的實施方式的在圖像100中顯示的多個所選擇項目。該系 統接收來自用戶的從視頻內容選擇圖像1〇〇的請求。圖像1〇〇可以被存儲在存儲器中。在 一些實施方式中，圖像100包括與廣告主相關聯的廣告。該廣告可以包括指向與廣告主相 關聯的網頁的超鏈接。在一些實施方式中，在圖像100中顯示多個項目。多個項目100可 以包括但并不限于人臉、對象等。在一些實施方式中，多個項目可以由系統選擇或者由視頻 內容的制作者在視頻內容中加標簽。在一些實施方式中，多個項目例如可以由用戶通過在 圖像的一部分上拖動地理形狀（例如方形、橢圓形等）而進行選擇。該系統可以通知用戶 已經開始了對多個項目的搜索。例如，在圖2中，多個項目（例如人202、手表204、書204、 瓶子208)利用虛線進行描繪以表明系統和/或用戶對該項目的選擇。
[0020] 該系統可能或可能不知道多個項目202、204、206、208的標識，它們可以作為每個 項目的狀態被存儲在存儲器中。該系統可以經由顯示器向用戶提供該標識的狀態的通知。 例如，在圖2中，多個項目可以利用各種顏色進行突出顯示。所要注意的是，可以使用許多 不同方法來提供項目的標識的狀態的通知，例如可以提供聽覺、圖形、視覺和/或觸覺通 知。該系統可以對突出顯示的區域搜索與項目202、204、206、208相關的另外的信息。該系 統可以執行字符識別算法來確定與項目相關聯的文本字符。例如，瓶子208可以包括該系 統可以用來進一步識別該項目和/或檢索與所選擇的項目相關的信息的文本。在一些實施 方式中，該系統可以通過將圖像劃分為多個分區、檢測多個分區中的每個分區中的特征、分 析每個分區中的所檢測到的特征、并且確定所檢測到的特征是否包括文本，來識別所接收 的圖像的文本分區。該系統可以被配置為在任意時刻接收取消210該搜索的用戶請求；相 應于該請求，該系統可以被配置為繼續視頻內容。控制面板可以提供該系統當前正在嘗試 識別多個項目而進行搜索的指示212。
[0021] 圖3圖示了依據所描述的實施方式的突出圖像。圖像100中的多個所選擇的項目 被突出顯示。對第一項目的突出顯示可以具有與第二項目不同的外觀。在圖3中，突出顯示 的區域302、304、306、308可以進行顏色編碼（在圖3所示的圖像中，突出顯示的區域302、 304、306、308被示出為帶有陰影且無法區分，但是應當理解的是，突出顯示的區域可以是各 種顏色）。該系統可以提供與所選擇的項目相關的信息的檢索已經完成的通知。例如，在圖 3中，包圍多個項目的虛線被實線替代以指示搜索完成，或者指示搜索是否成功識別出對 象。該系統還可以提供有關對項目標識的搜索的狀態的通知。例如，在圖3中，綠色可以表 明項目具有已知的標識，黃色可以表明項目具有多個已知或潛在的標識，而紅色則可以表 明項目不具有已知的標識。有許多種方法可以被用來提供與項目標識的狀態相關的通知。 在一些實施方式中，可以提供聽覺反饋，例如激活語音的通知。例如，"瓶子的標識已知，手 表具有多個標識，而圖書沒有已知標識"。
[0022] 該系統可以通過向圖像匹配模塊發送圖像數據而搜索多個搜索項目的標識。該圖 像數據可以表示已經針對潛在識別所選擇的圖像的僅一部分。該系統可以基于該搜索而從 圖像匹配模塊接收報告。如果基于該報告為一個項目找到了標識，則該項目是具有已知標 識的第一項目。如果基于該報告沒有為一個項目找到標識，則該項目是具有未知標識的第 二項目。在一些實施方式中，該報告可以指示潛在已知的標識，在這種情況下，該系統可以 利用具有與第一和第二項目外觀不同的外觀的突出對該項目進行顯示。例如，該項目可以 被該系統識別為可能具有匹配，但是該系統可能需要更多信息。在這種情況下，該系統可以 對諸如基于web的服務器或用戶的另外源查詢更多信息。在一個示例中，多個潛在標識可 以被顯示給用戶以供用戶選擇特定標識。潛在標識可以是文本描述、圖像匹配、文本描述和 圖像匹配的組合，或者其它潛在的識別信息（例如，指向與該項目相關的網頁的web鏈接等 等）。
[0023] 該系統還可以顯示結果314的數量，即項目的數量；匹配的數量等。該用戶可以通 過選擇關閉按鈕312而退出搜索并繼續視頻內容。
[0024] 圖4圖示了依據所描述的實施方式的人臉的所選擇的突出圖像404。該系統可以 接收對（多個）項目中的一個的用戶選擇。用戶可以通過d-pad、操縱桿、鼠標或其它適當 外設選擇（多個）項目，以通過所選擇的突出圖像進行導航而對用戶希望找到并顯示附加 信息的項目或圖像部分做出選擇。d-pad可以包括指向性輸入設備，包括表示不同方向的不 同按鈕。d-pad可以是手持遙控器的一部分，其可以進一步包括字母鍵盤、用于移動鼠標的 觸摸板、諸如"搜索"熱鍵的熱鍵和/或其它用戶輸入按鈕或設備（例如，用于語音命令的 麥克風）。例如，在圖4中，用戶選擇了人臉404。系統檢索與所選擇的項目404即圖4中 的人臉相關的信息。
[0025] 圖5圖示了依據所描述的實施方式的基于所檢索的與所選擇項目相關的信息的 顯示數據。在圖5中，該顯示數據包括作為覆蓋500提供至視頻內容的數據。覆蓋500可 以在任意多個位置被呈現在顯示器上。覆蓋可以包括顯示屏、窗口（例如顯示、視頻等）、 層等。覆蓋500可以包括用于查看所有搜索結果、前進通過結果、關閉結果等的（多個）選 項。覆蓋500可以包括與所選擇項目相關的細節。例如，在圖5中，覆蓋500包括所選擇項 目即人臉以及諸如姓名、新聞和其它相關信息的附加信息。該系統還可以提供指向互聯網 上的附加信息的超鏈接。例如，可以向用戶提供指向由所選擇項目所表示的人撰寫或與之 相關的書的鏈接。
[0026] 圖6是依據所描述的實施方式的用于進行視頻內容的圖像搜索的方法的流程 圖。通常，用戶從來自媒體源的視頻內容選擇圖像，該系統選擇圖像內的多個項目并且檢索 (多個）項目的標識狀態，然后用戶選擇（多個）項目中的一個，并且系統提供與（多個） 所選擇項目相關的信息。
[0027] 方法600作為示例而提供，因為存在有執行根據本公開的方法的多種方式。圖6 所示的方法600能夠由各種系統中的一個或其組合來執行或者以其它方式實施。該方法可 以通過計算機、計算機程序、客戶端、服務器、客戶端-服務器關系等來實施。作為示例，方 法600在這里被描述為由圖1-5的系統100和/或圖8的計算設備執行。
[0028] 該示例方法在框602開始，其中處理器從媒體源接收視頻內容，該媒體源可以是 服務器計算機、存儲器設備（例如數字多功能盤、家庭媒體存儲設備等）或者其它來源。在 框604,處理器接收來自用戶的從視頻內容選擇圖像的請求。框604之后為框606,其中圖 像被存儲在存儲器中，所述存儲器例如智能電視模塊或平板PC上的本地存儲器，或者是遠 程服務器計算機上的存儲器設備。框606之后為框608,其中選擇圖像中的多個項目，其中 第一項目具有已知的標識以及第二項目具有未知的標識。在一些實施方式中，該圖像包括 與廣告主商相關聯的廣告。該廣告可以包括指向與廣告主相關聯的網頁的超鏈接。在一些 實施方式中，在圖像中顯示多個項目。多個項目可以包括但并不限于人臉、對象、地平線等。 在一些實施方式中，多個項目可以由系統選擇。在一些實施方式中，多個項目可以由用戶選 擇。該系統可以通知用戶對多個項目的搜索已經開始。例如，在圖2中，多個項目利用虛線 描繪以表明對該項目的選擇。
[0029] 多個項目可以具有已知或未知的標識。該系統可以提供與標識狀態相關的通知。 應注意，可以使用許多不同方法來提供項目的標識狀態的通知，例如可以提供聽覺、圖形、 視覺、觸覺通知。該系統可以對突出顯示的區域搜索有關項目的另外信息。該系統可以執 行字符識別算法來確定與項目相關聯的文本字符。例如，瓶子可以包括該系統可以用來進 一步識別該項目和/或檢索與所選擇的項目相關的信息的文本。在一些實施方式中，該系 統可以通過將圖像劃分為多個分區、檢測多個分區中的每個分區中的特征、分析每個分區 中所檢測到的特征、并且確定所檢測到的特征是否包括文本，來識別所接收的圖像的文本 分區。該系統可以確定視頻內容具有從媒體源接收的視頻內容內的預定項目標識符數據。 例如，視頻內容可以具有該系統可以識別的嵌入式信息。
[0030] 在一些實施方式中，該系統可以對圖像執行識別算法。該識別算法可以對圖像掃 描具有已知標識的多個項目。該系統可以包括對圖像搜索項目的優先級，例如將搜索聚焦 于諸如臉部、標志、徽章、詞、對象等的項目。在其它實施方式中，視頻內容制作者可以對系 統進行調節以將內容嵌入在圖像內（例如廣告、產品等），這可以調節對圖像搜索項目的優 先級。在一些實施方式中，用戶可以調節對圖像搜索項目的優先級，例如將搜索聚焦于（多 個）項目和/或排除對其它（多個）項目的搜索。
[0031] 在一些實施方式中，一些項目可以具有未知的標識。未知的標識可以包括其中 (多個）項目被系統識別出但不是（多個）選擇項目的情形。該系統可以包括用于被系統 識別出但不是（多個）選擇項目的（多個）項目（例如樹木、天空、草地、道路、水、圖案等） 的數據庫。在一些實施方式中，未知的標識可以包括不是在圖像上被聚焦的（多個）項目。
[0032] 框608之后為框610,其中對圖像中的多個選擇項目進行突出顯示，其中對第一項 目的突出顯示具有與對第二項目的突出顯示不同的外觀。該系統可以提供對與選擇項目相 關的信息的檢索已經完成的通知。該系統還可以提供有關搜索項目標識的狀態的通知。存 在許多方法可以被用來提供有關項目標識的狀態的通知。在一些實施方式中，可以提供聽 覺反饋，例如激活語音的通知。例如，"瓶子的標識已知，手表具有多個標識，而書沒有已知 標識"。
[0033] 該系統可以通過向圖像匹配模塊發送圖像數據來搜索多個搜索項目的標識。該系 統可以基于該搜索而從圖像匹配模塊接收報告。如果基于該報告為一個項目找到了標識， 則該項目是具有已知標識的第一項目。如果基于該報告沒有為一個項目找到標識，則該項 目是具有未知標識的第二項目。在一些實施方式中，該報告可以指示潛在已知的標識，并且 利用具有與第一和第二項目外觀不同的外觀的突出對該項目進行突出顯示。例如，該項目 可以被該系統識別為可能具有匹配，但是該系統可能需要更多信息。在這種情況下，該系統 可以對對諸如基于web的服務器或用戶另外的源查詢更多信息。
[0034] 框610之后為框612,其中處理器接收對第一和第二項目中的一個的用戶選擇。框 612之后為框614,其中檢索與選擇項目相關的信息。框614之后為框616,其中提供基于 所檢索的信息的顯示數據。該顯示可以是用戶界面，諸如圖形用戶界面、命令行界面、基于 web的用戶界面、觸摸屏等。該顯示數據可以包括作為對視頻內容的覆蓋提供的數據。
[0035] 圖7是依據所描述的實施方式的用于廣告發布的方法的流程圖。通常，基于來自 媒體源的視頻內容選擇圖像，由廣告主服務器計算機對所選擇的圖像內的多個項目加以標 簽，并且提供與廣告主相關聯的廣告。
[0036] 方法700作為示例而提供，因為存在執行根據本公開的方法的多種方式。圖7所 示的方法700能夠由各種系統中的一個或其組合來執行或者以其它方式實施。該方法可以 通過計算機、計算機程序、客戶端、服務器、客戶端-服務器關系等來實施。作為示例，方法 700在這里被描述為由圖1-5的系統100和/或圖8的計算設備執行。
[0037] 該示例方法在框702開始，其中廣告服務器計算機從媒體源接收基于視頻內容選 擇的圖像。在一些實施方式中，該圖像可以由系統選擇。在一些實施方式中，用戶選擇圖像。 框702之后為框704,其中廣告服務器計算機例如響應于用戶提供的編程數據而對所選擇 的圖像加以標記。框704之后為框706,其中廣告服務器計算機提供與廣告主相關聯的廣告 和/或要廣告的產品或服務。所選擇的圖像可以包括具有廣告發布標簽的多個項目。該廣 告發布標簽可以包括廣告主生成的內容。該廣告主生成的內容可以包括文本、視頻和（多 個）超鏈接。超鏈接可以包括與廣告主相關聯的網站。在一些實施方式中，該內容與用戶 進行交互。在一些實施方式中，該廣告發布標簽可以由在線社區的用戶生成。用戶生成的 內容可以包括用戶簡檔數據、用戶評論、用戶偏好以及其它適當的用戶生成的內容。例如， 用戶A可以在來自媒體源的視頻內容中選擇圖像。所選擇的圖像可以包括多個項目，例如 手表。該手表可以利用已知的標識進行識別。用戶A可以選擇該手表。基于所檢索的與所 選擇的項目相關的信息的顯示數據可以包括到ABC手表公司的鏈接。其還可以包括來自相 關在線社區的用戶B的評論等。在一些實施方式中，用戶評論可以來自不相關的在線社區。 例如，@prettyinpinkl234，'ABC Watches are divine，'。
[0038] 圖8是依據所描述的實施方式的可以被用來實施該系統和方法的計算設備800的 框圖，其作為客戶端或服務器或者多個服務器。計算設備800可以包括但并不限于數字計 算機，諸如膝上計算機、臺式機、工作站、個人數字助理、服務器、刀片服務器、大型機、蜂窩 電話、智能電話、移動計算設備（例如，記事簿、電子閱讀器等），等等。
[0039] 計算設備800包括處理器802、存儲器804、接口 806和端口 808。每個組件802、 804、806和808使用各種總線互連，并且可以安裝在共用主板上，或者以其它適宜方式進行 安裝。處理器802能夠處理指令以便在計算設備800內執行以在諸如耦合到接口 808的顯 示器810的外部輸入/輸出設備上顯示用于GUI的圖形信息，所述指令包括存儲在存儲器 804中的指令。在其它實施方式中，如果適宜，可使用多個處理器和/或多個總線，以及多 個存儲器和存儲器類型。而且，可以連接多個計算設備800,每個設備提供必要操作的一部 分（例如，作為服務器組、刀片服務器分組、多處理器系統）。可以包括各種通信端口（例如 USB、藍牙、以太網、無線以太網等）的端口 808可以耦合至一個或多個輸入/輸出設備，諸 如鍵盤、鼠標、指示設備、掃描儀等，或者聯網設備（交換機、適配器、橋接器、路由器、集線 器、轉發器等）。
[0040] 處理器802例如可以提供設備800的其它組件的協調，諸如用戶接口的控制、設備 800進行的應用，以及設備800所進行的無線通信。處理器802可以通過耦合到顯示器810 的接口 806(例如控制、顯示、外部等）與用戶進行通信。顯示器810例如可以是TFT(薄膜 晶體管液晶顯示器）顯示器、0LED(有機發光二極管）顯示器、其它柔性顯示器等。接口 806 可以包括用于驅動顯示器810向用戶提供圖形、文本和其它信息的電路。接口 806可以從 用戶接收命令（例如語音激活的、文本等）并且對其進行轉換以便提供至處理器802。此 夕卜，可提供與處理器802進行通信并且使得設備800能夠與其它設備進行近距離通信的接 口 806。例如，接口 806可以提供有線通信。在一些實施方式中，可以使用多個接口。計算 設備800能夠通過接口 806進行無線通信，在必要情況下，該接口 806可以包括數字信號處 理電路。接口 806可在各種模式或協議下提供通信，諸如GSM語音呼叫、SMS、EMS或MMS消 息發送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。例如，這樣的通信可通過射頻收發 器進行。此外，諸如可使用藍牙、WiFi或其它這樣的收發器進行短距離通信。此外，GPS(全 球定位系統）接收器模塊可為設備800提供附加的導航和位置相關的無線數據，其可由設 備800上運行的應用適當使用。設備800還可以被提供以存儲設備已提供附加存儲，例如 固態閃存。每個組件可以使用各種總線進行互聯。若干組件可以安裝在公用主板上或者以 其它適當方式進行安裝。
[0041] 設備800可以通信音頻反饋。在一些實施方式中，音頻編解碼器可以從用戶接收 話音信息并且將其轉換為可用數字信息。該音頻編解碼器諸如可以通過揚聲器為用戶生成 可聽到的聲音，該揚聲器例如處于設備的耳機之中。（多種）聲音可以包括來自語音電話呼 叫的聲音、記錄的聲音（例如語音消息、音樂文件等）、在設備上操作的應用生成的（多種） 聲首等等。
[0042] 存儲器804存儲計算設備800內的信息。在一個實施方式中，存儲器804是一個 或多個易失性存儲單元。在另一個實施方式中，存儲器804是一個或多個非易失性存儲單 元。存儲器804還可以是其它形式的計算機可讀介質，諸如磁盤或光盤。存儲器804能夠 為計算設備800提供大型存儲。在一個實施方式中，存儲器804可以是或者可包含計算機 可讀介質，諸如軟盤設備、硬盤設備、光盤設備或帶設備、閃存或其它類似固態存儲設備、或 者設備陣列，包括存儲域網絡或其它配置中的設備。計算機程序產品可有形地在信息載體 中實現。該計算機程序產品還可包含指令，當被執行時，該指令執行諸如以上所描述的一個 或多個方法。該信息載體是計算機或機器可讀介質，諸如存儲器804、處理器802上的存儲 器、傳播信號等。可以提供擴展存儲器并通過接口 806將其連接至設備800。
[0043] 這些計算機程序（例如程序、軟件、軟件應用或代碼）包括用于可編程處理器的機 器指令，并且能夠以高級程序和/或面向對象編程語言來實施，和/或以匯編/機器語言來 實施。如這里所使用的，術語"機器可讀介質"和"計算機可讀介質"是指用來向可編程處 理器提供機器指令和/或數據的任意計算機程序產品、裝置和/或設備（例如磁碟、光盤、 存儲器、可編程邏輯控制器（PLC)、可編程邏輯設備（PLD))。
[0044] 為了提供與用戶的交互，這里所描述的系統和技術可在具有用于向用戶顯示信息 的顯示設備（例如，CRT(陰極射線管）或LCD(液晶顯示器）監視器）和用戶能夠通過其 為計算機提供輸入的鍵盤和指示設備（例如鼠標或軌跡球）的計算機上實施。也可以使用 其它類型的設備來提供與用戶的交互；例如，提供給用戶的反饋可以為任意形式的傳感器 反饋（例如視覺反饋、聽覺反饋或觸覺反饋）；并且來自用戶的輸入可以以任意形式接收， 包括聲音、話音或觸覺輸入。
[0045] 這里所描述的系統和技術的各種實施方式可以以數字電子電路、集成電路、專門 設計的ASIC (應用特定集成電路）、計算機硬件、固件、軟件和/或其組合來實現。這些各種 實施方式可以包括一個或多個計算機程序中的實施方式，該計算機程序可在包括至少一個 可編程處理器的可編程系統上執行和/或解釋，該可編程系統可以為專用或通用目的，其 被耦合為從存儲系統、至少一個輸入設備以及至少一個輸出設備接收數據和指令并且向其 傳送數據和指令。
[0046] 這里所描述的系統和技術可在計算系統中實現，該計算系統包括后端組件、中間 件組件或前端組件，或者這些后端、中間件或前端組件的任意組合。該系統的組件可通過任 意形式或介質的數字數據通信（例如通信網絡）進行互連。通信網絡的示例包括局域網 (LAN)、廣域網（WAN)和互聯網。
[0047] 雖然該說明書包含許多具體實施細節，但是這些不應當被理解為對于任何公開內 容的范圍或者可以請求保護的范圍的限制，而是作為特定于特定公開的特定實施方式的特 征的描述。在該說明書中以單獨實施方式為背景進行描述的某些特征也能夠在單個實施方 式中組合實施。相反，以單個實施方式為背景所描述的各種特征也可以在多個實施方式中 單獨實施或者以任意適當的子組合形式來實施。此外，雖然可以在上文中被描述為在某種 組合中起作用或者最初要求如此，但是來自所請求保護的組合的一個或多個特征在一些情 況下可以從組合中排出，并且所要求保護的組合可以針對于子組合或子組合的變化形式。 [0048] 類似地，雖然操作在附圖中以特定順序進行了描述，但是這并不應當被理解為要 求這樣的操作以所示出的特定順序或者連續順序來執行，或者所有圖示的操作都要被執行 才能實現所期望的結果。在某些情況下，多任務和并行處理可能是有利的。此外，以上所描 述的實施例中的各種系統組件的劃分并不應當被理解為在所有實施例中都要求這樣的劃 分，并且應當理解的是，所描述的程序組件和系統通常在單個軟件產品中集成在一起或者 被封裝到多個軟件產品中。
[0049] 因此，已經對主題的特定實施方式進行了描述。其它實施方式處于以下權利要求 的范圍之內。在一些情況下，權利要求中所記載的動作能夠以不同順序來執行且仍然實現 所期望的結果。此外，附圖中所描繪的過程不必要求所示出的特定順序或者連續順序來實 現所期望的結果。在某些實施方式中，多任務和并行處理可能是有利的。
【權利要求】
1. 一種系統，包括： 處理電路，被配置為： 從媒體源接收視頻內容； 接收來自用戶的從所述視頻內容選擇圖像的請求； 將所述圖像存儲在存儲器中； 選擇在所述圖像中顯示的多個項目，其中第一項目具有已知的標識以及第二項目具有 未知的標識； 對圖像中的多個所選擇的項目進行突出顯示，其中所述第一項目的突出顯示具有與所 述第二項目的突出顯示不同的外觀；接收對所述第一和第二項目中的一個的用戶選擇； 檢索與所選擇的項目相關的信息；以及 基于所檢索的信息來提供顯示數據。
2. 根據權利要求1所述的系統，其中該顯示數據包括作為對所述視頻內容的覆蓋而提 供的數據。
3. 根據權利要求1所述的系統，其中所述選擇包括對所述圖像執行字符識別算法以確 定與所述項目相關聯的文本字符。
4. 根據權利要求1所述的系統，其中所述選擇包括：確定在從所述媒體源接收的所述 視頻內容內所述視頻內容具有預定項目標識符數據。
5. 根據權利要求1所述的系統，所述處理電路被配置為： 搜索所述第二項目的標識； 提供包括多個潛在標識的顯示數據；以及 接收對所述第二項目的所述潛在標識中的一個的用戶選擇。
6. 根據權利要求1所述的系統，其中所述圖像包括與廣告主相關聯的廣告，所述廣告 包括指向與所述廣告主相關聯的網頁的超鏈接。
7. 根據權利要求1所述的系統，其中所述多個項目包括人臉和對象中的至少一個。
8. 根據權利要求1所述的系統，進一步包括通過以下操作來識別所接收的圖像中的文 本分區：將所述圖像劃分為多個分區；檢測所述多個分區中的每個分區中的特征；分析每 個分區中的所檢測到的特征；并且確定所檢測到的特征是否包括文本。
9. 根據權利要求1所述的系統，其中所述處理電路進一步被配置為：搜索多個所選擇 的項目的標識，其中所述搜索包括向圖像匹配模塊發送圖像數據； 基于所述搜索從所述圖像匹配模塊接收報告； 如果基于所述報告為一個項目找到了標識，則確定該項目是具有已知標識的第一項 目； 如果基于所述報告沒有為一個項目找到標識，則確定該項目是具有未知標識的第二項 目。
10. 根據權利要求9所述的方法，其中如果所述報告指示潛在已知的標識，則利用具有 與第一和第二項目外觀不同的外觀的突出顯示對所述項目進行突出顯示。
11. 一種方法，包括： 在處理器處從媒體源接收視頻內容； 在處理器處接收來自用戶的從所述視頻內容選擇圖像的請求； 將所述圖像存儲在存儲器中； 選擇所述圖像中的多個項目，其中第一項目具有已知的標識以及第二項目具有未知的 標識； 對所述圖像中的多個所選擇的項目突出顯示，其中對所述第一項目的突出顯示具有與 對所述第二項目的突出顯示不同的外觀；在處理器處接收對所述第一和第二項目中的一個 的用戶選擇；檢索與所選擇的項目相關的信息；以及 基于所檢索的信息來提供顯示數據。
12. 根據權利要求11所述的方法，其中所述顯示數據包括作為對所述視頻內容的覆蓋 而提供的數據。
13. 根據權利要求11所述的方法，其中所述選擇包括對所述圖像執行字符識別算法以 確定與所述項目相關聯的文本字符。
14. 根據權利要求11所述的方法，其中所述選擇包括：確定在從所述媒體源接收的視 頻內容內所述視頻內容具有預定項目標識符數據。
15. 根據權利要求11所述的方法，所述處理電路被配置為：搜索所述第二項目的潛在 標識。
16. 根據權利要求11所述的方法，所述處理電路被配置為：提供包括多個潛在標識的 顯示數據；并且接收對所述第二項目的所述潛在標識中的一個的用戶選擇。
17. 根據權利要求11所述的方法，其中所述圖像包括與廣告主相關聯的廣告，所述廣 告包括指向與廣告主相關聯的網站的超鏈接。
18. 根據權利要求11所述的方法，其中所述多個項目包括人臉、對象和場景中的至少 一個。
19. 根據權利要求11所述的方法，進一步包括通過以下操作來識別所接收的圖像中的 文本分區：將所述圖像劃分為多個分區；檢測所述多個分區中的每個分區中的特征；分析 每個分區中的所檢測到的特征；并且確定所檢測到的特征是否包括文本。
20. -種用于使用廣告服務器計算機進行廣告發布的方法，包括： 由廣告服務器計算機接收基于來自媒體源的視頻內容而選擇的圖像； 由所述廣告服務器計算機利用廣告發布標簽對包括多個項目的所選擇的圖像進行標 記，所述廣告發布標簽包括由廣告主生成的內容，廣告主生成的內容包括文本、視頻或超鏈 接中的一個；以及 由所述廣告服務器計算機提供與該廣告主相關聯的廣告。
21. 根據權利要求19所述的方法，其中所述超鏈接包括與所述廣告主相關聯的網站。
【文檔編號】G06F17/30GK104145267SQ201280071072
【公開日】2014年11月12日 申請日期:2012年10月16日 優先權日:2012年1月4日
【發明者】杰森·維滕施泰因-韋弗 申請人:谷歌公司