用于在線系統中的廣告和內容的質量評分系統的制作方法

用于在線系統中的廣告和內容的質量評分系統的制作方法
【專利摘要】一種在線信息系統的服務器系統將從存儲設備檢索的廣告項目和內容項目顯示為可供用戶在用戶設備上瀏覽的流。廣告項目和內容項目按照針對廣告項目中的每個項目和內容項目中的每個項目計算的排名分數而在所述流中被排序。質量評分系統基于與和用戶相關聯的用戶簡檔參數相匹配的當前內容項目的特征來確定用戶和當前項目內容之間的親和度分數并識別先前的內容項目的交互后滿意度。所述質量評分系統基于所述親和度分數和所述交互后滿意度來確定質量分數。服務器系統通過網絡將包括所述流的網頁傳輸至用戶設備。以此方式，廣告項目和內容項目在統一市場中競相包括在所述流中以供終端用戶瀏覽。
【專利說明】用于在線系統中的廣告和內容的質量評分系統

【背景技術】
[0001] 本申請總體上涉及數據處理系統。更具體地，本申請涉及用于一起在線顯示收入 生成信息（如廣告）和非收入生成信息（如內容）的系統和方法。
[0002] 作為廣告商向潛在顧客和客戶宣傳商品和服務信息的一種方式，在線廣告變得越 來越受歡迎。廣告商可以使用在線提供商（如Yahoo ! Inc.)的可訪問互聯網的設施來實 施廣告活動。在線提供商用于將廣告商與訪問在線資源（如搜索引擎及新聞和信息網站） 的用戶連接。廣告商的廣告（"ad"）被提供給用戶以告知和吸引用戶的注意。
[0003] -些在線提供商在網頁上提供內容和其他信息的流。用戶可以在設備（如臺式計 算機、便攜式計算機（如膝上型計算機），手持式設備（如平板計算機和智能手機）或多種 媒體設備（如電視））上訪問網頁。當該流在設備的顯示器上被瀏覽時，按照所顯示的項目 序列逐個項目地（例如在網頁上向下）呈現在該網頁上。在一些情況下，可以根據某些事 件，如一定時期的流逝、鼠標的滾動或空格鍵的點擊，在頁面的頂部或底部用新內容對流進 行更新。
[0004] 廣告項目（此處也被稱為"流廣告"）被插入內容流內，從而對項目序列進行補充。 流廣告可以被格式化以在視覺上與周圍的內容流匹配，以便顯得源自該流。可替代地，流廣 告可以被格式化以補足周圍的內容流，以便更加引人注目。
[0005] 流在在線演示上變得屢見不鮮，部分原因在于它們為網站設計師和廣告商提供了 更多的靈活性。如果流沒有用于在網頁上呈現數據，則網頁必定具有預定義的部分。僅具有 規定大小、形狀和內容的某些類型的信息可以在預定義的部分上呈現。流允許包括任何數 量、大小以及形狀的內容。當瀏覽者處理與不同的內容或廣告項目相關聯的信息時，流通過 清除與到一種不同的視覺格式或角度的切換相關聯的認知超載來降低瀏覽者的認知負荷。
[0006] 令人希望的是對流中的內容和廣告的流量進行管理以便進而管理與在線提供商 進行交互的用戶和廣告商的體驗。通過這種系統與本申請的其余部分中參照附圖闡述的本 披露的一些方面相比較，常規和傳統方法的進一步的局限性和缺點對本領域技術人員而言 將變得明顯。


【發明內容】

[0007] 根據這里披露的系統、產品和方法，在線提供商可以對用戶在網頁上可以看到 的內容流內的流廣告的位置、數量和空間與時間頻率進行控制。流可以被視為統一市場 (unified marketplace),其中收入生成項目和非收入生成項目兩者（如廣告項目和內容項 目）分別競相在流中呈現。評分、排名和定價技術允許對所有項目進行相稱處理（無論是 否對在線提供商有收入生成）。內容項目和廣告項目的其他商務規則在確定內容項目和廣 告項目如何呈現在流中時為在線提供商提供了進一步的自由度。
[0008] 評分的一個方面涉及有待向用戶呈現的內容項目。可以開發質量分數來反映內容 項目對用戶或用戶區隔的相對質量或合意性。內容項目的質量分數可以用于確定對內容的 出價金額，對內容的出價金額可以用于確定內容項目的排名分數。例如，在一個實施例中， 內容項目的質量分數被用作存儲了正在競相獲得相同的用戶對內容項目的注意的廣告項 目的出價值的表的索引。廣告項目的出價用于自動地計算內容項目的出價。使用內容項目 的出價結合被描述為可點擊性的度量和被描述為滿意度的度量，可以導出內容項目的排名 分數。
[0009] 在另一個實施例中，用于質量分數的質量分數是內容項目的受歡迎度和用戶與內 容項目之間的親和度的函數。單個項目的受歡迎度可以使用相似內容項目的受歡迎度和用 戶與先前內容項目的交互而記錄的用戶的歷史興趣來確定。親和度可以通過使內容項目與 用戶規定的用戶簡檔的參數相關或基于用戶過去與內容項目的交互來確定。
[0010] 對于在線提供商而言，控制流中的廣告的位置、數量和頻率可以幫助管理用戶和 廣告商對在線提供商的網站的體驗。提供太多的廣告會導致用戶的體驗欠滿意。提供太少 的廣告會減少或消除廣告商對網站的參與。為用戶提供最合適的內容項目和廣告項目可以 保持用戶參與網站并保證用戶將返回該網站。用戶的參與進而帶動在網站上投放流廣告的 廣告商的信心和參與。本披露總體上描述了 一種統一市場，其中在線提供商呈現的信息的 每個項目（從收入生成廣告到付費內容）被進行評分、根據顯式或隱式出價被定價，并且被 排名以便以諸如流的統一格式呈現。

【專利附圖】

【附圖說明】
[0011] 圖1為示例在線信息系統的框圖；
[0012] 圖2為示出了為了在流顯示器中顯示而修改的顯示廣告的示例；
[0013] 圖3為示出了一種用于在在線信息系統中對廣告項目和內容項目的流進行排名 和顯示的方法的一個實施例的流程圖；以及
[0014] 圖4為用于根據使用可點擊性（clickability)和點擊后滿意度分數計算的質量 分數來顯示流媒體饋送中的內容的示例過程。

【具體實施方式】
[0015] 現在將參照附圖在下文中更加全面地描述主題，這些附圖形成該主題的一部分， 并且以圖示的方式示出了特定示例性實施例。然而，可以以各種不同的形式實現主題，因 此，所涵蓋或要求保護的主題旨在被構造成不局限于此處闡述的任何示例實施例；所提供 的示例實施例僅是說明性的。同樣，意在要求保護或涵蓋的主題的合理廣泛的范圍。例如， 主題可以被實現為方法、設備、組件或系統，等等。因此，以下詳細說明并不旨在限制所要求 保護的范圍。
[0016] 貫穿本說明書和權利要求書，在明確闡述的意思之外，術語在上下文中還可以暗 示或隱含微妙的意思。同樣，如在此使用的短語"在一個實施例中"不一定是指同一實施例， 并且如在此使用的短語"在另一個實施例中"不一定是指不同的實施例。例如，旨在要求保 護的主題包括全部或部分示例實施例的組合。
[0017] 通常，術語可以被理解成至少部分地源自上下文中的用法。例如，如此處使用的諸 如"和"、"或"、或"和/或"的術語可以包括各種意思，這些意思可以至少部分地取決于這種 術語用于其中的上下文。典型地，如果用來關聯列表，如A、B或C，則"或"此處在包括意義 上使用時，旨在表示A、B和C，以及此處在排他性意義上使用時，表示A、B或C。此外，如在 此使用的術語"一個或多個"，至少部分地取決于上下文，可以用于以單數的意義描述任何 特征、結構或特性，或可以用于以復數的意義描述特征、結構或特性的組合。類似地，至少部 分地取決于上下文，如"一個"、"一種"、"該"等術語可以再次被理解成表達單數用法或理解 成表達復數用法。此外，再次至少部分地取決于上下文，術語"基于"可以被理解成不一定 旨在表達排他的一組因素，并且反而可以允許存在不一定明確描述的附加因素。
[0018] 在線信息系統將廣告商的廣告投放在終端用戶可以獲得的內容服務（如網頁、移 動應用（"app")、TV應用、或其他音頻或視覺內容服務）內。廣告與其他內容一起被提供。 其他內容可以包括文本、圖形、音頻、視頻的任意組合或這種內容的鏈接。廣告常規地基于 包括廣告商所規定的那些標準的各種標準而被選擇。廣告商常規地定義廣告活動以控制如 何和何時使得廣告可被用戶獲得以及規定那些廣告的內容。
[0019] 流在在線演示中變得屢見不鮮，因為它們為提供流的內容項目的內容提供商、提 供流的廣告項目的廣告商以及將內容項目和廣告項目組合來產生流的在線提供商提供了 靈活性。流允許任何數量和大小以及形狀的內容項目和廣告項目包括在流中。可以按照關 聯性或按照任何合適的參數對流中的元素進行排序。當瀏覽者處理與不同的內容或廣告項 目相關聯的信息時，流通過清除與到一種不同的視覺格式或角度的切換相關聯的認知超載 來降低瀏覽者的認知負荷。
[0020] 流可以被視為統一的市場，其中內容項目和廣告項目競相投放或包括在流中。市 場中的參與者為發起或提供廣告項目的廣告商和發起或提供內容項目的內容提供商。流和 市場可以由如雅虎公司等在線提供商托管或管理。在線提供商還可以將其自己產品和服務 的廣告或其自己的內容項目提供到流中。
[0021] 廣告商與在線提供商的設備進行交互以創造或提供在線廣告。在線廣告包括與廣 告商的標識相關聯地存儲在數據庫或其他存儲器中的廣告內容和一個或多個出價金額。廣 告內容可以包括文本或圖形或兩者以及登陸頁面的鏈接，當點擊該鏈接時用戶的瀏覽器被 重新引導向該登陸頁面。出價金額表示廣告商就有關廣告的事件將支付的金額。該事件可 以是用戶對廣告的印象或瀏覽、瀏覽廣告的用戶對廣告的點擊和其他選擇、或瀏覽廣告后 的行為，如提供信用卡信息或電子郵件地址。出價金額可以用于用以下有待描述的方式確 定廣告在流中的位置。在線廣告可以包括其他數據，也包括對廣告如何出現在流中進行定 義的數據。
[0022] 內容項目包括關于用戶可能感興趣的話題的信息。此信息可以包括到提供該話題 的更多信息和該話題的信息的概述的另一個網頁的鏈接。在一些實施例中，內容提供商將 使出價金額與內容項目相關。與廣告的出價金額相似，內容項目的出價金額可以基于印象、 點進、或另一種動作。并且，此出價金額可以用于以下面有待描述的方式確定內容項目在流 中的位置。可替代地，基于軟件的出價代理可以用于代表內容項目自動出價。
[0023] 內容項目和廣告項目競相包括在流中。可以使用廣義二級價格（GSP)拍賣機制清 理對流中的位置（slot)的競爭。在GSP拍賣中，最高出價人獲得第一位置，第二最高出價 人獲得第二位置等。然而，然后，最高出價人支付第二最高出價人出的價格。這與付費搜索 市場類似，盡管對付費搜索中的出價表述不同并且付費搜索市場中的競爭只在廣告之間。
[0024] 在一個實施例中，廣告商提供定向預測、廣告片段和出價。在一些實施例中，廣告 商可以提供三倍的預算，被稱為三倍定向。定向預測可以基于廣告商感興趣的任何類型的 市場區隔（segment)，在一個示例中，包括人口統計市場、基于性別或年齡的市場區隔、基于 用戶簡檔信息的行為區隔、或地理市場。出價可以是每次點擊成本（CPC)出價、每次印象成 本（CPM)出價或每次動作成本（CPA)出價。在線提供商可以選擇不支持所有市場中的所有 出價類型。
[0025] 允許什么樣的廣告商出價在很大程度上決定了其出價行為。對于管理統一市場的 在線提供商而言，在允許廣告商對非常具體的目標進行出價與允許廣告商對更多廣泛的目 標進行出價之間存在折衷。
[0026] 在線提供商較具有很少廣告商的清淡市場更喜歡具有許多競爭廣告商的稠密市 場。市場越稠密，在線提供商的收入增加的可能就越大。然而，許多廣告商對特定用戶類型 非常感興趣。這些窄聚焦用戶將很可能置身于市場之外，除非允許對他們更窄地出價。廣 泛的目標降低了廣告商獲得的平均值，因為他們的廣告可能被顯示給對他們的產品可能不 感興趣的用戶。較低的預期值導致較低的出價。
[0027] 可以通過對表現的定價、通過使用優異的評分算法和通過防止低相關性的廣告顯 示在流中來緩解這些折衷中的一些折衷。對表現的定價暗含只有當用戶對廣告響應時才收 費。廣告商將更愿意當用戶歸順（如對產品或服務進行支付）時才支付。然而，定義和追 蹤歸順和對歸順率進行估算會難于做得可靠，所以市場運營商更愿意按更容易追蹤和估算 的點擊進行收費。每次點擊收費會提出挑戰。例如，不是來自用戶的所有點擊都轉變成廣 告商的銷售。在太多的點擊沒有產生轉變的情況下，可能導致廣告的低質量分數。
[0028] 廣泛的定向需要精確的評分方法來保持良好的用戶和廣告商體驗。評分是將一個 值分配給一個廣告或內容項目的過程，然后該值可以用于確定哪個項目應包括在流中。此 精確的評分可能需要在線提供商不僅檢查廣告片段還要檢查登陸頁面的內容。在一些實施 例中，廣告可以包括附加信息，如廣告商自動收集或手動提供的并且被用作到評分函數的 信號的元數據。
[0029] 廣泛的定向還會增加 CPC廣告的定價的難度。在對廣告進行定價中，重要的是在 關鍵字與搜索項目之間的匹配的質量與廣告的質量之間進行區別。在線運營商可以選擇對 低質量匹配的廣告商進行打折，此低質量匹配是進行匹配的在線市場的運營商的責任。在 線運營商可以選擇對是廣告商的責任的低質量廣告收取附加費。
[0030] 現在將描述一種示例性系統，其中可以展示和描述廣告項目和內容項目的統一市 場的方面。將結合附圖提供進一步的細節和任選實施例。
[0031] 圖1為在線信息系統100的框圖。圖1的示例性實施例中的在線信息系統100包括 賬戶服務器102、和賬戶數據庫104、搜索引擎106、廣告（ad)服務器108、廣告數據庫110、 內容數據庫114、內容服務器112以及排名引擎116。在線信息系統100可被一個或多個廣 告商設備（如廣告商設備122)和一個或多個用戶設備（如用戶設備124)通過網絡120訪 問。在這種在線信息系統的各示例中，用戶可以通過網絡120從多個源或從內容數據庫114 搜索并從獲得內容。廣告商可以提供廣告用于投放在通過網絡發送至用戶設備（如用戶設 備124)的網頁和其他通信中。在一個示例中，在線信息系統由在線提供商（如雅虎公司） 部署和運營。
[0032] 賬戶服務器102存儲廣告商的賬戶信息。賬戶服務器102與賬戶數據庫104進行 數據通信。賬戶信息可以包括與每個廣告商相關的對應的一個或多個數據庫記錄。賬戶管 理服務器102可以存儲、保持、更新和從內容數據庫104讀取任何適合的信息。示例包括廣 告商標識信息、廣告商安全信息（如密碼和其他安全憑證）、以及賬戶余額信息。
[0033] 可以使用任何適合的設備實現賬戶服務器102。賬戶管理服務器102可以被實現 為單個服務器、多個服務器、或本領域內已知的任何其他類型的計算設備。優選地，可以通 過防火墻（未示出）完成對賬戶服務器102的訪問，該防火墻保護賬戶管理程序和賬戶信 息免受外部篡改。可以通過增強標準通信協議（如安全HTTP或安全套接字層）來提供附 加安全。
[0034] 賬戶服務器102可以提供廣告商前端以簡化對廣告商的賬戶信息進行訪問的過 程。該廣告商前端可以是形成用戶界面的程序、應用或軟件例程。在一個具體實施例中，該 廣告商前端作為具有訪問廣告商可以在如廣告商設備122的廣告商設備上瀏覽的一個或 多個網頁的網站而是可訪問的。廣告商可以使用廣告商前端瀏覽和編輯賬戶數據和廣告數 據。對廣告數據進行編輯之后，然后可以將賬戶數據保存到賬戶數據庫104。
[0035] 搜索引擎106可以是計算機系統、一個或多個服務器、或本領域內已知的任何其 他計算設備。可替代地，搜索引擎106可以是存儲在在單個服務器、多個服務器、或本領域 內已知的任何其他類型的計算設備的處理器上運行的計算機可讀存儲介質上的計算機程 序、指令或軟件代碼。例如，用戶操作的用戶設備（如用戶設備124)可以通過網絡120訪 問搜索引擎106。用戶設備124將用戶查詢傳送至搜索引擎106。搜索引擎106使用任何 適合的協議或算法定位匹配信息并將信息返回至用戶設備124。搜索引擎106可以被設計 成用于幫助用戶找到位于互聯網或內聯網上的信息。在一個具體示例中，搜索引擎106還 可以通過網絡120向用戶設備124提供具有包括以下各項內容的網頁：搜索結果、與用戶查 詢的背景匹配的信息、其他網絡目的地或信息和操作用戶設備124的用戶感興趣的信息的 文件的鏈接、以及被選擇用于向用戶顯示的內容項目和廣告項目的流。
[0036] 搜索引擎106可以使設備（如用戶設備124或任何其他客戶端設備）能夠使用搜 索查詢搜索感興趣的文件。典型地，客戶端設備可以通過一個或多個服務器或直接通過網 絡120訪問搜索引擎106。例如，在一個說明性實施例中，搜索引擎106可以包括網絡爬蟲 組件、索引器組件、索引儲存組件、搜索組件、排名組件、高速緩沖存儲器、簡檔存儲組件、登 錄組件、簡檔建立器、以及一個或多個應用程序接口（API)。可以用分布式方式部署搜索引 擎106,例如，如通過分布式服務器集合。可以在網絡內復制組件，如用于冗余或更好的訪 問。
[0037] 廣告服務器108操作用于向如用戶設備124的用戶設備供應廣告。廣告包括對用 戶設備的用戶感興趣的廣告信息進行定義的數據。廣告可以包括文本數據、圖形數據、圖像 數據、視頻數據、或音頻數據。廣告可以進一步包括對提供這種數據的其他網絡資源的一個 或多個鏈接進行定義的數據。其他位置可以是互聯網上的其他位置、廣告商操作的內聯網 上的其他位置、或任何訪問。
[0038] 對于在線信息提供商而言，廣告可以顯示在由至少部分地基于一個或多個搜索項 目的用戶定義的搜索產生的網頁上。如果所顯示的廣告與一個或多個用戶的興趣相關，則 廣告會對用戶、廣告商或門戶網站有益。因此，已經開發了各種技術來推斷用戶興趣、用戶 意圖或隨后定向將相關廣告宣傳給客戶。
[0039] 一種呈現定向廣告的方法包括使用人口統計特性（例如，年齡、收入、性別、職業 等）用于如按組預測用戶行為。可以至少部分地基于所預測的用戶行向目標觀眾中的用戶 呈現廣告。
[0040] 另一種方法包括簡檔型廣告目標定位。在本方法中，可以生成特定于用戶的用戶 簡檔以例如通過追蹤用戶通過網站或站點網絡的路徑、并至少部分地基于最終輸送的網頁 或廣告對簡檔進行編譯來建模用戶行為。可以識別相關性，例如，如針對用戶購買的東西。 所識別的相關性可以用于通過將內容或廣告目標定位為特定的用戶來把潛在的購買者定 位為目標。
[0041] 又另一種方法包括基于用戶請求的網頁的內容來進行目標定位。廣告可以投放在 網頁上或與和這些廣告的主題相關的其他內容相關聯。可以用任何適合的方式確定內容與 廣告之間的關系。特定網頁的整體主題可以例如通過對網頁內呈現的內容進行分析來確 定。此外，已經開發了多種技術用于顯示適于當前用戶正在瀏覽的文章的特定部分的廣告。 相應地，可以通過使廣告和網頁內的關鍵字和/或短語匹配來選擇廣告。一種示例性系統 和方法在2013年3月15日提交的題為用于觀眾購買的用戶簡檔與觀眾區隔的高效匹配 (Efficient Matching of User Profiles with Audience Segments for Audience Buy)的 13/836, 052號美國未決專利申請中被披露。此申請通過引用以其全文結合于此。
[0042] 廣告服務器108包括操作用于對廣告數據進行格式化以便傳送給用戶設備的邏 輯與數據。廣告服務器108與廣告數據庫110進行數據通信。廣告數據庫110存儲包括對 有待被供應至用戶設備的廣告進行定義的數據的信息。廣告數據可以由另一個數據處理設 備或廣告商存儲在廣告數據庫110內。廣告數據可以包括對對應的廣告的廣告創意和出價 金額進行定義的數據。
[0043] 例如，廣告數據可以被格式化為可以被包括在提供給用戶設備的內容項目和廣告 項目流內的廣告項目。格式化的廣告項目由外觀、大小、形狀、文本格式化、圖形格式化和 所包括的信息來規定，以上各項全都可以被標準化以為流中的所有廣告項目提供一致的面 貌。至少一些廣告項目可以具有相關聯的出價金額并且可以被認為是收入生成項目。然后， 廣告服務器108將這些廣告項目提供給其他網絡設備（如排名引擎116)。
[0044] 進一步地，廣告服務器108與網絡120進行數據通信。廣告服務器108通過網絡 120將廣告數據和其他信息傳送至設備。此信息可以包括被傳送至用戶設備的廣告數據。 此信息還可以包括用廣告商設備（如廣告商設備122)傳送的廣告數據和其他信息。操作 廣告商設備的廣告商可以通過網絡訪問廣告服務器108來訪問包括廣告數據的信息。此訪 問可以包括開發廣告創意、編輯廣告數據、刪除廣告數據、設置和調整出價金額以及其他活 動。
[0045] 廣告服務器108可以提供廣告商前端以簡化對廣告商的廣告數據進行訪問的過 程。該廣告商前端可以是形成用戶界面的程序、應用或軟件例程。在一個特定實施例中，該 廣告商前端作為具有一個或多個網頁的網站而是可訪問的，訪問廣告商可以在廣告商設備 上瀏覽該一個或多個網頁。廣告商可以使用廣告商前端瀏覽和編輯廣告數據。對廣告數據 進行編輯之后，然后該廣告數據可以被保存到廣告數據庫110以便隨后以廣告形式傳送至 用戶設備。
[0046] 廣告服務器108可以是計算機系統、一個或多個服務器、或本領域內已知的任何 其他計算設備。可替代地，搜索引擎108可以是存儲在在單個服務器、多個服務器、或本領 域內已知的任何其他類型的計算設備的處理器上運行的計算機可讀存儲介質上的計算機 程序、指令和/或軟件代碼。
[0047] 內容服務器112與內容數據庫114、廣告服務器108以及排名引擎116進行數據通 信。內容服務器112可以從內容數據庫114或者通過網絡120從可訪問的另一個位置訪問 內容項目的信息。內容服務器112通過網絡120將對內容項目進行定義的數據和其他信息 傳送至設備。此信息可以包括被傳送至用戶設備的內容數據。此信息還可以包括用操作內 容提供商設備的內容提供商傳送的內容數據和其他信息。操作提供商設備的內容提供商可 以通過網絡120訪問內容服務器112來訪問包括內容數據的信息。此訪問可以包括開發內 容項目、編輯內容項目、刪除內容項目、設置和調整出價金額以及其他活動。
[0048] 內容服務器112可以提供內容提供商前端以簡化對內容提供商的內容數據進行 訪問的過程。該內容提供商前端可以是形成用戶界面的程序、應用程序或軟件例程。在一 個特定實施例中，該內容提供商前端作為具有一個或多個網頁的網站而是可訪問的，訪問 內容提供商可以在內容提供商設備上瀏覽該一個或多個網頁。內容提供商可以使用內容提 供商前端瀏覽和編輯內容數據。對內容數據進行編輯之后，然后該內容數據被保存到內容 數據庫114以便隨后傳送至用戶設備。
[0049] 內容服務器112包括操作用于對內容數據和其他信息進行格式化以便傳送至用 戶設備的邏輯與數據。例如，內容數據可以被格式化為可以被包括在被提供向用戶設備的 內容項目和廣告項目的流內的內容項目。格式化的內容項目由外觀、大小、形狀、文本格式 化、圖形格式化和所包括的信息來規定，以上各項全都可以被標準化以為流中的所有內容 項目提供一致的面貌。在一些實施例中，這些內容項目具有相關的出價金額，該出價金額用 于對呈現給用戶設備的項目流中的內容項目進行排名或定位。在其他實施例中，這些內容 項目不包括出價金額，或者出價金額不用于對這些內容項目進行排名。這種內容項目可以 被認為是非收入生成項目。然后，內容服務器112將這些內容項目提供給其他網絡設備（如 廣告服務器108和排名引擎116)。
[0050] 排名引擎116與廣告服務器108、廣告數據庫110、內容服務器112以及內容數據 庫114進行數據通信。排名引擎118被配置成用于識別有待包括在有待提供給用戶設備 (如用戶設備124)的內容項目和廣告項目的流中的項目。排名引擎118因此可以被配置成 用于確定哪些廣告項目和哪些內容項目有資格被包括在流中和用于評分以及用于對流中 的各個廣告項目和各個內容項目進行排序。
[0051] 在一個實施例中，排名引擎116被配置成用于使用從廣告數據庫110檢索的出價 值來計算多個廣告項目中的每個廣告項目的排名分數。排名引擎116被進一步配置成用于 使用從內容數據庫114獲得的出價值來計算多個內容項目中的每個內容項目的排名分數。 當確定排名分數時，排名引擎116可以使用可從廣告服務器108、廣告數據庫110、內容服務 器112和內容數據庫114以及賬戶數據庫104獲得的其他信息。以下將描述包括排名引擎 的在線信息系統100的示例性操作的其他實施例和其他細節。
[0052] 賬戶服務器102、搜索引擎106、廣告服務器108、內容服務器112和排名引擎114 可以被實現為任何適合的計算設備。計算設備可以能夠如通過有線或無線網絡發送或接收 信號，或可以能夠處理信號或將信號存儲在如物理存儲器狀態的存儲器內，并且因此可以 作為服務器運行。因此，能夠作為服務器運行的設備可以包括（舉例來講）專用機架式安 裝的服務器、臺式計算機、膝上型計算機、機頂盒、組合了如上述設備中的兩個或更多特征 的多種特征的集成設備，等等。
[0053] 服務器在配置或能力上可以差異很大，但通常服務器可以包括一個或多個中央 處理單元和存儲器。服務器還可以包括一個或多個大容量存儲設備、一個或多個電源、一 個或多個有線或無線網絡接口、一個或多個輸入/輸出接口、或一個或多個操作系統，如 Windows 服務器、Mac 0S X、Unix、Linux、FreeBSD 等。
[0054] 賬戶服務器102、搜索引擎106、廣告服務器108、內容服務器112和排名引擎114 可以被實現為在線服務器系統或可以與在線服務器系統進行通信。在線服務器系統可以包 括一種設備，該設備包括一種通過網絡向另一個設備提供內容的配置，包括響應于所接收 到的對頁面瀏覽的請求。在線服務器系統可以例如托管網站，如社交網站，社交網站的示例 可以包括但不限于網絡相簿（Flickr)、推特網（Twitter)、臉譜網（Facebook)、人際關系網 (Linkedln)、或個人用戶網站（如，博客、視頻博客、在線交友網站等）。在線服務器系統還 可以托管各種其他網站，包括但不限于商務網站、教育網站、字典網站、百科全書網站、維基 百科、財經網站、政府網站等。
[0055] 在線服務器系統可以進一步提供各種服務，包括但不限于網絡服務、第三方服務、 音頻服務、視頻服務、電子郵件服務、即時消息傳送（頂）服務、SMS服務、MMS服務、FTP服 務、IP電話（V0IP)服務、日歷服務、照相服務等。內容的示例可以包括文本、圖像、音頻、視 頻等，可以用物理信號（例如，如電信號）的形式處理這些內容，或例如其可以存儲在如物 理狀態的存儲器內。可以作為在線服務器系統運行的設備的示例包括臺式計算機、多處理 器系統、微處理器型或可編程消費電子產品等。在線服務器系統可以不與廣告服務器108、 內容服務器112或排名引擎116處于共有所有權或控制下。
[0056] 網絡120可以包括任何數據通信網絡或多種網絡的組合。網絡可以連接多個設 備，從而使得可以如在服務器和客戶端設備或其他類型的設備之間互換通信，包括通過例 如無線網絡連接的無線設備之間。網絡還可以包括大容量存儲，如網絡附加存儲（NAS)、存 儲區域網絡（SAN)、或例如其他形式的計算機或機器可讀介質。網絡可以包括互聯網、一個 或多個局域網（LAN)、一個或多個廣域網（WAN)、有線式連接、無線式連接、或以上各項的任 意組合。同樣，子網絡（如可以使用不同的架構或可以符合不同的協議或與之兼容）可以 在較大的網絡（如網絡120)內互操作。各種類型的設備可以例如可用于為不同的架構或 協議提供可互操作的能力。作為一個說明性示例，路由器可以在另外單獨和獨立LAN之間 提供鏈接。通信鏈接或通道可以包括例如模擬電話線（如雙絞線、同軸電纜）包括T1、T2、 Τ3或Τ4型線的全部或部分數字線、綜合業務數字網絡（ISDN)、數字用戶線（DSL)、包括衛 星鏈接的無線鏈接、或如本領域的技術人員可以已知的任何其他通信鏈接或通道。此外，例 如，計算設備或其他相關電子設備可以如通過電話線或連接遠程地連接到網絡上。
[0057] 廣告商設備122包括可以通過網絡120訪問在線信息系統100的任何數據處理設 備。廣告商設備122操作用于通過網絡120與賬戶服務器102、搜索引擎106、廣告服務器 108、排名引擎116、內容服務器和其他數據處理系統進行交互。廣告商設備122可以例如實 現用于瀏覽網頁和提交用戶請求的網絡瀏覽器。廣告商設備122可以將數據傳送至在線信 息系統100,包括對網頁進行定義的數據和其他信息。廣告商設備122可以從在線信息系統 100接收通信，包括對網頁進行定義的數據和廣告創意。
[0058] 在一些實施例中，內容提供商可以用通常在結構和功能上與廣告商設備類似的內 容提供商設備訪問在線信息系統100。內容提供商提供例如對內容數據庫114中的內容數 據的訪問。
[0059] 用戶設備124包括可以通過網絡120訪問在線信息系統100的任何數據處理設 備。用戶設備124操作用于通過網絡120與搜索引擎106進行交互。用戶設備124可以例 如實現用于瀏覽網頁和提交用戶請求的網絡瀏覽器。操作用戶設備124的用戶可以鍵入搜 索請求并將該搜索請求傳送至在線信息系統1〇〇。搜索引擎對搜索請求進行處理并且搜索 結果被返回至用戶設備124。在其他示例中，用戶設備124的用戶可以從在線信息處理系統 100請求如信息頁面的數據。替代地，可以在如本地移動應用、TV應用、或音頻應用的另一 種環境中提供數據。在線信息處理系統100可以提供該數據或將瀏覽器重新引導向另一個 網站。此外，廣告服務器可以從廣告數據庫110選擇廣告并且將定義廣告的數據包括在被 提供給用戶設備124的數據中。
[0060] 當在在線信息系統100上訪問信息時，廣告商設備122和用戶設備124作為客戶 端設備而運行。客戶端設備（如廣告商設備122和用戶設備124)可以包括能夠如通過有 線或無線網絡發送或接收信號的計算設備。客戶端設備可以例如包括臺式計算機或便攜式 設備（如蜂窩電話、智能手機、顯示傳呼機）、射頻（RF)設備、紅外（IR)設備、個人數字助 理（PDA)、手持計算機、平板計算機、膝上型計算機、機頂盒、可佩戴計算機、組合了各種特征 (如上述設備的特征）的集成設備等。在圖1的示例中，膝上型計算機126和智能手機128 兩者可以作為廣告商設備或用戶設備被操作。
[0061] 客戶端設備在能力和特征方面可能不同。要求保護的主題旨在涵蓋大范圍的可能 變化。例如，手機可以包括數字小鍵盤或功能性有限的顯示器，如用于顯示文本的黑白液晶 顯示器（LCD)。然而，相比之下，作為另一個示例，支持網絡的客戶端設備可以包括一個或 多個物理或虛擬鍵盤、大容量存儲、一個或多個加速計、一個或多個陀螺儀、全球定位系統 (GPS)或其他位置識別型能力、或具有高度功能性的顯示器，例如，如觸敏彩色2D或3D顯 示器。客戶端設備（如廣告商設備122和用戶設備124)可以包括或可以執行各種操作系 統，包括個人計算機操作系統，如Windows、iOS或Linux操作系統，或移動操作系統，如iOS、 安卓（Android)、或Windows移動操作系統等。客戶端設備可以包括或可以執行各種可能 的應用，如能夠與其他設備進行通信的客戶端軟件應用，如（如通過電子郵件、短消息服務 (SMS)、或多媒體消息服務（MMS))傳輸一條或多條消息，包括通過網絡，如社交網絡，包括 例如 Facebook、Linkedln、Twitter、Flickr、或谷歌（Google+)，僅提供了一些可能的示例。 客戶端設備還可以包括或執行一種應用，以傳輸內容，例如，如文本內容、多媒體內容等。客 戶端設備還可以包括或執行一種執行各種可能任務的應用，如瀏覽、搜索、播放各種形式的 內容，包括本地存儲的或流式視頻、或游戲。提供上述內容以說明要求保護的主題旨在包括 大范圍的可能的特征或能力。
[0062] 圖2示出了在所選擇的用戶設備上顯示的內容項目和數據項目的流。在圖2中， 顯示廣告202被圖示為顯示在各種顯示器上，包括移動網絡設備顯示器204、移動應用顯示 器206和個人計算機顯示器208。移動網絡設備顯示器204可以在移動手持設備（如智能 手機）的顯示屏上示出。移動應用顯示器206可以在便攜式設備（如平板計算機）的顯示 屏上示出。個人計算機顯示器208可以在個人計算機（PC)的顯示屏上顯示。
[0063] 圖2中示出了顯示廣告202被格式化以便在用戶設備上顯示，但不作為流的一部 分，用于展示這種顯示廣告的內容的示例。顯示廣告202包括文本212、圖形圖像214和定 義的邊界216。顯示廣告202由廣告商開發用于投放到被發送至用戶操作的用戶設備的網 頁上。顯示廣告202可以投放在網頁上的各種位置上。然而，定義的邊界216和該顯示廣 告的形狀必須與網頁上可用的空間匹配。如果可用的空間具有錯誤的形狀或大小，則顯示 廣告202可能是不可用的。
[0064] 為了克服這些要求和限制，顯示廣告202可以重新格式化或以替代性方式格式化 以便包括在內容項目和廣告項目的流內，該流包括結合了顯示廣告202的內容的流廣告。
[0065] 在這些示例中，該顯示廣告被示為流224a、224b、和224c的一部分。流224a、224b、 224c包括一項目序列，該項目序列在移動網絡設備顯示器204、移動應用顯示器206和個 人計算機顯示器208上瀏覽的網頁上以一個項目接另一個項目的方式例如向下顯示。流 224a、224b、224c可以包括任何類型的項目。在所示示例中，流224a、224b、224c包括內容項 目和廣告項目。例如，流224a包括內容項目226a和228a以及廣告項目222a;流224b包括 內容項目2261^、22813、23013、23213、23413和廣告項目22213 ;以及流224(3包括內容項目226(3、 228c、230c、232c、234c以及廣告項目222c。流224a、224b、224c中的每個流可以包括任何 數量的內容項目和廣告項目。在一個實施例中，流224a、224b、224c可以被安排成對用戶而 言好像是一個無盡的項目序列，從而使得當流224a、224b、224c其中之一所顯示在其上的 用戶設備的用戶滾動顯示器時，看來像無盡的項目序列出現在所顯示的流中。
[0066] 位于流224a、224b、224c中的任何流內的內容項目可以包括新聞項目、商務相關 項目、體育相關項目等。進一步地，除了文本或圖形內容以外，任何流中的內容項目還可以 包括其他數據，如音頻和視頻數據或應用。每個內容項目可以包括文本、圖形、其他數據、以 及到附加信息的鏈接。點擊或以其它方式選擇該鏈接將用戶設備上的瀏覽器重新引導向包 含該附加信息的被稱為登陸頁面的網頁。
[0067] 類似廣告項目222a、222b、和222c的流廣告可插到內容流內，從而補充相關項目 序列，為終端用戶提供更多無縫體驗。與內容項目類似，廣告項目可以包括文本或圖形內容 以及如音頻和視頻數據或應用的其他數據。每個廣告項目222a、222b、和222c可以包括文 本、圖形、其他數據、以及到附加信息的鏈接。點擊或以其他方式選擇該鏈接將用戶設備上 的瀏覽器重新引導向被稱為登陸頁面的網頁。
[0068] 雖然分別以單個可見的廣告項目222a、222b、222c示出了示例性流224a、224b、 224c，但任何數量的廣告項目可以包括在項目流內。傳統地，已知的是將廣告項目定位在固 定位置處。例如，在一個傳統系統中，已知的是將廣告項目定位在流中從頂部開始數的第三 項目處，流中的第十六項目處和流中的每隔十三個項目之后。即，在該傳統系統中，廣告位 于流中的預定義位置（slot)內。廣告的定位在所有條件下對所有用戶而言都是相同的。在 此方面，廣告和內容項目在流內是補充物。如果內容項目沒有投放在流中的指定位置處，則 將廣告投放在那個位置內。
[0069] 根據所示實施例的一個方面，廣告在流中的定位被作成動態的。流中的任何位置 受到廣告項目與內容項目之間的競爭。針對各個項目，分數被確定。使廣告項目與內容項 目的分數相稱，從而使得可以對廣告項目與內容項目進行彼此排名，并且該排名用于對流 進行填充。以下將進一步詳細討論用于對廣告項目與內容項目進行排名的技術。
[0070] 圖3為示出了一種用于在在線信息系統中對廣告項目和內容項目流進行排名和 顯示的方法的一個實施例的流程圖。可以由例如圖1的包括賬戶服務器102、搜索引擎106、 廣告服務器108、內容服務器112和排名引擎114的在線信息系統100的元件執行圖3的方 法。在其他實施例中，其他組件可以參與執行圖3的方法，并且可以省略針對圖3的方法所 示的步驟中的一些步驟或對其進行重新排序，并且可以添加或替代不同的步驟。
[0071] 該方法在框300處開始。在框302處，該方法循環等待以接收網頁瀏覽請求。網 頁瀏覽請求是通過網絡（如圖1的網絡120)接收的數據通信。該數據通信包括指定要瀏 覽的網頁的數據。例如，網頁瀏覽請求可以指定在線提供商（如雅虎）的統一資源定位符 (URL),包括URL yahoo, com。所請求的網頁為這樣一個網頁，其可以由包括至少兩種不同 類型的項目的流填滿或填充一部分。在此處所示示例中，包括在流中的項目的類型為通常 如圖2的示例實施例中所示的內容項目和廣告項目。然而，在其他實施例中，可以在流中 提供其他類型的項目，并且可以根據任何方便的或有用的標準選擇項目的類型或項目的種 類。例如，替代對流填充如圖2中所示的內容項目和廣告項目，還可以用體育相關的內容項 目和新聞相關的內容項目對流進行填充。在另一個示例中，替代對僅對如內容項目和廣告 項目兩種類型的項目進行評分和一起排名，可以對超過兩種項目進行評分和排名，包括內 容項目、CPC廣告項目和CPM廣告項目。圖3中所示的方法可以被擴展至最廣泛的各種組 合。
[0072] 在頁面瀏覽請求已經接收到之后，在框304處，對廣告項目和內容項目進行資格 認證，從而使得只有有資格的項目為進一步處理的對象。在一個示例中，被選擇以進行資格 認證的項目包含在圖1的在線信息系統100的廣告數據庫110和內容數據庫114內。
[0073] 可以使用任何合適的輸入端在任何合適的基礎上執行資格認證。例如，可以基于 從其上接收網頁瀏覽請求的用戶的標識信息對廣告項目和內容項目進行資格認證。如果在 線信息系統已經存儲了所標識的用戶的興趣和偏好的信息，則此信息可以用于對廣告項目 和內容項目進行資格認證。并且，如果廣告商具有規定的目標定位約束，如性別、年齡和地 理位置，則那些約束可以應用于有關用戶的用于對廣告項目和內容項目進行資格認證的已 知信息。又進一步地，如果頁面請求包括對用戶設備的設備類型或平臺進行規定的信息，則 該平臺信息可以用于對廣告項目和內容項目進行資格認證以供進一步處理。一些內容提供 商可以限制他們將發送給特定平臺的內容項目或基于平臺信息將內容項目格式化成一種 特定格式。類似地，一些廣告商可以將特定的廣告項目僅引導至臺式計算機或平板計算機。 一旦已經對內容項目和廣告項目進行了資格認證，則處理繼續進行到框306。
[0074] 在框306處，針對每個廣告項目計算可點擊性分數，和針對每個內容項目計算可 點擊性分數。可點擊性是對給定的廣告項目或內容項目與平均廣告項目或內容項目相比多 獲得的點擊量數量的一種度量。在一個示例中，可點擊性為以下內容的函數：廣告項目或內 容項目針對所有用戶接收的點擊量的數量和廣告針對所有用戶接收的印象次數或瀏覽量 的數量、以及廣告項目或內容項目針對所有用戶的點進率（CTR)。可點擊性與位置無關。
[0075] 點進率被定義為廣告項目或內容項目接收到的點擊率與印象次數的比率。可以使 用所存儲的數據（如在線信息系統內的關于廣告的表現（performance)的統計數據）動態 地確定點進率。例如，特定的廣告項目或特定的內容項目每當在被廣告商顯示或瀏覽時，代 表該項目的瀏覽量或印象次數的數據項目則遞增。類似地，每當特定的廣告項目或特定的 內容項目被用戶點擊或以其他方式選擇時，代表該項目的點擊量或點進量的數據項目則遞 增。數據項目可以存儲在廣告數據庫、內容數據庫或任何其他合適的存儲設備內，如圖1的 廣告數據庫110和內容數據庫114。類似地，可以例如通過圖1的廣告服務器108、內容服 務器112或排名引擎116執行數學處理。
[0076] 在一個示例中，點進率被定義為：
[0077]

【權利要求】
1. 一種用于確定流媒體饋送中的內容項目的質量分數的系統，包括： 處理器； 存儲器，所述存儲器通信地耦合至所述存儲器，所述存儲器包括能夠由所述處理器執 行以進行以下動作的指令： 基于與和用戶相關聯的用戶簡檔參數相匹配的當前內容項目的特征來確定所述用戶 與所述當前內容項目之間的親和度分數； 識別與所述當前項目在分類上匹配的先前的內容項目的交互后滿意度； 基于所述親和度分數和所述交互后滿意度確定質量分數；以及 顯示器，通信地耦合到所述處理器，所述顯示器被配置成顯示所述質量分數。
2. 如權利要求1所述的系統，其中基于所述親和度分數和所述交互后滿意度確定質量 分數的指令包括進行以下動作的指令： 基于識別的所述交互后滿意度導出交互后滿意度分數；以及 通過計算所述親分數和度與所述交互后滿意度分數的乘積來確定所述質量分數。
3. 如權利要求1所述的系統，其中所述親和度分數與所述當前內容項目在流媒體饋送 中的位置無關。
4. 如權利要求1所述的系統，其中所述親和度分數與所述當前內容項目在流媒體饋送 中的配置無關。
5. 如權利要求1所述的系統，其中確定所述親和度分數的指令包括： 確定第一概率的指令，所述第一概率為所述用戶將選擇與流媒體饋送中的所述當前內 容項目進行交互的概率； 確定第二概率的指令，所述第二概率為所述用戶將選擇與所述流媒體饋送中的通常是 內容項目進行交互的概率；以及 基于所確定的第一概率和所確定的第二概率之間的關系來確定所述親和度分數的指 令。
6. 如權利要求1所述的系統，其中所確定的第一概率和所確定的第二概率之間的所述 關系為比率。
7. 如權利要求1所述的系統，其中所述存儲器包括能夠由所述處理器執行以下動作的 指令：基于所述親和度分數、所述交互后滿意度和受歡迎度分數來確定所述質量分數。
8. 如權利要求7所述的系統，其中所述受歡迎度分數基于一定時間窗內對所述當前內 容項目的點進率。
9. 如權利要求1所述的系統，其中所述當前內容項目為廣告，并且其中所述當前內容 項目為第一內容項目，其中第二內容項目為文章，其中所述第一內容項目和所述第二內容 項目包括分類上相似的主題，并且其中確定親和度分數的指令包括進行以下動作的指令： 基于所述第一內容項目的親和度分數來確定所述第二內容項目的親和度分數。
10. 如權利要求9所述的系統，其中主題在分類上的相似性通過將所述第一內容項目 和所述第二內容項目中嵌入的元數據元素進行匹配來識別，并且其中進行匹配的元數據元 素為內容分類的類別。
11. 如權利要求9所述的系統，其中主題在類別上的相似性通過將所述第一內容項目 和所述第二內容項目中嵌入的元數據元素進行匹配來識別，并且其中進行匹配的元數據元 素為與由網絡內容提供商提供的一系列網頁中的網頁的相關性。
12. 如權利要求11所述的系統，其中所述網頁為在線百科全書或字典條目。
13. -種用于確定流媒體饋送中的廣告或文章的質量分數的系統，包括： 處理器；以及 存儲器，所述存儲器通信地耦合至所述存儲器，所述存儲器包括能夠由所述處理器執 行以進行以下動作的指令： 基于與用戶相關聯的用戶簡檔參數相匹配的當前廣告或文章的特征來確定第一概 率，所述第一概率為所述用戶將選擇與流媒體饋送中的所述當前廣告或文章進行交互的概 率； 確定第二概率，所述第二概率為所述用戶將選擇與流媒體饋送中的通常是廣告或文章 進行交互的概率； 確定所述當前廣告或文章的親和度分數，其中所述親和度分數為所確定的第一概率與 所確定的第二概率之間的關系； 識別與所述當前廣告或文章在分類上匹配的先前的廣告或文章的交互后滿意度；以及 基于所述親和度分數和所述交互后滿意度來確定質量分數。
14. 如權利要求13所述的系統，其中基于所述親和度分數和所述交互后滿意度來確定 所述質量分數的指令包括進行以下動作的指令：通過計算所述親和度分數和所述交互后滿 意度的乘積來確定所述質量分數。
15. 如權利要求13所述的系統，其中選擇與所述當前廣告或文章進行交互包括點擊所 述當前廣告或文章或點擊所述當前廣告或文章的超鏈接。
16. 如權利要求13所述的系統，其中選擇與所述當前廣告或文章進行交互包括關于所 述當前廣告或文章進行的手勢或關于所述當前廣告或文章的超鏈接進行的手勢。
17. -種用于確定流媒體饋送中的內容項目的質量分數的方法，包括： 通過定位系統識別移動設備的當前地理位置； 通過通信地耦合到所述定位系統的處理器基于當前內容項目中的文本和所述移動設 備的所述當前地理位置確定所述移動設備與流媒體饋送中的所述當前內容項目之間的親 和度分數； 識別與所述當前項目在分類上匹配的先前的內容項目的交互后滿意度；以及 通過所述處理器基于所述親和度分數和所述交互后滿意度來確定質量分數。
18. 如權利要求17所述的方法，其中所述親和度分數的確定進一步包括： 基于與所述移動設備的用戶相關的用戶簡檔參數相匹配的所述當前內容項目的特征 確定來第一概率，所述第一概率為所述用戶將選擇瀏覽所述當前內容項目的概率； 確定第二概率，所述第二概率為所述用戶將選擇瀏覽流媒體饋送中的通常是內容項目 的概率；以及 基于所確定的第一概率和所確定的第二概率之間的關系來確定所述親和度分數。
19. 如權利要求18所述的方法，其中確定所述第一概率或所述第二概率使用機器學習 技術。
20. 如權利要求18所述的方法，其中確定所述第一概率或所述第二概率使用提升的決 策樹。
21. -種用于多個收入生成項目和非收入生成項目的統一顯示的系統，所述系統包 括： 第一數據庫，包括多個收入生成項目和針對所述多個收入生成項目生成的歷史出價 值； 第二數據庫，包括多個非收入生成項目； 排名引擎，被配置成使用所述第一數據庫的所述歷史出價值計算所述多個非收入生成 項目中的每個非收入生成項目的排名分數，其中所述非收入生成項目的排名分數通過百分 位數與收入生成項目的排名分數相關聯。
【文檔編號】G06Q30/02GK104281961SQ201410289004
【公開日】2015年1月14日 申請日期:2014年6月24日 優先權日:2013年7月1日
【發明者】布魯諾·費爾南德斯·魯伊斯, 普拉巴卡爾·克里希納穆爾蒂, 珍-馬克·朗格露易絲, 阿布黑·古譜塔, 阿哈龍·拉維 申請人:雅虎公司