用于基于音頻的人類存在檢測(cè)的系統(tǒng)和方法以及計(jì)算機(jī)程序產(chǎn)品的制作方法
【專利摘要】本發(fā)明公開了允許確定其中呈現(xiàn)有內(nèi)容的房間中的人類存在的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品?？梢圆东@與所述內(nèi)容相關(guān)聯(lián)的音頻，連同由可以位于包括所述內(nèi)容的所述呈現(xiàn)的所述房間中的任何源共同生成的音頻。可以從所述內(nèi)容音頻和所述房間音頻二者提取特征。然后可以將這些特征進(jìn)行比較，并且可以對(duì)差異進(jìn)行量化。如果所述差異顯著，則可以推斷人類存在。
【專利說明】用于基于音頻的人類存在檢測(cè)的系統(tǒng)和方法以及計(jì)算機(jī)程序產(chǎn)品
【背景技術(shù)】
[0001]由于很多原因，如果家庭娛樂設(shè)備或系統(tǒng)能夠確定人們是否存在于房間中將是有用的。例如，如果觀看者離開房間以便去廚房，系統(tǒng)可以進(jìn)入低功耗狀態(tài)，也許通過使顯示器變暗或掉電或者通過完全關(guān)閉。按照這種方式，能夠節(jié)約功率。如果正在觀看所記錄的媒體，則當(dāng)觀看者離開房間時(shí)，重放可以被自動(dòng)暫停。
[0002]此外，下一代智能電視可以是為觀看者提供諸如銀行業(yè)務(wù)、在線購(gòu)物等等幾種服務(wù)的服務(wù)平臺(tái)。對(duì)于這樣的基于TV的服務(wù)，人類存在檢測(cè)也將是有用的。例如，如果觀看者正在使用TV訪問銀行/經(jīng)紀(jì)人帳戶，但是然后離開房間而沒有關(guān)閉該服務(wù)，則人類存在檢測(cè)能力能夠用于在預(yù)定時(shí)間之后自動(dòng)退出或關(guān)閉該服務(wù)。在另一種情況下，如果另一個(gè)人進(jìn)入房間同時(shí)在線銀行服務(wù)正在運(yùn)行，則人類存在檢測(cè)可以用于出于安全或隱私原因而自動(dòng)關(guān)閉該銀行服務(wù)。
[0003]檢測(cè)人類存在對(duì)于廣告人和內(nèi)容提供方也將是有用的。能夠確定實(shí)際觀眾人數(shù)。內(nèi)容提供方能夠確定觀看節(jié)目的人數(shù)。廣告人能夠使用這一信息來確定暴露于給定廣告的人數(shù)。而且，廣告人能夠確定多少人觀看了廣告的特定廣播，即，多少人在特定的時(shí)間和頻道并且在特定節(jié)目的背景中看到了廣告。這轉(zhuǎn)而能夠允許廣告人執(zhí)行成本收益分析?？梢詫V告的暴露與制造該廣告的成本進(jìn)行比較，以便確定在特定的時(shí)間和頻道廣播的廣告是否是值得的花費(fèi)。
【專利附圖】
【附圖說明】
[0004]圖1是本文描述的系統(tǒng)、方法和計(jì)算機(jī)產(chǎn)品的實(shí)施例可以在其中操作的示例性環(huán)境的方框圖。
[0005]圖2是說明根據(jù)實(shí)施例的本文描述的系統(tǒng)、方法和計(jì)算機(jī)產(chǎn)品的處理的流程圖。
[0006]圖3是說明根據(jù)實(shí)施例的本文描述的系統(tǒng)、方法和計(jì)算機(jī)產(chǎn)品的整體處理的更加詳細(xì)的流程圖。
[0007]圖4是說明根據(jù)實(shí)施例的內(nèi)容音頻的特征提取的流程圖。
[0008]圖5是說明根據(jù)實(shí)施例的房間音頻的特征提取的流程圖。
[0009]圖6是說明根據(jù)實(shí)施例的內(nèi)容音頻的特征提取以便確定多于一個(gè)人的存在的流程圖。
[0010]圖7是說明根據(jù)實(shí)施例的房間音頻的特征提取以便確定多于一個(gè)人的存在的流程圖。
[0011]圖8是說明根據(jù)實(shí)施例的房間音頻和內(nèi)容音頻的特征的比較以及人類存在或不存在的推斷的流程圖。
[0012]圖9是說明根據(jù)實(shí)施例的數(shù)據(jù)的標(biāo)準(zhǔn)化以及以標(biāo)準(zhǔn)化的數(shù)據(jù)為基礎(chǔ)對(duì)人類存在或不存在的推斷的流程圖。
[0013]圖10是說明多于一個(gè)人是否存在于房間中的推斷的流程圖。[0014]圖11是說明根據(jù)實(shí)施例的其中可以實(shí)現(xiàn)本文描述的處理的系統(tǒng)的部件的方框圖。
[0015]圖12是說明根據(jù)實(shí)施例的特征提取處理的固件實(shí)施例的計(jì)算背景的方框圖。
[0016]圖13是說明根據(jù)實(shí)施例的比較、標(biāo)準(zhǔn)化和推斷處理的軟件實(shí)施例的計(jì)算背景的方框圖。
[0017]在附圖中，附圖標(biāo)記的最左邊的數(shù)字識(shí)別該附圖標(biāo)記首次出現(xiàn)的附圖。
【具體實(shí)施方式】
[0018]現(xiàn)在參照附圖來描述實(shí)施例，其中相似的附圖標(biāo)記可以指示相同或功能相關(guān)的元件。盡管討論了特定的配置和布置，但是應(yīng)該理解，這僅僅出于說明目的來進(jìn)行。相關(guān)領(lǐng)域中的技術(shù)人員將認(rèn)識(shí)到，在不偏離本描述的精神和范圍的情況下，可以使用其它配置和布置。對(duì)于相關(guān)領(lǐng)域中的技術(shù)人員將顯而易見的是，這也可以在除了本文描述之外的各種其它系統(tǒng)和應(yīng)用中使用。
[0019]本文公開了可以允許確定其中呈現(xiàn)有內(nèi)容的房間中的人類存在的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品?？梢圆东@與該內(nèi)容相關(guān)的音頻，連同可以在房間中由共同存在的任何源生成的音頻?？梢詮膬?nèi)容音頻和房間音頻提取特征。然后可以對(duì)這些特征進(jìn)行比較，并且可以量化差異。如果該差異是顯著的，則可以推斷人類存在。輕微的差異可以用于推斷人們不存在。
[0020]根據(jù)實(shí)施例，圖1中說明了系統(tǒng)的整體背景?？梢詫?nèi)容110提供到用戶的家庭娛樂或計(jì)算機(jī)系統(tǒng)。在所說明的實(shí)施例中，可以在諸如機(jī)頂盒(STB)120的消費(fèi)電子設(shè)備處接收內(nèi)容HO。在可選實(shí)施例中，可以在諸如家用計(jì)算機(jī)的另一消費(fèi)電子設(shè)備處接收內(nèi)容110?？梢詮闹T如廣播網(wǎng)絡(luò)、與網(wǎng)站相關(guān)聯(lián)的服務(wù)器的內(nèi)容提供方或其它源接收內(nèi)容110?？梢越?jīng)由數(shù)據(jù)網(wǎng)絡(luò)接收內(nèi)容110，并且可以經(jīng)過光纖、有線或無線介質(zhì)或其某種組合來傳送內(nèi)容110。在可選實(shí)施例中，可以不從外部源接收內(nèi)容110，但是內(nèi)容110可以是能夠由用戶播放的本地存儲(chǔ)的內(nèi)容。進(jìn)而,注意到，內(nèi)容Iio可以包括被表示為內(nèi)容音頻115的音頻分量。
[0021]可以經(jīng)過諸如電視(TV) 150的一個(gè)或多個(gè)輸出設(shè)備來向用戶呈現(xiàn)內(nèi)容110。可以經(jīng)過使用遠(yuǎn)程控制160來控制內(nèi)容110的呈現(xiàn)，遠(yuǎn)程控制160可以將控制信號(hào)傳輸?shù)絊TB120?？刂菩盘?hào)可以由STB120處的射頻(RF)接口(i/f)接收。
[0022]也可以存在房間音頻170，包括在房間中生成的所有聲音。房間音頻170的源可以包括環(huán)境噪聲以及任何用戶產(chǎn)生的聲音，包括但不局限于語音。房間音頻170還可以包括由房間中的消費(fèi)電子產(chǎn)品生成的聲音，例如，由TV150產(chǎn)生的內(nèi)容音頻115。房間音頻可以由麥克風(fēng)140捕獲。在所說明的實(shí)施例中，可以將麥克風(fēng)140結(jié)合在STB170中。在可選實(shí)施例中，可以將麥克風(fēng)140結(jié)合在TV150中或其它地方。
[0023]根據(jù)實(shí)施例，本文描述的系統(tǒng)的處理通常被表示為圖2中的處理200。在210，可以接收包括如在房間中聽到的任何內(nèi)容音頻的房間音頻以及內(nèi)容音頻。在實(shí)施例中，房間音頻和內(nèi)容音頻中的一個(gè)或者二者可以被記錄，或者在內(nèi)容音頻的情況下，可以當(dāng)在房間中傳輸視頻流時(shí)從該視頻流提取，以便方便下面描述的處理。在220，可以提取房間音頻和內(nèi)容音頻的類似特征。在230，可以將房間音頻的所提取的特征與內(nèi)容音頻的所提取的特征進(jìn)行比較。在240，該比較可以用于推斷房間中的人們的存在或不存在。
[0024]根據(jù)實(shí)施例，圖3中更加詳細(xì)地示出了處理200。在310，可以接收內(nèi)容音頻。在320，可以對(duì)內(nèi)容音頻進(jìn)行采樣。在實(shí)施例中，可以以8kHz對(duì)內(nèi)容音頻進(jìn)行采樣。在可選實(shí)施例中，可以以另一頻率對(duì)內(nèi)容音頻進(jìn)行采樣。在330，可以將所采樣的內(nèi)容音頻劃分為間隔用于隨后的處理。在實(shí)施例中，所述間隔可以是0.5秒長(zhǎng)。在340，可以從所采樣的內(nèi)容音頻的每一個(gè)間隔提取特征。下面將更加詳細(xì)地描述特征提取處理。通常，對(duì)于每一個(gè)間隔，可以計(jì)算統(tǒng)計(jì)度量，例如，每一個(gè)間隔的變化系數(shù)，并且可以使用該統(tǒng)計(jì)度量作為所述特征，用于隨后的處理。
[0025]可以按照類似的方式處理房間音頻。在315，可以接收房間音頻。如上所述，可以使用合并在STB或房間中的其它消費(fèi)電子部件中的麥克風(fēng)來捕獲房間音頻，并且可以接著記錄該房間音頻用于處理目的。在325，可以對(duì)房間音頻進(jìn)行采樣。在實(shí)施例中，可以以SkHz或任何其它頻率對(duì)房間音頻進(jìn)行采樣。在335，可以將所采樣的房間音頻劃分為間隔用于隨后的處理。在實(shí)施例中，所述間隔可以是0.5秒長(zhǎng)。關(guān)于時(shí)間，所采樣的房間音頻的間隔可以與所采樣的內(nèi)容音頻的各自間隔相對(duì)應(yīng)。在345，可以從所采樣的房間音頻的每一個(gè)間隔提取特征。如在內(nèi)容音頻的情況中，對(duì)于每一個(gè)間隔，可以計(jì)算變化系數(shù)或其它統(tǒng)計(jì)度量，并且可以使用該變化系數(shù)或其它統(tǒng)計(jì)度量作為特征，用于隨后的處理。
[0026]在350，可以對(duì)所提取的特征進(jìn)行比較。在實(shí)施例中，這包括對(duì)于所采樣的房間音頻和所采樣的內(nèi)容音頻的時(shí)間上相對(duì)應(yīng)的間隔，對(duì)作為公共統(tǒng)計(jì)度量的變化系數(shù)的比較。下面將更加詳細(xì)地描述比較處理。在實(shí)施例中，這可以包括對(duì)于相對(duì)應(yīng)的間隔計(jì)算房間音頻和內(nèi)容音頻的變化系數(shù)之間的差異。在360，可以發(fā)生標(biāo)準(zhǔn)化或平滑化處理。這可以包括在連續(xù)間隔的序列上計(jì)算房間音頻和內(nèi)容音頻的變化系數(shù)之間的差異的函數(shù)。在370，可以得到關(guān)于房間中的人們的存在的推斷，其中所述推斷可以以由在360執(zhí)行的標(biāo)準(zhǔn)化產(chǎn)生的統(tǒng)計(jì)為基礎(chǔ)。在實(shí)施例中，如果變化系數(shù)在房間音頻和內(nèi)容音頻的時(shí)間上相對(duì)應(yīng)的間隔之間足夠不同，則可以推斷一個(gè)或多個(gè)人的存在。
[0027]圖4說明了對(duì)于所采樣的內(nèi)容音頻的每一個(gè)間隔可以執(zhí)行的特征提取的處理的實(shí)施例。在410，對(duì)于所述檢測(cè)，可以確定標(biāo)準(zhǔn)差。在420，可以確定平均值。在430，如果平均值不為零，則可以通過使標(biāo)準(zhǔn)差除以平均值來確定變化系數(shù)；否則，將變化系數(shù)設(shè)置為零。
[0028]圖5說明了根據(jù)實(shí)施例對(duì)于所采樣的房間音頻的每一個(gè)間隔可以執(zhí)行的特征提取的處理。在510，對(duì)于所采樣的房間音頻間隔，可以確定標(biāo)準(zhǔn)差。在520，可以確定平均值。在530，如果平均值不為零，則可以通過使標(biāo)準(zhǔn)差除以平均值來確定變化系數(shù)；否則，將變化系數(shù)設(shè)置為零。在540，可以丟棄所采樣的房間音頻間隔。這可以用作對(duì)于可能存在于房間中的一個(gè)或多個(gè)人的隱私預(yù)防措施。
[0029]在可選實(shí)施例中，可以結(jié)合特征提取來執(zhí)行額外的處理。圖6說明了對(duì)于所采樣的內(nèi)容音頻的每一個(gè)間隔可以執(zhí)行的特征提取的處理的這樣的實(shí)施例。在604，可以對(duì)所采樣的內(nèi)容音頻間隔應(yīng)用傅立葉變換。這可以允許信號(hào)到頻域的轉(zhuǎn)換。在607，可以執(zhí)行帶通濾波，以使得可以保持公共語音頻率。在實(shí)施例中，可以保持頻率85-lOOOHz，其中語音能量可以被最多地集中。在610，對(duì)于這一間隔，對(duì)于607的輸出，可以確定標(biāo)準(zhǔn)差。在620，可以確定平均值。在630，如果平均值不為零，則可以通過使標(biāo)準(zhǔn)差除以平均值來確定變化系數(shù)；否則，將變化系數(shù)設(shè)置為零。
[0030]圖7說明了對(duì)于所采樣的房間音頻的每一個(gè)間隔可以執(zhí)行的特征提取的處理的這樣的實(shí)施例。在704，可以對(duì)所采樣的房間音頻間隔應(yīng)用傅立葉變換。這可以允許信號(hào)到頻域的轉(zhuǎn)換。在707，可以執(zhí)行帶通濾波，以使得可以保持公共語音頻率。如在圖6的處理中，可以保持頻率85-lOOOHz，其中語音能量可以被最多地集中。在710，對(duì)于這一間隔，對(duì)于707的輸出，可以確定標(biāo)準(zhǔn)差。在720，可以確定平均值。在730，如果平均值不為零，則可以通過使標(biāo)準(zhǔn)差除以平均值來確定變化系數(shù)；否則，將變化系數(shù)設(shè)置為零。在740，可以丟棄房間音頻間隔。
[0031]根據(jù)實(shí)施例，在圖8中說明了變化系數(shù)的比較。在810，對(duì)于每一個(gè)間隔，可以確定房間音頻和內(nèi)容音頻的變化系數(shù)之間的差異。在實(shí)施例中，可以將這一差異表示為這兩個(gè)系數(shù)之間的百分比差異。在820，可以計(jì)算這一百分比差異。給定一系列內(nèi)容音頻間隔和相對(duì)應(yīng)的房間音頻間隔，820的輸出可以是一系列百分比差異。每一個(gè)百分比差異可以與一對(duì)時(shí)間同步的間隔，即，內(nèi)容音頻間隔和相對(duì)應(yīng)的房間音頻間隔，相對(duì)應(yīng)。
[0032]注意到，百分比差異的幅值可以允許人類存在推斷中的較大或較小的置信度。如果百分比差異小于閾值，在人類存在會(huì)是不可能的，如上所述。如果百分比明顯小于閾值，例如接近于零，則這可以表明房間音頻和內(nèi)容音頻非常相似，以使得可以在人類存在是不可能的推斷中放置較高的置信度。相反，如果百分比差異超過閾值，則人類存在會(huì)是可能的。如果百分比差異超過閾值一顯著的量，則這可以表明房間音頻和內(nèi)容音頻非常不同，并且可以在人類存在是可能的推斷中放置較高的置信度。
[0033]在實(shí)施例中，可以通過考慮給定間隔以及緊接前面的間隔的序列來對(duì)與這一間隔相關(guān)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。按照這種方式，可以減小離群值的顯著性，同時(shí)間隔的隱含置信水平可以影響在連續(xù)間隔中推導(dǎo)的推斷。在數(shù)字上，標(biāo)準(zhǔn)化處理可以使用幾種函數(shù)中的任一個(gè)。標(biāo)準(zhǔn)化可以使用來自過去間隔的數(shù)據(jù)的移動(dòng)平均值，或者可以使用這一數(shù)據(jù)的線性或指數(shù)衰減函數(shù)。
[0034]圖9說明了根據(jù)實(shí)施例可以使用移動(dòng)平均值連同隨后的推斷執(zhí)行的標(biāo)準(zhǔn)化。這里，可以使用先前間隔的預(yù)定數(shù)量。在這一實(shí)施例中，可以使用十個(gè)先前間隔。在910，可以考慮對(duì)于先前九個(gè)間隔的每一個(gè)的房間音頻和內(nèi)容音頻的變化系數(shù)之間的百分比差異，連同當(dāng)前間隔中的百分比差異。然后在920對(duì)十個(gè)值的這一系列取平均，產(chǎn)生平均百分比差異。然后將這一平均百分比差異與閾值進(jìn)行比較，以便在930確定是否要推斷人類存在。如果平均值在閾值內(nèi)(例如，在實(shí)施例中為10%)，則在940人類存在會(huì)是不可能的。否則，在950可以推斷人類存在。
[0035]圖6和圖7的處理可以用于如在圖3中分別在340和345示出的確定人類存在的背景中提取特征。在可選實(shí)施例中，可以按照稍微不同的方式來使用這些處理。這里，圖3的處理可以按照如圖所示發(fā)生，其中特征提取340 (對(duì)于內(nèi)容音頻)可以按照?qǐng)D4所示發(fā)生，并且特征提取345 (對(duì)于房間音頻)可以按照?qǐng)D5所示發(fā)生。如果在370推斷人類存在，則可以執(zhí)行額外的處理以便確定是否多于一個(gè)人存在于房間中。
[0036]這在根據(jù)實(shí)施例的圖10中示出。在1030，可以將所采樣的內(nèi)容音頻劃分為間隔。在1040，對(duì)于內(nèi)容音頻的間隔，可以提取特征。在實(shí)施例中，可以根據(jù)在圖6中說明的以及上面討論的處理來提取內(nèi)容音頻間隔的特征。在1035，可以將所采樣的房間音頻劃分為間隔。在1045，對(duì)于房間音頻的間隔，可以提取特征。在實(shí)施例中，可以根據(jù)在圖7中說明的以及上面討論的處理來提取內(nèi)容音頻間隔的特征。
[0037]在1050，可以將內(nèi)容音頻間隔和房間音頻間隔的所提取的特征進(jìn)行比較。可以按照與圖8所示的相同方式來執(zhí)行這一比較。在1060，可以按照與圖9所示的相同方式來執(zhí)行標(biāo)準(zhǔn)化和推斷。在這種情況下，可以做出關(guān)于多于一個(gè)人的存在是可能的或者不可能的推斷。
[0038]如上所述，本文描述的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品可以在可以包括STB和/或智能電視的家庭娛樂系統(tǒng)的背景中實(shí)現(xiàn)，或者可以在個(gè)人計(jì)算機(jī)中實(shí)現(xiàn)。而且，本文描述的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品也可以在膝上型計(jì)算機(jī)、超級(jí)膝上型或筆記本計(jì)算機(jī)、平板電腦、觸摸板、便攜式計(jì)算機(jī)、手持計(jì)算機(jī)、掌上計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、組合蜂窩電話/PDA、智能設(shè)備(例如，智能電話、智能平板電腦或智能電視)、移動(dòng)互聯(lián)網(wǎng)設(shè)備(MID)、消息傳送設(shè)備、數(shù)據(jù)通信設(shè)備等等的背景中實(shí)現(xiàn)。
[0039]本文公開的一個(gè)或多個(gè)特征可以在硬件、軟件、固件及其組合中實(shí)現(xiàn)，包括分立和集成電路邏輯、專用集成電路(ASIC)邏輯和微控制器，并且可以被實(shí)現(xiàn)為專域集成電路封裝的一部分或者集成電路封裝的組合。如本文使用的，術(shù)語“軟件”指代包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)可讀介質(zhì)具有存儲(chǔ)在其中的計(jì)算機(jī)程序邏輯以便使計(jì)算機(jī)系統(tǒng)執(zhí)行本文公開的一個(gè)或多個(gè)特征和/或特征的組合。計(jì)算機(jī)可讀介質(zhì)可以是暫態(tài)的或非暫態(tài)的。暫態(tài)計(jì)算機(jī)可讀介質(zhì)的示例可以是通過射頻或者通過電導(dǎo)體經(jīng)過局域網(wǎng)或者廣域網(wǎng)或者經(jīng)過諸如互聯(lián)網(wǎng)的網(wǎng)絡(luò)傳輸?shù)臄?shù)字信號(hào)。非暫態(tài)計(jì)算機(jī)可讀介質(zhì)的示例可以是壓縮盤、閃存、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROMO或其它數(shù)據(jù)存儲(chǔ)設(shè)備。
[0040]在圖11中示出了可以執(zhí)行本文描述的處理的系統(tǒng)的實(shí)施例。這里，特征提取可以體現(xiàn)在可編程集成電路(PIC)中的固件中。比較和標(biāo)準(zhǔn)化處理可以體現(xiàn)在軟件中。
[0041]麥克風(fēng)1105可以捕獲房間音頻1107。內(nèi)容音頻1117可以被接收并且路由到PICII10可以在PIC1110中或其它地方執(zhí)行房間和內(nèi)容音頻的采樣以及這些信號(hào)到間隔的分解。在采樣和分解為間隔之后，可以由PIC1110中的特征提取固件1115處理該內(nèi)容和房間音頻。如上所述，對(duì)于所采樣的房間音頻和所采樣的內(nèi)容音頻，特征提取處理可以產(chǎn)生對(duì)于每一個(gè)間隔的變化系數(shù)。在所說明的實(shí)施例中，特征提取可以經(jīng)過執(zhí)行特征提取固件1115而在PIC1110中發(fā)生。可選地，特征提取功能可以實(shí)現(xiàn)在片上系統(tǒng)(SOC) 1120的執(zhí)行引擎中。
[0042]如果在PICl 110處執(zhí)行特征提取，則可以將變化系數(shù)發(fā)送到SOCl 120，并且接著使其對(duì)于操作系統(tǒng)(OS) 1130可訪問?？梢杂纱嬖谥虚g件1140中的邏輯1160執(zhí)行來自相對(duì)應(yīng)的房間音頻和內(nèi)容音頻間隔的系數(shù)的比較?？梢杂蓸?biāo)準(zhǔn)化邏輯1150執(zhí)行標(biāo)準(zhǔn)化，該標(biāo)準(zhǔn)化邏輯1150也可以是存在中間件1140的一部分。然后使關(guān)于人類存在的推斷對(duì)于存在使能的應(yīng)用1170可用。如果推斷出沒有人存在，則這樣的應(yīng)用可以例如將系統(tǒng)1100置于低功率狀態(tài)。存在使能的應(yīng)用1170的另一示例可以是從系統(tǒng)1100等等收集存在推斷的程序，就好像它在其它家庭中一樣，以便確定電視節(jié)目或廣告的觀眾人數(shù)。
[0043]如上面關(guān)于圖6、圖7和圖10提到的，實(shí)施例也可以推斷多于一個(gè)人的存在。在這種情況下，如果推斷人類存在，則可以使用傅立葉變換和帶通濾波來重復(fù)特征提取。在實(shí)施例中，這一功能可以實(shí)現(xiàn)在特征提取固件1115中。接著可以對(duì)所生成的變化系數(shù)執(zhí)行比較和標(biāo)準(zhǔn)化。這一處理可以由中間件1140中的比較邏輯1160和標(biāo)準(zhǔn)化邏輯1150執(zhí)行。
[0044]在實(shí)施例中，項(xiàng)目1105、1110、1120和1130可以全部位于用戶的家庭娛樂系統(tǒng)或計(jì)算機(jī)系統(tǒng)中的一個(gè)或多個(gè)部件中。它們可以例如位于STB、數(shù)字視頻記錄器或者電視中。存在中間件1140和存在使能的應(yīng)用1170也可以位于用戶的家庭娛樂系統(tǒng)或計(jì)算機(jī)系統(tǒng)中的一個(gè)或多個(gè)部件中。在可選實(shí)施例中，存在中間件1140和存在使能的應(yīng)用1170中的一個(gè)或二者可以位于其它地方，例如內(nèi)容提供方的設(shè)施。
[0045]注意到，在一些實(shí)施例中，可以使由麥克風(fēng)1105捕獲的音頻靜音。用戶可以選擇經(jīng)由遠(yuǎn)程控制1180或家庭娛樂系統(tǒng)上的按鈕來完成此。這樣的靜音功能不干擾使從TV出來的音頻靜音的遠(yuǎn)程控制上的靜音。然后將對(duì)于麥克風(fēng)的“靜音”命令發(fā)送到PIC1110中的音頻選擇邏輯。作為這樣的命令的結(jié)果，來自麥克風(fēng)1105的音頻將不由0S1130接收。盡管如此，將仍然可以在其中可以執(zhí)行特征提取的PIC1110處接收房間音頻1107。這樣的能力可以由PIC1110中的特征提取固件1115的存在使能。然后可以使統(tǒng)計(jì)數(shù)據(jù)，即，變化系數(shù)，對(duì)于0S1130可用，即使房間音頻本身被靜音。變化系數(shù)的本質(zhì)可以是這樣的，以使得所述系數(shù)不可用于重建房間音頻1107的目的。
[0046]圖12說明了其中可以將特征提取功能體現(xiàn)在固件中的實(shí)施例。如上面討論的，可以將這樣的功能合并為PIC的一部分。系統(tǒng)1200可以包括處理器1220，并且可以進(jìn)一步包括固件設(shè)備1210。設(shè)備1210可以包括可以存儲(chǔ)計(jì)算機(jī)程序邏輯1240的一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)。固件設(shè)備1210可以例如實(shí)現(xiàn)在只讀存儲(chǔ)器(ROM)或其它數(shù)據(jù)存儲(chǔ)部件中，這對(duì)于本領(lǐng)域中的普通技術(shù)人員來說應(yīng)該理解。處理器1220和設(shè)備1210可以使用本領(lǐng)域中的普通技術(shù)人員已知的幾種技術(shù)中的任意一種，例如總線，進(jìn)行通信。包含在設(shè)備1210中的計(jì)算機(jī)程序邏輯1240可以由處理器1220讀取并且執(zhí)行。被共同表示為1/01230的一個(gè)或多個(gè)I/O端口和/或I/O部件也可以連接到處理器1220和設(shè)備1210。
[0047]計(jì)算機(jī)程序邏輯1240可以包括特征提取代碼1250。這一代碼可以負(fù)責(zé)確定對(duì)于所采樣的房間音頻和內(nèi)容音頻的間隔的標(biāo)準(zhǔn)差和平均值，如上所述。特征提取代碼1250也可以負(fù)責(zé)實(shí)現(xiàn)如上面關(guān)于圖6和圖7討論的傅立葉變換和帶通濾波。特征提取代碼1250也可以負(fù)責(zé)計(jì)算對(duì)于所采樣的房間音頻和內(nèi)容音頻的每一個(gè)間隔的變化系數(shù)。
[0048]在圖13中說明了比較和標(biāo)準(zhǔn)化功能的軟件實(shí)施例。所說明的系統(tǒng)1300可以包括處理器1320，并且可以進(jìn)一步包括存儲(chǔ)器1310的主體。存儲(chǔ)器1310可以包括可以存儲(chǔ)計(jì)算機(jī)程序邏輯1340的一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)。存儲(chǔ)器1310可以被實(shí)現(xiàn)為例如硬盤和驅(qū)動(dòng)、諸如壓縮盤的可移動(dòng)介質(zhì)、只讀存儲(chǔ)器(ROM)或隨機(jī)存取存儲(chǔ)器(RAM)設(shè)備或者其某種組合。處理器1320和存儲(chǔ)器1310可以使用本領(lǐng)域中的普通技術(shù)人員已知的幾種技術(shù)中的任意一種，例如總線，進(jìn)行通信。包含在存儲(chǔ)器1310中的計(jì)算機(jī)程序邏輯1340可以由處理器1320讀取并且執(zhí)行。被共同表示為1/01330的一個(gè)或多個(gè)I/O端口和/或I/O設(shè)備也可以連接到處理器1320和存儲(chǔ)器1310。
[0049]計(jì)算機(jī)程序邏輯1340可以包括比較代碼1350。這一模塊可以負(fù)責(zé)比較房間音頻和內(nèi)容音頻的相對(duì)應(yīng)的間隔的變化系數(shù)，并且產(chǎn)生諸如百分比差異的差異的定量指示，如上所述。計(jì)算機(jī)程序邏輯1340可以包括用于執(zhí)行標(biāo)準(zhǔn)化的代碼1350。這一模塊可以負(fù)責(zé)使用移動(dòng)平均或其它處理來執(zhí)行由比較代碼1350生成的數(shù)據(jù)的標(biāo)準(zhǔn)化，如上所述。計(jì)算機(jī)程序邏輯1340可以包括推斷代碼1370。假定標(biāo)準(zhǔn)化代碼1360的結(jié)果的情況下，這一模塊可以負(fù)責(zé)生成關(guān)于人類的存在或者不存在的推斷。
[0050]上面描述的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品可以具有多種應(yīng)用。例如，如果觀看者離開房間，則可以如上所述地檢測(cè)人們的不存在，并且娛樂或計(jì)算機(jī)系統(tǒng)可以進(jìn)入低功耗狀態(tài)，也許通過使顯示器變暗或掉電，或者通過完全關(guān)閉。按照這種方式，能夠節(jié)約功率。如果正在觀看所記錄的介質(zhì)，則當(dāng)觀看者離開房間時(shí)，重放可以被自動(dòng)暫停。
[0051]此外，服務(wù)平臺(tái)可以為觀看者提供諸如銀行業(yè)務(wù)、在線購(gòu)物等等的服務(wù)。如上所述的人類存在檢測(cè)對(duì)于這樣的基于TV的服務(wù)將是有用的。例如，如果觀看者正在使用TV訪問銀行/經(jīng)紀(jì)人帳戶，但是然后離開房間而沒有關(guān)閉該服務(wù)，則人類存在檢測(cè)能力能夠用于在預(yù)定時(shí)間之后自動(dòng)退出或關(guān)閉該服務(wù)。在另一種情況下，如果另一個(gè)人進(jìn)入房間同時(shí)在線銀行服務(wù)正在運(yùn)行，則人類存在檢測(cè)能夠用于出于安全或隱私原因而自動(dòng)關(guān)閉該銀行服務(wù)。
[0052]檢測(cè)人類存在也將由廣告人和內(nèi)容提供方使用。可以確定實(shí)際觀眾人數(shù)。內(nèi)容提供方能夠確定觀看節(jié)目的人數(shù)。廣告人可以使用這一信息來確定暴露于給定廣告的人數(shù)。而且，廣告人能夠確定多少人觀看了廣告的特定廣播，即，多少人在特定的時(shí)間和頻道并且在特定節(jié)目的背景中看到了廣告。這轉(zhuǎn)而能夠允許廣告人執(zhí)行成本收益分析。可以將廣告的暴露與制造該廣告的成本進(jìn)行比較，以便確定在特定的時(shí)間和頻道廣播的廣告是否是值得的花費(fèi)。
[0053]在說明本文公開的方法和系統(tǒng)的功能、特征和其關(guān)系的功能構(gòu)造塊的幫助下在本文公開了所述方法和系統(tǒng)。為了描述的方便，這些功能構(gòu)造塊中的界限中的至少一些在本文被任意定義?？梢远x可選的界限，只要適當(dāng)?shù)貓?zhí)行特定的功能及其關(guān)系。
[0054]盡管本文公開了各種實(shí)施例，但是應(yīng)該理解，僅通過示例而非限制的方式來提出這些實(shí)施例。對(duì)于相關(guān)領(lǐng)域中的技術(shù)人員顯而易見的是，在不偏離本文公開的方法和系統(tǒng)的精神和范圍的情況下，可以做出形式和細(xì)節(jié)上的各種改變。因而，權(quán)利要求的廣度和范圍不應(yīng)該由本文公開的任何示例性實(shí)施例限制。
【權(quán)利要求】
1.一種方法，包括: 在消費(fèi)電子設(shè)備處接收房間音頻和內(nèi)容音頻； 將所述房間音頻和所述內(nèi)容音頻中的每一個(gè)劃分為相對(duì)應(yīng)的相等長(zhǎng)度的間隔； 從所述房間音頻和所述內(nèi)容音頻中的每一個(gè)提取特征； 將所述房間音頻的所述特征與所述內(nèi)容音頻的所述特征進(jìn)行比較；并且如果在所述內(nèi)容音頻的所述特征與所述房間音頻的所述特征之間存在顯著的差異，則推斷在所述消費(fèi)電子設(shè)備位于其中的房間中存在一個(gè)或多個(gè)人。
2.如權(quán)利要求1所述的方法，其中: 所述內(nèi)容音頻包括來自所述內(nèi)容的音頻，并且 所述推斷包括推斷所述房間中的所述一個(gè)或多個(gè)人暴露于所述內(nèi)容。
3.如權(quán)利要求1所述的方法，其中，在所述消費(fèi)電子設(shè)備處接收所述房間音頻和所述內(nèi)容音頻，同時(shí)經(jīng)過所述設(shè)備呈現(xiàn)內(nèi)容。
4.如權(quán)利要求1 所述的方法，其中，所述提取包括，對(duì)于所述房間音頻的每一個(gè)間隔和所述內(nèi)容音頻的每一個(gè)間隔: 確定標(biāo)準(zhǔn)差； 確定平均值；并且 如果所述平均值不為零，則計(jì)算等于所述標(biāo)準(zhǔn)差除以所述平均值的變化系數(shù)，否則將所述變化系數(shù)設(shè)置為零。
5.如權(quán)利要求4所述的方法，其中，對(duì)于所述房間音頻的每一個(gè)間隔，所述提取跟隨有所述房間音頻的丟棄。
6.如權(quán)利要求4所述的方法，進(jìn)一步包括: 通過應(yīng)用傅立葉變換將所述房間音頻和所述內(nèi)容音頻中的每一個(gè)轉(zhuǎn)換到頻域；并且 將帶通濾波器應(yīng)用于所述傅立葉變換的輸出， 在所述提取之前執(zhí)行上述步驟。
7.如權(quán)利要求6所述的方法，其中，所述帶通濾波器的所述應(yīng)用包括過濾出除了人類話音頻率在其中集中的頻率范圍以外的頻率。
8.如權(quán)利要求4所述的方法，其中，所述比較包括: 確定在所述房間音頻和所述內(nèi)容音頻的相對(duì)應(yīng)的間隔的所述變化系數(shù)之間的百分比差異，從而產(chǎn)生一系列百分比差異，針對(duì)包括房間音頻間隔和相對(duì)應(yīng)的內(nèi)容音頻間隔的每一對(duì)有一個(gè)百分比差異。
9.如權(quán)利要求8所述的方法，進(jìn)一步包括: 通過對(duì)對(duì)于預(yù)定數(shù)量的先前間隔的所述百分比差異取平均來標(biāo)準(zhǔn)化所述百分比差異，產(chǎn)生標(biāo)準(zhǔn)化的百分比差異， 在所述比較之后執(zhí)行上述步驟。
10.如權(quán)利要求9所述的方法，其中，所述推斷包括: 如果所述標(biāo)準(zhǔn)化的百分比差異超過閾值，則推斷一個(gè)或多個(gè)人存在于所述房間中；并且 如果所述標(biāo)準(zhǔn)化的百分比差異小于所述閾值，則推斷沒有人存在于所述房間中。
11.一種系統(tǒng),包括:可編程集成電路(PIC)，包括: 第一處理器；以及 與所述第一處理器通信的PIC存儲(chǔ)器電路，其中，所述PIC存儲(chǔ)器電路存儲(chǔ)第一多個(gè)處理指令，所述第一多個(gè)處理指令配置為指示所述第一處理器以便執(zhí)行下列步驟: 從所采樣的房間音頻和所采樣的內(nèi)容音頻中的每一個(gè)提取特征，其中，所采樣的房間音頻和所采樣的內(nèi)容音頻已經(jīng)被分別劃分為相對(duì)應(yīng)的相等長(zhǎng)度的間隔； 第二處理器；以及 與所述第二處理器通信的存儲(chǔ)器設(shè)備，其中，所述存儲(chǔ)器存儲(chǔ)第二多個(gè)處理指令，所述第二多個(gè)處理指令配置為指示所述第二處理器以便執(zhí)行下列步驟: 將所述房間音頻的所述特征與所述內(nèi)容音頻的所述特征進(jìn)行比較；并且如果在所述內(nèi)容音頻的所述特征與所述房間音頻的所述特征之間存在顯著的差異，則推斷在所述系統(tǒng)位于其中的房間中存在一個(gè)或多個(gè)人。
12.如權(quán)利要求11所 述的系統(tǒng)，其中: 所述內(nèi)容音頻包括來自內(nèi)容的音頻，并且 所述推斷包括推斷所述房間中的所述一個(gè)或多個(gè)人暴露于所述內(nèi)容。
13.如權(quán)利要求11所述的系統(tǒng)，其中，所述第一多個(gè)處理指令進(jìn)一步配置為指示所述第一處理器對(duì)用戶命令做出響應(yīng)而使所述所采樣的房間音頻靜音并且防止所述所采樣的房間音頻到達(dá)操作系統(tǒng)。
14.如權(quán)利要求11所述的系統(tǒng)，其中，配置為指示所述第一處理器以便提取特征的所述第一多個(gè)處理指令包括配置為指示所述第一處理器執(zhí)行下列操作的處理指令: 對(duì)于所述房間音頻的每一個(gè)間隔和所述內(nèi)容音頻的每一個(gè)間隔， 確定標(biāo)準(zhǔn)差； 確定平均值；并且 如果所述平均值不為零，則計(jì)算等于所述標(biāo)準(zhǔn)差除以所述平均值的變化系數(shù)，否則將所述變化系數(shù)設(shè)置為零。
15.如權(quán)利要求14所述的系統(tǒng)，其中，所述第一多個(gè)處理指令進(jìn)一步包括配置為指示所述第一處理器在從所采樣的房間音頻提取特征之后丟棄所采樣的房間音頻的處理指令。
16.如權(quán)利要求14所述的系統(tǒng)，其中，所述第一多個(gè)處理指令進(jìn)一步包括配置為在指示所述第一處理器提取所述特征之前指示所述第一處理器執(zhí)行下列操作的處理指令: 通過應(yīng)用傅立葉變換將所述房間音頻和所述內(nèi)容音頻中的每一個(gè)轉(zhuǎn)換到頻域；并且 將帶通濾波器應(yīng)用于所述傅立葉變換的輸出。
17.如權(quán)利要求16所述的系統(tǒng)，其中，所述帶通濾波器的所述應(yīng)用包括過濾出除了人類話音頻率在其中集中的頻率范圍以外的頻率。
18.如權(quán)利要求14所述的系統(tǒng)，其中，配置為指示所述第二處理器對(duì)特征進(jìn)行比較的所述第二多個(gè)處理指令包括配置為指示所述第二處理器執(zhí)行下列操作的指令: 確定在所述房間音頻和所述內(nèi)容音頻的相對(duì)應(yīng)的間隔的所述變化系數(shù)之間的百分比差異，從而產(chǎn)生一系列百分比差異，針對(duì)包括房間音頻間隔和相對(duì)應(yīng)的內(nèi)容音頻間隔的每一對(duì)有一個(gè)百分比差異。
19.如權(quán)利要求18所述的系統(tǒng)，其中，所述第二多個(gè)處理指令進(jìn)一步包括配置為指示所述第二處理器執(zhí)行下列操作的指令: 通過對(duì)對(duì)于預(yù)定數(shù)量的先前間隔的所述百分比差異取平均來標(biāo)準(zhǔn)化所述百分比差異，產(chǎn)生標(biāo)準(zhǔn)化的百分比差異。
20.如權(quán)利要求19所述的系統(tǒng)，其中，配置為指示所述第二處理器推斷存在的所述多個(gè)處理指令包括配置為指示所述第二處理器執(zhí)行下列操作的處理指令: 如果所述標(biāo)準(zhǔn)化的百分比差異超過閾值，則推斷一個(gè)或多個(gè)人存在于所述房間中；并且 如果所述標(biāo)準(zhǔn)化的百分比差異小于所述閾值，則推斷沒有人存在于所述房間中。
21.一種包括非暫態(tài)計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，所述非暫態(tài)計(jì)算機(jī)可讀介質(zhì)具有存儲(chǔ)在其中的計(jì)算機(jī)程序邏輯，所述計(jì)算機(jī)程序邏輯包括: 用于使第一處理器從所采樣的房間音頻和所采樣的內(nèi)容音頻中的每一個(gè)提取特征的邏輯，其中，所采樣的房間音頻和所采樣的內(nèi)容音頻已經(jīng)分別被劃分為相對(duì)應(yīng)的相等長(zhǎng)度的間隔； 用于使第二處理器將所述房間音頻的所述特征與所述內(nèi)容音頻的所述特征進(jìn)行比較的邏輯；以及 用于如果在所述內(nèi)容音頻的所述特征與所述房間音頻的所述特征之間存在顯著的差異，則使所述第二處理器推斷存在一個(gè)或多個(gè)人的邏輯。
22.如權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中: 所述內(nèi)容音頻包括來自一段內(nèi)容的音頻，并且 所述用于使所述第二處理器推斷存在一個(gè)或多個(gè)人的邏輯包括用于使所述第二處理器推斷所述房間中的所述一個(gè)或多個(gè)人暴露于所述內(nèi)容的邏輯。
23.如權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述房間音頻和內(nèi)容音頻已經(jīng)以8kHz被采樣。
24.如權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述用于使所述第一處理器提取特征的邏輯包括用于使所述第一處理器執(zhí)行下列操作的邏輯: 對(duì)于所述房間音頻的每一個(gè)間隔和所述內(nèi)容音頻的每一個(gè)間隔: 確定標(biāo)準(zhǔn)差； 確定平均值；并且 如果所述平均值不為零，則計(jì)算等于所述標(biāo)準(zhǔn)差除以所述平均值的變化系數(shù)，否則將所述變化系數(shù)設(shè)置為零。
25.如權(quán)利要求24所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括用于使所述第一處理器在從所采樣的房間音頻提取特征之后丟棄所采樣的房間音頻的邏輯。
26.如權(quán)利要求24所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括: 用于使所述第一處理器通過應(yīng)用傅立葉變換來將所述房間音頻和所述內(nèi)容音頻中的每一個(gè)轉(zhuǎn)換到頻域的邏輯；以及 用于使所述第一處理器將帶通濾波器應(yīng)用于所述傅立葉變換的輸出的邏輯， 其中，所述傅立葉變換的應(yīng)用和所述帶通濾波器的應(yīng)用在所述特征的所述提取之前執(zhí)行。
27.如權(quán)利要求26所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述用于使所述第一處理器應(yīng)用帶通濾波器的邏輯包括: 用于使所述第一處理器過濾出除了人類話音頻率在其中集中的頻率范圍以外的頻率的邏輯。
28.如權(quán)利要求24所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述用于使所述第二處理器對(duì)特征進(jìn)行比較的邏輯包括: 用于使所述第二處理器確定在所述房間音頻和所述內(nèi)容音頻的相對(duì)應(yīng)的間隔的所述變化系數(shù)之間的百分比差異的邏輯，從而產(chǎn)生一系列百分比差異，針對(duì)包括房間音頻間隔和相對(duì)應(yīng)的內(nèi)容音頻間隔的每一對(duì)有一個(gè)百分比差異。
29.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，進(jìn)一步包括: 用于使所述 第二處理器通過對(duì)對(duì)于預(yù)定數(shù)量的先前間隔的所述百分比差異取平均來標(biāo)準(zhǔn)化所述百分比差異的邏輯，產(chǎn)生標(biāo)準(zhǔn)化的百分比差異。
30.如權(quán)利要求29所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述用于使所述第二處理器推斷存在一個(gè)或多個(gè)人的邏輯包括: 用于如果所述標(biāo)準(zhǔn)化的百分比差異超過閾值，則使所述第二處理器推斷一個(gè)或多個(gè)人存在于所述房間中的邏輯；以及 用于如果所述標(biāo)準(zhǔn)化的百分比差異小于所述閾值，則使所述第二處理器推斷沒有人存在于所述房間中的邏輯。
【文檔編號(hào)】H04N21/40GK103748892SQ201180073043
【公開日】2014年4月23日 申請(qǐng)日期:2011年8月25日 優(yōu)先權(quán)日:2011年8月25日
【發(fā)明者】R·H·奧海依比, M·D·亞維斯, S·K·加爾 申請(qǐng)人:英特爾公司