面部信息傳輸系統的制作方法

專利名稱：面部信息傳輸系統的制作方法
技術領域：
本發明涉及面部信息傳輸系統。
背景技術：
隨著電子郵件的傳播，除了簡單文本信息之外，還傳送各種圖像信息的情況越來越多。作為圖像信息傳輸的一種模式，一種技術是獲得用戶(對象)的面部圖像，并按照指定的面部表情，將面部圖像轉換成另一圖像(例如參見日本專利公開No.10-149433)。
但是，雖然猶豫于傳送他們自己面部的未變圖像，但是一些用戶會希望傳送反映諸如他們自己的感情和意圖之類元素的人物圖像。雖然現有技術能夠傳送對象的和規定的面部表情相符的面部圖像，但是存在不能根據用戶的面部表情產生圖像，并反映諸如感情和意圖之類元素的問題。

發明內容
從而本發明的一個目的是提供一種面部信息傳輸系統，該系統能夠產生反映諸如用戶的感情和意圖之類元素的可能性高的圖像。
本發明的面部信息傳輸系統包括獲得對象面部圖像的圖像獲取裝置；根據獲得的圖像，產生與對象相關，并包括面部特征點位置的第一圖像信息的第一產生裝置；根據產生的第一圖像信息，產生與對象的面部表情相符的第二圖像信息的第二產生裝置，和將產生的第二圖像信息傳送給指定通信終端的傳輸裝置。
借助本發明的面部信息傳輸系統，根據基于特征點的位置產生的第一圖像信息，產生與對象的面部表情相符的第二圖像信息，從而可產生捕捉對象面部表情的圖像信息。面部表情通常反映諸如對象的感情和意圖之類元素，從而可以第二圖像信息的形式產生反映這類元素可能性高的圖像，并將該圖像傳送給指定的通信終端。
另外，本發明的面部信息傳輸系統最好還包括獲得對象發出的話語的話語獲取裝置，和判斷第一圖像信息是否滿足指定條件的圖像判斷裝置；作為圖像判斷裝置的判斷結果，當第一圖像信息滿足指定條件時，第二產生裝置最好至少根據第一圖像信息，產生與對象的面部表情相符的第二圖像信息，當第一圖像信息不滿足指定條件時，[第二產生裝置]最好根據話語，產生與對象的面部表情相符的第二圖像信息。當第一圖像信息不滿足指定條件時，第二產生裝置根據話語，產生與對象的面部表情相符的第二圖像信息，從而即使由于某一原因，對象面部特征點的位置測量未完成，也可產生第二圖像信息。
另外，本發明的面部信息傳輸系統最好還包括識別和話語獲取裝置獲得的話語對應的音素的音素識別裝置，和判斷識別的音素是否滿足指定條件的音素判斷裝置；作為音素判斷裝置的判斷結果，最好當音素滿足指定條件時，至少根據音素產生與對象面部表情相符的第二圖像信息，當音素不滿足指定條件時，根據第一圖像信息產生與對象面部表情相符的第二圖像信息。當音素不滿足指定條件時，根據第一圖像信息和/或話語產生與對象面部表情相符的第二圖像信息，從而即使由于某一原因不能識別音素時，也可產生第二圖像信息。
另外，在本發明的面部信息傳輸系統中，當第一圖像信息和音素都不滿足各自的指定條件，并且不能獲得話語時，第二產生裝置最好將事先確定的圖像信息用作第二圖像信息。根據條件，可假定其中也不能獲得話語的情況；但是即使在這種情況下，如果使用事先確定的圖像信息，也可產生第二圖像信息。
另外，在本發明的面部信息傳輸系統中，第一圖像信息最好包括識別特征點在對象面部中的分布的信息。如果識別了特征點在面部中的分布，則可掌握特征點之間的相對位置關系，從而可產生更適當的第二圖像信息。
另外，在本發明的面部信息傳輸系統中，圖像獲取系統最好沿時間系列獲得面部圖像，第一產生裝置根據獲得的圖像，產生包括特征點的位置沿時間系列的偏移的第一圖像信息。通過根據沿時間系列測量的特征點位置的偏移產生第一圖像信息，對象面部表情的變化可被理解成特征點位置的變化。從而，可根據面部信息的變化，產生第二圖像信息。
另外，在本發明的面部信息傳輸系統中，第一圖像信息最好包括識別特征點相對于對象面部的移動的信息。可沿時間系列識別特征點相對于面部的移動，從而能夠更準確地掌握對象面部表情的變化。


參考附圖，更易于說明本發明，其中圖1說明本發明一方面的面部信息傳輸系統；圖2A表示由本發明一方面的面部信息傳輸系統獲得的面部圖像的實例；圖2B表示由本發明一方面的面部信息傳輸系統獲得的面部圖像的實例；圖3A表示由本發明一方面的面部信息傳輸系統獲得的人物圖像的實例；圖3B表示由本發明一方面的面部信息傳輸系統獲得的面部圖像的實例；圖4表示保存在圖1的人物信息存儲部分中的信息的實例；圖5是表示由本發明一方面的面部信息傳輸系統使用的人物圖像的傳輸方法的流程圖；圖6是表示由本發明一方面的面部信息傳輸系統使用的人物圖像的傳輸方法的流程圖；圖7說明本發明一方面的面部信息傳輸程序。
具體實施例方式
通過參考只是用于舉例而提供的附圖，研究下述詳細說明，易于理解本發明的信息。從而參考

本發明的各個方面。相同的組件被賦予相同的符號，并省略多余的說明。
利用圖1，給出作為本發明一方面的移動電話機(面部信息傳輸系統)的說明。圖1說明了移動電話機10。移動電話機10被配置成能夠通過網絡20，與另一移動電話機(通信終端)實現信息的相互傳遞。
下面說明移動電話機10。移動電話機10被物理配置成能夠實現信息傳遞的移動電話機，包括CPU(中央處理器)、存儲器、諸如按鍵和麥克風之類輸入裝置、諸如液晶顯示器之類顯示裝置、諸如照相機之類信息獲取裝置等等。
作為功能組件，移動電話機10包括圖像獲取部分(圖像獲取裝置)101；第一產生部分(第一產生裝置)102；話語獲取部分(話語獲取裝置)103；音素識別部分(音素識別裝置)104；圖像判斷部分(圖像判斷裝置)105；中斷輸入部分106；第二產生部分(第二產生裝置)107；傳輸部分(傳輸裝置)108；音素判斷部分(音素判斷裝置)109；和字段信息存儲部分110。下面詳細說明每個組件。
圖像獲取部分101是獲得作為對象的移動電話機10的用戶的面部圖像的部分。圖像獲取部分101獲得的面部圖像可以是瞬時的(靜態圖像)，或者可以是沿著時間系列的(移動圖像或視頻)。圖像獲取部分101將獲得的圖像輸出給第一產生部分102。
第一產生部分102根據圖像獲取部分101獲得并輸出的圖像，產生識別面部特征點的位置的第一圖像信息。更具體地說，如圖2A中所示，第一產生部分102識別圖像獲取部分101輸出的圖像40中所包含對象的面部圖像403中，確定眼睛和眉毛的特征點401，確定嘴和鼻的特征點402，并產生面部圖像403和特征點401、402，作為靜態圖像的第一圖像信息。當圖像獲取部分101輸出的圖像是移動圖像時，接收圖2A中所示的圖像40和過去規定時間之后的圖像40a。如圖2B中所示，圖像40a包括在過去的規定時間內移動了的面部圖像403a，和在面部圖像403a中識別的特征點401a和402a。從而就移動圖像來說，第一圖像信息包括面部圖像403和特征點401、402，以及面部圖像403a和特征點401a、402a。第一產生部分102將這樣產生的第一圖像信息輸出給圖像判斷部分105。
圖像判斷部分105判斷第一產生部分102輸出的第一圖像信息是否滿足指定條件。利用諸如使用移動電話機10的用戶的環境和要求之類因素，可恰當地規定指定條件，或者可按照移動電話機10的硬件要求，恰當地規定指定條件。作為指定條件，例如獲得包含在第一圖像信息中的多數特征點的無能為力，或者面部圖像中特征點的分布的明顯背離可被規定為條件。圖像判斷部分105將關于第一圖像信息是否滿足指定條件的判斷結果，和第一圖像信息一起輸出給第二產生部分107。
話語獲取部分103獲得作為對象的移動電話機10的用戶發出的話語。話語獲取部分103將獲得的話語輸出給音素識別部分104。
音素識別部分104識別和話語獲取部分103獲得并輸出的話語對應的音素。音素是可影響[話語的]含義的最小聲音單元。例如，如果輸出話語是“konnnichiwa”(“hello”)，則音素被識別為“ko(h)”，“n(ε)”，“ni(l)”，“chi(o)”，“wa(u)”。音素識別部分104將話語和識別的音素輸出給音素判斷部分109。
音素判斷部分109判斷音素識別部分104輸出的音素是否滿足指定條件。利用諸如使用移動電話機10的用戶的環境和要求之類的因素，可恰當地規定指定條件，或者可按照移動電話機10的硬件要求，恰當地規定指定條件。作為指定條件，例如是否能夠識別音素可被規定為一個條件。音素判斷部分109將關于音素是否滿足指定條件的判斷結果，和話語一起輸出給第二產生部分107。
中斷輸入部分106接收移動電話機10的用戶輸入的中斷指令，并將中斷指令輸出給第二產生部分107。更具體地說，當用戶按下被賦予和諸如“笑”、“哭”或“受驚”之類面部表情相關的指令的按鍵時，對應的指令被輸入，并被輸出給第二產生部分107。
第二產生部分107根據第一產生部分102產生的第一圖像信息，產生與對象面部的面部表情相符的人物圖像(第二圖像信息)。當圖像判斷部分105判斷第一圖像信息滿足指定條件時，第二產生部分107至少根據第一圖像信息，產生與對象的面部表情相符的人物圖像；當第一圖像信息不滿足指定條件，但是音素識別部分104識別的音素滿足指定條件時，[第二產生部分107]根據音素產生與對象的面部表情相符的人物圖像。
當第一圖像信息和音素都滿足各自的指定條件時，第二產生部分107根據第一圖像信息和音素，產生人物圖像。例如，在第一圖像信息中只能獲得面部的點頭(inclination)的情況下，當識別出音素時，互補使用第一圖像信息和音素產生人物圖像。當第一圖像信息和音素都不滿足各自的指定條件時，第二產生部分107根據是否存在話語產生人物圖像。例如，當話語超過規定閾值時，假定用戶正在講話，從而產生講話人的圖像。此外，當第一圖像信息和音素都不滿足各自的指定條件，并且未獲得話語時，事先保存的圖像信息可被用作人物圖像。
當第二產生部分107根據第一圖像信息產生人物圖像時，例如當[圖像產生]以圖2A中所示的面部圖像403和特征點401、402為基礎時，特征點401、402相對于面部圖像403的位置被識別為分布狀態。根據該分布狀態，第二產生部分107確定特征點501、502相對于人物面部圖像503的位置，如圖3A中所示，并產生靜態人物圖像50。當第一圖像信息對應于移動圖像時，即當[圖像產生]以圖2A中所示的面部圖像403和特征點401、402，以及以如圖2B中所示過去規定時間之后的面部圖像403a和特征點401a、402a為基礎時，除了圖3A中所示的人物圖像50之外，還根據圖3B中所示的人物圖像503a和特征點501a、502a，產生人物圖像50a。
當第二產生部分107根據音素產生人物圖像時，使用保存在人物信息存儲部分110中的信息。圖4表示了保存在人物信息存儲部分110中的信息的實例。根據圖4中所示的實例，“音素”、“特征點數據”和“人物圖像”相聯系地保存在人物信息存儲部分110中。第二產生部分107抽取與各個“音素”對應的“特征點數據”和“人物圖像”，并以靜態圖像或移動圖像的形式產生人物圖像。在圖4中所示的實例中，顯示了嘴部區域中的圖像；但是可和整個面部的圖像相一致。此外，包含用戶的特征的圖像可被保存為“人物圖像”。包含用戶的特征的“人物圖像”并不局限于基于“音素”的那些“人物圖像”，可應用于其中根據“第一圖像信息”或者根據“話語”產生人物圖像的情況。
當從中斷輸入部分106輸出中斷指令時，第二產生部分107根據中斷指令改變人物圖像。例如，當輸入“笑”中斷指令時，產生的人物圖像被改變，以便呈現帶笑的面部表情。第二產生部分107將產生的或者改變的人物圖像輸出給傳輸部分108。
傳輸部分108將第二產生部分107產生的人物圖像傳送給移動電話機30。
下面利用圖5和6的流程圖，說明利用移動電話機10傳輸人物圖像的方法。圖5和6的流程圖是連續的。用戶將產生并傳送人物圖像的指令輸入移動電話機10(步驟S01)。呼應該輸入指令，并行執行下面說明的步驟S02、S03和步驟S04、S05的操作。
圖像獲取部分101獲得作為對象的移動電話機10的用戶的面部圖像(步驟S02)。圖像獲取部分101將獲得的圖像輸出給第一產生部分102。第一產生部分102根據圖像獲取部分獲得并輸出的圖像，產生識別特征點的位置的第一圖像信息(步驟S03)。第一產生部分102將產生的第一圖像信息輸出給圖像判斷部分105。
話語獲取部分103獲得作為對象的移動電話機10的用戶發出的話語(步驟S04)。話語獲取部分103將獲得的話語輸出給音素識別部分104。音素識別部分104識別和話語獲取部分103獲得并輸出的話語對應的音素(步驟S05)。音素識別部分104將話語和識別的音素輸出給音素判斷部分109。
圖像判斷部分105判斷第一產生部分102輸出的第一圖像信息是否滿足指定條件(步驟S06)。圖像判斷部分105將關于第一圖像信息是否滿足指定條件的判斷結果和第一圖像信息一起輸出給第二產生部分107。
音素判斷部分109判斷音素識別部分104輸出的音素是否滿足指定條件(步驟S07、S08)。另外，音素判斷部分109判斷音素識別部分104輸出的話語是否超過規定閾值(步驟S09)。音素判斷部分109將關于音素是否滿足指定條件的判斷結果，關于話語是否超過規定閾值的判斷結果，話語和音素一起輸出給第二產生部分107。
當第一圖像信息滿足指定條件，并且音素也滿足指定條件時(從步驟S06到步驟S07)，第二產生部分107根據第一圖像信息和音素，產生與對象的面部表情相符的人物圖像(步驟S10)。
當第一圖像信息滿足指定條件，音素不滿足指定條件時(從步驟S06到步驟S07)，第二產生部分107根據第一圖像信息，產生與對象的面部表情相符的人物圖像(步驟S11)。
當第一圖像信息不滿足指定條件，但是音素滿足指定條件時(從步驟S06到步驟S08)，第二產生部分107根據音素，產生與對象的面部表情相符的人物圖像(步驟S12)。
當第一圖像信息不滿足指定條件，音素也不滿足指定條件時(從步驟S08到步驟S09)，第二產生部分107根據話語，產生與對象的面部表情相符的人物圖像(步驟S13)。
當第一圖像信息不滿足指定條件，音素也不滿足指定條件，并且話語不超過規定閾值時(步驟S06，以及從步驟S08到步驟S09)，第二產生部分107根據事先保存的默認信息產生人物圖像(步驟S14)。
第二產生部分107判斷是否已人中斷輸入部分106輸出中斷指令(步驟S15)。當已輸出中斷指令時，第二產生部分107根據中斷指令改變人物圖像(步驟S16)。第二產生部分107將產生或改變的人物圖像輸出給傳輸部分108。傳輸部分108將第二產生部分107產生的人物圖像傳送給移動電話機30(步驟S17)。
下面說明面部信息傳輸程序92，以及記錄[該程序]的計算機可讀記錄介質9，面部信息傳輸程序92使能夠實現信息傳遞并且包括CPU(中央處理器)，存儲器，諸如按鍵和麥克風之類輸入裝置，諸如液晶顯示器之類顯示裝置，諸如照相機之類圖像獲取裝置等的計算機起這方面的移動電話機10的作用。圖7表示記錄面部信息傳輸程序92的記錄介質9的結構。記錄介質9可以是，例如磁盤、光盤、CD-ROM或者包含在計算機中的存儲器。
如圖7中所示，記錄介質9包括記錄程序的程序區91和記錄數據的數據區93。類似于利用圖1說明的人物信息存儲部分110的人物信息數據庫931被保存在數據區93中。
面部信息傳輸程序92記錄在程序區91中。面部信息傳輸程序92包括監督處理的主模塊921；圖像獲取模塊922；第一產生模塊923；話語獲取模塊924；音素識別模塊925；圖像判斷模塊926；中斷輸入模塊927；第二產生模塊928；傳輸模塊929和音素判斷模塊930。這里，通過圖像獲取模塊922，第一產生模塊923，話語獲取模塊924，音素識別模塊925，圖像判斷模塊926，中斷輸入模塊927，第二產生模塊928，傳輸模塊929和音素判斷模塊930實現的功能與上述移動電話機10的圖像獲取部分101，第一產生部分102，話語獲取部分103，音素識別部分104，圖像判斷部分105，中斷輸入部分106，第二產生部分107，傳輸部分108和音素判斷部分109的相應功能相似。
在這方面，根據基于特征點的位置產生的第一圖像信息，產生與對象的面部表情相符的人物圖像；從而可產生捕捉對象的面部表情的圖像信息。面部表情通常反映對象的諸如感情和意圖之類元素，可以反映這些元素的圖像的形式產生人物圖像，并將該人物圖像傳送給移動電話機30。
在這方面，當第一圖像信息不滿足指定條件時，根據音素產生與對象的面部表情相符的人物圖像，從而即使由于某些原因，未完成對象面部特征點的位置的測量，仍然能夠產生人物圖像。
在這方面，第一圖像信息包括識別對象面部中特征點的分布的信息；從而可掌握特征點的相對位置關系，能夠產生更適當的人物圖像。
在這方面，根據沿時間系列測量的特征點的位置方面的偏移，產生第一圖像信息，從而對象面部表情的變化可理解成特征點位置的改變。從而，可根據面部表情的改變，產生人物圖像。
在這方面，第一圖像信息包括識別特征點相對于對象面部的移動的信息，從而可沿著時間系列識別特征點相對于面部的移動，能夠更準確地掌握對象面部表情的變化。
權利要求
1.一種面部信息傳輸系統，包括獲得對象面部圖像的圖像獲取裝置；根據所獲得的圖像，產生與對象相關、并包括所述面部的特征點位置的第一圖像信息的第一產生裝置；根據所產生的第一圖像信息，產生與所述對象的面部表情相符的第二圖像信息的第二產生裝置；和將所產生的第二圖像信息傳送給指定通信終端的傳輸裝置。
2.按照權利要求1所述的面部信息傳輸系統，還包括獲得所述對象發出的話語的話語獲取裝置；和判斷所述第一圖像信息是否滿足指定條件的圖像判斷裝置，其中當所述圖像判斷裝置判斷所述第一圖像信息滿足指定條件時，所述第二產生裝置至少根據所述第一圖像信息，產生與所述對象的面部表情相符的第二圖像信息，當所述圖像判斷裝置判斷所述第一圖像信息沒有滿足指定條件時，所述第二產生裝置根據所述話語，產生與所述對象的面部表情相符的第二圖像信息。
3.按照權利要求2所述的面部信息傳輸系統，還包括識別與所述話語獲取裝置獲得的話語相對應音素的音素識別裝置；和判斷所識別的音素是否滿足指定條件的音素判斷裝置，其中當所述音素判斷裝置判斷所述音素滿足指定條件時，所述第二產生裝置至少根據所述音素產生與所述對象的面部表情相符的第二圖像信息，當所述音素判斷裝置判斷所述音素沒有滿足指定條件時，所述第二產生裝置根據所述第一圖像信息產生與所述對象的面部表情相符的第二圖像信息。
4.按照權利要求3所述的面部信息傳輸系統，其中當所述第一圖像信息和所述音素都沒有滿足各自的指定條件，并且不能獲得所述話語時，所述第二產生裝置將事先確定的圖像信息用作所述第二圖像信息。
5.按照權利要求1所述的面部信息傳輸系統，其中所述第一圖像信息包括用于識別所述特征點在所述對象面部中的分布的信息。
6.按照權利要求1所述的面部信息傳輸系統，其中所述圖像獲取裝置沿時間系列獲得所述面部的圖像，所述第一產生裝置根據所獲得的圖像，產生包括所述特征點的位置沿時間系列的偏移的所述第一圖像信息。
7.按照權利要求6所述的面部信息傳輸系統，其中所述第一圖像信息包括用于識別所述特征點相對于所述對象面部的移動的信息。
全文摘要
本發明的目的是提供一種能夠產生反映諸如用戶感情和意圖之類元素的可能性高的圖像的面部信息傳輸系統。作為這種面部信息傳輸系統，移動電話機包括獲得對象面部圖像的圖像獲取部分；根據獲得的圖像，產生與對象相關、并包括面部特征點位置的第一圖像信息的第一產生部分；根據產生的第一圖像信息，產生與對象的面部表情相符的人物圖像的第二產生部分；將產生的人物圖像傳送給另一移動電話機的傳輸部分。
文檔編號G06T13/80GK1527602SQ20041000378
公開日2004年9月8日 申請日期2004年1月30日 優先權日2003年1月31日
發明者宮原沙織, 松木彰, 戶澤有起子, 起子 申請人:株式會社Ntt都科摩