專利名稱：人的面部表情的制作系統及制作方法
技術領域：
本發明涉及一種人的面部表情的制作系統及制作方法，尤其涉及一種利用附加的
表情變化元素使靜止的真實人臉圖片可以做出各種表情的制作系統及制作方法。
背景技術：
在現代社會，隨著競爭的日趨激烈、人才的日趨飽和，人們的壓力越來越大，也不 得不花更多的時間在工作上，尤其是中年人，在"上有老，下有小"的家庭結構中扮演中流 砥柱的角色，必須花更多的時間干事業才有可能過上比較理想的生活。然而，在忙碌的背 后，必然會導致家庭生活的減少，特別是現在已經逐漸成為社會主流的獨生子女一代，他們 面臨一個家庭、四個老人的狀況，不但會擔負更多的家庭責任，而且更是社會的重要發展力 量。為了社會進步、家庭需要及個人發展，他們必然會將大部分時間用于工作，從而可能在 無形中疏遠與父母甚至子女的親情關系，甚至造成不孝或不教等有違中國傳統道德的不良 事實，其實這是每個子女都不愿卻又無奈的選擇。 在這種背景下，父母(或子女)如果能有與自己的子女(或父母)的音容笑貌比 較接近的"替身"陪伴在自己的身邊，那么將會極大程度地改善上述不利于社會安定和家庭 團結、和諧的狀況，比如機器人。但從目前的技術和現實產品來看，機器人還遠不能達到上 述要求，特別是表情的變化。如果要獲得一個比較理想的表情效果，就需要在技術最發達的 公司去訂制一個固定頭像的機器人，不但價格非常昂貴，而且也只能變化數十種表情，另外 還有以下弊端其表情與本人的真實表情之間有較大差異；固定為某個人，無法更換(或花 一大筆錢重新訂制頭像)；面部特征無法因時間改變而改變，而這些功能都是使用者所希 望具備的。 所以，采用電子顯示器作為機器人的臉部，通過軟件實現上述功能將是一個比較 有效的途徑。但是，目前關于臉部表情的軟件還無法實現上述功能，目前最新技術的相關軟 件也只有以下功能將真實人臉圖片進行點定位，然后進行定位點的位置移動，然后通過播 放移動過程來表達某種表情的變化過程，這種方式與真正的表情及表情變化相去甚遠，根 本無法實現真實表情。
發明內容
本發明的目的就是為了解決上述問題而提供一種人的面部表情的制作系統及制 作方法，這種系統和方法可以利用附加的表情變化元素使靜止的真實人臉圖片做出各種逼 真的表情。 為了實現上述目的，本發明采用以下技術方案 本發明中人的面部表情的制作系統，其視頻信號輸出到顯示器，包括中央控制器、 表情模型庫和真實人臉圖片，表情模型庫和真實人臉圖片分別與中央控制器對應連接；所 述表情模型庫包括人臉局部模型庫和亮度局部模型庫，所述真實人臉圖片為電子圖片；人 臉局部模型庫包括若干不同部位的人臉局部模型，人臉局部模型為無背景的、與某種表情
4相對應的人臉局部尺寸及邊界，相鄰的人臉局部模型之間為無縫連接；每個部位的人臉局部模型包括若干不同尺寸的人臉局部模型；每種不同尺寸的人臉局部模型包括若干人臉局部微變模型，人臉局部微變模型為某種表情中最深程度所需要尺寸及位置，與常態表情所需要的尺寸及位置之間的某個尺寸及位置的人臉局部模型；亮度局部模型庫包括若干不同部位的亮度局部模型，亮度局部模型為無背景的、與某種表情相對應的人臉局部亮度組合，相鄰的亮度局部模型之間為無縫連接；每個部位的亮度局部模型包括若干不同年齡的亮度局部模型；每個不同年齡的亮度局部模型包括若干亮度局部微變模型，亮度局部微變模型為某種表情中最深程度所需要的局部亮度組合與常態表情所需要的局部亮度組合之間的某個漸變局部亮度組合。 本發明的指導思想就是將真實表情及表情變化所需要的局部位置變化及亮度變化(其實象臉上的皺紋、酒窩、凸點等都是亮度變化所表現出來的平面效果)用另外的人臉局部微變模型和亮度局部微變模型來實現，然后與真實人臉圖片相結合，把這些變化過程或變化結果反應在真實人臉圖片上，就實現了真實的表情，也就是說，只需要使用者提供一張正面的真實人臉圖片，本發明就能做出該人的各種表情并顯示在顯示屏上。人臉局部微變模型和亮度局部微變模型做得越真、越多、越細，表情就越準確、越豐富、越真實。
所述人臉局部模型庫包括以下部位的人臉局部模型左眉毛、右眉毛、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴皮、下嘴皮、口腔、牙齒、舌頭、眼珠、眼白。上述部位是表情所需的人臉部位，把它們區分開來是因為不同的表情會使用不同的一個或幾個部位，只有分開，才能使其變化多樣，從而可以實現盡可能多的表情顯示。 人臉局部微變模型是針對每個部位的若干變化表情模型，比如，"笑"(這里假設為臉兩側統一的笑)的表情中，從不笑的常態到"笑"的最深程度即"大笑"之間還有很多微變的"笑"，如"微笑"等。所以應該在人臉局部模型庫儲存眾多的不同部位、同一部位不同尺寸、同部位同尺寸變化的不同階段的人臉局部微變模型，供中央控制器選擇。
所述亮度局部模型庫包括以下部位的亮度局部模型左眼及周圍、右眼及周圍、嘴巴及周圍、額頭、其它部位。眼睛、嘴巴、額頭是表情變化需要動的部位，所以左眼及周圍、右眼及周圍、嘴巴及周圍、額頭的亮度變化比較明顯，分別對待；其它部位變化相對較小，作為一個整體對待。 系統還包括與中央控制器對應連接的發型圖庫；發型圖庫包括若干不同發型。這樣可以實現發型的改變，從而給人以新鮮的感覺。 本發明中人的面部表情的制作方法，通過軟件來實現，在每一個人臉局部微變模
型和亮度局部微變模型的邊界上設置定位點，并在真實人臉圖片上設置相對應的定位點，
在中央處理器的控制下，先在表情模型庫中選出與真實人臉圖片相對應的人臉局部微變模
型和亮度局部微變模型，然后選出的人臉局部微變模型和亮度局部微變模型分別與真實人
臉圖片通過定位點定位的方式進行復合，復合后，可通過改變人臉局部微變模型和亮度局
部微變模型來改變真實人臉圖片對應部位的尺寸大小和亮度，亮度局部微變模型位于人臉
局部微變模型的前面；復合后的不同部位的人臉局部模型采用分層顯示，在前一層的相鄰
復合人臉局部微變模型之間出現裂口后顯示后一層復合人臉局部微變模型。 通過表情模型與真實人臉圖片的復合，使真實人臉按既定的變化規則實現不同的
表情及表情變化；而分層顯示則會靜止圖片所沒有的口腔、牙齒、眼珠等內層器官顯示出來，在不提供真實內層器官的情況下，也可以根據描述在表情模型庫中選擇合適的器官代替，從而實現以前覺得不可能實現的表情功能。
所述復合后的不同部位的人臉局部模型采用以下方法分層左眉毛、右眉毛、左上
眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴皮、下嘴皮為同一層，位于最前面的第一層；牙齒
和眼珠為同一層，位于第二層；舌頭和眼白為同一層，位于第三層；口腔位于第四層。
所述人臉局部微變模型按以下方式獲取在某種表情中，其最深程度所需要的某
個人臉局部的尺寸及位置，與常態表情所需要的尺寸及位置之間的差，平均分成為若干等
份，在常態表情所需要的尺寸及位置的基礎上，每增加一等份即為一個人臉局部微變模型。
所述亮度局部微變模型按以下方式獲取在某種表情中，其最深程度所需要的某
個人臉局部的亮度組合與常態表情所需要的亮度組合之間的差，平均分成為若干等份，在
常態表情所需要的亮度組合的基礎上，每增加一等份即為一個亮度局部微變模型。
在應用中，所用到的上述人臉局部微變模型與亮度局部微變模型應該有一一對應
的關系，可以在預存時按對應的表情名稱將二者對應起來，選擇時，中央控制器只需提取相
關的表情名稱信息即可。 所述中央處理器選擇人臉局部微變模型的方法是按以下層進方式依次選擇人臉部位一尺寸一表情的微變階段一確定；所述中央處理器選擇亮度局部微變模型方法是按以下層進方式依次選擇人臉部位一年齡一表情的微變階段一確定。 在中央控制器的控制作用下，將發型圖庫內的發型復合到真實人臉圖片的對應位
置，發型位于最前面一層。 本發明的有益效果在于 (1)通過本發明可以將盡可能多的表情特性附加于真實人臉圖片，使需要的人可以在顯示器上看到該圖片對應的人的各種表情，甚至比真人更豐富的表情及表情變化，讓人感覺圖片上的人就在身邊，而且這種情形可以永久保存； (2)如果將本發明的視頻信息輸出到機器人的面部顯示器，可以讓使用機器人的人與顯示器上的人親切交流( 一般都是最親近的關系)，不但可以免去懷念之苦，而且在機器人上加裝遠程通訊后可以讓使用者傾訴自己的真實想法，避免了使用者的心理疾病，并有利于問題的及時解決，從而有利于整個社會的安定、和諧； (3)本發明的娛樂性也很強，可以將各種奇怪的表情附加在某個人的臉上，讓他本
人或旁人看到他從來沒有出現過的表情，也是很有趣的事，這里要說明一下，通過本發明顯
示的各種表情是在瞬間改變的，而且也可以適當放慢以顯示其表情變化過程，這與我們平
時所用的用PHOTOSHOP等軟件制作表情圖片是完全不同的，其優越性顯而易見； (4)本發明還可以應用于將某些不在人世的人的音容笑貌永遠保留下來，以作懷
念，體現了濃濃的人間真情； (5)通過將一種表情的圖片演變為無數表情的圖片，本發明還可以應用于表情再現的其它用途，如醫療(如病癥的診斷等)、刑偵(如罪犯的比對等)等。
圖1是本發明中制作系統的系統方框圖； 圖2是本發明中人臉局部模型在真實人臉圖片上的部位分區示意 圖3是本發明中亮度局部模型在真實人臉圖片上的部位分區示意圖。
具體實施例方式
下面結合附圖對本發明作進一步具體說明 如圖1所示，本發明中人的面部表情的制作系統，包括中央控制器、表情模型庫和真實人臉圖片，表情模型庫和真實人臉圖片分別與中央控制器對應連接；所述表情模型庫包括人臉局部模型庫和亮度局部模型庫，所述真實人臉圖片為電子圖片；人臉局部模型庫包括若干不同部位的人臉局部模型，人臉局部模型為無背景的、與某種表情相對應的人臉局部尺寸及邊界，相鄰的人臉局部模型之間為無縫連接；每個部位的人臉局部模型包括若干不同尺寸的人臉局部模型；每種不同尺寸的人臉局部模型包括若干人臉局部微變模型，人臉局部微變模型為某種表情中最深程度所需要尺寸及位置，與常態表情所需要的尺寸及位置之間的某個尺寸及位置的人臉局部模型；亮度局部模型庫包括若干不同部位的亮度局部模型，亮度局部模型為無背景的、與某種表情相對應的人臉局部亮度組合，相鄰的亮度局部模型之間為無縫連接；每個部位的亮度局部模型包括若干不同年齡的亮度局部模型；每個不同年齡的亮度局部模型包括若干亮度局部微變模型，亮度局部微變模型為某種表情中最深程度所需要的局部亮度組合與常態表情所需要的局部亮度組合之間的某個漸變局部亮度組合。 如圖2所示，本發明中制作系統的視頻信號輸出到顯示器1上，顯示器1 一般為LCD顯示器，也可以為投影顯示器、弧行可塑顯示器(目前時常上還沒有)等，在真實人臉圖片2(電子圖片)上，人臉局部模型庫包括以下部位的人臉局部模型左眉毛部位3、右眉毛部位10、左上眼皮部位5、右上眼皮部位11、左下眼皮部位6、右下眼皮部位12、上嘴皮部位8、下嘴皮部位9、口腔部位、牙齒部位、舌頭部位、眼珠部位、眼白部位(上述未標數字的部位在圖中不可視)。上述部位是表情所需的人臉部位，把它們區分開來是因為不同的表情會使用不同的一個或幾個部位，只有分開，才能使其變化多樣，從而可以實現盡可能多的表情顯示。 如圖2所示，在真實人臉圖片上，亮度局部模型庫包括以下部位的亮度局部模型左眼及周圍部位15、右眼及周圍部位19、嘴巴及周圍部位18、額頭部位13、其它部位16。眼睛、嘴巴、額頭是表情變化需要動的部位，所以左眼及周圍部位15、右眼及周圍部位19、嘴巴及周圍部位18、額頭部位13的亮度變化比較明顯，分別對待；其它部位16變化相對較小，作為一個整體對待。 如圖1所示，系統還包括與中央控制器對應連接的發型圖庫；發型圖庫包括若干不同發型。這樣可以實現發型的改變，從而給人以新鮮的感覺。 本發明中人的面部表情的制作方法，通過軟件來實現，如圖2和圖3所示，在每一個人臉局部微變模型和亮度局部微變模型的邊界上設置定位點20，并在真實人臉圖片上設置相對應的定位點20，在中央處理器的控制下，先在表情模型庫中選出與真實人臉圖片2相對應的人臉局部微變模型和亮度局部微變模型，然后選出的人臉局部微變模型和亮度局部微變模型分別與真實人臉圖片2通過定位點20定位的方式進行復合，復合后，可通過改變人臉局部微變模型和亮度局部微變模型來改變真實人臉圖片2對應部位的尺寸大小和亮度，亮度局部微變模型位于人臉局部微變模型的前面；復合后的不同部位的人臉局部模型采用分層顯示，其分層方法是左眉毛、右眉毛、左上眼皮、右上眼皮、左下眼皮、右下眼 皮、上嘴皮、下嘴皮為同一層，位于最前面的第一層；牙齒和眼珠為同一層，位于第二層；舌 頭和眼白為同一層，位于第三層；口腔位于第四層。在前一層的相鄰復合人臉局部微變模型 之間出現裂口后顯示后一層復合人臉局部微變模型。 通過表情模型與真實人臉圖片2的復合，使真實人臉按既定的變化規則實現不同 的表情及表情變化；而分層顯示則會靜止圖片所沒有的口腔、牙齒、眼珠等內層器官顯示出 來，在不提供真實內層器官的情況下，也可以根據描述在表情模型庫中選擇合適的器官代 替，從而實現以前覺得不可能實現的表情功能。 所述人臉局部微變模型按以下方式獲取在某種表情中，其最深程度所需要的某
個人臉局部的尺寸及位置，與常態表情所需要的尺寸及位置之間的差，平均分成為若干等
份，在常態表情所需要的尺寸及位置的基礎上，每增加一等份即為一個人臉局部微變模型。
所述亮度局部微變模型按以下方式獲取在某種表情中，其最深程度所需要的某
個人臉局部的亮度組合與常態表情所需要的亮度組合之間的差，平均分成為若干等份，在
常態表情所需要的亮度組合的基礎上，每增加一等份即為一個亮度局部微變模型。 在應用中，所用到的上述人臉局部微變模型與亮度局部微變模型應該有一一對應
的關系，可以在預存時按對應的表情名稱將二者對應起來，選擇時，中央控制器只需提取相
關的表情名稱信息即可。 所述中央處理器選擇人臉局部微變模型的方法是按以下層進方式依次選擇人 臉部位一尺寸一表情的微變階段一確定；所述中央處理器選擇亮度局部微變模型方法是 按以下層進方式依次選擇人臉部位一年齡一表情的微變階段一確定。 如圖2和圖3所示，在中央控制器的控制作用下，將發型圖庫內的發型復合到真實 人臉圖片的對應位置，發型位于最前面一層。
人臉局部微變模型是針對每個部位的若干變化表情模型，比如，"笑"(這里假設為
臉兩側統一的笑)的表情中，從不笑的常態到"笑"的最深程度即"大笑"之間還有很多微
變的"笑"，如"微笑"等。所以應該在人臉局部模型庫儲存眾多的不同部位、同一部位不同
尺寸、同部位同尺寸變化的不同階段的人臉局部微變模型，供中央控制器選擇。 本發明的指導思想就是將真實表情及表情變化所需要的局部位置變化及亮度變
化(其實象臉上的皺紋、酒窩、凸點等都是亮度變化所表現出來的平面效果)用另外的人臉
局部微變模型和亮度局部微變模型來實現，然后與真實人臉圖片2相結合，把這些變化過
程或變化結果反應在真實人臉圖片2上，就實現了真實的表情，也就是說，只需要使用者提
供一張正面的真實人臉圖片2，本發明就能做出該人的各種表情并顯示在顯示屏1上。人臉
局部微變模型和亮度局部微變模型做得越真、越多、越細，表情就越準確、越豐富、越真實。
權利要求
一種人的面部表情的制作系統，其視頻信號輸出到顯示器，其特征在于包括中央控制器、表情模型庫和真實人臉圖片，表情模型庫和真實人臉圖片分別與中央控制器對應連接；所述表情模型庫包括人臉局部模型庫和亮度局部模型庫，所述真實人臉圖片為電子圖片；人臉局部模型庫包括若干不同部位的人臉局部模型，人臉局部模型為無背景的、與某種表情相對應的人臉局部尺寸及邊界，相鄰的人臉局部模型之間為無縫連接；每個部位的人臉局部模型包括若干不同尺寸的人臉局部模型；每種不同尺寸的人臉局部模型包括若干人臉局部微變模型，人臉局部微變模型為某種表情中最深程度所需要尺寸及位置，與常態表情所需要的尺寸及位置之間的某個尺寸及位置的人臉局部模型；亮度局部模型庫包括若干不同部位的亮度局部模型，亮度局部模型為無背景的、與某種表情相對應的人臉局部亮度組合，相鄰的亮度局部模型之間為無縫連接；每個部位的亮度局部模型包括若干不同年齡的亮度局部模型；每個不同年齡的亮度局部模型包括若干亮度局部微變模型，亮度局部微變模型為某種表情中最深程度所需要的局部亮度組合與常態表情所需要的局部亮度組合之間的某個漸變局部亮度組合。
2. 根據權利要求1所述的人的面部表情的制作系統，其特征在于所述人臉局部模型 庫包括以下部位的人臉局部模型左眉毛部位、右眉毛部位、左上眼皮部位、右上眼皮部位、 左下眼皮部位、右下眼皮部位、上嘴皮部位、下嘴皮部位、口腔部位、牙齒部位、舌頭部位、眼 珠部位、眼白部位。
3. 根據權利要求1所述的人的面部表情的制作系統，其特征在于所述亮度局部模型 庫包括以下部位的亮度局部模型左眼及周圍部位、右眼及周圍部位、嘴巴及周圍部位、額 頭部位、其它部位。
4. 根據權利要求1所述的人的面部表情的制作系統，其特征在于系統還包括與中央 控制器對應連接的發型圖庫；發型圖庫包括若干不同發型。
5. —種應用于權利要求1所述的制作系統的人的面部表情的制作方法，通過軟件來 實現，其特征在于在每一個人臉局部微變模型和亮度局部微變模型的邊界上設置定位點， 并在真實人臉圖片上設置相對應的定位點，在中央處理器的控制下，先在表情模型庫中選 出與真實人臉圖片相對應的人臉局部微變模型和亮度局部微變模型，然后選出的人臉局部 微變模型和亮度局部微變模型分別與真實人臉圖片通過定位點定位的方式進行復合，復合 后，可通過改變人臉局部微變模型和亮度局部微變模型來改變真實人臉圖片對應部位的尺 寸大小和亮度，亮度局部微變模型位于人臉局部微變模型的前面；復合后的不同部位的人 臉局部模型采用分層顯示，在前一層的相鄰復合人臉局部微變模型之間出現裂口后顯示后 一層復合人臉局部微變模型。
6. 根據權利要求5所述的人的面部表情的制作方法，其特征在于所述復合后的不同 部位的人臉局部模型采用以下方法分層左眉毛、右眉毛、左上眼皮、右上眼皮、左下眼皮、 右下眼皮、上嘴皮、下嘴皮為同一層，位于最前面的第一層；牙齒和眼珠為同一層，位于第二 層；舌頭和眼白為同一層，位于第三層；口腔位于第四層。
7. 根據權利要求5所述的人的面部表情的制作方法，其特征在于所述人臉局部微變 模型按以下方式獲取在某種表情中，其最深程度所需要的某個人臉局部的尺寸及位置，與 常態表情所需要的尺寸及位置之間的差，平均分成為若干等份，在常態表情所需要的尺寸 及位置的基礎上，每增加一等份即為一個人臉局部微變模型。
8. 根據權利要求5所述的人的面部表情的制作方法，其特征在于所述亮度局部微變 模型按以下方式獲取在某種表情中，其最深程度所需要的某個人臉局部的亮度組合與常 態表情所需要的亮度組合之間的差，平均分成為若干等份，在常態表情所需要的亮度組合 的基礎上，每增加一等份即為一個亮度局部微變模型。
9. 根據權利要求5所述的人的面部表情的制作方法，其特征在于所述中央處理器選 擇人臉局部微變模型的方法是按以下層進方式依次選擇人臉部位一尺寸一表情的微變 階段一確定；所述中央處理器選擇亮度局部微變模型方法是按以下層進方式依次選擇 人臉部位一年齡一表情的微變階段一確定。
10. 根據權利要求5所述的人的面部表情的制作方法，其特征在于在中央控制器的控 制作用下，將發型圖庫內的發型復合到真實人臉圖片的對應位置，發型位于最前面一層。
全文摘要
本發明公開了一種人的面部表情的制作系統，其視頻信號輸出到顯示器，包括中央控制器、表情模型庫和真實人臉圖片，表情模型庫和真實人臉電子圖片分別與中央控制器對應連接；所述表情模型庫包括人臉局部模型庫和亮度局部模型庫；人臉局部模型庫包括若干不同部位的人臉局部微變模型，亮度局部模型庫包括若干不同部位的亮度局部微變模型。本發明還公開了一種人的面部表情的制作方法，通過軟件來實現，在中央處理器的控制下，將表情模型庫中與真實人臉圖片相對應的人臉局部微變模型和亮度局部微變模型分別與真實人臉圖片通過定位點定位的方式進行復合。本發明利用附加的表情變化元素使靜止的真實人臉圖片可以做出各種表情，具有很強的娛樂性。
文檔編號G06T5/50GK101739673SQ20081004655
公開日2010年6月16日 申請日期2008年11月14日 優先權日2008年11月14日
發明者蘭小平, 藍宦和 申請人:成都綠芽科技發展有限公司