專利名稱：圖像生成裝置以及圖像生成方法
技術領域：
本發明涉及一種圖像生成裝置以及圖像生成方法，更詳細地說，涉及ー種從三張以上的源圖像生成具有所有源圖像部分特征的變形圖像的圖像生成裝置以及圖像生成方法。
背景技術：
現存的變形圖像生成方法，可以從兩張圖像生成具有這兩張圖像部分特征且視覺上很自然的新圖像(例如參照專利文獻I)。將用于生成變形圖像的兩張圖像中的ー個圖像設為第一圖像，另ー個圖像設為第ニ圖像。在生成變形圖像時，為了避免產生視覺上的不自然，需要定義第一圖像和第二圖像共通的特征數據。該共通特征數據，可利用第一圖像和第二圖像的特征點或特征線(將其稱為特征向量)來定義。例如在第一圖像和第二圖像是人臉圖像的情況下，如果特正向量為特征線，則各個圖像的眼睛的輪廓、鼻子的線條、嘴的輪廓、眉毛的線條、臉的輪廓等共通特征可以用作圖像的特征向量。從以上定義的第一圖像的特征向量和第二圖像的特征向量中提取各圖像對應的特征量，按照m Ι-m(其中，O彡m彡I)的比例調整對應特征量的值可得到中間特征量(即變形圖像的特征向量)。在此，將為了計算中間特征量而設定的m的值稱為變形率。在圖像變形中，每個特征量所對應的變形率可以相同，也可以不同。將這樣計算出的所有特征量合在一起稱為中間特征向量。根據中間特征向量對第一圖像進行變換生成變換圖像(下面稱為第一圖像的扭曲圖像)，同時根據中間特征向量對第二圖像進行變換生成變換圖像(下面稱為第二圖像的扭曲圖像)。通過這樣生成第一圖像的扭曲圖像和第二圖像的扭曲圖像，能夠使變形處理中使用的圖像的特征位置相同。然后，根據變形率，調整第一圖像的扭曲圖像與第二圖像的扭曲圖像的像素值，最后將調整后的第一圖像的扭曲圖像與第二圖像的扭曲圖像的像素值相加，可以合成(生成)視覺上很自然的變形圖像。專利文獻I :日本特開2007-219230號公報
發明內容
_9] 發明要解決的問題通過利用這種變形技術，能夠從兩張圖像生成視覺上很自然的變形圖像。例如，在兩張圖像是人臉的情況下，能夠生成具有兩張臉圖像各自的部分特征但與這兩張臉圖像不同而且看起來很自然的臉圖像。 尤其是現在，例如在便攜式電話中的電話號碼本設定數據中記錄聯系人的圖像數據、或者在Twitter上用圖像表示其用戶、或者在網際空間中對用戶的替身角色附加臉圖像，等等，用途很多。因此，不使用用戶自己的圖像(比如臉圖像)而生成并使用具有該用戶的部分特征的其它圖像的需求很多。通過使用變形技術來生成類似于用戶的其它圖像的技術符合該需求。
在此，為了從用戶的臉圖像生成變形圖像，不僅需要用戶的臉圖像，還需要其他人的臉圖像(在上述第一圖像是用戶的臉圖像的情況下，第二圖像即為其他人的臉圖像。將該圖像稱為目標圖像。)。然而，近年來，個人信息保護、肖像權保護等也在加強，直接使用其他人的臉圖像來作為目標圖像比較困難。雖然可以考慮利用基于其它兩張臉圖像生成的變形圖像來作為用于生成變形圖像的目標圖像，但是在目前的變形技術中存在如下問題由于基于兩張圖像生成變形圖像，要生成大量的目標圖像以應對上述需求并不容易。另ー方面，如果能夠從多張臉圖像生成變形圖像，就能夠與多張臉圖像的組合相應地生成大量不同的變形圖像。然而，目前的變形技術是基于兩張圖像來生成變形圖像，因此很難應對如上所述的需求。其實，不是從兩張臉圖像而是從多張(三張以上)臉圖像生成具有各個臉圖像的部分特征的臉圖像的需求很多。比如以下情況不只是使用兩張圖像，還想要利用很多的圖像來生成ー張變形圖像，以防止特定的人臉特征反映到變形圖像中。本發明是鑒于上述問題而完成的，其目的在于提供一種能夠基于多張圖像生成變形圖像的圖像生成裝置以及圖像生成方法。用于解決問題的方案為了解決上述問題，本發明所涉及的圖像生成裝置基于三張以上的源圖像和各源圖像的特征向量來生成變形圖像，該圖像生成裝置的特征在于，具備設定值分配単元，其對各個源圖像相對應地分配設定值，該設定值的數量與上述源圖像的張數相對應；貢獻度計算單元，其通過求出各設定值相對于所有設定值之和的比例，來計算各源圖像的貢獻度；特征向量生成単元，其通過將各源圖像的貢獻度的值與各源圖像的上述特征向量相乘來求出加權向量，并將求出的所有源圖像的加權向量相加，來生成上述變形圖像的特征向量；扭曲圖像生成単元，其根據所生成的上述變形圖像的特征向量、上述各源圖像以及各源圖像的上述特征向量，將各源圖像分別變換成扭曲圖像；以及變形圖像生成単元，其根據貢獻度調整各扭曲圖像的像素值，并將調整后的各扭曲圖像的像素值相加生成變形圖像。另外，本發明所涉及的圖像生成方法用于基于三張以上的源圖像和各源圖像的特征向量來生成變形圖像，該圖像生成方法的特征在于，包括以下步驟設定值分配步驟，對各個源圖像相對應地分配設定值，該設定值的數量與上述源圖像的張數相對應；貢獻度計算步驟，通過求出各設定值相對于所有設定值之和的比例，來計算各源圖像的貢獻度；特征向量生成步驟，通過將各源圖像的貢獻度的值與各源圖像的上述特征向量相乘來求出加權向量，并將求出的所有源圖像的加權向量相加，來生成上述變形圖像的特征向量；扭曲圖像生成步驟，根據所生成的上述變形圖像的特征向量、上述各源圖像以及各源圖像的上述特征向量，將各源圖像分別變換成扭曲圖像；以及變形圖像生成步驟，根據貢獻度調整各扭曲圖像的像素值，并將調整后的各扭曲圖像的像素值相加生成變形圖像。在此，源圖像是指生成變形圖像時使用的原始的圖像。另外，源圖像的特征向量是指用向量表示的構成源圖像的特征性線條等。例如在源圖像是臉圖像的情況下，特征向量由臉的輪廓、鼻子的線條、眼睛的輪廓等特征組成。這只是一例。另外，變形圖像的特征向量是指用向量表示的構成變形圖像的特征性線條等，將根據變形圖像的特征向量來調整源圖像的特征向量得到的圖像稱為扭曲(warp)圖像。在本發明所涉及的圖像生成裝置以及圖像生成方法中，能夠通過求出各個源圖像所對應的設定值相對于所有設定值之和的比例，來求出貢獻度。能夠將該貢獻度用作生成變形圖像時使用的每個源圖像的變形率。因此，即使在基于多張源圖像生成變形圖像的情況下，也能夠計算多張源圖像各自的變形率來作為貢獻度。另外，通過將各源圖像的貢獻度與源圖像的特征向量相乘來求出加權向量，并將所有源圖像的加權向量相加，由此能夠生成變形圖像的特征向量。因而，根據本申請發明所涉及的圖像生成裝置以及圖像生成方法，只要準備多張 源圖像以及該源圖像的特征向量，就能夠求出生成變形圖像所需的變形圖像的特征向量。因此，根據求出的變形圖像的特征向量、各源圖像以及各源圖像的特征向量，將各源圖像分別變換成扭曲圖像，井根據貢獻度調整通過變換得到的各扭曲圖像的像素值，將其相加能夠從多張源圖像生成變形圖像。另外，上述圖像生成裝置也可以具備生成與上述源圖像的張數對應數量的隨機數的隨機數生成単元，上述設定值分配單元將所生成的隨機數用作上述設定值，并對各個上述源圖像相對應地分配上述隨機數。并且，上述圖像生成方法也可以具有如下特征具備隨機數生成步驟，在該隨機數生成步驟中生成與上述源圖像的張數對應數量的隨機數，在上述設定值分配步驟中，將所生成的隨機數用作上述設定值，并對各個上述源圖像相對應地分配上述隨機數。這樣，在本發明所涉及的圖像生成裝置以及圖像生成方法中，通過將隨機數用作計算貢獻度時使用的設定值，即使使用相同的源圖像生成變形圖像，也能夠生成各不相同的變形圖像。因此，能夠生成遠超過所準備的源圖像數量的與源圖像不同且看起來很自然的變形圖像。發明的效果根據本申請發明所涉及的圖像生成裝置以及圖像生成方法，只要準備多張源圖像以及該源圖像的特征向量，就能夠求出生成變形圖像所需的變形圖像的特征向量。基于求出的變形圖像的特征向量、以及各源圖像和各源圖像的特征向量，可以將各源圖像分別變換成扭曲圖像，井根據貢獻度調整通過變換得到的各扭曲圖像的像素值，將其相加就可以從多張源圖像生成變形圖像。
圖I是表示實施方式所涉及的圖像生成裝置的概要結構的框圖。圖2是表示實施方式所涉及的圖像生成裝置的CPU中的變形圖像的生成處理的流程圖。圖3是說明從K張源圖像分別生成各扭曲圖像并基于扭曲圖像生成變形圖像的處理的圖。圖4是表示基于三張源圖像生成的多張變形圖像的例子的圖。附圖標記說明
I :圖像生成裝置；3 :顯示器部；4 :數據輸入部；5 :裝置主體部；11 :數據記錄部；12 =ROM ； 13 =RAM ； 14 :CPU (設定值分配単元、貢獻度計算單元、特征向量生成単元、扭曲圖像生成単元、變形圖像生成単元、隨機數生成単元)。
具體實施例方式下面，使用附圖詳細說明本發明所涉及的圖像生成裝置的一例。圖I是表示圖像生成裝置的概要結構的框圖。
圖像生成裝置I可以由普通的計算機構成。圖像生成裝置I具有顯示器部3、數據輸入部4以及裝置主體部5。顯示器部3可以是普通的液晶顯示器或者CRT顯示器(陰極射線管顯示器)，具有將處理內容等可視化的功能。數據輸入部4是用于由用戶輸入進行圖像生成裝置I的處理所需信息的輸入單元。具體地說，作為數據輸入部4的一例，可以是用于讀入多張圖像的掃描儀或者通過線纜連接的數字照相機等。通過掃描儀或者數字照相機取入的圖像被記錄到后述的數據記錄部11中。另外，數據輸入部4不限定于以圖像數據的獲取為目的的裝置，例如用于輸入文字信息的鍵盤、鼠標、觸筆(touch pen)等常用用戶操作単元也可用于數據輸入部4。裝置主體部5具有數據記錄部11、R0M(Read Only Memory :只讀存儲器)12、RAM (Random Access Memory :隨機存儲器)13、以及 CPU (Central Processing Unit(中央處理單元)設定值分配単元、貢獻度計算單元、特征向量生成単元、扭曲圖像生成単元、變形圖像生成単元、隨機數生成単元)14。ROM 12是記錄在圖像生成裝置I啟動時所執行的處理程序的記錄單元。在圖像生成裝置I啟動時等，通過由CPU 14讀出ROM 12的處理程序等并執行該處理程序，能夠進行啟動處理等。RAM 13是作為CPU14進行處理時的工作區的記錄單元。數據記錄部11主要由硬盤構成。在數據記錄部11中記錄有生成變形圖像所需的圖像數據、其特征向量等，還能夠記錄在生成變形圖像的過程中生成的扭曲圖像、特征向量
等信息。在本實施方式所涉及的圖像生成裝置I中，將生成變形圖像時使用的圖像稱為源圖像。基于該源圖像生成與各源圖像對應的扭曲圖像，之后生成最終的變形圖像。另外，數據記錄部11并不限定于硬盤，也可以是由快閃存儲器等構成的記錄單元(例如SSD (Solid State Drive :固態硬盤)等)、使用磁帶介質的記錄單元(例如DAT (Digital Audio Tape :數字式錄音帶))等。此外，數據記錄部11中所記錄的圖像并不一定僅限定于由數據輸入部4的掃描儀或者數字照相機取入的圖像。例如也能夠對圖像生成裝置I設置未圖示的網卡(NIC:Network Interface Card :網絡接ロ卡)等,來經由因特網等外部網絡取入圖像，并記錄到數據記錄部11中。CPU 14按照記錄在ROM 12中的處理程序，來生成進行變形圖像的生成時使用的扭曲圖像，基于所生成的扭曲圖像來生成變形圖像。在該處理中使用的處理程序相當于本發明所涉及的圖像生成方法的一例。下面對CPU 14生成變形圖像的處理過程進行說明。
圖2是CPU 14按照記錄在ROM 12中的程序生成變形圖像的處理流程圖。在本實施方式所示的變形圖像的生成處理中，假設有多張(設為N張)臉圖像(源圖像)，用其中一部分(設為K張，其中K表示K>2的整數)臉圖像(源圖像)來生成具有K張源圖像的部分特征的變形圖像。因而，設在數據記錄部11中已經預先記錄有N張源圖像和各個源圖像中的特征向量。另外，為了便于說明，以ρρρ2、ρ3、…、Pn表示記錄在數據記錄部11中的N張源圖像，用P表示所有源圖像的集合。[數I]P = (P1, ρ2, ρΝ}并且，將與源圖像的集合P對應的索引信息設為I = {1，2，···，Ν}。同時定義I的任意子集J如下[數2]J = IJ1, j2, jK} Cl I。J是I的子集，因此是-包含在I中的集合。另外，用PjpPp…、PjK表示用于生成變形圖像的K張源圖像，以…、fjK表示各個源圖像的特征向量。首先，CPU 14從記錄在數據記錄部11中的N張源圖像中提取K張源圖像(步驟S. I)。具體地說，CPU 14確定與N張源圖像的集合P相對應的索引信息I的子集、即J，并提取相應的源圖像。關于該提取，可以從記錄在數據記錄部11中的N張源圖像中提取K張連續的源圖像，也可以隨機提取源圖像。并且，也可以是用戶利用數據輸入部4個別地選擇K張源圖像，并由CPU 14提取所選擇的源圖像。接著，CPU 14產生與K張源圖像對應數量(K個)的隨機數(ri、r2、-,rK)(步驟S.2)。該隨機數的值相當于計算后述的貢獻度Wi (變形率)時使用的設定值。在CPU 14中，進行將所生成的K個隨機數分別分配給K張源圖像的處理(步驟
S.3)。將隨機數分配給源圖像是指將所生成的隨機數的值與各源圖像逐一對應地記錄到數據記錄部11中的處理。通過像這樣對各源圖像分配隨機數的值，并使數據記錄部11記錄相對應的值，使得能夠明確利用該隨機數生成的貢獻度與源圖像之間的對應關系。然后，CPU 14求出所有隨機數之和，并求出各隨機數相對于隨機數之和的比例，由此通過式I所示求出貢獻度Wi (步驟S. 4)。[數3]
權利要求
1.一種圖像生成裝置，其基于三張以上的源圖像和各源圖像的特征向量來生成變形圖像，該圖像生成裝置的特征在于，具備 設定值分配單元，其對各個源圖像相對應地分配設定值，該設定值的數量與上述源圖像的張數相對應； 貢獻度計算單元，其通過求出各設定值相對于所有設定值之和的比例，來計算各源圖像的貢獻度； 特征向量生成單元，其通過將各源圖像的貢獻度的值與各源圖像的上述特征向量相乘來求出加權向量，并將求出的所有源圖像的加權向量相加，來生成上述變形圖像的特征向量; 扭曲圖像生成單元，其根據所生成的上述變形圖像的特征向量、上述各源圖像以及各源圖像的上述特征向量，將各源圖像分別變換成扭曲圖像；以及 變形圖像生成單元，其根據貢獻度調整各扭曲圖像的像素值，并將調整后的各扭曲圖像的像素值相加生成變形圖像。
2.根據權利要求I所述的圖像生成裝置，其特征在于， 還具備隨機數生成單元，該隨機數生成單元生成與上述源圖像的張數對應數量的隨機數， 上述設定值分配單元將所生成的隨機數用作上述設定值，并對各個上述源圖像相對應地分配上述隨機數。
3.一種圖像生成方法，用于基于三張以上的源圖像和各源圖像的特征向量來生成變形圖像，該圖像生成方法的特征在于，包括以下步驟 設定值分配步驟，對各個源圖像相對應地分配設定值，該設定值的數量與上述源圖像的張數相對應； 貢獻度計算步驟，通過求出各設定值相對于所有設定值之和的比例，來計算各源圖像的貢獻度； 特征向量生成步驟，通過將各源圖像的貢獻度的值與各源圖像的上述特征向量相乘來求出加權向量，并將求出的所有源圖像的加權向量相加，來生成上述變形圖像的特征向量; 扭曲圖像生成步驟，根據所生成的上述變形圖像的特征向量、上述各源圖像以及各源圖像的上述特征向量，將各源圖像分別變換成扭曲圖像；以及 變形圖像生成步驟，根據貢獻度調整各扭曲圖像的像素值，并將調整后的各扭曲圖像的像素值相加生成變形圖像。
4.根據權利要求3所述的圖像生成方法，其特征在于， 還包括隨機數生成步驟，在該隨機數生成步驟中生成與上述源圖像的張數對應數量的隨機數， 在上述設定值分配步驟中，將所生成的隨機數用作上述設定值，并對各個上述源圖像相對應地分配上述隨機數。
全文摘要
提供一種圖像生成裝置以及圖像生成方法。基于多張圖像生成變形圖像。圖像生成裝置(1)具備設定值分配單元(14)，對三張以上的各個源圖像相對應地分配設定值；貢獻度計算單元(14)，求出各設定值相對于所有設定值之和的比例，來計算每個源圖像的貢獻度；特征向量生成單元(14)，通過將各源圖像的貢獻度的值與各源圖像的特征向量相乘來求出加權向量，并將所有源圖像的加權向量相加來生成變形圖像的特征向量；扭曲圖像生成單元(14)，根據變形圖像的特征向量、各源圖像以及各源圖像的特征向量，將各源圖像變換成扭曲圖像；變形圖像生成單元(14)，根據貢獻度調整各扭曲圖像的像素值，并將其合成生成變形圖像。
文檔編號G06T5/50GK102629370SQ20121001086
公開日2012年8月8日 申請日期2012年1月11日 優先權日2011年2月7日
發明者謝政勛, 趙強福 申請人:公立大學法人會津大學