專利名稱：運動矢量檢測裝置、運動矢量處理方法和程序的制作方法
技術領域：
本發明涉及運動矢量檢測裝置，并且更具體地涉及運動矢量檢測裝置和運動矢量
的處理方法、以及用于使得計算機執行其中使用塊匹配方法的方法的程序。
背景技術：
眾所周知，當處理動態畫面圖像數據時，可以使用動態畫面圖像數據的各幀之間 的運動矢量來壓縮動態畫面圖像數據。作為用于檢測運動矢量的技術之一，使用通常稱為 塊匹配的技術。根據塊匹配技術，使用作為兩個輸入圖像的基準幀和參考幀，并且確定基準 幀中設置的基準塊、和參考幀的搜索區域中設置的多個參考塊的每個之間的相關度。然后， 基于指示確定的相關度的最高一個的一個參考塊，計算相對于基準塊的運動矢量。
在如剛剛描述的這種現有技術中，因為為每個參考幀計算在參考幀中設置的多個 參考塊的每個與基準塊之間的相關度，所以處理量大，并且要求高功耗。因此，已經提出基 于兩個輸入圖像改變參考幀中的搜索區域的大小的技術。例如，已經提出一種運動矢量檢 測裝置，其中基于基準幀的基準塊和參考幀的預定位置處的塊之間的相關度，設置搜索區 域。例如，在日本專利公開No. 2000-078580中公開了如剛剛描述的這種運動矢量檢測裝置 之一 (圖2)。
發明內容
在上述運動矢量檢測裝置中，可能基于基準幀的基準塊和參考幀的預定位置處的 塊之間的相關度設置具有預定大小的搜索區域。然而，在物品的邊緣等包括在基準塊中的 情況下，計算低相關度并且設置大的搜索區域。因此，要求增加的處理量并且消耗增加的功率。 因此，希望提供一種運動矢量檢測裝置和運動矢量處理方法以及程序，通過其抑 制通過塊匹配的運動矢量檢測處理所需的功耗。 根據本發明的實施例，提供一種運動矢量檢測裝置，包括空間亮度差總和計算部 分、時間亮度差總和計算部分、搜索范圍計算部分、以及塊匹配計算部分。空間亮度差總和 計算部分配置為計算空間亮度差的絕對值的總和，所述空間亮度差是在基準幀中設置的基 準塊的各像素相對于預定像素的亮度差。時間亮度差總和計算部分配置為計算時間亮度差 的絕對值的總和，所述時間亮度差是基準塊和對應于所述基準塊的參考幀中的對應塊的對 應像素之間的亮度差。搜索范圍計算部分配置為基于空間亮度差的絕對值的總和以及時間 亮度差的絕對值的總和，計算用于相對于基準塊搜索運動矢量的參考幀的搜索范圍。塊匹 配計算部分配置為設置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考塊，并且基 于設置的參考塊和基準塊之間的相關度執行塊匹配，以便計算所述運動矢量。此外，提供一 種用于該運動矢量檢測裝置的處理方法、以及用于使得計算機執行該處理方法的程序。使 用該運動矢量檢測裝置、處理方法和程序，基于空間亮度差的絕對值的總和以及時間亮度 差的絕對值的總和計算參考幀中的搜索范圍。
搜索范圍計算部分可以計算搜索范圍，使得當空間亮度差的絕對值的總和的值增 加時，搜索范圍的大小減小，而當時間亮度差的絕對值的總和的值增加時，搜索范圍的大小 增加。在該運動矢量檢測裝置的情況下，當空間亮度差的絕對值的總和的值增加時，搜索范 圍的大小減小，而當時間亮度差的絕對值的總和的值增加時，搜索范圍的大小增力B。在此情 況下，搜索范圍計算部分可以計算搜索范圍，使得搜索范圍的大小與空間亮度差的絕對值 的總和成反比地增加，而與時間亮度差的絕對值的總和成正比地增加。在該運動矢量檢測 裝置的情況下，搜索范圍的大小與空間亮度差的絕對值的總和成反比地增加，而與時間亮 度差的絕對值的總和成正比地增加。 空間亮度差總和計算部分可以相對于基準塊計算水平方向和垂直方向上的空間 亮度差的絕對值的總和，作為空間亮度差的絕對值的總和，并且搜索范圍計算部分可以基 于水平和垂直方向上的空間亮度差的絕對值的總和以及時間亮度差的絕對值的總和，計算 水平和垂直方向上的搜索范圍。在該運動矢量檢測裝置的情況下，計算相對于基準塊的水 平方向和垂直方向上的空間亮度差的絕對值的總和，并且基于水平和垂直方向上的空間亮 度差的絕對值的總和以及時間亮度差的絕對值的總和，計算水平和垂直方向上的搜索范 圍。在此情況下，空間亮度差總和計算部分可以基于相對于基準塊中的預定像素的時間亮 度差的符號以及水平和垂直方向上的空間亮度差的符號，將水平和垂直方向上的空間亮度 差的絕對值加到正側空間亮度差總和或負側空間亮度差總和。在該運動矢量檢測裝置的情 況下，基于相對于基準塊中的預定像素的時間亮度差的符號以及水平和垂直方向上的空間 亮度差的符號，將水平和垂直方向上的空間亮度差的絕對值加到正側空間亮度差總和或負 側空間亮度差總和。在此情況下，時間亮度差總和計算部分可以基于水平和垂直方向上的 空間亮度差的符號以及相對于基準塊中的預定像素的時間亮度差的符號，將水平和垂直方 向上的時間亮度差的絕對值加到正側時間亮度差總和或負側時間亮度差總和。在該運動矢 量檢測裝置的情況下，基于水平和垂直方向上的空間亮度差的符號以及相對于基準塊中的 預定像素的時間亮度差的符號，將水平和垂直方向上的時間亮度差的絕對值加到正側時間 亮度差總和或負側時間亮度差總和。在此情況下，搜索范圍計算部分可以包括正側搜索范 圍計算部分和負側搜索范圍計算部分。正側搜索范圍計算部分配置為基于水平和垂直方向 上的正側空間亮度差總和以及水平和垂直方向上的正側時間亮度差總和，計算水平和垂直 方向上在正側的搜索范圍。負側搜索范圍計算部分配置為基于水平和垂直方向上的負側空 間亮度差總和以及水平和垂直方向上的負側時間亮度差總和，計算水平和垂直方向上在負 側的搜索范圍。在該運動矢量檢測裝置的情況下，計算水平和垂直方向上的正側搜索范圍 和負側搜索范圍。 在空間亮度差總和計算部分基于水平和垂直方向上的空間亮度差的符號以及相 對于基準塊中的預定像素的時間亮度差的符號、將水平和垂直方向上的空間亮度差的絕對 值加到正側空間亮度差總和或負側空間亮度差總和的情況下，所述運動矢量檢測裝置還可 以包括似然度計算部分。似然度計算部分配置為基于正側空間亮度差總和以及負側空間亮 度差總和，分別計算水平和垂直方向上的正側似然度和負側似然度。在該運動矢量檢測裝 置的情況下，基于正側空間亮度差總和以及負側空間亮度差總和，分別計算水平和垂直方 向上的正側似然度和負側似然度。在此情況下，搜索范圍計算部分可以包括正側搜索范圍 計算部分和負側搜索范圍計算部分。正側搜索范圍計算部分配置為基于空間亮度差的絕對值的總和、時間亮度差的絕對值的總和、以及水平和垂直方向上的正側似然度，計算水平和 垂直方向上在正側的搜索范圍。負側搜索范圍計算部分配置為基于空間亮度差的絕對值的 總和、時間亮度差的絕對值的總和、以及水平和垂直方向上的負側似然度，計算水平和垂直 方向上在負側的搜索范圍。在該運動矢量檢測裝置的情況下，基于空間亮度差的絕對值的 總和、時間亮度差的絕對值的總和、以及水平和垂直方向上的正側似然度和負側似然度，計 算水平和垂直方向上的正側搜索范圍和負側搜索范圍。 運動矢量檢測裝置還可以包括基準亮度值產生部分，配置為基于基準塊中的預定 像素的亮度值，產生基準塊的基準亮度值；以及有效性計算部分，配置為基于基準塊的像素 的亮度值和基準亮度值，計算基準塊的每個像素的有效度。塊匹配計算部分包括相關計算 部分，配置為在依賴于搜索范圍確定的參考幀中的搜索區域中設置多個參考塊，并且基于 在設置的參考塊中對應于基準塊的像素位置的各像素的亮度值、和對應于基準塊的像素位 置的有效度，為每個參考塊計算參考塊相對于基準塊的相關度。在該運動矢量檢測裝置的 情況下，基于對應于基準塊的像素位置的有效度，計算基準塊和參考塊之間的相關度。
可以配置運動矢量檢測裝置，使得搜索范圍計算部分將基于空間亮度差的絕對值 的總和以及時間亮度差的絕對值的總和計算的搜索范圍、以及預定范圍之一確定為搜索范 圍。在該運動矢量檢測裝置的情況下，基于空間亮度差的絕對值的總和以及時間亮度差的 絕對值的總和計算的搜索范圍、以及預定范圍之一被計算為搜索范圍。 該運動矢量檢測裝置、處理方法和程序能夠實現可以抑制通過塊匹配技術的運動 矢量檢測處理中的功耗的出眾的優點。
圖1是示出根據本發明第一實施例的運動矢量檢測裝置的功能配置的示例的框 圖； 圖2A和2B是圖示在相同的兩個運動對象包括在基準幀和參考幀中的情況下、通 過圖1的運動矢量檢測裝置的運動矢量的檢測的示例的示意圖； 圖3A和3B是圖示通過圖1的運動矢量檢測裝置的基準亮度值產生部分的基準亮 度值的產生的示例的圖解視圖； 圖4是圖示通過圖1的運動矢量檢測裝置的有效度計算部分的有效度的計算的示 例的圖解視圖； 圖5A和5B是圖示通過圖1的運動矢量檢測裝置的亮度值差計算部分計算的差絕 對值、和通過權重計算部分計算的權重之間的關系的示例的圖解視圖； 圖6是圖示通過圖1的運動矢量檢測裝置的運動矢量計算處理的處理過程的流程 圖； 圖7是示出根據本發明第二實施例的運動矢量檢測裝置的配置的框圖； 圖8是圖示由圖7的運動矢量檢測裝置定義的參考幀的搜索區域的示例的圖解視
圖； 圖9是示出圖7的運動矢量檢測裝置的搜索范圍產生部分的配置的第一示例的框 圖； 圖10是圖示由圖7的運動矢量檢測裝置非對稱地定義的參考幀的搜索范圍的示例的圖解視圖； 圖11是示出在非對稱地設置搜索范圍的情況下、圖7的運動矢量檢測裝置的搜索 范圍產生部分的配置的第二示例的框圖； 圖12是示出圖11中示出的搜索范圍產生部分的配置的第二示例的修改的框圖；
圖13是圖示在圖7的運動矢量檢測裝置的處理方法中的處理過程的示例的流程 圖； 圖14是示出根據本發明第三實施例的運動矢量檢測裝置的配置的示例的框圖； 圖15是圖示圖14的運動矢量檢測裝置的分級搜索方法的示意圖； 圖16是示出根據本發明第四實施例的運動矢量檢測裝置的配置的示例的框以及 圖17是示出根據本實施例的運動矢量檢測裝置中使用的圖像拾取裝置的配置的 示例的框圖。
具體實施例方式以下，結合本發明的優選實施例描述本發明。按以下順序給出描述 1.第一實施例(塊匹配計算控制有效度應用到每個像素的示例) 2.第二實施例(運動矢量檢測控制向上、向下、向左和向右控制搜索區域的示
例) 3.第三實施例(運動矢量檢測控制分級ME (運動估計)的應用的示例) 4.第四實施例(運動矢量檢測控制有效度應用到每個像素的示例和控制搜索區
域的示例的組合) 〈1.第一實施例>[運動矢量檢測裝置的功能配置的示例] 圖1示出根據本發明第一實施例的運動矢量檢測裝置的功能配置的示例。參照圖 l，示出的運動矢量檢測裝置100包括基準幀緩沖器110、基準塊確定部分120、參考幀緩沖 器130、參考塊確定部分140、基準亮度值產生部分150、有效性計算部分160和塊匹配計算 部分170。 基準幀緩沖器110將通過信號線101提供到此的圖像暫時存儲為當前幀。該當前 幀是例如動態畫面的目前幀的圖像。基準幀緩沖器110將當前幀提供到基準塊確定部分 120。 基準塊確定部分120關于從基準幀緩沖器110提供到其的當前幀確定基準塊的位 置，并且提取確定的基準塊中的每個像素的亮度。要注意的是，當前塊例如是預先由基準塊 確定部分120定義的當前幀的一部分或當前幀的大小的區域。此外，基準塊確定部分120 例如在當前幀中以一個像素為單位連續移動當前塊，以便確定當前塊的位置。此外，基準 塊確定部分120例如在當前幀中以塊為單位連續移動當前塊，以便確定當前塊的位置。此 外，基準塊確定部分120將當前塊中的每個像素的確定的亮度值提供到基準亮度值產生部 分150、有效性計算部分160和塊匹配計算部分170。此外，基準塊確定部分120將當前塊 的確定的位置提供到參考塊確定部分140和塊匹配計算部分170。 參考幀緩沖器130將通過信號線102提供到其的圖像暫時存儲為參考幀。該參考幀是在當前幀前一幀的圖像(前向參考)。參考幀緩沖器130將參考幀提供到參考塊確定 部分140。 參考塊確定部分140基于從基準塊確定部分120提供到其的當前塊的位置，確定 從參考幀緩沖器130提供到其的參考幀的參考塊的位置。參考塊確定部分140基于從基 準塊確定部分120提供到其的當前塊的位置，定義用于相對于參考幀中的基準塊搜索運動 矢量的搜索區域。然后，參考塊確定部分140確定定義的搜索區域中的參考塊的位置。要 注意的是，搜索區域是例如由參考塊確定部分140參考當前塊的位置定義的固定大小的區 域。要注意的是，參考塊確定部分140可連續確定參考塊的位置，同時例如圍繞對應于當前 塊的位置螺旋地移動該參考塊的位置。參考塊確定部分140將以如上所述的方式確定的參 考塊的每個像素的亮度值和參考塊的位置提供到塊匹配計算部分170。
基準亮度值產生部分150基于從基準塊確定部分120提供到其的整個當前塊中或 預先確定的當前塊的一部分中的各像素的亮度值，產生基準亮度值。這里，該基準亮度值是 要用作用于識別包括基準塊中的運動對象的那些像素的基準的亮度值。基準亮度值產生部 分150產生基準塊中的所有像素或一些像素的統計值作為基準亮度值。統計值例如可以是 平均值或中間值。此外，基準亮度值產生部分150例如產生基準塊中的一個像素的亮度值 作為基準亮度值。此外，基準亮度值產生部分150提供如此產生的基準亮度值到有效性計 算部分160。 有效性計算部分160基于基準塊的每個像素的亮度值和基準亮度值，計算基準塊 的每個像素的有效度。有效性計算部分160包括亮度值差計算部分161和權重計算部分 162。 亮度值差計算部分161對于基準塊的每個像素，計算從基準亮度值產生部分150 提供到其的基準亮度值和從基準塊確定部分120提供的基準塊的像素的亮度值之間的差 絕對值。亮度值差計算部分161根據以下表達式計算差絕對值D(i， j):
D(i， j) = I Ibase_Ic(i， j) I表達式1 其中Ibase是從基準亮度值產生部分150提供的基準亮度值，而Ic(i， j)是從基準 塊確定部分120提供的基準塊的每個像素的亮度值。要注意，(i， j)指示像素的位置，并且 i指示垂直方向的位置，而j指示水平方向的位置。 亮度值差計算部分161將以如上所述的方式計算的基準塊的每個像素的差絕對 值提供到權重計算部分162。 權重計算部分162為基準塊的每個像素計算權重。具體地，權重計算部分162基 于從亮度值差計算部分161提供的基準塊的像素的差絕對值，計算作為基準塊的每個像素 的有效度的權重。權重計算部分162將以此方式計算的基準塊的每個像素的權重提供到塊 匹配計算部分170。 塊匹配計算部分170基于基準塊和參考塊之間的相關度執行塊匹配，以便計算相 對于基準塊的運動矢量。塊匹配計算部分170包括相關計算部分171、相關映射存儲部分 172、位置獲取部分173和運動矢量計算部分174。 相關計算部分171計算每個參考塊相對于基準塊的加權SAD(絕對差的和)作為 相關度。具體地，相關計算部分171將基準塊的每個像素的亮度值、和對應于基準塊的像素 部分的參考塊的每個像素的亮度值之間的差絕對值乘以對應于像素位置的權重，以便計算像素的相關值。然后，相關計算部分171求和這種相關值以計算加權SAD。加權SAD隨著其 值減少，指示更高的相關度。具體地，相關計算部分171根據以下表達式計算加權SAD : 加權"1)= 2『(W)K(")-"")I表達式2 其中IJi， j)指示對應于基準塊的每個像素位置的像素的亮度值，而W(i， j)指示 對應于基準塊的每個像素位置的權重。 此外，相關計算部分171將每個參考塊的計算的加權SAD作為相關度提供到相關 映射存儲部分172。 相關映射存儲部分172以相互相關聯的關系，暫時存儲從相關計算部分171提供 到其的參考塊的相關度和從參考塊確定部分140提供到其的參考塊的位置。相關映射存儲 部分172將存儲在其中的所有參考塊的位置和相關度提供到位置獲取部分173。
位置獲取部分173獲取從相關映射存儲部分172提供到其的所有參考塊中具有最 高相關度的一個參考塊的位置。換句話說，位置獲取部分173獲取具有最低加權SAD的參 考塊的位置。在所有參考塊的位置和相關度存儲在相關映射存儲部分172中的情況下，位 置獲取部分173獲取具有最高相關度的參考塊的位置。位置獲取部分173將參考塊的獲取 的位置提供到運動矢量計算部分174。 運動矢量計算部分174基于從位置獲取部分173提供到其的最高相關度的參考塊
的位置、和從基準塊確定部分120提供到其的基準塊的位置，計算運動矢量。運動矢量計算
部分174將計算的運動矢量提供到信號線103。 現在，描述在本發明實施例中的基準幀和參考幀的設置。[運動矢量的檢測的示例] 圖2A和2B圖示在相同兩個運動對象包括在基準幀和參考幀中的情況下、通過根 據本發明的第一實施例的運動矢量檢測裝置100的運動矢量的檢測的示例。具體地，圖2A 圖示作為動態畫面的當前幀的基準幀200，而圖2B圖示作為在基準幀之前一幀的幀的參考 幀220 (在前向參考的情況下)。 基準幀200包括在其中顯示的運動體A 201、另一運動體B 202和基準塊210。運
動體A 201和運動體B 202隨著時間過去在幀中運動。基準塊210是由基準塊確定部分
120確定的區域。基準塊210包括運動體A 201的右下部分和背景圖像。 參考幀220包括在其上顯示的包括在基準幀200中的運動體A 201和運動體B
202、搜索區域221和參考塊230。搜索區域221是其中搜索由參考塊確定部分140定義的
基準塊210的運動的源的區域。參考塊230包括運動體A 201的右下部分和運動體B 202
的部分。 在此情況下，運動矢量檢測裝置100設置對應于在基準塊210中包括的運動體A 201的像素的有效度為高級別，以便使得基準塊210和參考塊230之間的相關度最高。因 此，運動矢量檢測裝置IOO其后可以精確地檢測運動體A 201的運動矢量。
[基準亮度值的產生的示例] 圖3A和3B圖示通過根據本發明的第一實施例的基準亮度值產生部分150的基準 亮度值的產生的示例。 圖3A圖示在基準塊210的每個側的像素的數目是"5"的情況下、其中基準塊210的中央像素的亮度值的示例。基準塊210包括基準塊的像素#1到#25、以及來自像素#1到 #25中位于基準塊210的中心的基準像素211。在像素#1到#25的每個中用括號指示的值 是像素的亮度值。這里，因為像素#13是基準像素211，所以作為像素#13的亮度值的"150"
是基準亮度值。 圖3B圖示在基準塊210的每個側的像素的數目是"4"的情況下、其中基準塊的中 心附近的像素的亮度值的統計值用作基準亮度值的示例。這里，從像素#7、 #8、 #12和#13 產生基準亮度值。例如，作為像素#7、#8、#12和#13的亮度值的平均值的"151.5"確定為
基準亮度。 以此方式，基準亮度值產生部分150基于來自基準塊確定部分120的基準塊的所 有像素或一些像素的亮度值，產生基準亮度值，并且將基準亮度值提供到有效性計算部分 160。[有效度的計算的示例] 圖4圖示通過根據本發明的第一實施例的有效性計算部分160的有效度的計算的 示例。這里，取圖3A中示出的基準塊210作為示例，描述其中有效度設置為高的值的像素 的分類技術。此外，基準亮度值Ib^設為"150"，而閾值Dth設為"20"。
在該例子中，亮度值差計算部分161根據上面給出的表達式(1)，計算像素#1到 #25的每個的亮度值1。(i， j)和從基準亮度值產生部分150提供到其的基準亮度值Ibase之 間的差絕對值D(i， j)。然后，權重計算部分162判定像素#1到#25的每個的差絕對值D(i， j)是否低于閾值Dth。 在本示例中，像素#1、 #4和#15到#25判定為具有高于閾值Dth的亮度值的像素，
而其它像素#2、 #3和#5到#14判定為具有低于閾值Dth的亮度值的像素。 以此方式，基于基準塊的每個像素的亮度值和基準亮度值之間的差絕對值，區分
其有效度設為高的值的像素。[差絕對值和權重之間的關系的示例] 圖5A和5B圖示由根據本發明的第一實施例的亮度值差計算部分161計算的差絕 對值和由權重計算部分162計算的權重之間的關系的示例。具體地，圖5A和5B示出了這 樣的曲線圖，其中橫坐標的軸指示差絕對值D，而縱坐標的軸指示權重W。
更具體地，圖5A圖示這樣的示例，其中由亮度值差計算部分161計算的差絕對值 D低于閾值Dth，并且權重W是固定值。這里，在差絕對值D(i， j)低于閾值Dth的情況下，權 重計算部分162將值W^作為權重W(i， j)提供到相關計算部分171。另一方面，在差絕對
值D(i，j)高于閾值Dth的情況下，將低于值W^的另一值Wmin作為權重W(i，j)提供到相關 計算部分171。例如，值W隨和值Wmin分別設為"l"和"0"。 具體地，權重計算部分162根據以下表達式計算基準塊的每個像素的權重W(i， j):<formula>formula see original document page 11</formula>
其中Wmin和W^是常數。 以此方式，為其差絕對值D低于閾值Dth的像素計算固定權重。因此，在通過相關 計算部分171的相關度計算中，可以提高下述基準塊的每個像素的有效度，參考塊的每個像素的亮度值相對于該基準塊的每個像素的亮度值的差絕對值小于閾值。
圖5B圖示這樣的示例，其中在由亮度值差計算部分161計算的差絕對值D低于閾 值Dth的情況下，權重W與差絕對值D成反比地增加。這里，在差絕對值D(i， j)低于閾值 Dth的情況下，將與差絕對值D成反比地增加的權重W作為權重W(i， j)從權重計算部分162 提供到相關計算部分171。另一方面，在差絕對值D(i，j)高于閾值Dth的情況下，將指示最 低值的值Wmin作為權重W(i， j)提供到相關計算部分171。 在本示例中，權重計算部分162根據以下表達式計算基準塊的每個像素的權重 W(i， j):
f 『誦 如果(D(i',力〉DJ ^0》')=^ mm 、 二 丫 表達式4其中Wmin和W。是常數。 以此方式，對于關于其差絕對值D低于閾值Dth的像素，可以計算與差絕對值D成 反比增加的權重。結果，在通過相關計算部分171的相關度計算中，當基準塊的每個像素 的亮度值和參考塊中的每個像素的亮度值之間的差絕對值減少時，有效度可以設為更高的 值。[運動矢量檢測裝置的操作的示例] 現在，將參照附圖描述本發明實施例的運動矢量檢測裝置100的操作。 圖6圖示根據本發明第一實施例的運動矢量檢測裝置100的運動矢量計算處理的
處理過程的示例。 首先，在步驟S911 ，基準塊確定部分120確定來自基準幀緩沖器110的基準幀中的
基準塊。然后，在步驟S912，基準亮度值產生部分150基于來自基準塊確定部分120的整個
基準塊或預先定義的基準塊的部分的像素的亮度值，產生基準亮度值。然后，在步驟S913，
亮度值差計算部分161計算來自基準亮度值產生部分150的基準亮度值和基準塊的每個像
素的亮度值之間的差絕對值。然后，在步驟S914，權重計算部分162基于來自亮度值差計算
部分161的基準塊的每個像素的差絕對值，為基準塊的每個像素計算權重。 然后，在步驟S915，參考塊確定部分140確定來自參考幀緩沖器130的參考幀中的
參考塊。然后，在步驟S916，相關計算部分171基于基準塊的像素的權重、基準塊的像素的
亮度值和參考塊的像素的亮度值，計算基準塊和參考塊之間的相關度。 然后，在步驟S917，將由相關計算部分171計算的相關度和參考塊的位置以相互
相關聯的關系存儲在相關映射存儲部分172中。然后，在步驟S918，位置獲取部分173判
定關于在搜索范圍中確定的所有參考塊的相關度和位置是否存儲在相關映射存儲部分172
中。然后，如果此時還沒有存儲關于所有參考塊的相關度和位置，則處理返回步驟S915，使
得重復上述處理直到存儲了關于在搜索區域中設置的所有參考塊的相關度和位置。 另一方面，如果存儲了關于所有參考塊的相關度和位置，則在步驟S919由位置獲
取部分173獲取其相關度最高的參考塊的位置。然后，在步驟S920，運動矢量計算部分174
基于來自位置獲取部分173的參考塊的位置和基準塊的位置，計算運動矢量。 然后，在步驟S921判定是否由運動矢量計算部分174關于所有基準塊計算了運動
矢量。然后，如果此時還沒有關于所有基準塊完成運動矢量的計算，則處理返回步驟S911，
在此確定新的基準塊，此后執行從步驟S912開始的各步驟的處理。有基準塊計算了運動矢量，則結束運動矢量計算處理。 以此方式，在本發明的第一實施例的情況下，由有效性計算部分160計算的基準 塊的每個像素的有效度反映在基準塊和參考塊之間的相關度的計算上。因此，可以改進運 動矢量的檢測精度。
〈2.第二實施例> 圖7示出根據本發明第二實施例的運動矢量檢測裝置的配置。參照圖7，示出的運 動矢量檢測裝置300包括對應塊提取部分310、搜索范圍產生部分320、基準幀緩沖器110、 基準塊確定部分120、參考幀緩沖器130、參考塊確定部分140和塊匹配計算部分870。塊匹 配計算部分870包括相關計算部分871、相關映射存儲部分872、位置獲取部分873和運動 矢量計算部分874。這里，基準幀緩沖器110、基準塊確定部分120和參考幀緩沖器130類 似于上面參照圖1描述的那些部分，因此，這里省略它們的重復描述以避免冗余。
對應塊提取部分310提取對應于基準塊的位置的參考幀中的對應塊的所有像素 或預先定義的一些像素的亮度值。具體地，對應塊提取部分310基于從基準塊確定部分120 提供到其的基準塊的位置，設置對應塊的位置。然后，對應塊提取部分310從由參考幀緩沖 器130提供到其的參考幀中的各像素的亮度值中提取如此設置的對應塊中的各像素的亮 度值。此外，對應塊提取部分310通過信號線311將對應塊中的各像素的提取的亮度值提 供到搜索范圍產生部分320。 搜索范圍產生部分320基于對應塊中的所有像素或一些像素的亮度值和基準塊 中所有像素或一些像素的亮度值，產生用于計算相對于基準塊的運動矢量的參考幀中的搜 索區域。具體地，搜索范圍產生部分320計算空間亮度差的絕對值的總和，所述空間亮度差 是關于在從基準塊確定部分120提供的基準塊中的所有像素或預先定義的一些像素的各 像素之間在空間上的亮度差。此外，搜索范圍產生部分320計算時間亮度差的絕對值的總 和，所述時間亮度差是來自基準塊確定部分120的基準塊和來自對應塊提取部分310的對 應塊的對應像素之間在時間基準上的亮度差。然后，搜索范圍產生部分320基于空間亮度 差的絕對值的總和和時間亮度差的絕對值的總和，計算參考幀的搜索范圍。此外，搜索范圍 產生部分320通過信號線329將參考幀的計算的搜索范圍提供到參考塊確定部分140。
參考塊確定部分140基于從基準塊確定部分120提供的基準塊的位置和從搜索范 圍產生部分320提供的搜索范圍，定義參考幀中的搜索區域。然后，參考塊確定部分140以 參照圖1的上述方式連續確定搜索范圍內的參考塊。此外，參考塊確定部分140將確定的 參考塊中的各像素的亮度值提供到相關計算部分871，并且將參考塊的位置存儲在相關映 射存儲部分872中。 塊匹配計算部分870基于參考塊和基準塊之間的相關度執行塊匹配，以計算參考 塊的運動矢量。相關計算部分871對于每個參考塊計算SAD作為相關度，所述SAD是來自 基準塊確定部分120的基準塊和來自參考塊確定部分140的參考塊的對應像素之間的亮度 差的絕對值的總和。當SAD具有減少的值時，這表示相關度具有增加的值。相關計算部分 871將為每個參考塊計算的相關度存儲在相關映射存儲部分872中。 相關映射存儲部分872以相互相關聯的關系暫時存儲從相關計算部分871提供的 參考塊的相關度、和從參考塊確定部分140提供的參考塊的位置。相關映射存儲部分872 將存儲在其中的所有參考塊的相關度和位置提供到位置獲取部分873。
位置獲取部分873獲取從相關映射存儲部分872提供到其的所有參考塊中展現最高相關度的一個參考塊的位置。換句話說，位置獲取部分873獲取具有最低加權SAD的參考塊的位置。具體地，當關于所有參考塊的相關度和位置存儲在相關映射存儲部分872中時，位置獲取部分873獲取展現最高相關度的參考塊的位置。此外，位置獲取部分873將參考塊的獲取的位置提供到運動矢量計算部分874。 運動矢量計算部分874基于從位置獲取部分873提供到其的并且具有最高相關度
的參考矢量的位置、和從基準塊確定部分120提供的基準塊的位置，計算運動矢量。 這里，參照附圖描述基于由搜索范圍產生部分320產生的搜索范圍和基準塊的位
置定義的參考幀中的搜索區域的示例。[搜索區域的定義的示例] 圖8示出由根據本發明的第二實施例的運動矢量檢測裝置100定義的參考幀中的搜索區域的示例。參照圖8，示出參考幀中的搜索區域410和最大搜索區域430。這里，基準塊的水平方向和垂直方向分別定義為x方向和y方向。 搜索區域410是由搜索范圍產生部分320和搜索區域基準塊240產生的x方向上的搜索范圍Lx和y方向上的搜索范圍Ly定義的區域。搜索區域基準塊240是在與參考幀中的基準塊的位置相同位置處的塊。具體地，搜索區域基準塊240設置為相對于基準塊的運動矢量是"O"的位置。 x方向上的搜索范圍Lx指示其中參考基準塊210、參考塊可以在x方向上移動到右側和左側的最大范圍。y方向上的搜索范圍Ly指示其中參考搜索區域基準塊240、參考塊可以在y方向上移動到上側和下側的最大范圍。 最大搜索區域430是基于最大搜索范圍Lmax和搜索區域基準塊240定義的區域。最大搜索范圍Lmax是基于圖像的分辨率和壓縮率確定的，并且設為例如32像素。
因為搜索范圍產生部分320以此方式產生x方向上的搜索范圍Lx和y方向上的搜索范圍Ly，所以運動矢量檢測裝置300可以在搜索區域中相互獨立地定義x方向和y方向上的搜索范圍。此外，運動矢量檢測裝置300可以通過提供最大搜索范圍L^，避免搜索區域的擴展超過定義的最大區域。現在，參照圖9描述產生x方向上的搜索范圍Lx和y方向上的搜索范圍Ly的搜索范圍產生部分320的配置的示例。[ono][搜索范圍產生部分的配置的第一示例] 圖9示出本發明的第二實施例中的搜索范圍產生部分320的配置的第一示例。參照圖9，搜索范圍產生部分320包括Ft計算部分330、 Fs計算部分340和L計算部分370。
Ft計算部分330計算時間亮度差的總和作為時間亮度差總和Ft，所述時間亮度差是從信號線311提供的對應塊和從信號線121提供的基準塊中的對應像素之間的亮度差。Ft計算部分330根據以下表達式計算時間亮度差總和Ft，并且將計算的時間亮度差總和Ft提供到L計算部分370。順便提及，Ft計算部分330是時間亮度差總和部分的示例。
<formula>formula see original document page 14</formula>表達式5其中It(i， j)是時間亮度差，Ic(i， j)是基準塊中的像素的亮度值，Ir(i， j)是參
考塊中的像素的亮度值，i和j分別是每個塊的x方向的像素位置和y方向的像素位置，并且N是通過從每個塊中的不同像素的像素的數目減去"1"獲得的值。 以此方式，當運動體移動的速度增加時，基準塊中包括的運動體和對應塊中包括的相同運動體之間位置的差、以及相應地根據上面給出的表達式計算的時間亮度差總和Ft可能具有高的值。另一方面，因為當運動體移動的速度減小時、基準塊和對應塊之間的運動體的位置的差減小，所以時間亮度差總和Ft可能變低。從此，可以估計基準塊中包括的運動體的速度。 Fs計算部分340計算空間亮度差的絕對值的總和作為空間亮度差總和，所述空間亮度差是相鄰像素到從信號線121提供的基準塊中的像素之間的亮度差。順便提及，Fs計算部分340是空間亮度差總和部分的示例。 Fs計算部分340分別計算相對于基準塊的水平方向和垂直方向上的空間亮度差總和。Fs計算部分340包括Fx計算部分350和Fy計算部分360。 Fx計算部分350關于基準塊中的各像素計算水平方向上的空間亮度差的絕對值的總和，作為x方向上的空間亮度差總和。具體地，Fx計算部分350計算x方向上的相鄰像素到基準塊中的像素之間的亮度差的總和，作為x方向上的空間亮度差總和Fx。 x方向上的空間亮度差總和Fx是表示x方向上的空間亮度差總和Fs的分量的值。Fx計算部分350將x方向上的計算的空間亮度差總和Fx提供到Lx計算部分380。順便提及，Fx計算部分350是空間亮度差總和部分的示例。
Fy計算部分360關于基準塊中的各像素計算垂直方向上的空間亮度差的絕對值的總和，作為y方向上的空間亮度差總和。具體地，Fy計算部分360計算y方向上的相鄰像素到基準塊中的像素之間的亮度差的總和，作為y方向上的空間亮度差總和Fy。 y方向上的空間亮度差總和Fy是表示y方向上的空間亮度差總和Fs的分量的值。Fy計算部分360將y方向上的計算的空間亮度差總和Fy提供到Ly計算部分390。順便提及，Fy計算部分360是空間亮度差總和部分的示例。上述x方向上的空間亮度差總和Fx和y方向上的空間亮度差總和Fy可以由以下
表達式表不
加一
乂 \>0,/=0 〉 ， J其中lji， J)是關于基準塊中的每個像素的X方向上的空間亮度差，而ly(i，
j)是關于基準塊中的每個像素的y方向上的空間亮度差。 當運動體移動的速度增加時，包括在基準塊中的運動體的圖像開始具有增加的模糊量，因此，根據上面給出的表達式計算的空間亮度差總和Fs可能具有低的值。另一方面，當運動體移動的速度減小時，包括在基準塊中的運動體的圖像開始具有減小的模糊量，因此，空間亮度差總和Fs可能具有高的值。因此，可以估計包括在基準塊中的運動體的速度。
L計算部分370基于來自Ft計算部分330的時間亮度差總和Ft和來自Fs計算部分340的空間亮度差總和Fs，計算關于基準塊搜索運動矢量的參考幀中的搜索范圍。當空間亮度差總和Fs增加時，該L計算部分370設置減小的搜索范圍，而當時間亮度差總和Ft增加時，該L計算部分370設置增加的搜索范圍。換句話說，L計算部分370計算這樣的搜索 K =
PI
加q
表達式6范圍，其與空間亮度差總和Fs成反比地增加，而與時間亮度差總和Ft成正比增加。然后，L計算部分370計算以此方式計算的搜索范圍和預定范圍之一作為參考幀中的搜索范圍。具體地，L計算部分370基于以下函數G計算搜索范圍L :<formula>formula see original document page 16</formula>
l表達式7 其中L^是圖8中圖示的最大搜索范圍，而a是固定值，并且例如設為"1 "。從上面的表達式可知，如果a設為低的值，則搜索范圍變小，因此，可以抑制通過塊匹配的處理 L計算部分370通過信號線329將計算的搜索范圍L提供到參考塊確定部分140。順便提及，L計算部分370是搜索范圍計算部分的示例。 此外，L計算部分370基于不同方向上的空間亮度值的絕對值的總和以及時間亮度差的絕對值的總和，計算不同方向上的搜索范圍。L計算部分370包括Lx計算部分380和Ly計算部分390。 L,計算部分380計算圖8中示出的x方向上的搜索范圍L,。具體地，Lx計算部分380基于來自Ft計算部分330的時間亮度差總和Ft和來自Fx計算部分350的在x方向上的空間亮度差總和F,，計算x方向上的搜索范圍Lx。 Lx計算部分380通過信號線329將計算的x方向上的搜索范圍Lx提供到參考塊確定部分140。 Ly計算部分390計算圖8中示出的y方向上的搜索范圍Ly。具體地，Ly計算部分390基于來自Ft計算部分330的時間亮度差總和Ft和來自Fy計算部分360的在y方向上的空間亮度差總和F"計算y方向上的搜索范圍Ly。 Ly計算部分390通過信號線329將計算的y方向上的搜索范圍Ly提供到參考塊確定部分140。 這里，作為上述x方向上的搜索范圍Lx和y方向上的搜索范圍Ly的計算的示例，可以應用以下表達式
、S乂
表達式8 因為以此方式使用時間亮度差總和Ft和空間亮度差總和Fs的兩個參數可以精確地估計包括在基準塊中的素材體的運動，所以可以定義符合基準塊中的素材體的運動的搜索范圍。此外，通過相互分開地計算x方向和y方向的搜索范圍，可以定義最佳搜索范圍。這里應該注意，盡管對稱地產生上述x方向和y方向上的搜索范圍，但是下面描述關于搜索區域基準塊240分開地產生在向上和向下方向以及在向左和向右方向上的搜索范圍的示例。[搜索范圍的定義的示例] 圖10圖示在通過本發明的第二實施例的運動矢量檢測裝置300非對稱地定義的參考幀中的搜索區域的示例。在圖10中，圖示參考幀中的搜索區域420和最大搜索區域430。順便提及，參考幀中除了搜索區域420之外的組件與上面參照圖8描述的那些組件類似，因此，這里省略它們的重復描述以避免冗余。 搜索區域420是由搜索區域基準塊240、 x方向上在正側的搜索范圍Lx+和在負側的搜索范圍Lx—、以及y方向上在正側的搜索范圍Ly+和在負側的搜索范圍Ly—定義的區域。由搜索范圍產生部分320產生x方向上在正側的搜索范圍Lx+和在負側的搜索范圍Lx—、以及y方向上在正側的搜索范圍Ly+和在負側的搜索范圍Ly一。 x方向上在正側的搜索范圍Lx+指示其中參考搜索區域基準塊240、參考塊可以在x方向移動到右側的最大范圍。x方向上在負側的搜索范圍Lr指示其中參考搜索區域基準塊240、參考塊可以在x方向移動到左側的最大范圍。 y方向上在正側的搜索范圍Ly+指示其中參考搜索區域基準塊240、參考塊可以在y方向移動到下側的最大范圍。y方向上在負側的搜索范圍Ly—指示其中參考搜索區域基準塊240、參考塊可以在y方向移動到上側的最大范圍。 通過以此方式利用搜索范圍產生部分320在不同方向上單獨地產生正負側搜索范圍，在各個方向上參考搜索區域基準塊240非對稱地定義搜索區域。現在，下面描述其中非對稱地定義搜索區域的搜索范圍產生部分320的配置的示例。
[搜索范圍產生部分的配置的第二示例] 圖11示出根據本發明的第二實施例的、其中非對稱地產生搜索范圍的搜索范圍產生部分320的配置的第二示例。參照圖ll，搜索范圍產生部分320包括Ft計算部分330、Fx計算部分350、 Fy計算部分360、 Lx計算部分380和Ly計算部分390。
Ft計算部分330包括Ftx—計算部分331、Ftx+計算部分332、Fty—計算部分333和Fty+計算部分334。 Fx計算部分350包括Fx—計算部分351和Fx+計算部分352。 Fy計算部分360包括Fy—計算部分361和Fy+計算部分362。 Lx計算部分380包括Lx—計算部分381和Lx+計算部分382。 Ly計算部分390包括Ly—計算部分391和Ly+計算部分392。
Ft計算部分330將x方向和y方向上的時間亮度差的絕對值加到在不同方向上的正側時間亮度差總和以及負側時間亮度差總和之一。具體地，Ft計算部分330基于關于基準塊中的所有像素或一些像素的時間亮度差的符號、和不同方向上的空間亮度差的符號，關于基準塊中的所有像素或一些像素將不同方向上的時間亮度差的絕對值相加。順便提及，Ft計算部分330是時間亮度差總和部分的示例。 Ftx—計算部分331基于關于各像素的x方向上的空間亮度差的符號和時間亮度差的符號，將關于基準塊中的各像素的x方向上的時間亮度差的絕對值加到x方向上的負側時間亮度差總和Ftx—。 Ftx—計算部分331將計算的x方向上的負側時間亮度差總和Ftx—提供到V計算部分381。 Ftx+計算部分332基于關于各像素的x方向上的空間亮度差的符號和時間亮度差的符號，將關于基準塊中的各像素的x方向上的時間亮度差的絕對值加到x方向上的正側時間亮度差總和Ftx+。 Ftx+計算部分332將計算的x方向上的正側時間亮度差總和FtX+提供到L/計算部分382。 Fty—計算部分333基于關于各像素的y方向上的空間亮度差的符號和時間亮度差的符號，將關于基準塊中的各像素的y方向上的時間亮度差的絕對值加到y方向上的負側時間亮度差總和Fty—。 Fty—計算部分333將計算的y方向上的負側時間亮度差總和Fty—提供到V計算部分391。 F/+計算部分334基于關于各像素的y方向上的空間亮度差的符號和時間亮度差的符號，將關于基準塊中的各像素的y方向上的時間亮度差的絕對值加到y方向上的正側時間亮度差總和F/+。 F/+計算部分334將計算的y方向上的正側時間亮度差總和Ft"提供到L/計算部分392。
這里，對于x方向上的負側時間亮度差總和Ftx—、 x方向上的正側時間亮度差總和 Ftx+、y方向上的負側時間亮度差總和Fty—和y方向上的正側時間亮度差總和F/+的計算，可 以使用以下表達式
<formula>formula see original document page 18</formula>j)可以由以下表達式表示
如果(-/乂 <o) 否則
<formula>formula see original document page 18</formula>如果(—//,<0) 否則
<formula>formula see original document page 18</formula> 以此方式，Ft計算部分330使用基于關于基準塊中的每個像素的空間亮度差的符 號和時間亮度差的符號估計的運動體的速度的方向，計算各方向上正側和負側的時間亮度 差的絕對值的總和。 Fx計算部分350關于基準塊中的所有像素或一些像素，將x方向上的空間亮度差 的絕對值加到x方向上的正側空間亮度差總和以及負側空間亮度差總和之一。具體地，Fx 計算部分350基于不同方向上的空間亮度差的符號和關于所有像素或一些像素的時間亮 度差的符號，關于基準塊中的所有像素或一些像素將x方向上的空間亮度差相加。順便提 及，Fx計算部分350是空間亮度差總和部分的示例。 Fx—計算部分351基于x方向上的空間亮度差的符號和關于像素的時間亮度差的 符號，關于基準塊中的每個像素將x方向上的空間亮度差的絕對值加到x方向上的負側空 間亮度差總和Fx—。 Fx—計算部分351將計算的x方向上的負側空間亮度差總和Fx—提供到 Lx—計算部分381。 F/計算部分352基于x方向上的空間亮度差的符號和關于像素的時間亮度差的符 號，關于基準塊中的每個像素將x方向上的空間亮度差的絕對值加到x方向上的正側空間 亮度差總和Fx+。 Fx+計算部分352將計算的x方向上的正側空間亮度差總和Fx+提供到Lx+ 計算部分382。 Fy計算部分360關于基準塊中的所有像素或一些像素，將y方向上的空間亮度差 的絕對值加到y方向上的正側空間亮度差總和以及負側空間亮度差總和之一。具體地，Fy 計算部分360基于不同方向上的空間亮度差的符號和關于所有像素或一些像素的時間亮 度差的符號，關于基準塊中的像素將y方向上的空間亮度差相加。順便提及，Fy計算部分 360是空間亮度差總和部分的示例。 Fy—計算部分361基于y方向上的空間亮度差的符號和關于像素的時間亮度差的 符號，關于基準塊中的每個像素將y方向上的空間亮度差的絕對值加到y方向上的負側空間亮度差總和Fy—。 Fy—計算部分361將計算的y方向上的負側空間亮度差總和Fy—提供到 Ly—計算部分391。 Fy+計算部分362基于y方向上的空間亮度差的符號和關于像素的時間亮度差的符 號，關于基準塊中的每個像素將y方向上的空間亮度差的絕對值加到y方向上的正側空間 亮度差總和Fy+。 Fy+計算部分362將計算的y方向上的正側空間亮度差總和Fy+提供到Ly+ 計算部分392。 可以根據以下表達式計算x方向上的負側空間亮度差總和Fx—、 x方向上的正側空 間亮度差總和Fx+、 y方向上的負側空間亮度差總和Fy—、和y方向上的正側空間亮度差總和 F二
A—
其中I,
尺+、
廣W'W, 薩 /=0,y=0
(i， j)、Ix+(i， j)、Iv—
(/，4
沈M
s則
表達式11
(i， j)和Iv+(i， j)可以由以下表達式表示:
表達式12
如果(-< 0) 否則
如果(-//, <0)
否則
o)
L(o /力.)) 以此方式，F,計算部分350和Fy計算部分360使用基于關于基準塊中的每個〗 的空間亮度差的符號和時間亮度差的符號估計的運動體的速度的方向，計算正側和負側的 空間亮度差的絕對值的總和。 Lx計算部分380計算x方向上在負側的搜索范圍Lx—和在正側的搜索范圍Lx+。 Lx—計算部分381基于x方向上的負側空間亮度差總和Fx—和x方向上的負側時間亮度差總 和Ftx—，計算x方向上在負側的搜索范圍Lx—。 Lx—計算部分381通過信號線329將x方向上 在負側的計算的搜索范圍Lx—提供到參考塊確定部分140。順便提及，Lx—計算部分381是 負側搜索范圍計算部分的示例。 Lx+計算部分382基于x方向上的正側空間亮度差總和Fx+和x方向上的正側時間 亮度差總和Ftx+，計算x方向上在正側的搜索范圍Lx+。 Lx+計算部分382通過信號線329將 x方向上在正側的計算的搜索范圍L/提供到參考塊確定部分140。順便提及，L/計算部分 382是正側搜索范圍計算部分的示例。 Ly計算部分390計算y方向上在負側的搜索范圍Ly—和在正側的搜索范圍Ly+。 Ly—計算部分391基于y方向上的負側空間亮度差總和Fy—和y方向上的負側時間亮度差總 和Fty—，計算y方向上在負側的搜索范圍Ly—。 Ly—計算部分391通過信號線329將y方向上 在負側的計算的搜索范圍Ly—提供到參考塊確定部分140。順便提及，Ly—計算部分391是 負側搜索范圍計算部分的示例。
Ly+計算部分392基于y方向上的正側空間亮度差總和Fy+和y方向上的正側時間 亮度差總和Fty+，計算y方向上在正側的搜索范圍Ly+。 Ly+計算部分392通過信號線329將 y方向上在正側的計算的搜索范圍Ly+提供到參考塊確定部分140。順便提及，Ly+計算部分 392是正側搜索范圍計算部分的示例。 可以根據以下表達式計算x方向上在負側的搜索范圍L,—和在正側的搜索范圍 Lx+、以及y方向上在負側的搜索范圍LY—和在正側的搜索范圍LY+ :
<formula>formula see original document page 20</formula> 以此方式，通過利用搜索范圍產生部分320產生在不同方向上在正側和負側的搜 索范圍，可以在不同方向非對稱地定義搜索區域。因此，因為可以比通過圖9的配置更適當 地定義搜索范圍，所以可以以更高精確度檢測運動矢量。要注意的是，在本配置的情況下， 運動矢量檢測裝置300中的寄存器的數目大。因此，改進下述修改以便減少寄存器的數目。
[對搜索范圍產生部分的配置的第二示例的修改] 圖12示出對本發明的第二實施例中非對稱地設置搜索范圍的搜索范圍產生部分 320的配置的第二示例的修改。 參照圖12，基準塊確定部分120包括P,計算部分510和Py計算部分520以代替 參照圖11的上述配置中的Ft計算部分330，并且還包括參照圖9的上述Ft計算部分330、 Fx計算部分350和Fy計算部分360。因為Fx—計算部分351、FX+計算部分352、Fy—計算部分 361和Fy+計算部分362類似于參照圖11的上述那些部分，所以這里省略它們的重復描述以 避免冗余。此外，Ft計算部分330、 Fx計算部分350和Fy計算部分360類似于參照圖9的 上述那些部分，因此這里省略它們的重復描述以避免冗余。順便提及，P,計算部分510和 P y計算部分520是似然度計算部分的示例。 p x計算部分510基于x方向上的負側空間亮度差總和Fx—和正側空間亮度差總和 F/，計算x方向上的正側似然度和負側似然度。P,計算部分510包括Px—計算部分511和 p/計算部分512。 p x—計算部分511基于x方向上的負側空間亮度差總和Fx—和正側空間亮度差總 和F/，計算x方向上的負側似然度Px—。 Px—計算部分511將x方向上的計算的負側似然 度Px—提供到k—計算部分381。 p x+計算部分512基于x方向上的負側空間亮度差總和Fx—和正側空間亮度差總 和F/，計算x方向上的正側似然度Px+。 p/計算部分512將x方向上的計算的正側似然 度P/提供到L/計算部分3S2。 p y計算部分520基于y方向上的負側空間亮度差總和Fy—和正側空間亮度差總和 F/，計算y方向上的正側似然度和負側似然度。Py計算部分520包括Py—計算部分521和 Py+計算部分522。 p y—計算部分521基于y方向上的負側空間亮度差總和Fy—和正側空間亮度差總 和F/，計算y方向上的負側似然度Py—。 Py—計算部分521將y方向上的計算的負側似然 度Py—提供到Ly—計算部分391。 p v+計算部分522基于y方向上的負側空間亮度差總和Fv—和正側空間亮度差總和F/，計算y方向上的正側似然度Py
度Py+提供到Ly+計算部分392。 可以根據以下表達式計算x方向上的負側似然度P P x+、 y方向上的負側似然度P v—和y方向上的正側似然度P
P v+計算部分522將y方向上的計算的正側似然
x方向上的正側似然度
^ 一 、A
表達式14
max 以此方式，P x計算部分510和P y計算部分520使用正側亮度差總和以及負側亮 度差總和，以計算在包括在基準塊中的運動體的向上或向下方向以及向左或向右方向上的 似然度。 Lx—計算部分381基于x方向上的負側空間亮度差總和Fx—、x方向上的負側時間亮 度差總和FtX—和x方向上的負側似然度Px—，計算x方向上在負側的搜索范圍L,。 Lx—計算 部分381通過信號線329將x方向上在負側的計算的搜索范圍Lx—提供到參考塊確定部分 140。 Lx+計算部分382基于x方向上的正側空間亮度差總和Fx+、x方向上的正側時間亮 度差總和FtX+和x方向上的正側似然度P,+，計算x方向上在正側的搜索范圍L/。 L/計算 部分382通過信號線329將x方向上在正側的計算的搜索范圍Lx+提供到參考塊確定部分 140。順便提及，Lx—計算部分381和Lx+計算部分382是搜索范圍計算部分的示例。
Ly—計算部分391基于y方向上的負側空間亮度差總和Fy—、y方向上的負側時間亮 度差總和F/—和y方向上的負側似然度Py—，計算y方向上在負側的搜索范圍Ly—。 Ly—計算 部分391通過信號線329將y方向上在負側的計算的搜索范圍Ly—提供到參考塊確定部分 140。 Ly+計算部分392基于y方向上的正側空間亮度差總和Fy+、y方向上的正側時間亮 度差總和Ft"和y方向上的正側似然度Py+，計算y方向上在正側的搜索范圍Ly+。 Ly+計算 部分392通過信號線329將y方向上在正側的計算的搜索范圍Ly+提供到參考塊確定部分 140。順便提及，Ly—計算部分391和Ly+計算部分392是搜索范圍計算部分的示例。
可以根據以下表達式計算上述x方向上在負側的搜索范圍L,—和在正側的搜索范 圍Lx+、以及y方向上在負側的搜索范圍Ly—和在正側的搜索范圍Ly+ :
f4_z;、1" 以此方式，通過提供P,計算部分510和Py計算部分520，與參照圖11的上述配
置相比，可以減少在不同方向上在負側和正側的搜索范圍的計算中的處理量。[運動矢量檢測裝置的操作的示例] 現在，參照附圖描述運動矢量檢測裝置300的操作。 圖13圖示根據本發明第二實施例的運動矢量檢測裝置300的處理方法的處理過 程的示例。 參照圖13，首先，在步驟S931，基準塊確定部分120確定來自基準幀緩沖器110的基準幀中的基準塊。然后，在步驟S932， Fs計算部分340計算空間亮度差總和作為空間亮 度差的絕對值的總和，所述空間亮度差是來自基準塊確定部分120的基準塊中的各像素之 間的亮度差。順便提及，在步驟S932的處理是空間亮度差總和計算過程的示例。
然后，在步驟S933，Ft計算部分330計算時間亮度差總和作為時間亮度差的總和， 所述時間亮度差是來自對應塊提取部分310的對應塊和來自基準塊確定部分120的基準塊 中相互對應的各像素之間的亮度差。順便提及，在步驟S933的處理是時間亮度差總和計算 過程的示例。然后，在步驟S934， L計算部分370基于來自Ft計算部分330的時間亮度差 總和以及來自Fs計算部分340的空間亮度差總和，計算參考幀的搜索范圍。順便提及，在 步驟S934的處理是搜索范圍計算過程的示例。 然后，在步驟S935，參考塊確定部分140確定來自參考幀緩沖器130的參考幀內 的參考塊。然后，在步驟S936，相關計算部分871基于基準塊的各像素的亮度值和參考塊 的各像素的亮度值，計算基準塊和參考塊之間的相關度。然后，在步驟S937，將由相關計算 部分871計算的相關度和參考塊的位置以相互相關聯的關系存儲在相關映射存儲部分872 中。此后，在步驟S938，位置獲取部分873判定關于在搜索區域中確定的所有參考塊的相關 度和位置是否存儲在相關映射存儲部分872中。然后，如果此時還沒有存儲關于所有參考 塊的相關度和位置，則處理返回步驟S935。因此，重復上述處理直到存儲了關于在搜索區域 中設置的所有參考塊的相關度和位置。 另一方面，如果存儲了關于所有參考塊的相關度和位置，則在步驟S939，位置獲取 部分873獲取展現最低相關度的一個參考塊的位置。然后，在步驟S940，運動矢量計算部 分874基于來自位置獲取部分873的參考塊的位置和基準塊的位置，計算運動矢量。順便 提及，在步驟S935到940的處理是塊匹配計算過程的示例。 然后，在步驟S941判定是否關于所有基準塊計算由運動矢量計算部分874計算
的運動矢量。然后，如果還沒有完成關于所有基準塊的運動矢量的計算，則處理返回步驟
S941，在此確定新的基準塊。然后，重復從步驟S942開始的各步驟的處理。另一方面，如果
完成了關于所有基準塊的運動矢量的計算，則結束運動矢量計算處理。 以此方式，在本發明的第二實施例的情況下，因為可以通過提供搜索范圍產生部
分320適當地定義關于基準塊的運動矢量的搜索區域，所以可以改進運動矢量的檢測的精
度。此外，因為搜索區域可以抑制為最小區域，所以可以減小通過塊匹配的處理量。因此，
可以減少運動矢量檢測裝置300的功耗。 〈3.第三實施例>[運動檢測器的配置的示例] 圖14示出根據本發明第三實施例的運動檢測器600的配置的示例。參照圖14，運
動檢測器600執行通過使用縮小(reduced)圖像分級檢測運動矢量估計運動的分級運動估
計。運動檢測器600包括基準幀縮小圖像產生部分610、幀存儲器620、參考幀縮小圖像產
生部分630、第一運動矢量檢測部分640和第二運動矢量檢測部分650。 基準幀縮小圖像產生部分610產生從信號線601提供的基準幀的預定倍率的縮小
圖像。基準幀縮小圖像產生部分610將產生的縮小圖像作為基準幀縮小圖像提供到第一運
動矢量檢測部分640。 幀存儲器620暫時保留從信號線601提供到此的基準幀。幀存儲器620將保留的基準幀作為參考幀提供到參考幀縮小圖像產生部分630和第二運動矢量檢測部分650。
參考幀縮小圖像產生部分630產生從幀存儲器620提供到此的參考幀的預定倍率 的縮小圖像。參考幀縮小圖像產生部分630將產生的縮小圖像作為參考幀縮小圖像提供到 第一運動矢量檢測部分640。 第一運動矢量檢測部分640基于在基準幀縮小圖像中設置的基準塊和在參考幀 縮小圖像中設置的多個參考塊之間的相關度，檢測基準縮小圖像相對于基準塊的運動矢 量。第一運動矢量檢測部分640將關于基準幀縮小圖像中的基準塊檢測的運動矢量提供到 第二運動矢量檢測部分650。例如，上面參照圖7描述的運動矢量檢測裝置300可以應用到 第一運動矢量檢測部分640。因此，因為可以高效地檢測運動矢量，所以可以減少功耗。
第二運動矢量檢測部分650基于設置到基準幀的基準塊和設置到參考幀的多個 參考塊之間的相關度，檢測相對于基準塊的運動矢量。具體地，第二運動矢量檢測部分650 基于來自第一運動矢量檢測部分640的運動矢量定義搜索區域。然后，第二運動矢量檢測 部分650基于在定義的搜索區域中設置的多個參考塊和在基準幀中設置的基準塊之間的 相關度，檢測相對于基準幀中的基準塊的運動矢量。此外，第二運動矢量檢測部分650將相 對于基準幀的基準塊檢測的運動矢量提供到信號線609。例如，上面參照圖7描述的運動矢 量檢測裝置300可以應用到第二運動矢量檢測部分650。 這里，參照圖15簡要描述通過第二運動矢量檢測部分650的、基于來自第一運動 矢量檢測部分640的運動矢量、檢測相對于基準幀的基準塊的運動矢量的分級搜索技術。 [OHO][運動矢量的檢測的示例] 圖15圖示本發明第三實施例中的運動檢測器600的分級搜索技術。參照圖15，圖 示了基準幀602、參考幀621、估計塊654、基準縮小幀611、參考縮小幀631和運動矢量641 以及651到653。基準幀602是動態畫面的當前幀的圖像。參考幀621是存儲在幀存儲器 620中的基準幀602之前的圖像。基準塊603是用于檢測運動矢量的基準幀602的塊。
基準縮小幀611是由基準幀縮小圖像產生部分610產生的基準幀602的縮小圖 像。參考縮小幀631是由參考幀縮小圖像產生部分630產生的參考幀621的縮小圖像。基 準幀612是對應于基準塊603的基準縮小幀611的塊。這里，假設基準縮小幀611和參考 縮小幀631分別從基準幀602和參考幀621縮小到1/N倍。 在該情況下，第一運動矢量檢測部分640相對于設置到基準縮小幀611的基準幀
612檢測運動矢量641。然后，第二運動矢量檢測部分650基于通過將由第一運動矢量檢測
部分640檢測的運動矢量641增加到n倍獲得的運動矢量651，確定估計塊654的位置。然
后，第二運動矢量檢測部分650檢測相對于估計塊654的位置的運動矢量652，并且基于運
動矢量651和運動矢量652計算相對于基準幀602的基準塊603的運動矢量653。 根據本發明的第三實施例，通過以此方式應用運動矢量檢測裝置300到第一和第
二運動矢量檢測部分640和650，可以以高精確度檢測運動矢量。 〈4.第四實施例>[運動矢量檢測裝置的配置的示例] 圖16示出根據本發明的第四實施例的運動矢量檢測裝置700的配置的示例。參 照圖16，除了上面參照圖1描述的組件外，運動矢量檢測裝置700包括上面參照圖7描述的 對應塊提取部分310和搜索范圍產生部分320。運動矢量檢測裝置700中的對應塊提取部分310和搜索范圍產生部分320類似于上面參照圖7描述的那些部分，因此，這里省略它們 的重復描述以避免冗余。此外，運動矢量檢測裝置700的其他組件類似于上面參照圖1描 述的那些組件，因此，這里省略它們的重復描述以避免冗余。 以此方式，在本發明的第四實施例中，因為提供了有效性計算部分160，所以即使 多個運動體包括在幀中，也可以以高精度檢測運動矢量。此外，可以優化搜索區域以便減少 通過塊匹配的相關度的計算處理。 以此方式，在本發明的實施例的情況下，可以計算對應于基準塊的每個像素位置 的有效度，以便改進相對于基準塊的運動矢量的檢測精度。 要注意的是，參照圖17描述這樣的示例，其中根據本發明實施例的運動矢量檢測 裝置300和700應用到圖像拾取裝置710。 圖17示出根據本發明實施例的圖像拾取裝置710的配置的示例。參照圖17，圖像 拾取裝置710包括控制部分711、圖像拾取部分712、信號處理部分715、面部檢測部分716 和運動矢量檢測部分717。圖像拾取裝置710還包括模糊校正部分718、圖像存儲部分719、 總線721、用戶界面722、圖像壓縮-解壓縮部分725、存儲介質726、輸入/輸出端子727、存 儲器728和振動傳感器729。要注意的是，由直接通信或由通過圖像存儲部分719或總線 721的通信執行不同塊之間的圖像信號的傳送。 控制部分711基于存儲在未示出的存儲器中的各種控制程序，控制圖像拾取裝置 710的各組件。 圖像拾取部分712包括光學系統713和圖像拾取設備714，并且將來自圖像拾取 對象的入射光光電轉換為電信號，并且將該電信號輸出到信號處理部分715。光學系統713 包括多個透鏡組(包括聚焦透鏡、變焦透鏡、模糊校正透鏡和模糊校正棱鏡)，并且將來自 通過透鏡組輸入的圖像拾取對象的入射光輸出到圖像拾取設備714。圖像拾取設備714將 從光學系統713輸出的入射光光電轉換，并且將得到的電信號輸出到信號處理部分715。要 注意的是，圖像拾取部分712可以光學地校正通過模糊校正透鏡的移動或傾斜、模糊校正 棱鏡的變形或傾斜、圖像拾取設備714的移動等造成和檢測的模糊。在控制部分711的控 制下執行這種光學校正。 信號處理部分715對從圖像拾取設備714輸出的電信號執行各種信號處理，并且 將通過信號處理獲得的圖像數據輸出到圖像存儲部分719、圖像壓縮-解壓縮部分725、用 戶界面722和面部檢測部分716。通過信號處理部分715的信號處理包括噪聲減小處理、電 平校正處經理、A/D轉換處理和顏色校正處理。此外，信號處理部分715根據來自控制部分 711的指令，對從相關塊輸入的圖像執行各種圖像處理。 面部檢測部分716檢測包括在對應于輸入圖像數據的圖像中的人物的面部。
運動矢量檢測部分717通過圖像處理檢測每個塊的運動矢量，并且將對應于檢測 的運動矢量的值輸出到控制部分711，其中將對應于輸入圖像數據的圖像分為所述每個塊。 根據本發明的實施例的運動矢量檢測裝置300和700可以應用到運動矢量檢測部分717。
模糊校正部分718基于模糊校正量等移動對應于輸入圖像的圖像的位置以校正 圖像的模糊，基于由運動矢量檢測部分717檢測的運動矢量計算所述模糊校正量等。要注 意的是，模糊校正部分718包括電子模糊校正部件和光學模糊校正部件。
要注意的是，將由模糊校正部分718校正其模糊的圖像輸出到圖像壓縮_解壓縮部分725。然后，圖像壓縮_解壓縮部分725對校正其模糊的圖像執行圖像壓縮處理，并且 將得到的圖像記錄在存儲介質726上。此外，將校正其模糊的圖像顯示在顯示部分723上。
圖像存儲部分719存儲通過圖像拾取裝置710的處理的對象的圖像數據。
總線721是用于傳輸圖像數據的共享總線。用戶界面722包括顯示部分723和選 擇接收部分724，并且將界面提供給使用圖像拾取裝置710的用戶。 顯示部分723顯示對應于從信號處理部分715或圖像壓縮_解壓縮部分725輸出 的圖像數據的圖像。顯示部分723顯示例如作為由圖像拾取裝置710拾取的圖像拾取對象 的圖像的拾取的圖像。 選擇接收部分724將由用戶輸入的選擇信息轉換為電信號，并且將該電信號輸出 到控制部分711。例如，如果面部檢測部分716從由圖像拾取部分712輸出的拾取圖像中 檢測到面部，則由圖像拾取裝置710執行基于從拾取圖像中檢測的面部的模糊校正處理。 以此方式，在拾取圖像包括面部的情況下，可能建立其中對面部執行模糊校正處理的模式 (開(ON)設置)、或其中不對面部執行模糊校正處理的另一模式(關(OFF)設置)。由選擇 接收部分724執行這種開/關設置。 要注意的是，可以配置用戶界面722，使得例如顯示部分723和選擇接收部分724 集成地形成為觸摸面板，或者顯示部分723從液晶顯示(LCD)單元形成，而選擇接收部分 724形成為硬件鍵。 圖像壓縮-解壓縮部分725響應于各種圖像處理，壓縮或解壓輸入到其的各種圖 像數據。例如，將由圖像壓縮_解壓縮部分725對其執行壓縮處理的圖像數據輸出到存儲 介質726，并且存儲在存儲介質726上。此外，將由圖像壓縮-解壓縮部分725對其執行解 壓縮處理的圖像數據輸出到圖像存儲部分719、顯示部分723和面部檢測部分716。要注意 的是，壓縮方法可以例如是JPEG(聯合圖像專家組)方法。 存儲介質726是存儲從圖像壓縮_解壓縮部分725輸出的圖像數據并且將其中存 儲的圖像數據輸出到圖像壓縮-解壓縮部分725的圖像存儲介質。要注意的是，作為圖像 存儲介質，可用磁盤、光盤、半導體存儲介質、磁帶等。此外，圖像存儲介質包括外部可移除 存儲介質和內置存儲介質的至少一個。 輸入/輸出端子727用于通過其將從圖像壓縮-解壓縮部分725輸出的圖像數據 輸出到如外部存儲介質的外部裝置，并且通過其將從外部存儲介質輸入的圖像數據輸出到 圖像壓縮-解壓縮部分725。 存儲器728是用于存儲各種類型的信息的易失性/非易失性存儲介質。
振動傳感器729檢測圖像拾取裝置710的振動，并且檢測不依賴于圖像的模糊分 量(即，圖像拾取裝置710的主體的模糊分量)，并且將各種類型的檢測信息輸出到控制部 分711。例如可以使用回轉儀傳感器、速度傳感器或加速度傳感器實現振動傳感器729。
以此方式，通過將根據本發明實施例的運動矢量檢測裝置300和700應用到圖像 拾取裝置710，可以抑制圖像拾取裝置的功耗。 以此方式，通過將根據本發明實施例的運動矢量檢測裝置100和700應用到圖像
拾取裝置710，可以改進通過圖像拾取裝置710的運動矢量的檢測精度。 要注意的是，盡管在本發明實施例的前面描述中，參考幀是距離基準幀之前一幀
的幀，但是本發明也可以應用到這樣的情況，其中參考幀是當前幀，而基準幀是距離參考幀之前一幀的幀。 要注意的是，盡管在上述的本發明實施例中，使用關于基準塊的所有像素的亮度值，但是可以替代地僅使用基準塊的一些像素的亮度值。 此外，要注意的是，本發明的實施例可以應用于用于在圖像拾取裝置或圖像存儲
裝置(如攝像機或錄像機)中的存儲處理中壓縮動態畫面的圖像編碼處理。 此外，要注意的是，本發明的實施例可以應用于在圖像拾取裝置或圖像存儲裝置
(如攝像機或錄像機)中的再現處理或存儲處理中的模糊緩和處理，其中當拾取動態圖像
時檢測到模糊。 此外，要注意的是，本發明的實施例可以應用于在圖像拾取裝置或圖像存儲裝置(如攝像機或錄像機)中的再現處理或存儲處理中的噪聲減少處理，其中檢測到從圖像拾取處理部分導致的隨機噪聲。 此外，要注意的是，本發明的實施例可以應用于圖像存儲裝置(如錄像機)中的再現處理中的幀內插處理，所述幀內插處理用于通過幀的缺少降低時間方向上分辨率的缺少。 此外，要注意的是，本發明的實施例指示用于體現本發明的示例，并且具有與如權利要求中描述的本發明的不同特征的對應關系。然而，本發明不限于各實施例，而是可以進行各種修改而不背離本發明的精神和范圍。 此外，在本發明的實施例的描述中描述的處理過程可以理解具有如上所述的這樣一系列步驟的方法，或可以理解為用于使得計算機執行該系列步驟的程序，或理解為用于存儲該程序的存儲介質。作為存儲介質，可用CD (致密盤)、MD (迷你盤)、DVD (數字多功能盤)、存儲卡、藍光盤(藍光盤(注冊商標))等。 本申請包含涉及于2008年11月5日向日本專利局提交的日本優先權專利申請JP2008-284628中公開的主題，在此通過引用并入其全部內容。
2權利要求
一種運動矢量檢測裝置，包括空間亮度差總和計算部分，配置為計算空間亮度差的絕對值的總和，所述空間亮度差是在基準幀中設置的基準塊的各像素相對于預定像素的亮度差；時間亮度差總和計算部分，配置為計算時間亮度差的絕對值的總和，所述時間亮度差是基準塊和對應于所述基準塊的參考幀中的對應塊的對應像素之間的亮度差；搜索范圍計算部分，配置為基于空間亮度差的絕對值的總和以及時間亮度差的絕對值的總和，計算相對于基準塊用于搜索運動矢量的參考幀的搜索范圍；以及塊匹配計算部分，配置為設置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考塊，并且基于設置的參考塊和基準塊之間的相關度執行塊匹配，以便計算所述運動矢量。
2. 如權利要求1所述的運動矢量檢測裝置，其中所述搜索范圍計算部分計算搜索范 圍，使得當空間亮度差的絕對值的總和的值增加時，搜索范圍的大小減小，而當時間亮度差 的絕對值的總和的值增加時，搜索范圍的大小增加。
3. 如權利要求2所述的運動矢量檢測裝置，其中所述搜索范圍計算部分計算搜索范 圍，使得搜索范圍的大小與空間亮度差的絕對值的總和成反比地增加，而與時間亮度差的 絕對值的總和成正比地增加。
4. 如權利要求1所述的運動矢量檢測裝置，其中所述空間亮度差總和計算部分計算相 對于基準塊的水平方向和垂直方向上的空間亮度差的絕對值的總和，作為空間亮度差的絕 對值的總和，并且所述搜索范圍計算部分基于水平和垂直方向上的空間亮度差的絕對值的總和以及時 間亮度差的絕對值的總和，計算水平和垂直方向上的搜索范圍。
5. 如權利要求4所述的運動矢量檢測裝置，其中所述空間亮度差總和計算部分基于水 平和垂直方向上的空間亮度差的符號、以及相對于基準塊中的預定像素的時間亮度差的符 號，將水平和垂直方向上的空間亮度差的絕對值加到正側空間亮度差總和或負側空間亮度 差總和。
6. 如權利要求5所述的運動矢量檢測裝置，其中所述時間亮度差總和計算部分基于水 平和垂直方向上的空間亮度差的符號、以及相對于基準塊中的預定像素的時間亮度差的符 號，將水平和垂直方向上的時間亮度差的絕對值加到正側時間亮度差總和或負側時間亮度 差總和。
7. 如權利要求6所述的運動矢量檢測裝置，其中所述搜索范圍計算部分包括 正側搜索范圍計算部分，配置為基于水平和垂直方向上的正側空間亮度差總和、以及水平和垂直方向上的正側時間亮度差總和，計算水平和垂直方向上在正側的搜索范圍，以 及負側搜索范圍計算部分，配置為基于水平和垂直方向上的負側空間亮度差總和、以及 水平和垂直方向上的負側時間亮度差總和，計算水平和垂直方向上在負側的搜索范圍。
8. 如權利要求5所述的運動矢量檢測裝置，還包括似然度計算部分，配置為基于正側 空間亮度差總和以及負側空間亮度差總和，分別計算水平和垂直方向上的正側似然度和負 側似然度。
9. 如權利要求8所述的運動矢量檢測裝置，其中所述搜索范圍計算部分包括 正側搜索范圍計算部分，配置為基于空間亮度差的絕對值的總和、時間亮度差的絕對值的總和、以及水平和垂直方向上的正側似然度，計算水平和垂直方向上在正側的搜索范 圍，以及負側搜索范圍計算部分，配置為基于空間亮度差的絕對值的總和、時間亮度差的絕對 值的總和、以及水平和垂直方向上的負側似然度，計算水平和垂直方向上在負側的搜索范 圍。
10. 如權利要求1所述的運動矢量檢測裝置，還包括基準亮度值產生部分，配置為基于基準塊中的預定像素的亮度值，產生基準塊的基準 亮度值；以及有效性計算部分，配置為基于基準塊的像素的亮度值和基準亮度值，計算基準塊的每 個像素的有效度；所述塊匹配計算部分包括相關計算部分，配置為在依賴于搜索范圍確定的參考幀中的 搜索區域中設置多個參考塊，并且基于在設置的參考塊中對應于基準塊的像素位置的各像 素的亮度值、和對應于基準塊的像素位置的有效度，為每個參考塊計算參考塊相對于基準 塊的相關度。
11. 如權利要求1所述的運動矢量檢測裝置，其中所述搜索范圍計算部分將基于空間 亮度差的絕對值的總和以及時間亮度差的絕對值的總和計算的搜索范圍、以及預定范圍之 一確定為搜索范圍。
12. —種運動矢量檢測方法，包括以下步驟計算空間亮度差的絕對值的總和，所述空間亮度差是在基準幀中設置的基準塊的各像 素相對于預定像素的亮度差；計算時間亮度差的絕對值的總和，所述時間亮度差是基準塊和對應于所述基準塊的參 考幀中的對應塊的對應像素之間的亮度差；基于空間亮度差的絕對值的總和以及時間亮度差的絕對值的總和，計算相對于基準塊 搜索運動矢量的參考幀的搜索范圍；以及設置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考塊，并且基于設置的參考 塊和基準塊之間的相關度執行塊匹配，以便計算所述運動矢量。
13. —種程序，用于使得計算機執行以下步驟計算空間亮度差的絕對值的總和，所述空間亮度差是在基準幀中設置的基準塊的各像 素相對于預定像素的亮度差；計算時間亮度差的絕對值的總和，所述時間亮度差是基準塊和對應于所述基準塊的參 考幀中的對應塊的對應像素之間的亮度差；基于空間亮度差的絕對值的總和以及時間亮度差的絕對值的總和，計算相對于基準塊 搜索運動矢量的參考幀的搜索范圍；以及設置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考塊，并且基于設置的參考 塊和基準塊之間的相關度執行塊匹配，以便計算所述運動矢量。
14. 一種運動矢量檢測裝置，包括空間亮度差總和計算部件，用于計算空間亮度差的絕對值的總和，所述空間亮度差是 在基準幀中設置的基準塊的各像素相對于預定像素的亮度差；時間亮度差總和計算部件，用于計算時間亮度差的絕對值的總和，所述時間亮度差是基準塊和對應于所述基準塊的參考幀中的對應塊的對應像素之間的亮度差；搜索范圍計算部件，用于基于空間亮度差的絕對值的總和以及時間亮度差的絕對值的總和，計算相對于基準塊搜索運動矢量的參考幀的搜索范圍；以及塊匹配計算部件，用于設置依賴于所述搜索范圍確定的參考幀的搜索范圍中的參考塊，并且基于設置的參考塊和基準塊之間的相關度執行塊匹配，以便計算所述運動矢量。
全文摘要
這里公開一種運動矢量檢測裝置、運動矢量處理方法和程序，包括空間亮度差總和計算部分；時間亮度差總和計算部分；搜索范圍計算部分；以及塊匹配計算部分。
文檔編號G06T7/20GK101739688SQ20091021185
公開日2010年6月16日 申請日期2009年11月5日 優先權日2008年11月5日
發明者橫山正幸 申請人:索尼株式會社