專利名稱：使用直方圖的非均勻單元條量化的多媒體查詢系統的制作方法
技術領域：
本發明涉及使用直方圖的多媒體查詢，具體涉及一種配置直方圖的方法，提供通過使用不同數目比特的非均勻單元條量化(non-uniformbin quantization)配置的直方圖之間的互操作性，并提供漸進比特處理(progressive bit processing)，以便在即使以時間順序使用每個單元條值的所有比特的前部時也能保持恒定的性能。
背景技術：
近來，隨著基于內容的多媒體查詢技術的日見興起，正在積極地進行對于影響查詢性能的多媒體特征的研究。目前最常用的搜索引擎使用全局和局部顏色信息和紋理信息來進行圖像檢索。其中，已經知道顏色信息是對圖像檢索影響最大的一種元素。因此，正在進行最有效的顏色特征的開發，并且正在開發對于檢索更有效的色空間。
廣泛使用顏色直方圖來作為顏色信息。顏色直方圖是代表諸如圖像的多媒體數據的顏色分布的信息。根據如何量化色空間來確定直方圖的單元條數量。盡管通常用一個小數來代表每個單元條值，也可以用小于小數表示空間的N個比特來代表單元條值，從而改進性能和空間效率。例如，公知的是，通過用256種值代表8比特(即0和1之間的小數)，可以明顯節省空間而不會降低性能。在均勻量化方法中，以一個均勻寬度劃分0和1之間的值，并進行量化和表示，而在非均勻量化方法中，以一個非均勻寬度劃分0和1之間的值，并進行量化和表示。
在使用非均勻量化方法的情況下，與使用均勻量化方法或者以原樣表示一個小數的情況相比，有可能實現性能的改善。例如，對一個重要單元條值的一個部分進行更精細的劃分，而對一個不具有劃分能力的值的一個部分進行更粗略的劃分，從而提高性能。例如，在一個直方圖的情況下，大多數單元條值由小于0.2的數構成，那么對一個大于0.2的數進行精細劃分是沒有意義的。因此，使用非均勻量化的單元條量化方法是非常有用的，但是它可能導致以下問題。
互操作性問題首先，很難比較由不同數目量化的單元條值。例如，某個直方圖用24＝16量化和代表單元條值以便用4比特代表每個單元條值，而另一個直方圖用22＝4量化單元條值以便用2比特代表每個單元條值。那么，如果沒有關于每個單元條值的量化方法的信息，就不可能進行這些值的比較。因此，有必要通過使用一種符合特定協議的量化方法來保證互操作性，使得可以比較由不同數目量化的單元條值。
漸進比特處理問題在通過網絡傳送一個直方圖時，可以根據直方圖的編碼方案以單元條的順序傳送直方圖，或者以單元條的比特的順序傳送直方圖。在以單元條的順序傳送直方圖的情況下，傳送第一單元條的每個比特，然后傳送下一個單元條。在以比特順序傳送直方圖的情況下，傳送第一單元條的第一比特，然后傳送第二單元條的第一比特。以此方式，在傳送了代表每個單元條值的每個第一比特后，傳送代表每個單元條值的每個第二比特。在這種編碼方案中，如果在直方圖的傳送完成之前中斷了傳送，需要僅利用所傳送的直方圖部分進行直方圖的比較。
發明內容
因此，本發明的目的是提供一種使用直方圖的多媒體查詢方法，能夠進行由不同數目比特量化的直方圖非均勻單元條之間的比較，并能夠在以比特順序傳送直方圖時通過以傳送的順序使用直方圖的前部來進行直方圖之間的比較。
為了實現上述目的，根據本發明提供一種多媒體查詢方法，其中用于代表比特數目N的閾值包括用于代表比特數目N′的閾值，其中N′＜N，以便在通過量化以比特數目N代表直方圖的單元條值以便使用直方圖查詢多媒體時，保證互操作性以允許由彼此不同比特數目代表的直方圖之間的比較。
而且，根據本發明提供一種多媒體查詢方法，包括以下步驟在進行由彼此不同的比特數目代表的直方圖之間的比較時，如果兩個直方圖之一用M代表單元條值，另一個直方圖用N代表單元條值，其中M＞N，那么把另一個單元條值校正為較小的比特數目N，然后比較這兩個值。
優選地，根據本發明提供一種多媒體查詢方法，其中校正是如下進行的在用于代表比特數目M的閾值(TH1)中，把由存在于用于代表比特數目N的兩個閾值之間的閾值(TH1)劃分的單元條值添加到除了用于代表比特數目N的閾值(TH2)以外的其余閾值中。
而且，根據本發明提供一種直方圖量化方法，包括以下步驟利用直方圖劃分HMMD色空間，該直方圖包括用于代表比特數目n以保證互操作性的閾值，能夠進行由不同比特數目代表的直方圖的比較，在通過量化以比特數目N代表單元條值以便使用直方圖查詢多媒體時，這些閾值包括用于代表比特數目N′的必要閾值，其中N′＜N，此時，(a)通過使用閾值2.5/310.0代表1比特單元條值來產生兩個單元條值的索引；(b)通過使用三個閾值2.5/310.0，9.1/310.0和30.0/310.0代表2比特單元條值來產生四個單元條值的索引；(c)通過決定單元條值0.0作為代表4比特單元條值的一個索引，通過對分0和0.6/310.0的區段(period)產生兩個索引，在0.6/310.0和2.5/310.0的區段中產生一個索引，在2.5/310.0和19.0/310.0的區段中產生5個索引，在19.0/310.0和85.0/310.0的區段中產生6個索引，并指定高于85.0/310.0的值作為一個索引，由此產生16個索引；和(d)通過決定單元條值0.0作為代表6比特單元條值的一個索引來產生一個索引，通過把0和0.6/310.0的區段劃分為四個相同部分來產生四個索引，通過把0.6/310.0和2.5/310.0的區段劃分為四個相同部分來產生四個索引，通過把2.5/310.0和19.0/310.0的區段劃分為10個相同部分來產生10個索引，通過把19.0/310.0和85.0/310.0的區段劃分為30個相同部分來產生30個索引，通過把85.0/310.0和121.0/310.0的區段劃分為14個相同部分來產生14個索引，并指定高于121.0/310.0的值作為一個索引。
而且，根據本發明提供一種多媒體查詢方法，其中在通過量化以比特數目N代表直方圖的單元條值以便使用直方圖查詢多媒體時，通過單元條值的量化代表第N比特，表示第N比特對分被劃分到第(N-1)比特的各個區域，以便執行能夠僅使用小于N的比特進行檢索的漸進比特處理。
優選地，根據本發明提供一種直方圖編碼方法，包括以下步驟首先布置每個單元條的第一比特；并且在編碼代表能夠進行漸進比特處理的單元條值的直方圖時，布置第二比特。
優選地，根據本發明提供一種多媒體查詢系統，其中根據查詢的用途和客戶的環境僅使用直方圖的一部分，從而能夠進行最佳查詢。
從以下參照附圖進行的詳細說明可以對本發明的上述目的、特征和優點有更清楚的理解，其中圖1是解釋可互操作的單元條量化的一個示例的圖；圖2是解釋一個階段的圖，在該階段中以比特優先級的順序傳送被表示為直方圖的多媒體數據；圖3是解釋使用一個被中斷傳送的直方圖進行部分查詢的圖；圖4是解釋閾值和直方圖數據之間關系的圖；
圖5是表示適用于本發明的HMMD色空間的圖；圖6是解釋MMD橫截面中看到的184級量化方法的圖。
具體實施例方式
以下的優選實施例的詳細說明僅作為一個示例來使用顏色直方圖，其目的在于解釋根據本發明使用直方圖的多媒體查詢方法。本發明在應用于其它類型的直方圖時同樣有效。
下面將對根據具有互操作性和漸進比特處理這兩個目的的本發明的配置量化的直方圖非均勻單元條的方法和使用直方圖的多媒體查詢進行說明。
首先，將解釋根據本發明如何實現互操作性。
對于多媒體數據的直方圖信息，可以為各種用途不同地量化色空間。同樣，可以根據用于代表每個單元條值的各種方法不同地量化單元條值。例如，在一個特定應用中，用4比特代表一個單元條值是足夠的，而在另一個應用中，為對應的用途至少8比特才是足夠的。為了計算這些應用之間的相似性，有必要確保使用至少同樣的4個比特時它們之間比較的結果。但是，在非均勻量化中，有各種量化方法，因此有可能在采用不同的量化方法時比較它們。
因此，在本發明中，提出一種用于量化單元條值以實現互操作性的方法。
圖1是解釋可互操作的單元條量化的一個示例的圖。在圖1的101，根據用于1比特表示(1 bit representation)的特定閾值TH1，把單元條值表示為0或1。圖1的102描述了由這種方法代表的直方圖和能夠進行直接比較的2比特表示(2 bit representation)。即，通過使用圖1的101中描述的閾值TH1和另兩個閾值TH2和TH3以四種方式代表一個單元條值。在與一個由1比特代表的直方圖進行比較的情況下，由于1比特表示方法中使用的閾值TH1被原樣包括在內，可以通過簡單地增加其它部分以與1比特表示相同的方式校正2比特表示。在此示例中，四個部分102a，102b，102c和102d中的部分2 102b，部分3 102c和部分4 102d的總和將與101的表示相同。以此方式，在通過使用用于把直方圖劃分為更小部分的每個閾值和另外的閾值更精細地量化一個部分時，甚至由不同數目的比特代表的每個單元條值也可以由使用較小數目比特的表示來校正和比較。
下面，將描述根據本發明的漸進比特處理。圖2是解釋一個階段的圖，在該階段中以比特優先級的順序傳送被表示為直方圖的多媒體數據。如圖所示，可以考慮一種編碼方案，其中在傳送直方圖時，不按照單元條的順序，而是傳送每個單元條(單元條1～單元條N)的第一比特，然后傳送第二比特。在該方法中，在如圖3所示在傳送完成之前中斷傳送的情況下，只能利用所傳送的部分進行查詢。此時，為了保證一定程度的性能，當利用n比特量化每個單元條并進行表示時，有必要表示可以按照比特順序由每個比特代表的最佳信息。為此目的，如下考慮量化單元條值的情況。首先，假設用1比特代表單元條值，將使用一個優化閾值來顯示用兩個值(即0或1)代表單元條值時的最高性能。而且，在用2比特代表單元條值的情況下，將使用三個優化閾值來顯示由四個值代表單元條值時的最高性能。此時，如果只能使用兩個比特中的一個比特，當獲得在上述1比特表示實現的優化性能時，可以預期最佳性能。因此，在用2比特代表單元條值的情況下，三個閾值中的一個閾值必須是用1比特代表單元條值中使用的一個閾值。
而且，第一比特表示如圖4所示基于上述1比特的閾值對一個值的劃分。第二比特表示對由第一比特劃分的該值的部分的劃分。以此方式，第n比特表示對由第(N－1)比特劃分的每個部分的劃分。
換句話說，如圖4所示，如果在401用1比特代表一個單元條值，基于閾值TH1將其劃分。如果在402用2比特代表該單元條值，那么用先前使用的閾值TH1和另外兩個閾值TH2和TH3再次對由閾值TH1劃分的每個部分進行劃分。如果在403用3比特代表單元條值，那么用先前使用的閾值TH1，TH2和TH3和另外的閾值TH4，TH5，TH6和TH7劃分每個部分。以此方式，在用小數量比特量化和代表單元條值以便實現漸進比特處理時，即使在直方圖的傳送期間傳送被中斷，通過僅使用所傳送的部分也可以保證一定程度的查詢性能。而且，通過根據查詢的用途僅使用全部比特的部分，可以查詢直方圖的單元條值。此時，在本發明中，即使使用全部比特的部分，它們也代表了全部顏色單元條的每個信息，并因此可以預期良好的性能。
圖5描述用于解釋根據本發明實施例使用HMMD色空間的漸進顏色直方圖的HMMD色空間。HMMD色空間是雙錐形的色空間。其中心軸表示為SUM([MAX(RGB)＋MIN(RGB)]/2)，對應于亮度(brightness)。純度(fineness)按照從錐體的中心向外側的順序增加，表示為DIFF(MAX(RGB)－MIN(RGB))。錐體的角度表示顏色，通常表示為Hue。
圖6表示圖5中解釋的HMMD色空間的184級量化的示例。
如圖6所示，首先，基于DIFF把一個區域劃分為5個部分區域，然后再基于HUE和SUM細分，從而總共代表184個部分區域。這如下所述產生由184個單元條構成的顏色直方圖。首先，通過使用用于代表1比特單元條值的閾值2.5/310.0產生兩個單元條值的索引。然后，通過使用用于代表2比特單元條值的三個閾值2.5/310.0，9.1/310.0和30.0/310.0產生四個單元條值的索引。而且，通過決定單元條值0.0作為用于代表4比特單元條值的一個索引，通過對分0和0.6/310.0的區段(period)產生兩個索引，在0.6/310.0和2.5/310.0的區段中產生一個索引，在2.5/310.0和19.0/310.0的區段中產生5個索引，在19.0/310.0和85.0/310.0的區段中產生6個索引，并指定高于85.0/310.0的值作為一個索引，由此產生16個索引。另一方面，通過決定單元條值0.0作為用于代表6比特單元條值的一個索引，通過把0和0.6/310.0的區段劃分為四個相同部分產生四個索引，通過把0.6/310.0和2.5/310.0的區段劃分為四個相同部分產生四個索引，通過把2.5/310.0和19.0/310.0的區段劃分為10個相同部分產生10個索引，通過把19.0/310.0和85.0/310.0的區段劃分為30個相同部分產生30個索引，通過把85.0/310.0和121.0/310.0的區段劃分為14個相同部分產生14個索引，并指定高于121.0/310.0的值作為一個索引，由此產生1個索引。
在本發明中，在使用直方圖的多媒體查詢中，通過提供互操作性，使得在考慮通過用一個小數的比特代表單元條值的空間效率時，可以進行由比特數目比特量化的直方圖單元條之間的比較性查詢，從而可以在因特網上的每個服務器之間(而不是一個服務器)進行自由的比較性查詢。而且，在由有限數目的比特量化和表示單元條值時，通過僅使用部分比特進行查詢，可以預期一定程度的查詢性能，從而在由于網絡問題造成的傳送中斷期間能進行查詢，并進行符合查詢用途或客戶環境的查詢服務。
權利要求
1.一種多媒體查詢方法，其中用于代表比特數目N的閾值包括用于代表比特數目N′的閾值，其中N′＜N，以便在通過量化以比特數目N代表直方圖的單元條值以便使用直方圖查詢多媒體時，保證互操作性以允許由彼此不同比特數目代表的直方圖之間的比較。
2.根據權利要求1的多媒體查詢方法，其中直方圖是顏色直方圖。
3.一種多媒體查詢方法，包括以下步驟在進行由彼此不同的比特數目代表的直方圖之間的比較時，如果兩個直方圖之一用M代表單元條值，另一個直方圖用N代表單元條值，其中M＞N，那么把另一個單元條值校正為較小的比特數目N，然后比較這兩個值。
4.根據權利要求3的多媒體查詢方法，其中校正是如下進行的在用于代表比特數目M的閾值(TH1)中，把由存在于用于代表比特數目N的兩個閾值之間的閾值(TH1)劃分的單元條值相加到除了用于代表比特數目N的閾值(TH2)以外的其余閾值中。
5.根據權利要求3的多媒體查詢方法，其中直方圖是顏色直方圖。
6.一種顏色直方圖量化方法，包括以下步驟利用直方圖劃分HMMD色空間，該直方圖包括用于代表比特數目n以保證互操作性的閾值，能夠進行由不同比特數目代表的直方圖的比較，在通過量化以比特數目N代表單元條值以便使用顏色直方圖查詢多媒體時，這些閾值包括用于代表比特數目N′的必要閾值，其中N′＜N，此時，(a)通過使用閾值2.5/310.0代表1比特單元條值來產生兩個單元條值的索引；(b)通過使用三個閾值2.5/310.0，9.1/310.0和30.0/310.0代表2比特單元條值來產生四個單元條值的索引；(c)通過決定單元條值0.0作為代表4比特單元條值的一個索引，通過對分0和0.6/310.0的區段產生兩個索引，在0.6/310.0和2.5/310.0的區段中產生一個索引，在2.5/310.0和19.0/310.0的區段中產生5個索引，在19.0/310.0和85.0/310.0的區段中產生6個索引，并指定高于85.0/310.0的值作為一個索引，由此產生16個索引；和(d)通過決定單元條值0.0作為代表6比特單元條值的一個索引，通過把0和0.6/310.0的區段劃分為四個相同部分來產生四個索引，通過把0.6/310.0和2.5/310.0的區段劃分為四個相同部分來產生四個索引，通過把2.5/310.0和19.0/310.0的區段劃分為10個相同部分來產生10個索引，通過把19.0/310.0和85.0/310.0的區段劃分為30個相同部分來產生30個索引，通過把85.0/310.0和121.0/310.0的區段劃分為14個相同部分來產生14個索引，并指定高于121.0/310.0的值作為一個索引，由此產生一個索引。
7.一種多媒體查詢方法，其中在通過量化以比特數目N代表直方圖的單元條值以便使用直方圖查詢多媒體時，通過單元條值的量化代表第N比特，表示第N比特對分被劃分到第(N－1)比特的各個區域，以便執行能夠僅使用小于N的比特進行檢索的漸進比特處理。
8.根據權利要求7的多媒體查詢方法，其中直方圖是顏色直方圖。
9.一種直方圖編碼方法，包括以下步驟首先布置每個單元條的第一比特，然后在編碼代表單元條值的直方圖以進行漸進比特處理時，布置第二比特。
10.根據權利要求9的直方圖編碼方法，其中直方圖是顏色直方圖。
全文摘要
本發明涉及使用直方圖的多媒體查詢,具體涉及一種配置直方圖的方法,提供通過使用不同數目比特的非均勻單元條量化配置的直方圖之間的互操作性,并提供漸進比特處理。用于代表比特數目N的閾值包括用于代表比特數目N′的閾值,其中N′<N,以便在通過量化以比特數目N代表直方圖的單元條值以便使用直方圖查詢多媒體時,保證互操作性以允許由彼此不同比特數目代表的直方圖之間的比較。而且,在通過量化以比特數目N代表直方圖的單元條值以便使用直方圖查詢多媒體時,通過單元條值的量化代表第N比特,表示第N比特對分被劃分到第( N
文檔編號G06T1/00GK1334546SQ0112065
公開日2002年2月6日 申請日期2001年7月23日 優先權日2000年7月21日
發明者李振秀, 金賢俊, 宋政珉 申請人:Lg電子株式會社