專利名稱：在移動終端中管理多媒體內容的設備和方法
技術領域：
本發明涉及一種在移動終端中管理多媒體內容的設備和方法，更具體地說，本發 明涉及一種通過將多媒體內容統一轉換為文本數據，從而建立多媒體內容數據庫以便管理 和查詢多媒體內容的設備和方法。
背景技術：
隨著通信技術以及數字信號處理技術的發展，移動終端除了實現基本的語音通話 功能之外，還能夠執行各種其它功能，諸如拍攝照片、發送消息、收發電子郵件、GPS(全球定 位系統)定位等。在使用上述功能時，將產生和傳輸大量的各種多媒體內容或信息，諸如， 短消息、電子郵件、照片、語音通話等。由于各種多媒體內容具有各自不同的數據格式，因 此，難以在不同種類的多媒體內容之間執行對信息的統一管理。此外，移動終端的普及率如此之高，以致移動終端已經變成人們彼此聯絡的主要 手段。因此，不僅在移動終端的通訊錄中存儲了大量聯系人信息，而且在各種多媒體內容的 信息中體現出不同聯系人之間的各種人際關系，例如，在甲發送給乙的電子郵件中會提到 丙，而乙和丙的合照可能存儲在乙的移動終端中。此外，在兩個聯系人之間的語音通話或短 消息中也會提到另外的聯系人等等。然而，這種多媒體內容中體現出來的人際關系在現有 的移動終端中并不能得到適當的反映或查詢。因此，需要能夠在移動終端中通過管理多媒 體內容來反映出各種聯系人之間的人際關系的技術方案。
發明內容
本發明的目的在于提供一種能夠在移動終端中管理各種媒體信息的設備和方法， 通過所述設備和方法，各種多媒體信息被轉換為統一的文本形式，并基于統一的形式進行 搜索，而各個聯系人在大量多媒體信息中體現出來的人際關系也能夠得到良好地反映。根據本發明的一方面，提供一種用于在移動終端中管理多媒體內容的設備，包括 數據采集單元，用于將多媒體內容轉換為文本數據，并按照預定的反映多媒體內容關鍵屬 性的關鍵字從轉換的文本數據中提取相應的關鍵字值；數據庫建立單元，用于基于數據采 集單元獲得的關鍵字值來建立多媒體內容數據庫；存儲單元，用于存儲數據庫建立單元所 建立的多媒體內容數據庫；查詢輸入單元，用于將用戶輸入的查詢信息識別為文本數據，并 從識別的文本數據中提取關鍵的搜索詞；搜索單元，用于基于查詢輸入單元提取的搜索詞 從存儲在存儲單元中的多媒體內容數據庫中搜索與搜索詞相關的多媒體內容；以及搜索結 果輸出單元，用于向用戶輸出搜索單元的搜索結果。所述數據采集單元包括文本轉換單元，用于將多媒體內容轉換為文本數據；以 及文本分析單元，用于按照預定的反映多媒體內容關鍵屬性的關鍵字從轉換的文本數據中 提取相應的關鍵字值。所述文本轉換單元包括以下項中的至少一個短消息轉換單元，用于將短消息轉 換為文本數據；電子郵件轉換單元，用于將電子郵件轉換為文本數據；語音通話轉換單元，
5用于將語音通話轉換為文本數據；場景分類和聚類單元，用于按照預定的類別將照片分類 并通過聚類處理來得出與該照片類似的照片，并將照片的場景分類和聚類結果記錄為文本 數據；面部識別單元，用于識別出照片中各個人物的面部特征以及總人數，并將面部識別的 結果記錄為文本數據；以及電子地圖轉換單元，用于參照電子地圖將定位系統的位置信息 轉換為文本數據。所述文本分析單元包括詞語劃分單元，用于將文本轉換單元輸出的文本正文劃 分為多個詞語；詞性確定單元，用于確定由詞語劃分單元劃分的多個詞語的詞性；人名提 取單元，用于依照詞性確定單元的輸出結果來提取文本正文中的人名；時間提取單元，用于 依照詞性確定單元的輸出結果來提取文本正文中的時間詞語；重要詞語提取單元，用于依 照詞性確定單元的輸出結果來提取文本正文中的重要詞語；以及其它關鍵字值提取單元， 用于從文本轉換單元輸出的除文本正文之外的其它信息提取關鍵字值。所述設備還包括時間信息解析單元，用于將時間提取單元提取的時間詞語轉換 為時間信息。所述設備還包括近義詞產生單元，用于針對重要詞語提取單元提取的重要詞語 來產生相應的近義詞。所述數據庫建立單元基于關鍵字、關鍵字值以及相關屬性描述來建立多媒體內容 數據庫。所述數據庫建立單元還建立聯系人數據庫，并且聯系人數據庫的聯系人記錄隨著 多媒體內容數據庫而更新。所述查詢輸入單元包括文本識別單元，用于將用戶通過鍵盤或手寫板輸入的查 詢信息轉換為文本數據；文本捕獲單元和光字符識別OCR單元，用于捕獲和識別被查詢照 片上的字符數據；面部識別單元，用于識別出查詢照片中各個人物的面部特征，并將面部識 別的結果記錄為文本數據；以及語音識別單元，用于將用戶輸入的語音查詢轉換為文本數 據。所述搜索結果輸出單元以形象化的方式向用戶輸出搜索單元的搜索結果。所述搜索單元基于查詢輸入單元提取的搜索詞，參照聯系人數據庫，從存儲在存 儲單元中的多媒體內容數據庫中搜索與搜索詞相關的多媒體內容。所述搜索單元基于多媒體內容數據庫和聯系人數據庫來搜索聯系人在多媒體內 容中的相互關系。如果查詢輸入單元提取多個搜索詞，則搜索單元按照預定的邏輯關系或用戶設置 的邏輯關系來針對所述多個搜索詞進行搜索。根據本發明的另一方面，提供一種用于在移動終端中管理多媒體內容的方法，包 括將多媒體內容轉換為文本數據，并按照預定的反映多媒體內容關鍵屬性的關鍵字從轉 換的文本數據中提取相應的關鍵字值；基于所述關鍵字值來建立多媒體內容數據庫；存儲 所建立的多媒體內容數據庫；將用戶輸入的查詢信息識別為文本數據，并從識別的文本數 據中提取關鍵的搜索詞；基于提取的搜索詞從存儲的多媒體內容數據庫中搜索與搜索詞相 關的多媒體內容；以及向用戶輸出搜索結果。將多媒體內容轉換為文本數據的步驟包括以下步驟中的至少一個將短消息轉換 為文本數據；將電子郵件轉換為文本數據；將語音通話轉換為文本數據；按照預定的類別將照片分類并通過聚類處理來得出與該照片類似的照片，并將照片的分類和聚類結果記錄 為文本數據；識別出照片中各個人物的面部特征以及總人數，并將識別的結果記錄為文本 數據；以及參照電子地圖將定位系統的位置信息轉換為文本數據。按照預定的反映多媒體內容關鍵屬性的關鍵字從轉換的文本數據中提取相應的 關鍵字值的步驟包括將文本正文劃分為多個詞語；確定劃分的多個詞語的詞性；依照劃 分的多個詞語的詞性來提取文本正文中的人名；依照劃分的多個詞語的詞性來提取文本正 文中的時間詞語；依照劃分的多個詞語的詞性來提取文本正文中的重要詞語；以及從除文 本正文之外的其它信息提取關鍵字值。在所述方法中，還包括將提取的時間詞語轉換為時間信息。在所述方法中，還包括針對提取的重要詞語來產生相應的近義詞。所述多媒體內容數據庫中的多媒體內容記錄包括關鍵字、關鍵字值以及相關屬性 描述。在所述方法中，還包括建立聯系人數據庫，并且聯系人數據庫的聯系人記錄隨著 多媒體內容數據庫而更新。將用戶輸入的查詢信息識別為文本數據的步驟包括以下步驟中的至少一個將用 戶通過鍵盤或手寫板輸入的查詢信息轉換為文本數據；捕獲和識別被查詢照片上的字符數 據；識別出查詢照片中各個人物的面部特征，并將識別的結果記錄為文本數據；以及將用 戶輸入的語音查詢轉換為文本數據。在向用戶輸出搜索結果的步驟中，以形象化的方式向用戶輸出搜索結果。在所述方法中，還包括基于提取的搜索詞，參照聯系人數據庫，從存儲的多媒體 內容數據庫中搜索與搜索詞相關的多媒體內容。在所述方法中，還包括基于多媒體內容數據庫和聯系人數據庫來搜索聯系人在 多媒體內容中的相互關系。在所述方法中，還包括如果提取多個搜索詞，則按照預定的邏輯關系或用戶設置 的邏輯關系來針對所述多個搜索詞進行搜索。
通過下面結合附圖進行的對實施例的描述，本發明的上述和/或其它目的和優點 將會變得更加清楚，其中圖1是示出根據本發明示例性實施例的在移動終端中管理多媒體內容的設備的 框圖；圖2是示出根據本發明示例性實施例的在移動終端中管理多媒體內容的方法的 流程圖；圖3是示出圖1所示的在移動終端中管理多媒體內容的設備中的數據采集單元的 詳細結構的示圖；圖4示出輸入到圖3所示的數據采集單元的照片；圖5示出存儲在移動終端中的聯系人照片的示例；圖6是示出圖1所示的在移動終端中管理多媒體內容的設備中的查詢輸入單元的 詳細結構的示圖；以及
圖7示出圖1所示的在移動終端中管理多媒體內容的設備中的搜索結果輸出單元 輸出的搜索結果的示例。
具體實施例方式現將詳細參照本發明的實施例，所述實施例的示例在附圖中示出，其中，相同的標 號始終指的是相同的部件。以下將通過參照附圖來說明所述實施例，以便解釋本發明。圖1是示出根據本發明示例性實施例的在移動終端中管理多媒體內容的設備的 框圖。如圖1所示，根據本發明示例性實施例的在移動終端中管理多媒體內容的設備包括 數據采集單元10，用于將多媒體內容轉換為文本數據，并按照預定的反映多媒體內容關鍵 屬性的關鍵字從轉換的文本數據中提取相應的關鍵字值；數據庫建立單元20，用于基于數 據采集單元10獲得的關鍵字值來建立多媒體內容數據庫；存儲單元30，用于存儲數據庫建 立單元20所建立的多媒體內容數據庫；查詢輸入單元40，用于將用戶輸入的查詢信息識別 為文本數據，并從識別的文本數據中提取關鍵的搜索詞；搜索單元50，用于基于查詢輸入 單元40提取的搜索詞從存儲在存儲單元30中的多媒體內容數據庫中搜索與搜索詞相關的 多媒體內容；以及搜索結果輸出單元60，用于向用戶輸出搜索單元的搜索結果。以下將參照圖2來描述利用圖1所示的管理多媒體內容的設備來實現根據本發明 的管理多媒體內容的方法的示例。圖2是示出根據本發明示例性實施例的在移動終端中管理多媒體內容的方法的 流程圖。參照圖2，在步驟S100，由數據采集單元10將多媒體內容轉換為文本數據，并按照 預定的反映多媒體內容關鍵屬性的關鍵字從轉換的文本數據中提取相應的關鍵字值；在步 驟S200，由數據庫建立單元20基于數據采集單元10獲得的關鍵字值來建立多媒體內容數 據庫，并將建立的多媒體內容數據庫存儲在存儲單元30中；在步驟S300，由查詢輸入單元 40將用戶輸入的查詢信息識別為文本數據，并從識別的文本數據中提取關鍵的搜索詞；在 步驟S400，由搜索單元50基于查詢輸入單元40提取的搜索詞從存儲在存儲單元30中的多 媒體內容數據庫中搜索與搜索詞相關的多媒體內容；然后，在步驟S500，由搜索結果輸出 單元60向用戶輸出搜索單元40的搜索結果。以下將參照圖3到圖7來描述圖1所示的在移動終端中管理多媒體內容的設備的 各個構件及其具體操作。圖3是示出圖1所示的在移動終端中管理多媒體內容的設備中的數據采集單元10 的詳細結構的示圖。作為示例，圖3所示的數據采集單元10可包括文本轉換單元101，用 于將多媒體內容轉換為文本數據；文本分析單元102，用于按照預定的反映多媒體內容關 鍵屬性的關鍵字從轉換的文本數據中提取相應的關鍵字值。根據本發明的示例性實施例，文本轉換單元101將各種多媒體內容轉換為文本數 據。作為示例，對于短消息，文本轉換單元101包括短消息轉換單元1011，用于將短消息轉 換為文本數據；對于電子郵件，文本轉換單元101包括電子郵件轉換單元1012，用于將電子 郵件轉換為文本數據；上述短消息轉換單元1011和電子郵件轉換單元1012被設計為將完 整的短消息或電子郵件信息轉換為文本格式的數據，其包括發送方、接收方、抄送方、標題、 正文、收發時間等。對于語音通話，文本轉換單元101包括語音通話轉換單元1013，用于將 語音通話轉換為文本數據。可利用現有的語音識別技術來構建語音通話轉換單元1013，例如，語音通話轉換單元1013可基于預先建立的語言模型和聲學模型來識別出語音通話 的內容，并將其轉換為文本數據，除了語音通話的內容之外，語音通話轉換單元1013還將 語音通話的發送方、接收方、時間等轉換為文本數據；對于照片，文本轉換單元101包括場 景分類和聚類單元1014，用于按照預定的類別將照片分類并通過聚類處理來得出與該照片 類似的照片，其中，預定的類別是指預先設置的照片類別，例如，人像(單人照、合影、集體 照)、風景(山水、海灘、天空)、物品(花卉、靜物)等等，而聚類則是采用模式識別的常用 算法，通過提取照片畫面中的特征，根據某種距離測度，衡量照片之間的相似性，并將相互 間距較小的照片聚成一類，所述場景分類和聚類單元1014將照片的場景分類和聚類結果 記錄為文本數據；以及面部識別單元1015，用于識別出照片中各個人物的面部特征以及總 人數，優選地，可參照聯系人數據庫(將在稍后描述)中的照片或特定的人像數據庫來識別 出待轉換照片中的各個人物的信息，所述面部識別單元1015將面部識別的結果記錄為文 本數據。此外，優選地，文本轉換單元還包括電子地圖轉換單元1016，用于參照電子地圖將 定位系統的位置信息轉換為文本數據，從而可提供當產生或接收多媒體內容時的地址的文 本數據。本領域技術人員應該理解上述各個單元僅僅作為示例，并不是為了限制本發明， 實際上，多媒體內容的種類是靈活多變的，可針對需要管理的多媒體內容設置相應的文本 轉換單元，而只要能夠達到文本轉換的功能，任何用于實現文本轉換的現有技術均能夠應 用于本發明。根據本發明的示例性實施例，文本分析單元102包括詞語劃分單元1021，用于將 文本轉換單元101輸出的文本正文劃分為多個詞語；詞性確定單元1022，用于確定由詞語 劃分單元1021劃分的多個詞語的詞性；人名提取單元1023，用于依照詞性確定單元1022 的輸出結果來提取文本正文中的人名；時間提取單元1024，用于依照詞性確定單元1022的 輸出結果來提取文本正文中的時間詞語；優選地，在時間提取單元1024之后跟有時間信息 解析單元1026，用于將時間提取單元1024提取的時間詞語轉換為時間信息；重要詞語提取 單元1025，用于依照詞性確定單元1022的輸出結果來提取文本正文中的重要詞語；優選 地，在重要詞語提取單元1025之后可設置有近義詞產生單元(未示出)，用于針對重要詞 語提取單元1025提取的重要詞語來產生相應的“近義詞”，以便搜索更加智能化和全面化； 其它關鍵字值提取單元1027，用于從文本轉換單元101輸出的除文本正文之外的其它信息 (諸如發送方、接收方、抄送方、標題、收發時間、地點等)提取關鍵字值。如上所述，數據采集單元10在將各種多媒體內容轉換為文本數據，并按照預定的 反映多媒體內容關鍵屬性的關鍵字從轉換的文本數據中提取相應的關鍵字值之后，將針對 各個多媒體內容得到的數據采集結果發送到數據庫建立單元20。然后，數據庫建立單元20 基于數據采集單元10輸出的內容來建立多媒體內容數據庫。作為示例，在多媒體內容數 據庫中，每個多媒體內容基于預定的反映多媒體內容關鍵屬性的關鍵字、相應的關鍵字值 以及相關屬性描述來記錄，每個多媒體內容記錄具有自己的索引，索引可表示為“字母+標 號”的形式，其中，字母表示媒體類型，標號表示多媒體記錄在該媒體類型中的序號。例如，對于在2008年8月3日19點55分，在國貿中心從張三接收到的短消息“小 麗，晚上有空么？ 一起去看電影？”這一項多媒體內容，在經過數據采集單元10的處理之 后，可得出短消息的接收時間為“2008-8-3 19:55”，接收地點為“國貿中心”，發送方為 “張三”，正文中的人名為“小麗”，正文中的時間為“晚上”，其可被時間信息解析單元1026解
9析為“2008-8-318:00-24:00”，正文中的重要詞語為“電影”，詞性為名詞，而近義詞產生單 元可就此生成近義詞“影片”。基于上述關鍵詞以及關鍵詞值，數據庫建立單元20在多媒體 內容數據庫中產生相應的多媒體內容記錄，具體如表1所示。表1、接收短消息在多媒體內容數據庫中的記錄示例 如表1所述，對于關鍵字 < 媒體類型 >，其關鍵字值為“短消息”，相關屬性描述指 示該短消息是發送的短消息還是接收的短消息，在該示例中，短消息為接收到的短消息；對 于關鍵字 < 發送方 >< 人名 >，其關鍵字值為“張三”，相關屬性描述首先指示“張三”是否為 移動終端的聯系人，如果是移動終端的聯系人，則“聯系人” =Y，如果不是移動終端的聯系 人，則“聯系人” =N ；此外，優選地，在“聯系人” =Y的情況下，相關屬性描述可進一步指出 該聯系人在聯系人數據庫(其將在后面描述)中的索引；對于關鍵字〈時間〉，其關鍵字值 為“2008-8-3 19:55”；對于關鍵字〈地點〉，其關鍵字值為“國貿中心”，相關屬性描述指 示該地點是發送地點還是接收地點，在該示例中，“國貿中心”為接收地點；對于關鍵字 < 正 文X人名 >，其關鍵字值為“小麗”，相關屬性描述的內容同關鍵字 < 發送人 >< 人名 > ；對于 關鍵字 < 正文 >< 時間 >，其關鍵字值為“晚上”，優選地，其相關屬性描述指示時間詞語“晚 上”的解析結果“2008-8-3 18:00-24:00"；對于關鍵字 < 正文 >< 重要詞語 >，其關鍵字值 為“電影”，相關屬性描述指示“電影”的詞性，優選地，其相關屬性描述還指示“電影”的近 義詞，即，“影片”。類似地，對于在2008年8月3日20點00分，在國貿中心向張三發送的短消息“電 影票已經訂好了，晚上見”這一項多媒體內容，在經過數據采集單元10的處理之后，可得出 短消息的發送時間為“2008-8-3 20:00”，發送地點為“國貿中心”，接收方為“張三”，正文 中的時間為“晚上”，其可被時間信息解析單元1026解析為“2008-8-3 18:00-24:00”，正 文中的重要詞語為“電影”，詞性為名詞，而近義詞產生單元可就此生成近義詞“影片”，正文 中另一重要詞語為“電影票”，詞性為名詞。基于上述關鍵詞以及關鍵詞值，數據庫建立單元 20在多媒體內容數據庫中產生相應的多媒體內容記錄，具體如表2所示。表2、發送短消息在多媒體內容數據庫中的記錄示例 作為另一示例，對于在2008年9月5日9點38分，在國貿中心從李四接收到的標 題為“快遞已到”、同時抄送到欣欣的電子郵件“小麗，您好！你發給我的快遞已經收到了， 所有貨品完好無損，謝謝！李四”這一項多媒體內容，在經過數據釆集單元10的處理之后， 可得出電子郵件的接收時間為“2008-9-5 9:38”，接收地點為“國貿中心”，發送方為“李 四”，接收方為“小麗”，抄送方為“欣欣”，標題中的重要詞語為“快遞”，詞性為名詞，正文中 的人名為“小麗”、“李四”，正文中的重要詞語為“快遞”，詞性為名詞，正文中的另一重要詞 語為“貨品”，詞性為“名詞”。基于上述關鍵詞以及關鍵詞值，數據庫建立單元20在多媒體 內容數據庫中產生相應的多媒體內容記錄，具體如表3所示。表3、接收電子郵件在多媒體內容數據庫中的記錄示例 類似地，對于在2008年8月4日19點20分，在望京新城發送給欣欣的標題為“推 薦一部好電影”的電子郵件“昨天和張三去看了《XXX》，挺好看的，你有空可以和小安一起去 看看”這一項多媒體內容，在經過數據釆集單元10的處理之后，可得出電子郵件的發送時 間為“2008-8-4 19:20”，發送地點為“望京新城”，發送方為“小麗”，接收方為“欣欣”，標題 中的重要詞語為“電影”，正文中的人名為“張三”、“小安”，正文中的時間為“昨天”，其可被 時間信息解析單元1026解析為“2008-8-3 00:00-24:00”。基于上述關鍵詞以及關鍵詞 值，數據庫建立單元20在多媒體內容數據庫中產生相應的多媒體內容記錄，具體如表4所表4、發送電子郵件在多媒體內容數據庫中的記錄示例 作為另一示例，對于在2008年9月5日10點15分到10點19分，在國貿中心撥 打給李四的語音呼叫“我喂你好是李四嗎李四你好小麗吧我你轉來的貸款已經 到賬了麻煩你了李四別客氣我那有空再聯絡啦”這一項多媒體內容，在經過數據采 集單元10的處理之后，可得出語音呼叫的開始時間為“2008-9-5 10:15”，結束時間為 “2008-9-5 10:19”，發送地點為“國貿中心”，發送方為“小麗”，接收方為“李四”，正文中的 人名為“李四”、“小麗”，正文中的重要詞語為“貸款”，詞性為“名詞”。基于上述關鍵詞以及 關鍵詞值，數據庫建立單元20在多媒體內容數據庫中產生相應的多媒體內容記錄，具體如 表5所示。表5、呼出語音通話在多媒體內容數據庫中的記錄示例 在表5中，由于語音通話持續一段時間，因此對于關鍵字“時間”而言，產生兩個具 體時刻，此時，時間的相關屬性描述需要指出開始時間是什么時刻，結束時間是什么時刻。作為另一示例，對于如圖4中的(a)所示的照片，該照片拍攝時間為2008年9月1 日14點44分，拍攝地點為長安大劇院，照片左側為欣欣，右側為小安。該照片經過數據采集單元10的處理之后，可得出照片的拍攝時間為“2008-9-1 14:44”，拍攝地點為“長安 大劇院”，照片類別為“人像”，照片中的兩個人分別是“欣欣”和“小安”，而分類和聚類單元 1014還可識別出該照片存在兩張相似照片。基于上述關鍵詞以及關鍵詞值，數據庫建立單 元20在多媒體內容數據庫中產生相應的多媒體內容記錄，具體如表6所示。表6、圖4中的(a)所示照片在多媒體內容數據庫中的記錄示例 在表6中，“數量”指示人像中的人數，pi和p2分別指示與該照片類似的兩張照片 在多媒體內容數據庫中的索引。 類似地，對于如圖4中的(b)所示的照片，該照片拍攝時間為2008年10月3日10 點00分，拍攝地點為巴松措風景區。該照片經過數據采集單元10的處理之后，可得出照 片的拍攝時間為“2008-10-3 10:00”，拍攝地點為“巴松措風景區”，照片類別為“風景”，而 分類和聚類單元1014還可識別出該照片存在一張相似照片。基于上述關鍵詞以及關鍵詞 值，數據庫建立單元20在多媒體內容數據庫中產生相應的多媒體內容記錄，具體如表7所 表7、圖4中的(b)所示照片在多媒體內容數據庫中的記錄示例
在表7中，p3表示與該照片相似的照片在多媒體內容數據庫中的索引。以上各個記錄的關鍵字可基于多媒體內容的類型和搜索的要求而靈活設置，例 如，可刪除某些關鍵字，也可添加新的關鍵字，本發明并不受限于表1到表7給出的示例。數 據庫建立單元20將如上所述建立的多媒體內容數據庫存儲在存儲單元30中。從表1到表7可以看出，移動終端中的各種多媒體內容往往涉及各個聯系人之間 的相互聯系，例如，可通過短消息的內容、電子郵件的抄送方及內容、通話內容、照片中的人 像等來反映不同聯系人之間的關系。由于本發明的實施例將上述各種多媒體內容轉換為文 本數據，并建立了相應的數據庫，因此，可清楚地反映出這種不同聯系人之間的各種相互關 系，從而便于移動終端的用戶管理他的人際資源。為了更進一步地將多媒體內容涉及到的人際關系與終端用戶的聯系人相互關聯， 作為一種可選方式，本發明通過數據庫建立單元20在聯系人數據庫與多媒體內容數據庫 之間建立關系，具體操作為在聯系人數據庫的每個聯系人記錄中額外記錄涉及多媒體內容 和其它聯系人的信息。例如，對于聯系人欣欣，其在聯系人數據庫中的照片如圖5中的(a)所示，在本發 明的該實施例中，欣欣在聯系人數據庫中的索引為“n3”，聯系人書庫中的每個聯系人基于 預定的關鍵字及其相應的關鍵字值被記錄，特別地，除了姓名、頭像、手機、辦公電話、住宅 電話、鈴聲、電子郵件、地址等常規關鍵字中的至少一個或多個之外，本發明的實施例還特 別針對多媒體內容數據庫設置了關鍵字“通訊記錄”、“媒體記錄”和“關聯記錄”，其中，“通 訊記錄”指示該聯系人在多媒體內容數據庫的各個記錄中作為 < 發送方 >、< 接收方 > 或< 抄送方 > 出現的次數以及具體出現在哪個記錄，“媒體記錄”指示該聯系人在多媒體內容數 據庫的各個記錄中作為 < 標題 >、〈正文 >、< 人像 > 等其它位置出現的次數以及具體出現 在哪個記錄，“關聯記錄”基于多媒體內容數據庫中的各個記錄來指示該聯系人與其它聯系 人發生關聯的次數，也就是說，每當該聯系人與某個其它聯系人在某個多媒體內容記錄中 發生關聯，則將指示二者關聯次數的變量加1。由此可見，關鍵字“通訊記錄”、“媒體記錄” 和“關聯記錄”的具體關鍵字值是隨著多媒體內容記錄的增加而實時更新的，具體說來，數 據庫建立單元20既負責建立多媒體內容數據庫，還負責依據多媒體內容數據庫的記錄增 加來更新聯系人數據庫。作為示例，下面的表8和表9示出聯系人數據庫中的記錄“欣欣”和“小安”的示 例，其中，記錄“欣欣”的索引為n3，記錄“小安”的索引為n4。表8、記錄“欣欣”在聯系人數據庫中的記錄 在表8中，關鍵字〈通訊記錄〉的關鍵字值指示該聯系人在多媒體內容數據庫的 各個記錄中作為 < 發送方 >、< 接收方 > 或 < 抄送方 > 出現的次數為35次，依次具體出現在 e8、s2、c9...等記錄中，其中，e8、s2和c9為相關多媒體記錄在多媒體內容數據庫中的索 引，該索引表示法通過第一個字母表示多媒體內容的類別，后面的數字表示序號。關鍵字< 媒體記錄 > 的關鍵字值指示該聯系人在多媒體內容數據庫的各個記錄中作為 < 標題 >、< 正 文 >、< 人像 > 等其它位置出現的次數為28次，依次具體出現在p5、e20、c9...等記錄中。 關鍵字 < 關聯記錄 > 的關鍵字值基于多媒體內容數據庫中的各個記錄來指示該聯系人與 其它聯系人發生關聯的次數，即，與第一聯系人nl聯系了 10次，與第二聯系人n2聯系了 3 次，與第四聯系人n4聯系了 20次，與第五聯系人n5聯系了 0次，其中，nl、n2、n4、n5分別 為各個聯系人在聯系人數據庫中的索引。表9、記錄“小安”在聯系人數據庫中的記錄 各個關鍵字及其關鍵字值的含義與表8的相同，就不再此一一描述了。作為可選方式，數據庫建立單元20也可將上述聯系人數據庫存儲在存儲單元30 中。圖6是示出圖1所示的在移動終端中管理多媒體內容的設備中的查詢輸入單元40 的詳細結構的示圖。如圖6所示，根據本發明示例性實施例的查詢輸入單元40可包括文本 識別單元401，用于將用戶通過鍵盤或手寫板輸入的查詢信息轉換為文本數據；文本捕獲 單元402和OCR(光字符識別)單元403，用于捕獲和識別被查詢照片上的字符數據；面部識 別單元404，該面部識別單元404與數據采集單元10中的面部識別單元1015類似，用于識 別出查詢照片中各個人物的面部特征，具體說來，可參照聯系人數據庫中的照片或特定的 人像數據庫來識別出待查詢照片中的各個人物的信息，并將面部識別的結果記錄為文本數 據；語音識別單元405，用于將用戶輸入的語音查詢轉換為文本數據，其工作方式與語音通 話轉換單元1013類似。上述各個單元僅僅是示例性的，本發明并不受限于此，查詢輸入的 方式可更加簡化，或者也可增加另外的查詢輸入方式。當用戶輸入的查詢被識別為文本數 據之后，搜索詞提取單元406從識別的文本數據中提取關鍵的搜索詞，查詢詞提取單元406 的工作方式類似于數據采集單元10的文本分析單元102，用于將查詢正文以及其它信息中 的關鍵內容提取出來，作為搜索詞。例如，所述搜索詞可以是人名、時間、重要詞語或其它信 肩、o搜索單元50基于查詢輸入單元40提取的關鍵搜索詞，從存儲單元30存儲的數據 庫中查詢相應的多媒體內容記錄。具體說來，搜索單元50可在多媒體內容數據庫中的各個 多媒體內容記錄的關鍵字值中搜索與輸入的搜索詞相關的項，并按照特定的方式(如按照 時間、地點、媒體類型等)來劃分搜索的結果，并將處理后的結果輸出到搜索結果輸出單元 60。在這里，搜索結果輸出單元60可以采用形象化的方式來輸出搜索結果。以下將參照圖7來描述根據本發明示例性實施例進行搜索的示例，圖7示出圖1 所示的在移動終端中管理多媒體內容的設備中的搜索結果輸出單元60輸出的搜索結果的示例。具體說來，如圖7的(a)所示，此時，查詢輸入單元40提取的搜索詞為“張三”，搜 索單元50可在多媒體內容數據庫中搜索 < 發送方 >、< 接收方 > 或 < 抄送方 > 為“張三”的 多媒體內容記錄，并按照時間來進行排序，將排序后的結果輸出到搜索結果輸出單元60，搜 索結果輸出單元60輸出如圖7中的(a)所示的屏幕。作為另一種可選方式，如果“張三”是 移動終端的聯系人且已經建立了根據本發明的聯系人數據庫，則可通過張三在聯系人數據 庫中的“通訊記錄”項來搜索有關的多媒體記錄。上述方式僅僅是示例，本領域技術人員完 全可以采用不同的方式來應用已經建立的多媒體內容數據庫(和聯系人數據庫)，對各種 內容進行搜索，并按照不同的方式來篩選和排序。例如，如果“張三”是移動終端的聯系人且 已經建立了根據本發明的聯系人數據庫，則還可通過張三在聯系人數據庫中的“媒體記錄” 項來搜索有關的多媒體記錄，并輸出搜索的結果。作為另一示例，如圖7的(b)所示，此時，查詢輸入單元40提取的搜索詞為“電 影”，搜索單元50可在多媒體內容數據庫中搜索 < 標題 > 和 < 正文〉為“電影”或其近義詞 “影片”的多媒體內容記錄，并按照時間來進行排序，將排序后的結果輸出到搜索結果輸出 單元60，搜索結果輸出單元60輸出如圖7中的(b)所示的屏幕。作為另一示例，如圖7的(c)所示，此時，查詢輸入單元40提取的搜索詞為“張 三”，而“張三”是移動終端的聯系人且已經建立了根據本發明的聯系人數據庫，在這種情況 下，搜索單元50可根據聯系人數據庫中記錄“張三”中的“關聯記錄”來得到“張三”與其它 聯系人的聯絡頻率，優選地，這種聯絡既可表示直接聯絡，也可表示間接聯絡(即，張三通 過他的某個有關聯的聯系人與另一聯系人之間建立聯系)，而同時得到直接聯絡與間接聯 絡的情況更有助于全面反映涉及張三的人際關系，搜索單元50將得到的聯絡頻率輸出到 搜索結果輸出單元60，搜索結果輸出單元60可采用形象化的方式來輸出搜索結果，例如， 輸出如圖7中的(c)所示的屏幕，其中，張三與各個聯系人之間用線條連接，而線條的粗細 程度表示不同的聯絡頻率，即，聯絡頻率較高的聯系人之間用較粗的線條表示，而聯絡頻率 較低的聯系人之間用較細的線條表示，除了張三之外的各個聯系人彼此之間的聯絡頻率也 可以一并表示出來，這樣圖7中的(c)就顯示出了一張比較完備的以張三為主的人際關系 圖。特別地，如果查詢輸入單元40提取了多個搜索詞，而這多個搜索詞又會包括人 名、時間、地點和重要詞語等不同情況，則可通過搜索結果輸出單元60請求用戶來依次選 擇適當的搜索條件，即，不同搜索詞之間的邏輯關系可由用戶來設定。此外，多個搜索詞之 間的邏輯關系也可按照預設的情況來建立，比如，可默認多個搜索詞之間為邏輯與的關系。 在設定多個搜索詞之間的邏輯關系之后，由搜索單元50進一步搜索相應的多媒體內容。根據本發明，能夠將移動終端的各種多媒體內容以文本數據的形式存儲在多媒體 內容數據庫中，從而反映出各個多媒體內容本身以及相互之間的隱含關系，用戶可方便地 基于建立的多媒體內容數據庫進行多樣化的搜索。此外，本發明還建立了與多媒體內容數 據庫相關的聯系人數據庫，從而能夠實時地反映各個聯系人之間的聯絡狀態，便于用戶掌 握自己的人際資源。根據本發明的管理設備和方法是基于本機實現的，不需要額外的服務 器，在方案實現方面也相對容易，成本較低。本發明的以上各個實施例僅僅是示例性的，本發明并不受限于此。本領域技術人員應該理解基于多媒體內容轉換為文本數據后的各種信息建立的數據庫能夠提供的一切 搜索方案均可應用于本發明，也就是說，本發明通過將多媒體內容轉換為文本數據，從而保 留了相關的信息，而基于這些信息建立搜索關系，以便用戶更加便利地管理移動終端的多 媒體內容，全面掌握各個聯系人之間的關系。本領域的技術人員應認識到在不脫離本發明 的原理和精神的情況下，可對這些實施例進行改變，其中，本發明的范圍在權利要求及其等 同物中限定。
權利要求
一種用于在移動終端中管理多媒體內容的設備，包括數據采集單元，用于將多媒體內容轉換為文本數據，并按照預定的反映多媒體內容關鍵屬性的關鍵字從轉換的文本數據中提取相應的關鍵字值；數據庫建立單元，用于基于數據采集單元獲得的關鍵字值來建立多媒體內容數據庫；存儲單元，用于存儲數據庫建立單元所建立的多媒體內容數據庫；查詢輸入單元，用于將用戶輸入的查詢信息識別為文本數據，并從識別的文本數據中提取關鍵的搜索詞；搜索單元，用于基于查詢輸入單元提取的搜索詞從存儲在存儲單元中的多媒體內容數據庫中搜索與搜索詞相關的多媒體內容；以及搜索結果輸出單元，用于向用戶輸出搜索單元的搜索結果。
2.如權利要求1所述的設備，其中，所述數據采集單元包括 文本轉換單元，用于將多媒體內容轉換為文本數據；以及文本分析單元，用于按照預定的反映多媒體內容關鍵屬性的關鍵字從轉換的文本數據 中提取相應的關鍵字值。
3.如權利要求2所述的設備，其中，所述文本轉換單元包括以下項中的至少一個 短消息轉換單元，用于將短消息轉換為文本數據；電子郵件轉換單元，用于將電子郵件轉換為文本數據； 語音通話轉換單元，用于將語音通話轉換為文本數據；場景分類和聚類單元，用于按照預定的類別將照片分類并通過聚類處理來得出與該照 片類似的照片，并將照片的場景分類和聚類結果記錄為文本數據；面部識別單元，用于識別出照片中各個人物的面部特征以及總人數，并將面部識別的 結果記錄為文本數據；以及電子地圖轉換單元，用于參照電子地圖將定位系統的位置信息轉換為文本數據。
4.如權利要求3所述的設備，其中，所述文本分析單元包括詞語劃分單元，用于將文本轉換單元輸出的文本正文劃分為多個詞語； 詞性確定單元，用于確定由詞語劃分單元劃分的多個詞語的詞性； 人名提取單元，用于依照詞性確定單元的輸出結果來提取文本正文中的人名； 時間提取單元，用于依照詞性確定單元的輸出結果來提取文本正文中的時間詞語； 重要詞語提取單元，用于依照詞性確定單元的輸出結果來提取文本正文中的重要詞 語；以及其它關鍵字值提取單元，用于從文本轉換單元輸出的除文本正文之外的其它信息提取 關鍵字值。
5.如權利要求4所述的設備，還包括時間信息解析單元，用于將時間提取單元提取的 時間詞語轉換為時間信息。
6.如權利要求4所述的設備，還包括近義詞產生單元，用于針對重要詞語提取單元提 取的重要詞語來產生相應的近義詞。
7.如權利要求1所述的設備，其中，所述數據庫建立單元基于關鍵字、關鍵字值以及相 關屬性描述來建立多媒體內容數據庫。
8.如權利要求1所述的設備，其中，所述數據庫建立單元還建立聯系人數據庫，并且聯系人數據庫的聯系人記錄隨著多媒體內容數據庫而更新。
9.如權利要求1所述的設備，其中，所述查詢輸入單元包括文本識別單元，用于將用戶通過鍵盤或手寫板輸入的查詢信息轉換為文本數據； 文本捕獲單元和光字符識別OCR單元，用于捕獲和識別被查詢照片上的字符數據； 面部識別單元，用于識別出查詢照片中各個人物的面部特征，并將面部識別的結果記 錄為文本數據；以及語音識別單元，用于將用戶輸入的語音查詢轉換為文本數據。
10.如權利要求1所述的設備，其中，所述搜索結果輸出單元以形象化的方式向用戶輸 出搜索單元的搜索結果。
11.如權利要求8所述的設備，其中，所述搜索單元基于查詢輸入單元提取的搜索詞， 參照聯系人數據庫，從存儲在存儲單元中的多媒體內容數據庫中搜索與搜索詞相關的多媒 體內容。
12.如權利要求8所述的設備，其中，所述搜索單元基于多媒體內容數據庫和聯系人數 據庫來搜索聯系人在多媒體內容中的相互關系。
13.如權利要求1所述的設備，其中，如果查詢輸入單元提取多個搜索詞，則搜索單元 按照預定的邏輯關系或用戶設置的邏輯關系來針對所述多個搜索詞進行搜索。
14.一種用于在移動終端中管理多媒體內容的方法，包括將多媒體內容轉換為文本數據，并按照預定的反映多媒體內容關鍵屬性的關鍵字從轉 換的文本數據中提取相應的關鍵字值；基于所述關鍵字值來建立多媒體內容數據庫； 存儲所建立的多媒體內容數據庫；將用戶輸入的查詢信息識別為文本數據，并從識別的文本數據中提取關鍵的搜索詞； 基于提取的搜索詞從存儲的多媒體內容數據庫中搜索與搜索詞相關的多媒體內容；以及向用戶輸出搜索結果。
15.如權利要求14所述的方法，其中，將多媒體內容轉換為文本數據的步驟包括以下 步驟中的至少一個將短消息轉換為文本數據； 將電子郵件轉換為文本數據； 將語音通話轉換為文本數據；按照預定的類別將照片分類并通過聚類處理來得出與該照片類似的照片，并將照片的 分類和聚類結果記錄為文本數據；識別出照片中各個人物的面部特征以及總人數，并將識別的結果記錄為文本數據；以及參照電子地圖將定位系統的位置信息轉換為文本數據。
16.如權利要求14所述的方法，其中，按照預定的反映多媒體內容關鍵屬性的關鍵字 從轉換的文本數據中提取相應的關鍵字值的步驟包括將文本正文劃分為多個詞語； 確定劃分的多個詞語的詞性；依照劃分的多個詞語的詞性來提取文本正文中的人名；依照劃分的多個詞語的詞性來提取文本正文中的時間詞語；依照劃分的多個詞語的詞性來提取文本正文中的重要詞語；以及從除文本正文之外的其它信息提取關鍵字值。
17.如權利要求16所述的方法，還包括將提取的時間詞語轉換為時間信息。
18.如權利要求16所述的方法，還包括針對提取的重要詞語來產生相應的近義詞。
19.如權利要求14所述的方法，其中，所述多媒體內容數據庫中的多媒體內容記錄包 括關鍵字、關鍵字值以及相關屬性描述。
20.如權利要求14所述的方法，還包括建立聯系人數據庫，并且聯系人數據庫的聯系 人記錄隨著多媒體內容數據庫而更新。
21.如權利要求14所述的方法，其中，將用戶輸入的查詢信息識別為文本數據的步驟 包括以下步驟中的至少一個將用戶通過鍵盤或手寫板輸入的查詢信息轉換為文本數據；捕獲和識別被查詢照片上的字符數據；識別出查詢照片中各個人物的面部特征，并將識別的結果記錄為文本數據；以及將用戶輸入的語音查詢轉換為文本數據。
22.如權利要求14所述的方法，其中，在向用戶輸出搜索結果的步驟中，以形象化的方 式向用戶輸出搜索結果。
23.如權利要求20所述的方法，還包括基于提取的搜索詞，參照聯系人數據庫，從存 儲的多媒體內容數據庫中搜索與搜索詞相關的多媒體內容。
24.如權利要求20所述的方法，還包括基于多媒體內容數據庫和聯系人數據庫來搜 索聯系人在多媒體內容中的相互關系。
25.如權利要求14所述的方法，還包括如果提取多個搜索詞，則按照預定的邏輯關系 或用戶設置的邏輯關系來針對所述多個搜索詞進行搜索。
全文摘要
提供一種在移動終端中管理多媒體內容的設備和方法。所述設備包括數據采集單元，用于將多媒體內容轉換為文本數據，并按照預定的反映多媒體內容關鍵屬性的關鍵字從轉換的文本數據中提取相應的關鍵字值；數據庫建立單元，用于基于數據采集單元獲得的關鍵字值來建立多媒體內容數據庫；存儲單元，用于存儲數據庫建立單元所建立的多媒體內容數據庫；查詢輸入單元，用于將用戶輸入的查詢信息識別為文本數據，并從識別的文本數據中提取關鍵的搜索詞；搜索單元，用于基于查詢輸入單元提取的搜索詞從存儲在存儲單元中的多媒體內容數據庫中搜索與搜索詞相關的多媒體內容；以及搜索結果輸出單元，用于向用戶輸出搜索單元的搜索結果。
文檔編號H04M1/725GK101853253SQ200910128310
公開日2010年10月6日 申請日期2009年3月30日 優先權日2009年3月30日
發明者史媛媛, 朱璇, 鄧菁 申請人:三星電子株式會社;北京三星通信技術研究有限公司