圖象處理裝置的制作方法

專利名稱：圖象處理裝置的制作方法
技術領域：
本發明涉及執行多個圖象處理功能的圖象處理裝置，特別涉及圖象處 理功能的任務安排。
背景技術：
隨著計算機技術及映像技術的進步，用一個圖象處理裝置實現多個圖 象處理功能越來越重要。例如在使用汽車搭載的照相機的圖象處理裝置中， 為了降低成本，迫切要求能夠用一個裝置處理車線識別及障礙物檢知等多 個圖象處理功能。用一個裝置實現多個圖象處理功能時，計算機將多個功 能分割成被稱作"任務"的細化的處理功能后，執行處理。在這里，不使 多個圖象處理功能引起故障地管理任務，十分重要。圖象處理中的任務管 理，在大多數情況下，被與映像輸入的時刻同步控制。在汽車等搭載的圖 象處理裝置中，為了在實際時間(實時)進行處理，需要始終輸入映像， 在對象的圖象數據可以處理后，執行圖象處理功能。在這種實際時間的系 統中。映像的記錄時刻，被作為任務安排的控制間隔使用。
在專利文獻1中，定義規定各任務的起動的時間間隔的幀，使用定義 了的幀進行任務安排。具體地說，假設某一定周期的連續的幀，編制安排 表，用安排表控制哪個功能在哪個幀動作。用于圖象處理裝置時，能夠用 映像的同步信號規定的間隔定義幀。
專利文獻2公布了使用映像的同步信號，特定要處理的圖象數據，規 定處理的時刻的方法。在這里，對于映像數據的配信，使用以映像的同步
信號定義的幀號，進行決定用哪個幀配信哪個視頻數據的安排。
專利文獻1: JP特開平6—67899號公報 專利文獻2: JP特開2000—299841號公報
在識別汽車的行駛環境之類的圖象處理裝置中，必須相應汽車的速度 及計測對象的物體的動態，來執行圖象處理功能。例如高速移動時，必 須縮短處理周期地進行控制，以免看漏對象物體。另外，功能被安全系統 使用時，則需要根據狀況，在短時間內多次實施相同的處理，提高可靠性 等。這時，必須根據使其動作的任務的變更及周圍狀況的變化，頻繁地變 更執行任務的安排。可是，在專利文獻1及專利文獻2公開的那種使用安 排表的安排管理方法中，變更安排之際，需要考慮在安排表中注冊的所有 的任務，從而使變更相當困難。例如，假設某個功能的時刻發生變更，那 就需要在把握所有的功能的動作狀態的基礎上，變更安排表。可是，由于 難以把握到所有的功能的詳細的動作狀態，所以變更很不容易。進而，編 制安排表之際，需要與任務的執行周期最長的數據吻合。因此，即使將安 排間隔拉長，也需要與最長的周期吻合地編制其它的任務的安排，從而使 管理和變更作業相當復雜。這樣，存在著在發生功能的追加及替換、周期 的變更之際，需要在把握所有的功能的動作狀態的基礎上，變更安排表的 問題
發明內容

本發明能夠在多個圖象處理功能動作的狀況下，容易進行實現各功能 的任務的管理。就是說，本發明的目的在于根據周圍的狀況的變化，需 要變更各任務的處理周期時，容易追加新的功能、刪除功能。
本發明涉及的圖象取得時刻控制方法及圖象處理裝置，由下列單元構
成映像取得單元；映像幀附加單元，該映像幀附加單元給取得的映像附 加幀號；要求映像幀判別單元，該要求映像幀判別單元判斷是不是圖象處
理功能使用的幀；要求映像幀取得通知單元，該要求映像幀取得通知單元 在取得的映像幀是圖象處理功能使用的幀時，將映像取得通知相應的圖象
處理任務；要求映像幀取得受理單元，該要求映像幀取得受理單元的特征 在于，能夠按照圖象處理功能的處理內容，用幀單位指定圖象處理功能要 求的映像，受理為了實現圖象處理功能而必要的處理任務，和為了實現圖 象處理功能而必要的映像幀的取得。
采用本發明后，容易在多個圖象處理功能動作的狀態下，管理實現各 功能的任務。具體地說，容易進行由于作為圖象處理的對象的周圍的狀況 變化而發生的各任務的處理周期的變更、功能的追加、刪除等。另外，因 為可以獨立控制各任務，所以能夠動態地下載程序，或者按照功能，使執 行程序的形態不同，能夠按照功能實施修改及功能變更的作業。


圖1是講述使用了本發明的圖象處理裝置的結構的圖形。
圖2是講述任務管理表的圖形。
圖3是講述圖象處理功能的處理時刻的圖形。
圖4是講述圖象取得處理和圖象處理的時刻的圖形。
圖5是講述圖象取得指令和垂直同步信號插入處理的處理流程的圖形。
圖6是講述任務中的圖象處理的流程的圖形。
圖7是講述取得幀信息的表的圖形。
圖8是講述取得要求幀編號注冊處理的流程的圖形。
圖9是講述照相機控制的處理時刻的圖形。
圖IO是講述任務注冊的用戶接口的圖形。
圖11是講述任務注冊的用戶接口的圖形。
圖12是講述取得幀信息的表的其它示例的圖形。
圖13是講述取得要求幀編號注冊處理的其它示例的流程的圖形。
圖14是講述圖象取得和處理時刻的圖形。
圖15是講述本發明的處理流程的圖形。
圖16是講述使用了本發明的圖象處理裝置的任務結構的圖形。
具體實施例方式
下面，參照附圖，詳細講述本發明涉及的實施方式。使用圖l,講述本 實施方式的圖象處理裝置的結構。在本實施方式的圖象處理裝置1中，由
攝象機、攝像元件、硬盤記錄器等映像取得單元100輸入映像數據。輸入 的映像數據110，被映像解碼器10分離成同步信號11和圖象數據12。映 像數據110是模擬信息時，映像解碼器IO相當于被稱作"視頻解碼器"的 器件，具備模擬 數字變換及同步分離功能。同步信號11和圖象數據12， 被輸入映像輸入控制器20。在映像輸入控制器20中，判定輸入的圖象數據 12是不是處理使用的數據，是處理使用的數據時，向存儲介質40傳輸。輸 入控制器20和處理器30、存儲介質40被用物理性的信號線50連接到一起， 通常被總線連接。存儲介質40記錄的圖象數據，被用處理器30處理。處 理結果，被通信單元31向外部的控制器及系統輸出。
下面，使用圖10，講述實施例的軟件結構。在該例中，假設用于汽車
的圖象處理裝置，作為圖象處理功能，實現有關汽車的使用了圖象處理的
運轉支援及娛樂的應用功能。軟件用圖1所示的處理器30處理。作為圖象 處理功能，例如監視功能A1、行駛記錄器功能A2、車線偏離報警功能A3、 插入車輛報警功能A4，作為應用程序的任務動作。各應用程序，構筑在能 夠管理多個任務的與多任務對應的操作系統上。除了應用程序以外，作為 主要的程序，還有將系統初始化的初始化功能P1、選擇啟動的圖象處理或 執行動作的圖象處理功能的圖象處理任務管理功能P2、管理向駕駛員提供 信息及功能選擇等的用戶接口功能P3、按照各圖象處理功能的結果指令外 部控制的通信功能P4、受各圖象處理功能的委托讀入映像的圖象取得功能 P5。各圖象處理功能，為了取得圖象處理使用的圖象數據，呼叫圖象讀入 功能P5的圖象取得指令，取得圖象數據。圖2示出在圖象處理任務管理功 能P2中，預先注冊能夠執行的程序的任務管理表的例子。
用圖1講述的圖象處理裝置處理的各種圖象處理功能，如圖2的任務
管理表中所列舉的那樣，作為處理對象的圖象的畫質的高 低或圖象處理 的處理間隔等，被按照規格規定。該處理間隔，對于各功能即使對圖象處 理要求的應答速度慢也行的則取大，而對于要求迅速的應答速度的功能則 取小。 一般的處理間隔，能夠象圖2的示例那樣推測。可是，還要考慮到 隨著周圍狀況的變化，處理間隔是"中"的應用程序突然變成"小"的情 況。作為這時的具體的例子，可以列舉汽車速度加快，用迄今為止的處理 間隔，不能夠跟蹤狀況的場面等。另外，和前面的車及對面的車的車間距 離變小，成為危險的狀況后，有時必須減小處理間隔，盡快檢知危險。這 種處理間隔的變更，在執行的圖象處理功能只有一個時，能夠簡單的實現。 但是用一個軟件執行多個圖象處理功能時，由于需要考慮圖象的讀入時刻 及執行各圖象處理功能所需的處理能力等，所以絕非易事。
另外，為了實現各圖象處理功能，而控制圖象的質量，諸如變更快門 速度、調整增益等。可是，為使說明簡單，在以下的發明的實施方式中， 將多個圖象處理功能使用的圖象，作為一種。
下面，使用圖3，詳細講述多個圖象處理功能在一個圖象處理裝置上怎 樣動作。在圖3中，作為映像信號，示出垂直同步信號lll。在這里，在垂 直同步信號的一個周期(信號Low Low的期間)，構成一個幀。在垂直同 步信號111下面記述的編號，是在任務管理中使用的映像幀編號。在圖3 中，表示出監視功能A1、行駛記錄器功能A2、車線偏離報警功能A3、插 入車輛報警功能A4等多個圖象處理功能并列進行動作的狀況。位于各圖象 處理功能的虛線上的矩形G10 G43，表示在圖象處理中使用的圖象數據。 就是說，表示各圖象處理功能使用矩形描繪的時刻的映像幀中的圖象數據 進行處理。在監視功能A1中，因為每幀記錄圖象數據，所以每幀取得用于 記錄的圖象數據(G10 G16)進行處理。關于行駛記錄器功能A2，由于 不必象監視功能那樣進行每幀處理，而每隔兩幀處理映像數據，所以讀入 圖象數據G20、 G21進行處理。關于車線偏離報警功能A3，以3幀間隔取 得圖象數據，處理圖象數據G30、 G31。在插入車輛報警功能A4中，由于 需要處理2枚連續的圖象數據，所以取得連續的圖象幀——圖象數據G40、
G41的組合和隔開成為處理周期的3幀間隔的圖象數據G42、 G43的組合， 進行處理。
象現有技術那樣，預先設想各圖象處理功能的處理周期，存在管理任 務安排的任務，該任務采用根據安排表，把握、控制各圖象處理功能的狀 況的集中控制形式時，管理的圖象處理功能的數量增加后，給圖象處理功 能附加優先順序等，就成為更加困難的問題。本發明就是要提供解決該問 題的手段，其具體構造，將通過揭示各個圖象處理功能怎樣進行處理來講述。
作為圖象處理功能，以車線偏離報警功能A3為例，使用圖4，講述處 理的簡要流程。本實施方式中的車線偏離報警功能A3，使用以3幀間隔取 得的圖象數據執行處理。首先，調出映像幀號N-3的圖象數據——"圖象1 "， 記錄到存儲介質40中。然后，在實現車線偏離報警功能A3的處理任務中， 從結束記錄"圖象1"后，開始執行實施車線識別及報警的"處理1"。在 本實施方式中，在"處理1"中，執行讀入"圖象2"的處理。在該讀入處 理中，根據汽車的速度及車線的種別、周圍的狀況等，決定下一個成為必 要的圖象數據的映像幀號，進行取得步驟。取得步驟，用下列圖象取得指 令進行。
Capturelmage (圖象管理編號，映像幀號) (公式l) 在這里，所謂"圖象管理編號"，是為了從圖象處理功能一側參照取得 的映像幀的圖象數據的處理所必需的信息的編號，例如使用為了存取存放 圖象數據的排列的前頭指針及管理表而定義的編號。然后，根據該圖象取 得指令，指定下一個圖象處理所必需的映像幀編號，在"處理l"中，進行 "圖象2"的數據取得步驟。在圖4中，進行下一個處理的圖象數據的"圖 象2"，是映像幀編號N+1的圖象數據，所以執行
Capturelmage (# "圖象2"， N+l) (公式2) 在這里，"井'圖象2，"，表示將取得的圖象數據作為"圖象2"后，為了 參照的管理表的編號。執行該圖象取得指令后，車線偏離報警功能A3的任
務，作為"圖象2"，能夠取得映像幀編號N+1的圖象數據。關于這時的處
理，使用圖1、圖5、圖6加以講述。
映像取得單元100輸出的映像數據110，被輸入映像解碼器10，該映 像數據110，被分離成同步信號11和圖象數據12后，又被輸入映像輸入控 制器20。在映像輸入控制器20中，具備根據同步信號11產生垂直同步信 號插入23的垂直同步信號插入單元21，和選擇必要的圖象數據后傳輸給存 儲介質40的圖象數據傳輸單元22。圖象處理使用的圖象數據，被圖象數據 傳輸單元22選擇，選擇的圖象數據24，通過信號線50做媒介，傳輸給存 儲介質40后被記錄。另外，圖象數據傳輸單元22在結束傳輸必要的圖象 數據后，輸出讀入結束插入26。
在這里，圖象處理的起動被軟件控制。具體地說，在擁有垂直同步信 號插入單元21和圖象數據傳輸單元22的進行映像讀入控制的寄存器中， 設定指令執行圖象的讀入后，就執行圖5所示的圖象取得指令的處理。
首先，根據圖象處理功能，為了取得圖象處理所必要的圖象，調出公 式1所示的圖象取得指令。如圖5 (a)所示，調出該圖象取得指令后，用 圖象讀入功能P5執行圖象取得指令(SOl)。在圖象取得指令的內部，要求 取得映像幀受理單元400將取得的圖象數據的映像幀編號，注冊到取得幀 信息D1的表中(S02)。關于在這里使用的表，將在后文使用圖7講述。將 取得的圖象數據的映像幀編號，記錄到取得幀信息D1的表中后，停止圖象 取得指令(S09)。然后，讀入注冊的圖象數據，直到按照后文講述的垂直
同步信號插入處理^生的通知W02進行起床處理為止，成為等待圖象取得 Sll，再次成為執行狀態后，返回調出圖象取得指令的圖象處理功能，繼續 進行圖象處理。
由映像取得單元100輸入映像數據后，垂直同步信號插入單元21就定 期地發生垂直同步信號插入23。接收該垂直同步信號插入23后，執行圖5 (b)所示的垂直同步信號插入處理。首先發生插入，進入插入子程序后， 映像幀附加單元200給傳輸給存儲介質40的圖象數據附加映像幀編號
(504) 。該編號，是圖3所示的映像幀編號，按照圖象數據的輸入，附加 一連串的編號。
在本實施方式中，開始執行映像讀入所必要的圖象處理功能后，該映 像幀編號的附加，也在每個幀中進行，在執行圖象處理的整個期間，給輸 入的圖象數據附加固有的映像幀編號。接著，要求映像幀判別單元300對 給讀入的圖象數據附加的映像幀編號，和在步驟S02中記錄到取得幀信息 Dl的表中、迄今為止用圖象取得指令指定的取得簍求的某個幀號進行對照
(505) 。根據該對照的判定(S06)的結果，給讀入的圖象數據附加的映像 幀編號，和發出取得要求的幀編號條件中的某一個一致時，由要求映像幀 讀入通知單元500向發出該取得要求的圖象處理功能的任務，發送通知W02
(S07)。該通知使用系統呼叫等，由將圖象處理功能的任務置于執行狀態 的起床處理實現。另外，不成為取得要求的對象的幀號時，不執行起床處 理S06地停止垂直同步信號插入處理，等待再次發生垂直同步信號插入。
圖6示出執行圖象處理功能的任務的處理流程。在圖象處理功能中， 在任務起動后，進行初始設定等，開始處理后，進行執行圖象取得指令的 S01,通常成為停止狀態，直到在執行該圖象取得指令時，取得要求的圖象 數據為止。獲得要求的圖象數據后，通過起床處理重新開始動作，反復進 行圖象處理S10。執行圖象取得指令后，如圖5 (a)的流程圖所示，成為 圖象取得插入等待Sll，直到輸入希望的映像幀編號的圖象數據為止。輸入 圖象處理使用的映像幀編號的數據后，執行進行起床處理的通知W02，圖
象處理功能的任務起床，執行圖象處理Sll，再次執行圖象取得指令(SOl)。 循環執行這一連串的處理。
以上，講述了圖象處理功能為一個時的動作。下面，講述多個圖象處 理功能動作時的情況。關于用圖5 (a)、 (b)講述的圖象取得指令的處理及 垂直同步信號插入處理，需要由多個圖象處理功能非同步地處理。因此， 在本實施方式中，使其執行圖16所示的實現圖象處理功能A1 A4的任務 (以下稱作"圖象處理功能任務")和實現圖象讀入功能P5的任務(以下 稱作"圖象讀入任務")。圖象讀入任務，接收各圖象處理功能需要的圖象 數據的映像幀編號，將它存入數據庫，作為取得幀信息D1管理，讀入成為 對象的映像幀編號的圖象數據后，進行使提出了取得要求的圖象處理功能 任務起床的處理。下面，講述這時的取得幀信息D1的有關處理流程和表的 內容。
首先，詳細講述取得幀信息D1的表。在本實施方式中，假設各圖象處 理功能任務需要的圖象的質量相同。就是說，將在所有的處理中，讀入的 映像的快門速度、增益、白色平衡等表現圖象的質量的參數都相同，作為 前提。圖7表示取得幀信息D1的表的結構。表T01成為排列，要素由表示 注冊到表中的信息的有效/無效的有效標記、與注冊了取得要求幀編號的圖 象處理功能的任務對應的ID以及用圖象取得指令設定的取得要求幀編號構 成。設想這時在與任務對應的ID中，例如經過標記處理后，給各比特分配 分配一個任務ID，就是說，各比特與一個任務對應，該比特為1后，就意 味著對應的任務起床。
在這里，使用圖8，講述將取得的映像幀編號注冊到該表TOl中的取得 要求幀編號注冊處理S02的處理流程。執行圖象取得指令后，就檢索表TOl 中注冊了的取得要求幀編號，判定有要求的映像幀編號是不是已經有來自 其它圖象處理功能的取得要求的編號(S31)。圖象取得指令要求的映像幀 編號，是己經注冊的映像幀編號時，對于與任務對應的ID，執行使與執行 圖象取得指令的任務的任務ID對應的比特成為1的處理，讀入該映像幀編
號的圖象數據后，使該任務起床地設定(S32)。沒有注冊時，追加新的信 息，將新的有取得要求的映像幀編號注冊到取得要求幀編號的一欄中，在
與任務對應的ID中，使與執行圖象取得指令的任務的ID對應的比特成為1 (S34)。這樣，具備與來自多個功能的取得要求對應的結構后，多個圖象 處理功能能夠單獨地將要求的映像幀編號注冊到取得幀信息ID的表中，能 夠根據垂直同步信號插入，單獨地進行任務的起床處理。
在以上講述的實施方式中，以相同質量的圖象、即由單一的照相機控 制參數取得圖象為前提，來講述多個圖象處理功能使用的映像。可是，變 更攝象器件的快門速度、模擬 數字變換器的增益調整、視場角等的照相 機控制參數后，有時必須生成圖象處理功能要求的質量的圖象。就是說，
取得處理的圖象時，除了有關圖象管理編號、映像幀編號的信息以外，指 定照相機控制必要的信息，也十分有效。這時的圖象處理裝置的結構，可 以設想是圖1的映像取得單元100能夠變更圖象質量的那種照相機等的攝 像器件。以下，講述該處理。
如圖9所示，在圖象處理中，為了提高識別率，在讀入圖象之前，往 往需要根據照相機的移動速度、周圍的明亮度及檢出對象物的光亮度，進 行增益調整及快門速度的調整等曝光控制。進行這種照相機控制時，為了 提出將以后拍攝的映像幀作為對象的圖象取得要求，而進行考慮了攝影時 刻的照相機控制的任務管理，相當復雜。例如想用某個確定的照相機控制 的參數，取得10幀后的圖象數據時，必須在第9幀執行照相機控制的處理。 用別的任務進行這種照相機控制的處理，用各圖象處理功能分擔進行，相 當復雜，難以編制程序。
因此，如果給圖象取得指令的自變量，添加照相機控制用的信息，能 夠進行照相機控制，那么開發各圖象處理功能的編程員，只要執行一個命 令，就能夠很容易地進行必要的照相機控制。
Captnrelmage (圖象管理編號，映像幀編號式，快門速度，增益，視場 角) (公式4)
這時，給圖象取得指令，設定想取得的圖象的快門速度、模擬，數字 變換增益、決定映像的視場范圍的視場角，和取得的圖象數據的映像幀編 號一起指定。用圖5講述的垂直同步信號插入處理附加映像幀編號(S04)， 將該映像幀編號和取得幀信息對照時，將下一個映像幀攝影需要的照相機 控制參數，設定成攝像器件——映像取得單元100。圖9中的"曝光2"， 由于在讀入"圖象2"的時刻的1幀前執行，所以是與該時刻吻合地設定照 相機控制參數的處理。這種動作也對輸入的映像連續附加固有的幀編號和 進行管理，所以能夠事先知道攝影時刻。
在照相機控制中，除了快門速度、增益、視場角以外，還存在許多變
更讀入的圖象的質量的參數，例如調整顏色的白色平衡、伽馬修正的系數 等。用一個命令管理這些參數，和必要的映像幀編號吻合地提出要求后， 能夠減輕程序開發的負荷
接著，各圖象處理功能設定各自要求的照相機控制參數，指定取得的 圖象數據的映像幀編號時，產生對于同一個映像幀編號的圖象數據，設定 多個照相機控制參數的問題。下面，講述這時的措施。
在圖7所示的取得幀信息中，由于使對于取得的圖象的照相機控制相 周，所以為了管理映像的共享，只要使要求方的任務和有取得要求的映像 幀編號對應就行。可是，照相機控制不同時，就需要對照相機控制使用的 參數全部加以管理，判定多個圖象處理功能能不能共享讀入的圖象數據。 因此，在本實施例的變形的取得幀信息中的表T02中，如圖12所示，將快 門速度、增益、視場角等照相機控制參數與取得要求幀編號對應管理。然 后，對于多個圖象處理功能能不能共享取得的圖象數據，規定在用表T02 管理的照相機控制參數相同時，能夠共享。能夠共享圖象數據時，注冊與 任務對應的ID共享的圖象處理功能的任務ID，用已經講述過的方法，將圖 象數據提供給任務。
接著，講述照相機的控制參數不同、不能夠共享的情況。攝像器件是
一個時，對于相同的映像幀，從物理的角度上說，是不能夠接收多個照相 機控制參數的設定要求的。這時，參照提出要求的圖象處理功能的任務優 先順序等，決定優先設定哪個參數。關于設定參數的優先順序，操作系統 對此進行著管理。可以采用參照要求方的任務優先順序的方法，和各圖象 處理功能與操作系統不同地獨自決定優先順序，管理該優先順序，選擇設 定參數的方法。無論哪個方法，有來自優先順序高的任務的要求時，就取 消以前的設定，根據新的來自優先順序高的任務的要求進行設定。下面， 使用圖13，講述該處理的流程。
這時的處理，和圖8所示的處理流程基本相同。執行圖象讀入指令后， 首先對于指定的取得要求幀編號，確認是否己經有取得要求(S31)。已經 有取得要求時，判定新的有取得要求的讀入和照相機控制參數能否共享化
(5310) 。能夠共享化時，向與共享圖象數據的現存的取得要求幀編號的任 務對應的ID，追加任務編號(S32)，結束處理。不能夠共享化時，判斷哪 個要求的圖象讀入優先，決定與取得要求幀編號對應的照相機的控制參數
(5311) 。如上所述，可以按照操作系統管理的任務的優先順序決定，或者 對讀入的圖象另行決定優先順序。對于優先順序低、被取消的圖象取得要 求，有如下3種對應模式。
(1) 取消圖象取得要求，將要求被取消的情況，通知提出取得要求的 任務。為了再度提出取得要求，由圖象處理功能的任務執行新的取得要求。
(2) 將被取消的取得要求幀之前的映像幀，重新作為取得要求幀指定。
(3) 將被取消的取得要求幀之后的映像幀，重新作為取得要求幀指定。
選擇這3個方法后執行。采取對應模式(2)、 (3)時。決定再度取得 要求幀編號(處理S312)，使處理返回S311，重新進行決定的取得要求幀 編號的注冊處理。在該處理之后，系統決定讀入的圖象。在這里，在決定 映像讀入的優先順序的方法中，不僅有用操作系統管理的優先順序，而且 還有在沖突安全等需要采取緊急措施時，或者與自己的車的速度息息相關， 需要用圖象本身決定的間隔取得時等，按照周圍及汽車的狀況，個別決定 的方法。
關于任務采用的上述的模式及任務的優先順序，參照圖2所示的任務 管理表，就可以一目了然。在任務管理表中，在執行任務之前，按照要實 現的每個圖象處理功能，注冊與各圖象處理功能對應的任務、注冊了的任 務的任務ID、上述圖象讀入被取消時的再取得動作模式、表示注冊了的任 務信息的有效/無效的標記、任務的優先順序以及有關任務執行的圖象處理 所要求的圖象質量及圖象讀入間隔的信息等信息。
在以上講述的實施方式中，如用圖4講述的那樣，講述了處理按照某 個規定的周期結束、沒有延遲的情況。可是，實際上，處理時間隨著取得 的圖象數據的內容及圖象處理以外的處理而變動。處理時間短時，如果取
得要求幀編號沒有變化，就和用圖4講述的處理時刻同樣。例如如果分
析"處理1"用短時間結束、"圖象2"的讀入處理的時刻在N-2的幀發生 的狀態，那么"圖象2"的取得要求幀編號為N+1時，就等待讀入N+1幀， 所以"處理2"的處理開始時刻沒有變更。使用圖14、圖15，講述"處理 1"延遲時的處理。"處理1"延伸，不能夠執行旨在取得"圖象2"的圖 象取得指令時，由于重新決定要取得的映像幀的映像幀編號，所以在圖象 處理功能的任務中，進行如圖15的處理流程所示的那種取得幀編號更新處 理。在取得幀編號更新處理中，首先為了把握在什么時刻執行圖象取得處 理，而取得現在的映像幀編號(S010)，根據該信息，進行延遲處理，決定 進行圖象取得要求的映像幀編號(SOll)。然后，對于決定的映像幀編號， 執行圖象取得指令(SOl)。
在決定該映像幀編號時，考慮2個延遲處理。在延遲處理事例1中， 隨著處理的延遲，將圖象數據的取得要求幀編號由N+l變更成N+2。在該 事例中，單純使圖象讀入處理的時刻錯開，能夠防止處理出現故障。在延 遲處理事例2中，原封不動地執行映像幀N+l的取得要求。因此，將取得 的過去的圖象數據，和圖象數據的映像幀編號一起記錄到存儲介質40中后 就可以。在存儲介質40中，確保能夠記錄k幀的圖象數據的存儲容量后， 到記錄了圖象數據的k幀之后為止，出現該映像幀的取得要求時，可以給
要求方的任務分發圖象數據。這樣，在采用延遲處理事例2的情況下，由 于在執行圖象取得指令之前，已經并列進行圖象數據的取得，所以要求的 映像幀的讀入一結束，要求方任務就能夠取得要求的圖象數據，能夠開始 下一個圖象處理。
在本實施方式中，某個圖象處理功能的處理延遲時，能夠不參照其它 的處理，變更映像的取得時刻。另外，需要照相機控制的圖象處理功能時， 可以在執行圖象取得指令之際，進行用圖13講述的圖象數據共享的確認處 理。在要求方任務的優先順序低時，以及照相機控制趕不上等時，不能夠 共享圖象數據，還有可能影響到處理周期延長的圖象處理功能以外的任務。 可是，由于對于圖象處理功能優先順序高的處理，優先進行處理，所以能 夠不引起故障地進行處理。
在以上的實施方式中，講述了用一個攝象器件的情況。但是即使存在 多個攝象器件時，也能夠用同樣的方法指定要取得的圖象的幀編號。就是 說，在要求取得圖象之際，可以通過選擇攝象器件來指定
使用本發后，在容易組合多個圖象處理功能的同時，還容易追加、 刪除各個圖象處理功能。另外，關于映像的插入處理的任務及安排處理， 通常需要在整個系統中進行編輯及鏈接處理。這時，在實際上己經被汽車 搭載的狀態下，不能夠只從網絡下載一部分圖象處理功能后裝入，或者在 維修保養作業中進行修改。可是，采用本發明后，由于能夠和各圖象處理 功能獨立地控制插入處理及任務的安排管理，所以作為任務的執行形態， 能夠用獨立的形式構成，能夠從網絡下載任務，或者按照個別的任務進行 修改。
上述情況時，可以成為具有圖IO所示的那種用戶接口的圖象處理裝置。 該用戶接口，能夠自由選擇駕駛員希望的功能。該用戶接口的管理，由圖 16所示的用戶接口功能P3執行。用戶接口功能P3，根據圖2的任務管理 表的信息，進行圖IO所示的圖象處理功能的選擇畫面的顯示處理。在該畫
18
面中，駕駛員指定某個圖象處理功能時，該信息被發送給用戶接口功能P3。 用戶接口功能P3將選擇的圖象處理功能的信息發送給圖象處理任務管理功
能P2。在圖象處理任務管理功能P2中，起動有起動要求的圖象處理任務(例 如車線偏離報警)，在執行處理的同時，還將任務管理表的有效標記改寫成
"ON"。
這時，起動的圖象處理任務，能夠和以前動作的其它的圖象處理任務 獨立地執行。這樣，采用本發明后，由于能夠簡易地變更圖象處理功能的 組合，所以能夠進行自由的選擇。另外，由于各圖象處理功能獨立動作， 所以如果定義圖象取得處理的接口，就能夠將執行模塊作為別的文件，能 夠與動態載荷對應。就是說，可以在別的執行文件上實現用圖5、圖6、圖 16講述的處理及任務結構，能夠將圖象處理功能A1 A4作為別的文件。 這樣的處理，在信息控制的程序中，存在著為了劃分執行文件的各種安裝 方法。
采用本發明后，由于各功能的程序不受功能增減的影響，所以不需要 進行編輯，能夠將各功能分割成單個的執行文件。將功能分割成單個的執 行文件后，如圖11所示，可以通過通信單元31做媒介，向網絡存取圖象 處理功能安裝的文件，下載希望的功能后，注冊到圖2的任務管理表中， 能夠追加本車的圖象處理功能。就是說，釆用本發明后，如圖10所示，可 以只執行一部分圖象處理，用戶能夠自由選擇執行的應用程序。另外，由 于能夠互不干涉地控制各圖象處理功能，所以能夠經由網絡下載新的圖象 處理功能，或者刪除已有的應用程序。
權利要求
1、一種圖象處理裝置，執行進行圖象處理的任務，其特征在于，具備要求映像幀取得受理單元，該單元受理來自所述任務的圖象數據的要求；映像幀附加單元，該單元將識別編號附加到由映像取得單元取得的圖象數據上；要求映像幀判別單元，該單元判斷附加了幀編號的圖象數據是不是所述任務要求的圖象數據；以及要求映像幀取得通知單元，該單元在附加了所述幀編號的圖象數據是所述任務要求的圖象數據時，通知取得了該任務要求的圖象數據的情況，來自所述任務的圖象數據的要求，作為確定圖象數據的信息，包含指定圖象數據的識別編號或確定該識別編號的數學公式的信息。
2、 如權利要求1所述的圖象處理裝置，其特征在于要求映像幀取 得受理單元從所述任務受理的圖象數據的要求，在包含確定所述圖象數據 的信息的同時，還包含照相機控制參數，所述照相機控制參數是用于控制 取得所述要求的圖象數據的所述映像取得單元的。
3、 如權利要求2所述的圖象處理裝置，其特征在于所述照相機控 制參數，是決定讀入的圖象的質量的參數，至少包含快門速度、模擬*數 字變換增益、視場角中的某一個。
4、 如權利要求1所述的圖象處理裝置，其特征在于還具備存儲裝 置，該存儲裝置將確定所述任務要求的圖象數據的信息與該任務的識別信 息關聯管理；當確定所述要求的圖象數據的信息，與由所述映像幀附加單元附加的 圖象數據的識別編號一致時，發送與由所述存儲裝置管理的任務的識別信 息對應的任務插入信號，進行圖象處理的任務安排。
5、 如權利要求3所述的圖象處理裝置，其特征在于還具備存儲裝 置，該存儲裝置將確定所述任務要求的圖象數據的信息、所述照相機控制 參數和圖象處理的任務的識別信息對應存儲；對于被任務要求的圖象數據，根據所述存儲裝置的照相機控制參數， 判斷能否共享其它的任務要求的圖象數據。
全文摘要
圖象處理裝置，由下列單元構成映像取得單元；映像幀附加單元，該映像幀附加單元給取得的映像附加幀號；要求映像幀判別單元，該要求映像幀判別單元判斷是不是圖象處理功能使用的幀；要求映像幀取得通知單元，該要求映像幀取得通知單元在取得的映像幀是圖象處理功能使用的幀時，將映像取得通知相應的圖象處理任務；要求映像幀取得受理單元，該要求映像幀取得受理單元受理為了實現圖象處理功能而必要的處理任務，和為了實現圖象處理功能而必要的映像幀的取得。實現在通過任務實現多個圖象處理功能動作之際，變更隨著任務的執行狀況的變化而變化的各任務的處理周期時，容易追加、刪除新的功能的任務的管理。
文檔編號G06T7/20GK101110932SQ20071013692
公開日2008年1月23日 申請日期2007年7月23日 優先權日2006年7月21日
發明者中三川哲明, 入江耕太, 大塚裕史, 志磨健, 村松彰二, 樋口未來, 門司龍彥 申請人:株式會社日立制作所