圖像監視裝置、可移動體、程序及故障判斷方法
【專利摘要】圖像監視裝置(10)具有圖像獲取單元(15)、圖像處理單元(16)和判斷單元(17)。圖像獲取單元(15)連續地獲取周邊圖像。圖像獲取單元(15)在周邊圖像的預定位置上疊加周期性變化信號。圖像處理單元(16)通過預定圖像處理來處理疊加有信號的周邊圖像。判斷單元(17)基于通過預定圖像處理處理過的周邊圖像上疊加的信號中有無周期變化來判斷圖像處理單元的故障。
【專利說明】圖像監視裝置、可移動體、程序及故障判斷方法
[0001]相關申請的交叉引用
[0002]本申請要求于2012年7月26日提交的第2012-166257號日本專利申請的優先權，該申請全部內容通過弓I用并入本文。
【技術領域】
[0003]本發明涉及基于拍攝的周邊圖像判斷故障的圖像監視裝置、可移動體、程序和故障判斷方法。
【背景技術】
[0004]將圖像監視裝置安裝在諸如車輛的可移動體上是已知的。安裝圖像監視裝置使得顯示車輛的駕駛員座位的盲區中的周邊圖像，從而允許駕駛員在確保安全的情況下駕駛車輛。
[0005]當圖像監視裝置出現故障時，駕駛員需通過使用諸如后視鏡的輔助設備來確認盲區。然而，對圖像監視裝置的故障感測偶爾可能會困難。例如，如果顯示器上顯示的圖像凍結，即如果在實時顯示圖像的移動期間圖像停止，在顯示器上顯示周邊圖像自身，從而很難感測到故障。
[0006]因此，已提出了基于輪胎的轉數和速度計的速度來檢測車輛是否行進，如果車輛行進，基于適時在不同時間點所獲得的圖像的對比來判斷圖像監視裝置是否出現故障(參見專利文獻I)。
[0007]引用列表
[0008]專利文獻I JP2011-188134A
【發明內容】
[0009]技術問題
[0010]然而，通過專利文獻I中所述的圖像監視裝置，需要從外部設備獲得輪胎的轉數和速度。因此，不能單獨地判斷圖像監視裝置的故障。
[0011]因此，鑒于以上情況構想的本發明的目的是提供圖像監視裝置、可移動體、程序和故障判斷方法，其中，該圖像監視裝置在無需從外部設備獲得信息的情況下單獨地判斷故障。
[0012]解決技術問題的手段
[0013]為了解決上述問題，根據第一方面的圖像監視裝置包括:圖像獲取單元、圖像處理單元以及判斷單元，其中圖像獲取單元連續地獲取周邊圖像并且在周邊圖像的預定位置上疊加周期性變化信號，圖像處理單元通過預定圖像處理來處理疊加有信號的周邊圖像，判斷單元基于通過預定圖像處理所處理的周邊圖像的疊加后的信號中有無周期變化來判斷圖像處理單元的故障。
[0014]而且，根據第二方面的圖像監視裝置包括:圖像獲取單元以及判斷單元，其中圖像獲取單元連續地獲取周邊圖像并且在周邊圖像的預定位置上疊加周期性變化信號，判斷單元基于在疊加有信號的周邊圖像的疊加后的信號中有無周期變化來判斷圖像獲取單元的故障。
[0015]而且，在根據第三方面的圖像監視裝置中，優選的是，信號中的周期變化為有無增加信號、顏色、亮度和形狀中的至少一種。
[0016]另外，在根據第四方面的圖像監視裝置中，優選的是，圖像監視裝置還包括警報單元，當判斷單元確定出故障時，警報單元警報圖像監視單元處于故障狀態。
[0017]而且，在根據第五方面的圖像監視裝置中，優選是，警報單元通過顯示用于指示故障狀態的圖像來提供警報。
[0018]而且，根據第六方面的圖像監視裝置包括:圖像獲取單元、圖像處理單元以及判斷單元，其中圖像獲取單元連續地獲取周邊圖像并且在與周邊圖像對應的圖像信號的預定位置上疊加周期性變化信號，圖像處理單元通過預定圖像處理來處理疊加有信號的圖像信號，判斷單元基于通過預定圖像處理所處理的圖像信號的疊加后的信號中有無周期變化來判斷圖像處理單元的故障。
[0019]根據第七方面的圖像監視裝置包括:圖像獲取單元以及判斷單元，其中圖像獲取單元連續地獲取周邊圖像并且在與周邊圖像相對應的圖像信號的預定位置上疊加周期性變化信號，判斷單元基于疊加有信號的圖像信號的疊加后的信號中有無周期變化來判斷圖像獲取單元的故障。
[0020]根據第八方面的可移動體包括:圖像獲取單元、圖像處理單元以及判斷單元，其中圖像獲取單元連續地獲得周邊圖像并且在周邊圖像的預定的位置上疊加周期性變化信號，圖像處理單元通過預定圖像處理來處理疊加有信號的周邊圖像，判斷單元基于通過預定圖像處理所處理的周邊圖像上的疊加后的信號中有無周期變化來判斷圖像處理單元的故障。
[0021]雖然對本發明的問題的解決方案被闡述為上述設備，但是應該了解，本發明也可以以方法、程序以及存儲與設備對應的程序的存儲介質實現，并且也都包括在本發明的范圍內。
[0022]例如，根據本發明的第九方面的程序使得圖像監視裝置用作:
[0023]圖像獲取單元，該圖像獲取單元連續地獲取周邊圖像并且在周邊圖像的預定位置上疊加周期性變化信號；
[0024]圖像處理單元，該圖像處理單元通過預定圖像處理來處理疊加有信號的周邊圖像；以及
[0025]判斷單元，該判斷單元基于通過預定圖像處理所處理的周邊圖像上的疊加后的信號中有無周期變化來判斷圖像處理單元的故障。
[0026]而且，根據本發明的第十方面的故障判斷方法包括:連續地獲取周邊圖像的第一獲取步驟；在周邊圖像的預定位置上疊加周期性變化信號的疊加步驟；通過預定圖像處理來處理疊加有信號的周邊圖像的圖像處理步驟；以及判斷步驟，其中基于通過預定圖像處理所處理的周邊圖像的疊加后的信號中有無周期變化來判斷預定圖像處理的故障。
[0027]發明效果
[0028]根據如上配置的圖像監視裝置、可移動體、程序以及故障判斷方法，無需從外部獲得信息就能夠單獨地判斷故障。
【專利附圖】
【附圖說明】
[0029]圖1為根據本發明的第一實施方式的安裝在車輛上的圖像監視裝置的圖；
[0030]圖2為示出圖1中圖像監視裝置的示意性配置的功能框圖；
[0031]圖3為示出在第一實施方式中由控制器執行故障判斷處理的流程圖；
[0032]圖4為示出圖像信號的數據配置的圖；以及
[0033]圖5為示出在第二實施方式中由控制器執行故障判斷處理的流程圖。
【具體實施方式】
[0034]現將參照附圖在下面描述本發明的實施方式。
[0035]首先，描述根據本發明的第一實施方式的圖像監視裝置。圖1為根據本發明的第一實施方式被安裝在車輛上的圖像監視裝置的圖。
[0036]如圖1所示，在車輛13中設置有圖像監視裝置10，成像單元11和顯示器12。圖像監視裝置10可設置在車輛13中的任意位置，并且在該實施方式中，圖像監視裝置10設置為靠近駕駛員的座位。成像單元11也可設置在車輛13中的任意位置，在該實施方式中，為了拍攝后面將要描述的視野范圍內的周邊圖像，成像單元11固定在車輛13的后部。顯示器12被設置使得可從駕駛員座位能夠觀察到。
[0037]如圖2所示，圖像監視裝置10配置為包括總線14、圖像獲取單元15、圖像處理單元16、判斷單元17、警報單元18、圖像輸出單元19和控制器20。
[0038]總線14連接圖像獲取單元15、圖像處理單元16、判斷單元17、警報單元18、圖像輸出單元19以及控制器20并且發送數據和指令。
[0039]圖像獲取單元15從成像單元11獲得周邊圖像。另外，圖像獲取單元15向成像單元11發送指令以驅動成像單元11。成像單元11具有攝像機。攝像機固定在車輛13的后部使其能夠拍攝車輛13后的特定視野中的周邊圖像。攝像機為具有圖像傳感器的電子攝像機，并且通過圖像傳感器，以預定幀速率(例如1/30 fps)連續地產生與周邊圖像對應的圖像信號。
[0040]另外，圖像獲取單元15在周邊圖像的預定位置上疊加周期性變化信號。例如，圖像獲取單元15將對于每幀顏色在“白”與“黑”之間可選地轉換的點描繪在駕駛員不易注意的位置上，諸如周邊圖像的角落。換言之，圖像獲取單元15在周邊圖像上疊加與白點對應的信號和與黑點對應的信號。
[0041]圖像處理單元16通過預定的圖像處理來處理由圖像獲取單元15所獲得的周邊圖像。預定的圖像處理包括，例如白平衡處理、差值處理、伽瑪校正處理、額外信息(諸如用于表示車輛通過區域的標記)的疊加處理等。
[0042]判斷單元17判斷由圖像處理單元16通過預定的圖像處理處理過的、疊加在周邊圖像上的信號是否已從前一幀的疊加在周邊圖像上的信號發生改變。當疊加后的信號中沒有變化時，判斷單元17確定圖像獲取單元15和圖像處理單元16中的至少一個出現故障。
[0043]當判斷單元17確定出圖像獲取單元15和圖像處理單元16中的至少一個出現故障時，警報單元18將用于指示故障狀態的警報疊加在由處理單元16通過預定的圖像處理處理過的周邊圖像上。
[0044]圖像輸出單元19將由圖像處理單元16通過預定的圖像處理處理過的周邊圖像或者由警報單元18疊加有警報的周邊圖像輸出至顯示器12。
[0045]控制器20控制構成圖像監視裝置10的每個單元。例如，當圖像監視裝置10的輸入單元檢測到用戶用于執行圖像觀測的輸入時，控制器20使成像單元11拍攝周邊圖像并使顯示器12顯示周邊圖像。另外，如下面將要描述的，控制器20控制每個單元以判斷圖像監視裝置10的故障。
[0046]接下來，使用圖3的流程圖描述第一實施方式中由控制器20執行的故障判斷處理。當檢測到用于執行圖像觀測的輸入時，控制器20開始故障判斷處理。當檢測到用于結束圖像觀測的輸入時，故障判斷過程結束。
[0047]在步驟S100，控制器20將描繪在周邊圖像上的點的顏色重置為例如黑色。應注意，重置時間處的顏色可以為白色。在重置點的顏色之后，過程行進至步驟S101。
[0048]在步驟S101，控制器20使圖像獲取單元15獲取一幀的周邊圖像。當獲得周邊圖像后，過程行進至步驟S102。
[0049]在步驟S102，控制器20使圖像獲取單元15在周邊圖像的預定位置上描繪具有在步驟SlOO中或步驟S107中確定的顏色的點。當在周邊圖像上描繪了點之后，過程行進至步驟S103。
[0050]在步驟S103，控制器20使圖像處理單元16通過圖像處理對其上描繪有在步驟S102中所描繪的點的周邊圖像進行處理。在圖像處理之后，過程行進至步驟S104。
[0051]在步驟S104，控制器20使判斷單元17判斷在前一幀和當前幀之間，在步驟S103通過預定圖像處理被處理的周邊圖像上的點的顏色是否存在變化。如果點的顏色沒有變化，則確定出圖像獲取單元15和圖像處理單元16中的至少一個出現故障，并且過程行進至步驟S105。如果點的顏色有變化，則確定出圖像處理單元16是正常的，并且過程跳過步驟S105并行進至步驟S106。
[0052]在步驟S105，控制器20使警報單元18將警報疊加在步驟S103通過預定圖像處理處理過的周邊圖像上。在疊加有警報之后，過程行進至步驟S106。
[0053]在步驟S106，控制器20使圖像輸出單元19將在步驟S103中通過預定圖像處理處理過的周邊圖像或在步驟S105中疊加有警報的周邊圖像輸出至顯示器12。在輸出周邊圖像之后，過程行進至步驟S107。
[0054]在步驟S107中，控制器20改變待描繪于周邊圖像上的點的當前顏色。當點的顏色為黑色時，改為白色，以及當點的顏色為白色時，改為黑色。在點的顏色改變之后，過程返回至步驟S101。
[0055]根據以上述方式配置的第一實施方式的圖像監視裝置，在獲取的周邊圖像上疊加周期性變化信號，并且在預定圖像處理之后，監視疊加后的信號中的周期變化，從而允許判斷圖像獲取單元15和圖像處理單元16中的至少一個的故障。根據這種配置，無需來自外部設備的信息，并且能夠通過圖像監視裝置單獨地判斷故障。
[0056]接下來，闡述本發明的第二實施方式。在第二實施方式中，疊加周期性變化信號的位置不同于在第一實施方式中的位置。下面將描述的第二實施方式側重與第一實施方式不同的方面。應注意，與第一實施方式具有相同配置的段分配相同的參考標號。
[0057]與第一實施方式相同，第二實施方式的圖像監視裝置10配置為包括總線14、圖像獲取單元15、圖像處理單元16、判斷單元17、警報單元18、圖像輸出單元19和控制器20。在第二實施方式中，總線14、圖像處理單元16、警報單元18、圖像輸出單元19以及控制器20的功能和配置與第一實施方式的那些相同。
[0058]與第一實施方式相同，第二實施方式中的圖像獲取單元15從成像單元11獲取周邊圖像。另外，圖像獲取單元15向成像單元11發送指令以驅動成像單元11。
[0059]另一方面，與第一實施方式不同，第二實施方式中的圖像獲取單元15在與獲得的周邊圖像相對應的圖像信號的預定位置上疊加周期變化信號。如圖4所示，圖像信號具有圖像成分和信息成分。圖像成分為對應于構成圖像傳感器的每個像素的信號成分，其中該圖像傳感器包括光學黑體。信息成分是指示與同一幀的圖像成分相關的信息的信號成分，諸如產生日期，成像模式等。信息成分通過成像單元11或圖像獲取單元15加到由圖像傳感器產生的圖像成分中。疊加有周期性變化信號的圖像信號的預定位置可以是圖像成分或信息成分。然而，優選的是信息成分的任意位置。另外，當信號被疊加到圖像成分上時，優選信號被疊加到與光學黑體對應的位置上。在第二實施方式中，周期性變化信號例如為根據NTSC系統的幀號(I到30)，或者例如為在圖像獲取單元15為8比特時能夠表示的數字(O 到 255)。
[0060]判斷單元17判斷在由圖像處理單元16通過預定圖像處理處理過的、疊加在圖像信號上的信號是否已從前一幀疊加在圖像信號上的信號改變。當疊加的信號中沒有變化時，判斷單元17確定圖像獲取單元15和圖像處理單元16中的至少一個出現故障。
[0061]接下來，參照圖5的流程圖描述第二實施方式中由控制器20執行的故障判斷處理。當檢測到用于執行圖像觀測的輸入時，控制器20開始故障判斷處理。當檢測到用于結束圖像觀測的輸入時，圖像判斷處理結束。
[0062]在步驟S200，控制器20將周期性變化信號的信號值例如重置為零。在重置之后，過程行進至步驟S201。
[0063]在步驟S201，控制器20使圖像獲取單元15獲得一幀的周邊圖像。在獲得周邊圖像之后，過程行進至步驟S202。
[0064]在步驟S202，控制器20使圖像獲取單元15在圖像信號的預定位置上疊加周期性變化信號。在疊加周期性變化信號之后，過程行進至步驟S203。
[0065]在步驟S203，控制器20使圖像處理單元16通過圖像處理來處理在步驟S202中疊加有周期性變化信號的圖像信號。在圖像處理之后，過程行進至步驟S204。
[0066]在步驟S204，控制器20使判斷單元17判斷在步驟S203中通過預定圖像處理所處理的、其上疊加有圖像信號的信號的信號值在前一幀和當前幀之間是否有變化。如果信號值沒有變化，那么確定圖像獲取單元15和圖像處理單元16中的至少一個出現故障，并且過程行進至步驟S205。如果信號值有變化，那么確定出圖像處理單元16正常，并且過程跳過步驟S205并行進至步驟S206。
[0067]在步驟S205，控制器20使警報單元18將警報疊加在步驟S203中通過預定圖像處理所處理的圖像信號上。在疊加警報之后，過程行進至步驟S206。
[0068]在步驟S206，控制器20使圖像輸出單元19將在步驟S203中通過預定圖像處理所處理的圖像信號或者在步驟S205中疊加有警報的圖像信號輸出至顯示器12。在輸出圖像信號之后，過程行進至步驟S207。
[0069]在步驟S207，控制器20判斷周期性變化信號值是否為上限值。例如，當使用NTSC系統的幀號作為周期性變化信號值時，上限值為30，并且當使用能夠以8比特表示的數字作為周期性變化信號值時，上限值為225。當周期性變化信號值為上限值時，過程返回至步驟S200。當周期性變化信號值不是上限值時，過程行進至步驟S208。
[0070]在步驟S208，控制器20將周期性變化信號值加上I。在信號值加上I之后，過程返回至S201。
[0071]以上述方式配置的第二實施方式中的圖像監視裝置也能夠判斷圖像獲取單元15和圖像處理單元16中的至少一個的故障。這種配置也無需來自外部設備的信息，并且圖像監視裝置能夠單獨地判斷故障。
[0072]盡管基于各附圖和實施方式描述了本發明，但是本領域技術人員應注意到，基于本公開能夠容易地作各種變化和變型。因此，應注意到，這些變化和變型也都包括在本發明的范圍內。
[0073]例如，在第一實施方式中，雖然圖像監視裝置10配置為周期性改變用于疊加的信號使得顏色對于每幀在“白”與“黑”之間切換的點被描繪在周邊圖像的預定位置上，但是圖像監視裝置10并不限于這種配置。例如，圖像監視裝置10可配置為對于每幀在“有信號增加”和“無信號增加”之間切換、對于每幀切換顏色、對于每幀切換周邊圖像或圖像信號的圖畫形狀、對于每幀從I到30更新幀的數量、或者對于每幀對能夠由圖像獲取單元15表示的數量進行計數。而且，在第二實施方式中，如同在對于每幀的值增加的情況中，圖像監視單元10被配置為周期性地改變疊加在圖像信號上的信號。然而，圖像監視裝置并不限于這種配置。例如，可以配置使得信號值為分別對應于白和黑的255和O。
[0074]另外，在第一實施方式和第二實施方式中，雖然圖像監視裝置10被配置為，當確定出圖像獲取單元15和圖像處理單元16中的至少一個出現故障時通過將警報疊加到周邊圖像向用戶提供警報，但是并不限于這種配置。例如，圖像監視裝置10可以配置為在顯示器12上顯示用于指示圖像獲取單元15和圖像處理單元16中的至少一個出現故障的圖像、或者配置為通過提供警報聲來警告用戶出現故障。而且，圖像監視裝置10可以配置為通過向用戶訴諸觸覺來提供故障警報。
[0075]另外，在第一實施方式和第二實施方式中，雖然圖像監視裝置10被配置為，當確定出圖像獲取單元15和圖像處理單元16中的至少一個出現故障時，將疊加有警報的圖像輸出至顯示器12，但是判斷之后的操作并不限于輸出疊加有警報的圖像。例如，故障信息可以輸出至位于可移動體13側的ECU(電子控制單元)。而且，圖像監視裝置10可以自動停止。另外，用于指示故障的圖像可以輸出至顯示器12等。而且，模式可轉換為待機模式，即輸出停止模式。
[0076]而且，在第一實施方式和第二實施方式中，雖然圖像監視裝置10被配置為與成像單元11和顯示器12連接，但是其也可與二者中的至少一個集成。
[0077]另外，在第一實施方式和第二實施方式中，雖然圖像監視裝置10被配置為安裝在諸如車輛的可移動體上，但是圖像監視裝置10的安裝位置并不限于車輛和可移動體。
[0078]另外，在第一實施方式中，雖然圖像監視裝置10被配置為對于每幀改變點的顏色，但是并不限制于每幀，并且與點的顏色對應的信號可周期性地切換。
[0079]參考標號的說明
[0080]10圖像監視裝置
[0081]11成像單元
[0082]12顯示器
[0083]13車輛
[0084]14總線
[0085]15圖像獲取單元
[0086]16圖像處理單元
[0087]17判斷單元
[0088]18警報單元
[0089]19圖像輸出單元
[0090]20控制器
【權利要求】
1.一種圖像監視裝置，包括: 圖像獲取單元，連續地獲取周邊圖像并且在所述周邊圖像的預定位置上疊加周期性變化信號； 圖像處理單元，通過預定圖像處理來處理疊加有所述周期性變化信號的周邊圖像；以及 判斷單元，基于在經過所述預定圖像處理所處理過的所述周邊圖像上疊加的信號中有無周期變化來判斷所述圖像處理單元的故障。
2.一種圖像監視裝置，包括: 圖像獲取單元，連續地獲取周邊圖像并且在所述周邊圖像的預定位置上疊加周期性變化信號；以及 判斷單元，基于在疊加有所述周期性變化信號的周邊圖像上疊加的信號中有無周期變化來判斷所述圖像獲取單元的故障。
3.根據權利要求1或權利要求2所述的圖像監視裝置，其中，所述信號中的周期變化為有無信號增加、顏色、亮度和形狀中的至少一種。
4.根據權利要求1至3中任一項所述的圖像監視裝置，還包括警報單元，其中，當所述判斷單元確定出故障時，所述警報單元警報所述圖像監視裝置處于故障狀態。
5.根據權利要求4所述的圖像監視裝置，其中，所述警報單元通過顯示用于指示所述故障狀態的圖像來提供警報。
6.一種圖像監視裝置，包括: 圖像獲取單元，連續地獲取周邊圖像并且在與所述周邊圖像對應的圖像信號的預定位置上疊加周期性變化信號； 圖像處理單元，通過預定圖像處理來處理疊加有所述周期性變化信號的所述圖像信號；以及 判斷單元，基于在經過所述預定圖像處理所處理過的所述圖像信號上疊加的信號中有無周期變化來判斷所述圖像獲取單元的故障。
7.一種圖像監視裝置，包括: 圖像獲取單元，連續地獲取周邊圖像并且在與所述周邊圖像對應的圖像信號的預定位置上疊加周期性變化信號；以及 判斷單元，基于在疊加有所述周期性變化信號的所述圖像信號上疊加的信號中有無周期變化來判斷所述圖像獲取單元的故障。
8.—種可移動體，包括根據權利要求1至7中的任一項所述的圖像監視裝置。
9.一種程序，所述程序使圖像監視裝置用作: 圖像獲取單元，連續地獲取周邊圖像并且在所述周邊圖像的預定位置上疊加周期性變化信號； 圖像處理單元，通過預定圖像處理來處理疊加有所述周期性變化信號的所述周邊圖像；以及 判斷單元，基于在經過所述預定圖像處理所處理過的所述周邊圖像上疊加的信號中有無周期變化來判斷所述圖像處理單元的故障。
10.一種故障判斷方法，包括: 連續地獲取周邊圖像的第一獲取步驟； 在所述周邊圖像的預定位置上疊加周期性變化信號的疊加步驟； 通過預定圖像處理來處理疊加有所述信號的所述周邊圖像的圖像處理步驟；以及判斷步驟，其中基于在通過所述預定圖像處理所處理過的所述周邊圖像上疊加的信號中有無周期變化來判斷所述預定圖像處理的故障。
【文檔編號】H04N7/18GK104396235SQ201380033799
【公開日】2015年3月4日 申請日期:2013年7月26日 優先權日:2012年7月26日
【發明者】橫田匡司, 柳澤治生, 中田圭俊 申請人:京瓷株式會社