自行式工業機械的顯示裝置制造方法

自行式工業機械的顯示裝置制造方法
【專利摘要】本發明的目的在于，使用對自行式工業機械的周邊進行拍攝的相機并將俯瞰圖像顯示于監視器上時，盡可能多地顯示映入到相機的自行式工業機械的下部的圖像。具有：視點轉換部(22)，其生成俯瞰圖像，該俯瞰圖像是對設置在自卸卡車(1)上的多臺相機(10)所拍攝的相機圖像分別以使上方成為視點的方式進行視點轉換后的圖像；重疊處理部(25)，其進行如下處理：將標志圖像(31)中的下部區域作為透射區域(33)并使其透射，將俯瞰圖像(32)中的與透射區域(33)對應的區域作為下部圖像(34)而進行重疊；圖像合成部(26)；其在將標志圖像(31)配置于中央且在其周圍合成俯瞰圖像(32)而生成顯示圖像時，基于透射區域(33)來設定將顯示各俯瞰圖像(32)的區域劃分的邊界線(L1)至(L4)；和監視器(14)，其顯示圖像合成部(26)所合成的圖像。
【專利說明】自行式工業機械的顯示裝置

【技術領域】
[0001]本發明涉及自行式工業機械的顯示裝置，在自卸卡車或液壓挖掘機等自行式工業機械進行行駛操作時對其進行支援。

【背景技術】
[0002]自行式工業機械利用于各種各樣的作業現場。自行式工業機械中的一種為自卸卡車。自卸卡車具有能夠在車身的車架上起伏的載貨臺(貨斗:vessei)，在該貨斗中裝載碎石物或砂土等搬運對象物。而且，自卸卡車將砂土等向規定的堆放地搬運并卸載。在將裝載于貨斗的砂土等卸載時，使自卸卡車后退至卸載位置而停止。在該狀態下使貨斗傾斜來卸載砂土等。然后，當卸載結束時將貨斗返回至原位置并使自卸卡車前進。
[0003]另一方面，自行式工業機械的一種為液壓挖掘機。液壓挖掘機具有下部行駛體和上部旋轉體，其中，該下部行駛體具有履帶式或輪式的行駛機構，該上部旋轉體能夠相對于下部行駛體旋轉。在上部旋轉體上設有駕駛室(操作室)，作為作業機構，在上部旋轉體上設有相對于上部旋轉體以能夠進行俯仰動作的方式連結的動臂、以能夠沿上下方向轉動的方式與動臂的前端連結的斗桿、和進行砂土的挖掘等作業的鏟斗。
[0004]對于搭乘在自卸卡車或液壓挖掘機等自行式工業機械的駕駛室中的操作員來說，雖然確保了前方的視場，但是會在后方和左右側方產生死角。因此，產生操作員難以用肉眼視覺辨認的方向。因此，在專利文獻I中公開了如下技術:為了輔助操作員認知液壓挖掘機的周邊狀況，將俯瞰圖像顯示在設于駕駛室中的監視器上。
[0005]在該專利文獻I的技術中，在液壓挖掘機上設有用于監視液壓挖掘機的后方及左右側方的三臺相機，來進行液壓挖掘機的周邊監視。各相機的光軸朝向斜下方，通過將其坐標轉換為從上方的視點，生成虛擬地從上方俯視而得到的俯瞰圖像。因此，生成與三臺相機分別對應的俯瞰圖像，將液壓挖掘機的俯視圖顯示在畫面中央的位置，并將三幅俯瞰圖像合成，由此，得到從上方整體俯瞰液壓挖掘機的圖像。通過將該圖像顯示在駕駛室的監視器上，能夠使操作員認知液壓挖掘機的周邊狀況。由此，能夠對操作員的行駛操作進行支援。
[0006]現有技術文獻
[0007]專利文獻
[0008]專利文獻1:日本特開2012-74929號公報


【發明內容】

[0009]在自行式工業機械中，通過將液壓挖掘機的周邊的俯瞰圖像顯示在駕駛室的監視器上，能夠在畫面上顯示由操作員的肉眼成為死角的部分，這在認知自行式工業機械的周邊狀況的方面是重要的。因此，專利文獻I的技術起到極高的效果。
[0010]但是，成為操作員肉眼的死角的部分不僅有自行式工業機械的周邊，其下部也成為操作員的死角。在自行式工業機械的下部存在某些障礙物時，自行式工業機械的行駛受到限制。例如，在自卸卡車的情況下，在自卸卡車的下部存在障礙物時，雖然砂土的裝載作業已結束，但自卸卡車的行駛仍受到限制。
[0011 ] 作為自卸卡車而存在普通自卸卡車和重型自卸卡車，但總之是大型的，在自卸卡車的下部形成有廣闊空間。尤其是，在裝載重量超過100噸的重型自卸卡車中，車身下部空間廣大。因此，充分存在障礙物進入自卸卡車下部的可能性。在該情況下，從安全性的觀點出發，限制自卸卡車的行駛。這在具有下部行駛體的液壓挖掘機等自行式工程機械中也是同樣的。因此，在液壓挖掘機等中，使操作員認知其周邊狀況是重要的，但使操作員認知下部狀況也是重要的。
[0012]關于該方面，由于為了顯示俯瞰圖像而使設置在自行式工業機械上的各相機的光軸朝向斜下方，所以根據相機的安裝位置的不同，存在自行式工業機械的下部局部映現于相機的部分視場的情況。因此，通過將映入到相機的部分視場的自行式工業機械的下部的圖像顯示在監視器上，能夠認知自行式工業機械的下部狀況。
[0013]但是，暫且不論針對自行式工業機械下部的拍攝而設置專用相機的情況，用于生成上述俯瞰圖像的相機原本就是用于對自行式工業機械的周邊進行拍攝的相機。因此，即使自行式工業機械的下部的一部分映入，映入區域也會成為局部受限定的區域。但是，即使是受限定的區域，將下部的圖像顯示于監視器上也是非常有用的。
[0014]因此，本發明的目的在于，在使用相機對自行式工業機械的周邊進行拍攝并將俯瞰圖像顯示于監視器上時，盡可能地擴展映入于相機的自行式工業機械的下部的圖像。
[0015]為了解決以上課題，本發明的自行式工業機械的顯示裝置具有:多臺相機(攝影機，camera)，其設置在自行式工業機械上，對該自行式工業機械的周邊進行拍攝，并將斜下方作為光軸；視點轉換部，其生成俯瞰圖像，該俯瞰圖像是對各相機所拍攝的相機圖像分別以使上方成為視點的方式進行視點轉換后的圖像；重疊處理部，其進行如下處理:將該俯瞰圖像和使上述自行式工業機械標志化而成的車身的標志圖像顯示在監視器上，將該標志圖像中的包含于上述相機的上述自行式工業機械的下部區域作為透射區域，以規定的透射率使其透射而進行重疊；圖像合成部，其使上述標志圖像成為能夠識別透射區域和非透射區域的顯示方式，并與上述俯瞰圖像合成顯示；以及顯示裝置，其配置在上述自行式工業機械的駕駛室中，并顯示上述圖像合成部所合成的圖像。
[0016]在與車身的標志圖像一起將周圍的俯瞰圖像顯示于監視器上時，在車身標志圖像的顯示區域中，在俯瞰車身時被隱藏，但將由相機拍攝的區域作為透射區域，使車身以相對于不發生透射的非透射區域能夠識別的方式顯示。作為識別顯示的方式，能夠以邊界線劃分透射區域與非透射區域之間，或者在透射區域與非透射區域之間設置濃淡差。而且，還能夠對透射區域和非透射區域中的某一區域著色。
[0017]根據相機的配置與車身結構各部分的配置關系，也存在原本應當進入相機視場但由于車輛結構部件而導致視場被局部妨礙的部位。在該情況下，作為死角部的區域，也可以使其為與其他區域不同的顯示方式。
[0018]通過將透射區域與標志區域的邊界的端部作為基準，能夠最大限度地利用透射區域。由此，能夠在透射區域上廣闊地顯示下部的圖像。
[0019]另外，也可以是，上述相機為拍攝后方的后方相機，以上述自行式工業機械的行駛體的后端為基準來形成上述邊界線。
[0020]下部的圖像大多映出于后方相機的視場。此時，后方相機不包含與自行式工業機械的行駛體的后端相比為前方的視場，因此，通過以標志圖像的行駛體的后端為基準來形成邊界線，能夠廣闊地顯示下部的區域。
[0021]另外，也可以是，在上述搬運車輛的車架的最后端上設置上述相機，將上述相機安裝在不會與上述搬運車輛的貨斗發生干涉的范圍中的比上述搬運車輛的后輪高的位置且安裝在其后方。
[0022]通過將后方相機安裝在搬運車輛的比后輪高的位置，能夠較大地拍攝搬運車輛的下部的區域。而且，通過將后方相機安裝在后輪的后方，能夠將妨礙相機的最大視場范圍的主要原因(主要是后輪)從視場消除，因此能夠較大地顯示下部的圖像。
[0023]另外，也可以是，在通過對上述搬運車輛的行駛進行操作的行駛操作部進行后退操作時，將上述顯示圖像顯示在上述顯示裝置上。
[0024]在搬運車輛的貨斗后方下部形成有廣闊空間，障礙物容易進入該空間。因此，在進行后退操作時，通過顯示貨斗下部的圖像，能夠使操作員更好地認知貨斗下部的狀況。
[0025]另外，也可以是，將上述顯示裝置的顯示區域分割，來顯示上述圖像合成部所生成的上述顯示圖像和多臺上述相機中的拍攝上述下部圖像的相機圖像。
[0026]通過同時顯示俯瞰圖像和相機圖像雙方，能夠從俯瞰圖像認知下部圖像,能夠直接認知與下部圖像對應的相機所拍攝的相機圖像。
[0027]發明效果
[0028]本發明在將俯瞰圖像和自行式工業機械的標志圖像顯示于監視器上時，通過將標志圖像的一部分作為透射圖像而顯示，能夠廣闊地利用透射區域。由此，能夠在透射區域上較大地顯示下部的圖像。

【專利附圖】

【附圖說明】
[0029]圖1是自卸卡車的左視圖。
[0030]圖2是自卸卡車的俯視圖。
[0031]圖3是表示安裝在駕駛室中的監視器的一個例子的圖。
[0032]圖4是顯示控制器的框圖。
[0033]圖5是說明視點轉換處理的原理圖。
[0034]圖6是表示顯示在畫面部上的顯示圖像的一個例子的圖。
[0035]圖7是說明在圖6中將下部圖像重疊的例子的圖。
[0036]圖8是表示產生了死角的情況下的顯示圖像的一個例子的圖。
[0037]圖9是表示使邊界線不同的圖6的其他例子的圖。
[0038]圖10是表示將畫面分割來顯示俯瞰圖像和相機圖像的圖。
[0039]圖11是表示自卸卡車的后方的圖。
[0040]圖12是將貨斗拆除時的自卸卡車的后方的立體圖。
[0041]圖13是液壓挖掘機的左視圖。

【具體實施方式】
[0042]以下，參照附圖，對本發明的實施方式進行說明。作為自行式工業機械，存在搬運車輛、工程機械、道路施工機械等，作為搬運車輛主要存在自卸卡車，作為工程機械主要存在液壓挖掘機。在此，作為自行式工業機械而適用了自卸卡車，但也可以適用自卸卡車以外的自行式工業機械。作為自卸卡車，存在剛性自卸(rigid dump)和鉸接自卸(articulatedump)，可以適用任一個。此外，以下，“左”是指從駕駛室觀察到的左側，“右”是指從駕駛室觀察到的右側。
[0043]圖1表示自卸卡車I的左視圖，圖2表示俯視圖。如這些圖所示，自卸卡車I構成為具有駕駛室2、車架3、貨斗4、前輪5、后輪6、和驅動用液壓缸7。另外，在自卸卡車I的前后左右設有相機10 (前方相機10F、后方相機10B、右方相機10R、左方相機10L)，將各相機10所拍攝的影像作為相機圖像而輸出。此外，圖1的虛線表示后方相機1B的視場范圍。
[0044]前方相機1F是以前方為視場的相機，后方相機1B是以后方為視場的相機，右方相機1R是以右側方為視場的相機，左方相機1L是以左側方為視場的相機。在圖2中，將前方相機1F的視場范圍作為前方視場范圍VF，將后方相機1B的視場范圍作為后方視場范圍VB，將右方相機1R的視場范圍作為右方視場范圍VR，將左方相機1L的視場范圍作為左方視場范圍VL，并以虛擬線表示。圖中，各視場范圍作為矩形而例示，但視場范圍不限定于矩形。
[0045]各相機10對自卸卡車I的周邊進行拍攝,其拍攝方向為斜下方。即，光軸方向為斜下方。此外，配置于自卸卡車I上的相機10的臺數能夠為任意數量。但是，希望具有對由操作員肉眼產生視場死角的方向進行拍攝的后方相機10B、右方相機10R、和左方相機10L。另外，在鉸接自卸的情況下，也可以設置更多的相機。
[0046]駕駛室2是為了供操作員搭乘并操作自卸卡車I而設置的，大多配置于自卸卡車I的左側。另外，在駕駛室2中設有各種操作機構。車架3構成自卸卡車I的構架，在車架3的前方設有前輪5，在后方設有后輪6。貨斗4為載貨臺，裝載砂土或礦物等。在貨斗4上安裝有驅動用液壓缸7而能夠傾轉。由此，能夠將裝載于貨斗4中的砂土等卸載。
[0047]圖3表不駕駛室2的一個例子。在駕駛室2中，設有操作行駛方向的方向盤11、顯示自卸卡車I的儀表類等的儀表板12和支柱13。而且，在支柱13上安裝有監視器14。監視器14是具有畫面部15和輸入部16而構成的顯示裝置。畫面部15是顯示規定信息的畫面，輸入部16是為了適當地操作畫面部15的顯示內容而設置的。此外，監視器14的位置只要是在駕駛室2的內部即可，可以設于任意位置。另外，也可以省略輸入部16而將畫面部15作為觸摸傳感面板。
[0048]圖4表示與監視器14連接的顯示控制器17及與顯示控制器17連接的車身控制器18。如該圖所示，顯示控制器17具有圖像修正部21、視點轉換部22、下部圖像生成部23、標志圖像保持部24、重疊處理部25、圖像合成部26、基準點存儲部27和顯示圖像生成部28。顯示控制器17的各部分能夠通過軟件實現，也能夠通過CPU執行各部分的功能。
[0049]圖像修正部21輸入前方相機10F、后方相機10B、右方相機10R、左方相機1L所拍攝的圖像。然后，對于輸入的圖像，基于相機光學系統參數等，進行透鏡失真修正、像差修正、對比度修正、色調修正等各種圖像修正。由此，使輸入的圖像的畫質提高。圖像修正部21輸入的修正后的圖像作為相機圖像而輸出至視點轉換部22。
[0050]視點轉換部22對從圖像修正部21輸入的相機圖像進行視點轉換處理，生成俯瞰圖像(虛擬視點圖像)。如上述那樣，各相機10將斜下方作為光軸方向，將其轉換為從上方的虛擬視點。如圖5所示，相機10 (前方相機10F、后方相機10B、右方相機10R、左方相機10L)的物鏡的光軸A相對于地表G具有規定角度Θ，由此,相機10的光軸朝向斜下方。在視點轉換部22中，以使光軸方向成為垂直方向的方式將虛擬相機1V虛擬地設定為高度H，并坐標轉換為該虛擬相機1V俯視地表G而得到的圖像數據。像這樣轉換為上方視點的圖像成為虛擬的俯視圖像(俯瞰圖像)。
[0051]如圖4所示，視點轉換部22進行了視點轉換處理后的俯瞰圖像輸出至下部圖像生成部23及圖像合成部26。下部圖像生成部23在相機10的視場中包含自卸卡車I的下部的情況下，獲取俯瞰圖像中的自卸卡車I的下部部分，下部圖像也為俯瞰圖像。
[0052]此外，在全部相機10中，不一定在視場中均包含自卸卡車I的下部。因此，對于視場中不包含自卸卡車I的下部的相機10，不會生成下部圖像。在本實施方式中，僅在后方相機1B的視場中包含自卸卡車I的下部，從后方相機1B生成下部圖像，但也可以從后方相機1B以外的相機10生成下部圖像。
[0053]標志圖像保持部24保持標志圖像。標志圖像是將自卸卡車I作為標志(符號)而顯示在畫面部15上時的圖像。因此，標志圖像成為再現自卸卡車I的形狀的圖像。如果此時的再現性高，則操作員能夠正確地認知自卸卡車I的形狀。但是，也可以是不如實地再現自卸卡車I的形狀的圖像。
[0054]重疊處理部25從下部圖像生成部23輸入下部圖像，并從標志圖像保持部24輸入標志圖像。然后，重疊處理部25進行圖像處理，使標志圖像中的與下部圖像對應的區域作為透射區域并以規定的透射率透射，而將下部圖像重疊在該透射區域上。該圖像處理為迭加(superimpose)處理(圖像的重疊處理)，如果透射率不為100%,則標志圖像和下部圖像雙重地顯示于相同位置。透射率能夠任意控制。
[0055]圖像合成部26輸入視點轉換部22進行了視點轉換后的俯瞰圖像，并輸入重疊處理部25進行了處理后的標志圖像。然后，將標志圖像設為中央，在其周圍配置各俯瞰圖像而進行合成。從前方相機1F生成前方俯瞰圖像，從后方相機1B生成后方俯瞰圖像，從右方相機1R生成右方俯瞰圖像，從左方相機1L生成左方俯瞰圖像。然后，將標志圖像作為中心，在前側配置前方俯瞰圖像，在后側配置后方俯瞰圖像，在右側配置右方俯瞰圖像，在左側配置左方俯瞰圖像而進行合成。
[0056]此時，圖像合成部26從基準點存儲部27讀取基準點。雖然以標志圖像為中央在周邊合成各俯瞰圖像，但設定從標志圖像以放射狀形成的邊界線。邊界線是用于將顯示各俯瞰圖像的區域劃分而設定的。基準點存儲部27存儲形成該邊界線時的標志圖像的基準點(起點)。該基準點是基于上述的透射區域而設定的。
[0057]此外，不限于在自卸卡車I上設置前后左右四臺相機10。例如，也存在不設置前方相機1F的情況。在該情況下，由于無法得到前方俯瞰圖像，所以不對前方俯瞰圖像進行合成。即，與所設置的相機10相應地，生成該相機10所拍攝的方向上的俯瞰圖像并進行合成。但是，希望對成為操作員的視場死角的左方俯瞰圖像、右方俯瞰圖像、后方俯瞰圖像進行合成。
[0058]顯示圖像生成部27將圖像合成部26所合成的圖像作為一個顯示圖像而生成。該顯示圖像輸出至監視器14。在監視器14的畫面部15上對顯示圖像進行顯示。搭乘在駕駛室2中的操作員能夠視覺辨認顯示于畫面部15上的顯示圖像。在畫面部15上不僅可以顯示一幅圖像，也能夠將畫面部15的顯示區域分割成多個區域來顯示多幅圖像。
[0059]如圖4所示，顯示控制器17與車身控制器18連接。在車身控制器18上連接有用于控制自卸卡車I的各種操作機構。其中之一為換擋桿29。換擋桿29是供操作員對自卸卡車I的行駛進行操作的行駛操作部，在前進位置、中立位置、后退位置這三個位置之間位移。在換擋桿29位于前進位置時，自卸卡車I前進，在位于后退位置時自卸卡車I后退。另夕卜，在位于中立位置時自卸卡車I停止。從換擋桿29向車身控制器18輸入換擋桿位于哪個位置(前進位置、中立位置、后退位置)的換擋桿位置信息。然后，換擋桿位置信息作為車身信息而輸出至顯示控制器17。
[0060]使用以上結構，顯示控制器17生成顯示于監視器14的畫面部15上的顯示圖像。在此，說明在畫面部15的整個區域進行俯瞰圖像顯示的情況，但也可以將畫面部15的區域分割并在分割而成的區域上進行俯瞰圖像顯示。關于俯瞰圖像顯示，是在顯示區域的中央顯示標志圖像并在其周邊(周圍)顯示俯瞰圖像的方式。
[0061]圖6在畫面部15的整個區域的中央設有方形區域，并在該中央的區域上顯示有標志圖像31。如上述那樣，標志圖像31是將自卸卡車I的形狀再現的標志(符號)。此外，在自行式工業機械為自卸卡車I以外的機械的情況下，顯示將該自行式工業機械的車身形狀再現的標志圖像31。因此，在畫面部15的中央部分顯示有標志圖像31，俯瞰圖像顯示在該標志圖像31的周圍。
[0062]將標志圖像31作為中央，以放射狀形成有邊界線LI至L4。而且，設有通過標志圖像31及邊界線LI至L4而前后左右地分割的區域。在標志圖像31的前方的區域上顯示有前方俯瞰圖像32F，在后方的區域上顯示有后方俯瞰圖像32B，在右方的區域上顯示有右方俯瞰圖像32R，在左方的區域上顯示有左方俯瞰圖像32L。將俯瞰圖像32F、后方俯瞰圖像32B、右方俯瞰圖像32R、和左方俯瞰圖像32L總稱為俯瞰圖像32。
[0063]為了至少顯示各俯瞰圖像32，各相機10必須進行拍攝。為此，操作員使發動機啟動等，各相機10開始拍攝。如上述那樣，各相機10對斜下方進行拍攝，前方相機1F對前方的斜下方的影像進行拍攝，后方相機1B對后方的斜下方的影像進行拍攝，右方相機1R對右側方的斜下方的影像進行拍攝，左方相機1L對左側方的斜下方的影像進行拍攝。
[0064]然后，各相機10將拍攝到的影像作為相機圖像而輸出(傳輸)至顯示控制器17。各相機10以規定的拍攝周期進行拍攝，并按拍攝周期傳輸相機圖像。由此，能夠在畫面部15上顯示動態圖像。此外，也可以顯示靜態圖像。
[0065]如圖4所示，圖像修正部21對從各相機10輸出的相機圖像進行規定的修正處理。由此，相機圖像的畫質提高。進行了修正處理的相機圖像在視點轉換部22中被視點轉換。根據前方相機1F所拍攝的相機圖像而生成前方俯瞰圖像32F，根據后方相機1B所拍攝的相機圖像而生成后方俯瞰圖像32B，根據右方相機1R所拍攝的相機圖像而生成右方俯瞰圖像32R，根據左方相機1L所拍攝的相機圖像而生成左方俯瞰圖像32L。所生成的各俯瞰圖像32輸出至圖像合成部26。
[0066]另外，通過將標志圖像31作為中心來顯示各俯瞰圖像32，如圖6那樣，能夠將從上方俯視自卸卡車I而得到的圖像顯示于畫面部15。圖6是俯瞰圖像顯示，操作員能夠良好地認知自卸卡車I的周邊狀況。如圖6所示，在服務車作為障礙物SI而正在接近的情況下，通過進行俯瞰圖像顯示，操作員能夠直觀地認知自卸卡車I與障礙物SI之間的位置關系O
[0067]例如，俯瞰圖像顯示在自卸卡車I起步時，確認在周邊是否存在某些障礙物時是有效的。尤其是，即使對于從操作員來看成為死角的方向，由于能夠確認障礙物是否正在接近，所以是有效的。因此，各俯瞰圖像32將自卸卡車I的較近距離作為顯示范圍。S卩，將在圖5中說明的各相機10的光軸與地表G之間的角度Θ設定得較大。由此，通過進行圖6那樣的俯瞰圖像顯示，而能夠良好地顯示與自卸卡車I接近的周邊狀況。
[0068]在此，如圖1的以虛線示出的區域所示，后方相機1B安裝于貨斗4的下部位置。而且，由于后方相機1B將斜下方作為光軸，所以雖然對自卸卡車I的后方進行拍攝，但在視場中也包含自卸卡車1(貨斗4)的下部。尤其是，如上所述，后方相機10的光軸與地表G的角度Θ較大，另外在后方相機10中使用了具有廣闊視場角的透鏡，因此，自卸卡車I的下部的廣闊區域包含于視場中。下部區域為進行了視點轉換處理后的俯瞰圖像，在下部圖像生成部23中生成廣闊的下部圖像。
[0069]因此，能夠將包含于后方相機1B的視場中的自卸卡車I的下部圖像顯示在監視器14的畫面部15上。因此，本實施方式中，下部圖像生成部23從視點轉換部22獲取后方俯瞰圖像32B。而且，下部圖像生成部23將后方俯瞰圖像32B中的、自卸卡車I的下部部分作為下部圖像而生成。
[0070]如圖6所示，標志圖像保持部24保持將自卸卡車I的形狀再現的標志圖像31。在該圖的例子中，標志圖像31顯示有前輪5和后輪6等，另外也顯示各相機10的安裝位置。將標志圖像保持部24所保持的標志圖像31輸出至重疊處理部25。
[0071]重疊處理部25將標志圖像31中的與下部圖像對應的區域作為透射區域33。該透射區域33在圖中是以陰影線示出的區域。后方相機1B的安裝位置、視場角、光軸方向等是預先設定的，從而能夠預先認知標志圖像31中的與下部圖像對應的透射區域33。因此，透射區域33在標志圖像31中的位置、范圍確定。而且，下部圖像(附圖標記為34)與透射區域33的位置、范圍是一致的。
[0072]因此，重疊處理部25使透射區域33以規定的透射率透射，并將基于后方相機1B所拍攝的影像的下部圖像34重疊(迭加)。圖7表示其一個例子。在該圖中，在下部圖像34中映出障礙物S2。操作員通過視覺辨認畫面部15的下部圖像34，而能夠認知在自卸卡車I的下部、該情況下為在貨斗4的下部存在障礙物S2。由此，操作員能夠認知若操作換擋桿29使自卸卡車I后退，則后輪6與障礙物S2會發生干涉。即，操作員能夠認知使換擋桿29位移至后退位置受到限制。
[0073]如上述那樣，通過使用各相機10 (后方相機10B、右方相機10R、左方相機10L)所拍攝的影像進行視點轉換處理，而進行俯瞰圖像顯示。由此，看一眼就能夠認知自卸卡車I的周邊狀況。在虛擬地將視點設定于上方時，俯瞰圖像顯示成為俯視地表G的圖像。因此，按理來說由于貨斗4或駕駛室2等構造物而不會在俯瞰圖像顯示中顯示自卸卡車I的下部的圖像。
[0074]但是，在后方相機1B的視場中包含自卸卡車I的下部。因此，下部圖像生成部23生成下部圖像34，重疊處理部25使標志圖像31的透射區域33透射并合成下部圖像34，由此，能夠在標志圖像31中具有自卸卡車I的下部的圖像的信息。總之，作為顯示在監視器14的畫面部15上的圖像，包括車身的標志圖像31、由前方俯瞰圖像32F、后方俯瞰圖像32B及左右的側方俯瞰圖像32L、32R構成的車身外的俯瞰圖像、和作為俯瞰圖像而顯示的下部圖像34。而且，將標志圖像31的一部分作為透射區域33。由此，操作員不僅能夠認知自卸卡車I的周邊狀況，也能夠基于標志圖像31的下部圖像來認知自卸卡車I的下部狀況。并且，由于這是利用了原本用于進行俯瞰圖像顯示的各相機10，所以不需要特別設置用于拍攝下部的專用相機。
[0075]此外，如圖6和圖7所示，在將標志圖像31的駕駛室2再現的位置上配置有方向圖標35。方向圖標35表操作員的朝向。在此用三角形的箭頭表方向。該方向圖標35也可以根據自卸卡車I的行進方向而變化。由于在顯示控制器17中，作為車身信息而從車身控制器18輸入行進方向的信息，所以也可以根據行進方向而使三角形旋轉。例如，在使自卸卡車I后退的情況下，成為與圖6的三角形的朝向相反的方向。
[0076]然而，圖像合成部26將標志圖像31配置在中央的區域，并將各俯瞰圖像32配置在通過以放射狀形成的邊界線LI至L4劃分而成的區域中來進行合成。通常如圖8所示，從顯示有標志圖像31的方形區域的四個頂點(四角)以放射狀形成邊界線LI至L4。其中，如圖2所示，各視場范圍VB、VF、VR、VL局部重復，以將重復的區域均等地分割的方式形成邊界線LI至L4是自然的，另外，這也是為了在圖像處理方面實現處理的簡化。而且，俯瞰圖像32F、32B、32L、32R通過相對于下部圖像34能夠識別的顯示方式而顯示。作為該能夠識別的顯示方式，以表示車身的標志圖像31的邊界線進行顯示，除此以外，也能夠例如對透射區域33和除此以外的區域設置濃淡差，或在某一方上實施著色等，由此成為能夠識別的顯示。
[0077]如圖8所示，由邊界線LI和L2形成的區域通過后方相機1B所拍攝的圖像而顯示后方俯瞰圖像32B。因此，能夠在透射區域33中的邊界線LI和L2所夾持的區域上顯示下部圖像。另一方面，透射區域33中的邊界線L2的左側為基于左方相機1L所拍攝的相機圖像而得到的圖像的顯示區域。同樣地，透射區域33中的邊界線LI的右側為基于右方相機1R所拍攝的相機圖像而得到的圖像的顯示區域。
[0078]透射區域33中的邊界線LI的左側的區域包含在后方相機1B的視場中，但不包含在右方相機1R的視場中。同樣地，透射區域33中的邊界線L2的右側的區域包含在后方相機1B的視場中，但不包含在左方相機1L的視場中。由此，在透射區域33中產生兩個死角33D。這兩個死角33D是由于右方相機1R及左方相機1L不將透射區域33包含于視場中而產生的。即，若使用以顯示標志圖像31的方形區域的四角為基準而形成的邊界線LI及L2，則不會在死角33D的部分上顯示下部圖像34。
[0079]因此，盡管原本能夠在透射區域33的整個區域上顯示基于后方相機1B的下部圖像34，但會使一部分成為死角33D而無法顯示。假設在死角33D存在障礙物S2時，盡管在后方相機1B的視場中包含障礙物S2，但不會顯示在畫面部15上。由此，操作員無法認知障礙物S2。因此，對于該死角33D的區域，作為無法顯示區域而使其成為例如涂黑狀態。
[0080]因此，在本實施方式中，圖像合成部26在將標志圖像31作為中心并在其周圍合成各俯瞰圖像32時，從基準點存儲部27讀取基準點Pl至P4。基準點Pl至P4示出在形成邊界線LI至L4時，將標志圖像31的外形中的哪個位置作為基準(起點)。
[0081]同時如圖6及圖7所示，標志圖像31是基本上將自卸卡車I的形狀再現的符號，是預先制成的。但是，標志圖像31的一部分成為透射區域33，能夠在該透射區域33上重疊顯示下部圖像34。因此，標志圖像31能夠分為透射區域33和除此以外的區域(標志區域31A)。其中，標志區域31A與標志圖像31同樣地是預先制成的符號，是固定的符號。另一方面，透射區域33盡管構成標志圖像31的一部分，但不如說是用于顯示圖像的區域，根據下部圖像34而改變顯示內容。
[0082]因此，圖像合成部26在顯示標志圖像31的區域為方形的情況下，不是從該方形區域的四角設定邊界線LI至L4，而是基于透射區域33來設定邊界線LI至L4。在此，將標志圖像31中的透射區域33與標志區域31A的邊界的端部作為基準來設定邊界線LI及L2。由于在標志圖像31的前方不存在透射區域33，所以從標志圖像31的方形區域的角部設定邊界線L3及L4。但是，其等同于從標志區域31A的角部設定邊界線L3及L4。
[0083]邊界線LI至L4以基準點Pl至P4為基準而設定。圖像合成部26從基準點存儲部27讀取基準點Pl至P4。基準點Pl至P4設定于標志圖像31中的除透射區域33以外的區域、即標志區域31A的四角。由于透射區域33是預先被認知的，所以也能夠預先設定基準點Pl至P4。即，預先認知在標志圖像31的外形的哪個位置上設定基準點Pl至P4。
[0084]而且，圖像合成部26從基準點Pl至P4形成邊界線LI至L4。如圖7所示，邊界線L3及L4從標志圖像31的角部形成，但邊界線LI及L2不從標志圖像31的角部形成，而是從透射區域33與標志區域31A的邊界的端部形成。
[0085]透射區域33由包含在后方相機1B所拍攝的影像中的下部圖像34的尺寸決定。因此，透射區域33根據后方相機1B所拍攝的影像的視場而決定。通過對后方相機1B使用廣角透鏡，能夠將廣闊范圍作為視場，能夠擴大最大視場范圍。該情況下，下部圖像34及透射區域33的尺寸也增大。但是，如圖8所示，在存在妨礙后方相機1B的視場那樣的構造物的情況下，存在無法攝像的死角33D的區域，由于該構造物而導致后方相機1B的視場變小。作為該構造物主要存在后輪6。即，由于后輪6而導致前方難以成為后方相機1B的視場。在此，如圖7所示，后輪6的后端位于透射區域33與標志區域31A的邊界的端部。因此，從后輪6的后端形成邊界線LI及L2。
[0086]如以上那樣，圖像合成部26將基準點Pl至P4作為基準來設定邊界線LI至L4，并在由邊界線LI至L4及標志圖像31劃分形成的前后左右的各區域上合成各俯瞰圖像32。在由邊界線LI及L2和標志圖像31劃分形成的區域上顯示有后方俯瞰圖像32B。并且，由于從透射區域33的前方的角部形成邊界線LI及L2，所以如圖7所示，能夠在透射區域33的整個區域上顯示下部圖像34。因此，基于顯示在下部圖像34上的障礙物S2，操作員能夠明確地認知障礙物S2的存在。
[0087]以上，示出了將后輪6的后端作為基準來設定邊界線LI及L2的情況，但也可以將后輪6的后端以外的位置作為基準來設定邊界線。同樣地，將透射區域33與標志區域31A的邊界的端部作為基準點Pl及P2來設定邊界線LI及L2，但如圖8所示，也可以使基準點Pl及P2向標志圖像31的前方后后方移動。在該情況下，邊界線LI及L2的起點位置(基準點Pl及P2)也發生變化。
[0088]無論怎樣，由于成為死角33D的區域無法得到視場，所以對于該區域，如圖8所示，全部涂黑而能夠認知是無法得到圖像的區域。在此，通過使基準點Pl及P2向標志圖像31的后方移動，而使死角33D的區域僅為稍許。在該情況下，也可以使基準點Pl及P2向標志圖像31的前方移動。另外，當使基準點Pl及P2向前方移動時，不包含在后方相機1B的視場中的區域也會成為后方俯瞰圖像32B用的區域，因此，該情況也下會產生死角。但是，關于該情況，在允許稍許死角的情況下，也可以使基準點Pl及P2稍向前方移動。
[0089]總之，通過基于透射區域33來設定邊界線LI及L2，能夠將產生于透射區域33的死角33D抑制到最小限度，能夠將下部圖像34顯示在透射區域33的整個區域，從而能夠最大限度地有效利用。而且，通過使成為死角33D的區域以相對于其他區域能夠明確識別的狀態顯示，在操作員的視覺辨認性的方面，能夠得到最佳效果。
[0090]另外，在圖6至圖8的例子中，邊界線LI至L4形成至畫面部15的角部(四角)，但也可以形成至角部以外的部位。圖9表示其一個例子。如該圖所示，邊界線LI及L2形成至從畫面部15的角部離開的位置。在后方相機1B為高像素且為廣角的情況下，也可以優先顯示后方相機1B所拍攝的后方俯瞰圖像32B。在該情況下，也可以根據后方相機1B的視場角如圖9那樣形成邊界線LI及L2。
[0091]另外，如圖10所不,也可以將畫面部15分割為兩部分，在一個分割區域15A上進行合成來顯示俯瞰圖像，并在另一個分割區域15B上顯示后方相機1B的相機圖像(沒有進行視點轉換的圖像)。若在后方相機1B的視場范圍內存在障礙物S2，則會顯示在分割區域15A的下部圖像34上。由于分割區域15B顯示后方相機1B的相機圖像，所以操作員通過視覺辨認分割區域15B，能夠更具體地認知障礙物S2。
[0092]另外，在圖6至圖10的例子中，說明了畫面部15的縱像素數大于橫像素數的情況，但也可以相反。即，畫面部15不為縱長，而為橫長。
[0093]如上述那樣，邊界線LI及L2是以后輪6的后端為基準而設定的。這是自行式工業機械為自卸卡車I的情況。在自行式工業機械不為自卸卡車I而為履帶式液壓挖掘機的情況下，將履帶的后端作為基準來設定邊界線LI及L2，在為輪式液壓挖掘機的情況下，將后輪的后端作為基準來設定邊界線LI及L2。總之，能夠將使自行式工業機械行駛的機構、即行駛體的后端作為基準來設定邊界線LI及L2。
[0094]在自卸卡車I的情況下，即使在后方相機1B中使用了視野角廣闊的透鏡，也存在因后輪6使后方相機1B的視場范圍縮窄的情況。因此，為了最大限度地有效利用后方相機1B的視場范圍，將后方相機1B安裝在自卸卡車I的車架3的最后端。而且，安裝在比后輪6高的位置且安裝在其后方。但是，不要使貨斗4和后方相機1B發生干涉。
[0095]通過將后方相機1B安裝在比后輪6高的位置且安裝在其后方，能夠使后方相機1B的視場范圍包含自卸卡車I的下部的廣闊區域，并且不會被后輪6妨礙后方相機1B的視場。因此，能夠使透射區域33為最廣闊的區域，能夠顯示廣闊區域的下部圖像34。
[0096]圖11及圖12表示其一個例子。如圖11及圖12所示，在車架3的最后端上安裝有尾燈41。尾燈41是為了向自卸卡車I的后方供給照明光而設置的。在尾燈41的上方延伸出遮蔽板42。該遮蔽板42是為了使尾燈41的光不會映入到后方相機1B而設置的。在遮蔽板42的上部設有支承座43，在支承座43上安裝有后方相機10B。
[0097]如從圖11及圖12可以明確那樣，能夠將后方相機1B安裝在比后輪6高的位置且安裝在其后方。由此，后輪6不會妨礙后方相機1B的視場，能夠顯示廣泛區域的下部圖像34。操作員能夠通過該下部圖像34良好地認知自卸卡車I的下部狀況。
[0098]但是，為了將后方相機1B安裝在比后輪6高的位置且安裝在其后方，也能夠通過使用例如托架等，將后方相機1B配置在所希望的位置。但是，自卸卡車I行駛于不平地面，行駛時伴隨著激烈的振動。因此，在該情況下，對于后方相機1B所拍攝的影像會產生非常大的偏斜。
[0099]因此，如圖11及圖12所示，將車架3作為基礎來固定后方相機10B。車架3是構成自卸卡車I的基本結構的構架，即使行駛于不平地面時也能夠得到高穩定性。因此，能夠減少后方相機1B所拍攝的影像的偏斜，能夠進行穩定的拍攝。
[0100]接下來，對基于自卸卡車I的行駛操作的、圖像合成部26的處理進行說明。搭乘在駕駛室2中的操作員操作換擋桿29，而使自卸卡車I行駛。如上述那樣，換擋桿29有前進位置、中立位置、后退位置，根據換擋桿29位置，來確定是否使自卸卡車I行駛，以及使其行駛的情況下的行駛方向。換擋桿29進入哪個位置的信息(換擋桿位置信息)輸入至車身控制器18，車身控制器18作為車身信息而將換擋桿位置信息輸出至顯示控制器17。
[0101]重疊處理部25輸入換擋桿位置信息。由此，重疊處理部25認知自卸卡車I的行駛方向。重疊處理部25根據換擋桿位置信息、即換擋桿29的位置，進行是否使各透射區域33透射的控制。
[0102]在換擋桿29進入后退位置時，自卸卡車I后退。在該情況下，在后方的透射區域33中存在障礙物S2時，會與自卸卡車I發生干涉。因此，該情況下，重疊處理部25通過認知自卸卡車I的后退，而進行使透射區域33B透射并使下部圖像34合成的圖像處理。因此，顯示出圖7那樣的畫面。由此，操作員通過在后退時視覺辨認下部圖像34，能夠認知自卸卡車I的下部后方的狀況。
[0103]以上對作為自行式工業機械而適用了自卸卡車I的例子進行了說明，但作為自行式工業機械，也能夠使用圖13所示的液壓挖掘機50。液壓挖掘機50構成為具有:具有履帶式行駛體的下部行駛體51 ;和相對于下部行駛體51以能夠旋轉的方式連結的上部旋轉體52。上部旋轉體52具有駕駛室53、作業機構54、構造室55、和配重56。作業機構54由動臂57、斗桿58、和鏟斗59構成。以上是普通的液壓挖掘機50的結構。
[0104]在液壓挖掘機50上安裝有前方相機60F、后方相機60B、右方相機60R、左方相機60L(未圖示)。這些相機以與上述的前方相機10F、后方相機10B、右方相機10R、左方相機1L相同的目的安裝，是為了對液壓挖掘機50的周邊狀況進行俯瞰顯示而設置的。另外，前方相機60F安裝在駕駛室53附近，后方相機60B安裝在配重56的下部。右方相機60R及左方相機60L安裝在構造室55上。
[0105]在配重56的下部形成有廣闊空間。此時，后方相機60B對后方進行拍攝，但由于光軸朝向斜下方，所以配重56的下部包含于視場中。因此，通過將配重56的下部圖像顯示在標志圖像上，能夠得到與上述自卸卡車I的情況相同的效果。
[0106]附圖標記說明
[0107]I 自卸卡車
[0108]2 駕駛室
[0109]3 車架
[0110]4 貨斗
[0111]5 前輪
[0112]6 后輪
[0113]10 相機
[0114]14 監視器
[0115]15畫面部
[0116]15A分割區域
[0117]15B分割區域
[0118]17顯示控制器
[0119]18車身控制器
[0120]21圖像修正部
[0121]22視點轉換部
[0122]23下部圖像生成部
[0123]24標志圖像保持部
[0124]25重疊處理部
[0125]26圖像合成部
[0126]27基準點存儲部
[0127]28顯示圖像生成部
[0128]29換擋桿
[0129]31標志圖像
[0130]3IA標志區域
[0131]32俯瞰圖像
[0132]33透射區域
[0133]33D死角
[0134]34下部圖像
【權利要求】
1.一種自行式工業機械的顯示裝置，其特征在于，具有: 多臺相機，其設置在自行式工業機械上，對該自行式工業機械的周邊進行拍攝，并將斜下方作為光軸； 視點轉換部，其生成俯瞰圖像，所述俯瞰圖像是對各相機所拍攝的相機圖像分別以使上方成為視點的方式進行視點轉換后的圖像； 重疊處理部，其進行如下處理:將該俯瞰圖像和使所述自行式工業機械標志化而成的車身的標志圖像顯示在監視器上，將該標志圖像中的包含于所述相機的所述自行式工業機械的下部區域作為透射區域，以規定的透射率使其透射而進行重疊； 圖像合成部，其使所述標志圖像成為能夠識別透射區域和非透射區域的顯示方式，并與所述俯瞰圖像合成顯示；以及 顯示裝置，其配置在所述自行式工業機械的駕駛室中，并顯示所述圖像合成部所合成的圖像。
2.如權利要求1所述的自行式工業機械的顯示裝置，其特征在于， 所述圖像合成部在所述標志圖像中的所述透射區域與除此以外的標志區域的邊界的端部之間形成邊界線。
3.如權利要求1所述的自行式工業機械的顯示裝置，其特征在于， 在所述透射區域與所述俯瞰圖像的顯示區域之間具有濃淡差。
4.如權利要求1所述的自行式工業機械的顯示裝置，其特征在于， 通過對所述透射區域著色來識別所述俯瞰圖像的顯示區域。
5.如權利要求1所述的自行式工業機械的顯示裝置，其特征在于， 在所述透射區域中，通過將成為所述相機的死角的區域全部涂黑而使其成為圖像非顯示區域。
6.如權利要求1所述的自行式工業機械的顯示裝置，其特征在于， 所述相機是拍攝后方的后方相機，以所述自行式工業機械的行駛體的后端為基準來形成所述邊界線。
7.如權利要求6所述的自行式工業機械的顯示裝置，其特征在于， 在所述搬運車輛的車架的最后端設置所述相機，將所述相機安裝在不會與所述搬運車輛的貨斗發生干涉的范圍中的比所述搬運車輛的后輪高的位置且安裝在其后方。
8.如權利要求7所述的自行式工業機械的顯示裝置，其特征在于， 在通過對所述搬運車輛的行駛進行操作的行駛操作部進行后退操作時，將所述顯示圖像顯示在所述顯示裝置上。
9.如權利要求1至8中任一項所述的自行式工業機械的顯示裝置，其特征在于， 將所述顯示裝置的顯示區域分割，來顯示所述圖像合成部所生成的所述顯示圖像和多臺所述相機中的拍攝所述下部圖像的相機圖像。
【文檔編號】H04N5/225GK104380724SQ201380029810
【公開日】2015年2月25日 申請日期:2013年5月30日 優先權日:2012年6月8日
【發明者】古渡陽一, 稻野邊慶仁, 清水克彥, 石本英史 申請人:日立建機株式會社