除非本文另有指示,否則本部分中所描述的材料并不是本申請中的權利要求的現有技術并且不因為包括在本部分中就被承認為現有技術。
車輛可以是任意有輪的、有動力裝置的車輛并且可以包括汽車、卡車、摩托車、公交車等。車輛可以被用于各種任務,諸如人和物的運輸、以及許多其它用途。
一些車輛可以是部分地或完全地自主的。例如,當車輛處于自主模式時,車輛操作的一些或所有駕駛方面(aspect)可以由車輛控制系統來處理。在一些情況下,位于車上和/或服務器網絡中的計算設備可以是可操作的以執行諸如計劃駕駛路線、感測車輛的方面、感測車輛的環境并且控制諸如轉向器、節氣門(throttle)和制動器的駕駛組件的功能。因而,自主車輛可以在車輛操作的各種方面上,減少或消除對于與人交互的需要。
技術實現要素:
本公開提供允許在自主車輛的車隊內報告并且共享與駕駛情況有關的信息報告的方法和裝置。在自主車輛的操作期間,車輛可以識別環境內潛在的沖突或障礙。來自車輛的信息報告可以被接收以識別潛在問題,該報告可以被證實,并且之后報告可以被組合到駕駛信息地圖中。部分的駕駛信息地圖之后可以被提供給車隊內的車輛。
在一示例中,提供了一種包括從自主車輛的車隊內的多個自主車輛接收與駕駛情況有關的信息報告的方法。該方法還可以包括從自主車輛的車隊內的多個自主車輛接收傳感器數據。該方法可以進一步包括至少部分地基于傳感器數據來證實一些信息報告。該方法可以額外地包括將經證實的信息報告組合到駕駛信息地圖。該方法還可以包括周期性地過濾駕駛信息地圖以移除過期的信息報告。該方法可以進一步包括將駕駛信息地圖的部分提供給自主車輛的車隊內的自主車輛。
在進一步的示例中,公開了一種包括控制系統的系統。該控制系統可以被配置為從自主車輛的車隊內的多個自主車輛中接收與駕駛情況有關的信息報告。該控制系統還可以被配置為從自主車輛的車隊內的多個自主車輛中接收傳感器數據。該控制系統可以進一步被配置為至少部分地基于傳感器數據來證實一些信息報告。該控制系統可以額外地被配置為將經證實的信息報告組合為駕駛信息地圖。該控制系統還可以被配置為周期性地過濾駕駛信息地圖以移除過期的信息報告。該控制系統可以進一步被配置為提供駕駛信息地圖的部分給自主車輛的車隊內的自主車輛。
在另一示例中,公開了一種其中已存儲指令的非暫態計算機可讀介質,當指令被計算系統執行時導致該計算系統執行功能。所述功能可以包括從自主車輛的車隊內的多個自主車輛接收與駕駛情況有關的信息報告。所述功能還可以包括從自主車輛的車隊內的多個自主車輛接收傳感器數據。所述功能可以進一步包括至少部分地基于所述傳感器數據來證實一些信息報告。所述功能可以額外地包括將經證實的信息報告組合到駕駛信息地圖中。所述功能可以進一步包括周期性地過濾駕駛信息地圖以移除過期的信息報告。所述功能還可以包括提供駕駛信息地圖的部分給自主車輛的車隊內的自主車輛。
在又一示例,系統可以包括從自主車輛的車隊內的多個自主車輛接收與駕駛情況有關的信息報告的裝置。該系統還可以包括用于從自主車輛的車隊內的多個自主車輛接收傳感器數據的裝置。該系統可以進一步包括用于至少部分地基于傳感器數據來證實一些信息報告的裝置。該系統可以額外地包括用于將經證實的信息報告組合到駕駛信息地圖中的裝置。該系統還可以包括用于周期性地過濾駕駛信息地圖以移除過期的信息報告的裝置。該系統可以進一步包括用于向自主車輛的車隊內的自主車輛提供駕駛信息地圖的部分的裝置。
前面的概述只是說明的目的而不意圖以任何方式進行限制。除了以上所述的用作說明的方面、實施例和特征之外,參考各圖和下面的具體描述以及附圖,進一步的方面、實施例和特征將變得顯見。
附圖說明
圖1是根據示例實施例的示出車輛的功能框圖。
圖2示出了根據示例實施例的車輛。
圖3是根據示例實施例的方法的框圖。
圖4A示出了根據示例實施例的自主車輛操作場景的頂視圖。
圖4B示出了根據示例實施例的來自圖4A的場景的傳感器再現。
圖4C示出了根據示例實施例的從圖4A的車輛中得到的視頻饋送。
圖4D示出了根據示例實施例的包含來自圖4B的傳感器再現和圖4C的視頻饋送的用戶界面。
圖4E示出了根據示例實施例的來自圖4D的包括控制菜單的用戶界面。
圖4F示出了根據示例實施例的來自圖4A的在完成自主操作之后自主車輛的頂視圖。
圖5示出了根據示例實施例的包含自主車輛的車隊中的車輛和援助中心的環境。
圖6是根據示例實施例的計算機程序的示意圖。
具體實施方式
本文描述了示例方法和系統。本文所描述的任何示例實施例或特征不需要被解釋為是首選的或優于其它實施例或特征。這里所描述的示例實施例不意味著限制。將容易理解,公開的系統和方法的某些方面可以以多種不同的配置被安排和組合,所有這些都在本文中有所考慮。
更進一步,圖中所示的特定安排不應被視為限制。應當理解,其它實施例可以包括或多或少的給定圖中所示的每個元件。進一步,一些說明性的元件可以被組合或省略。又進一步,示例實施例可以包括圖中未示出的元件。
車輛可以被配置為操作在自主模式,在自主模式下,車輛可以使用計算機系統來在很少或沒有人的輸入的情況下控制車輛的操作。例如,操作人員可以向自主車輛鍵入目的地址并且車輛之后可能能夠在沒有進一步的人的輸入(如,人不必操縱或觸碰制動/油門踏板)的情況下駕駛到指定的目的地。
為了輔助自主車輛車隊的操作,車隊控制系統可以編譯關于世界內的各種駕駛情況的當前狀態的信息(如,道路障礙物、建筑物、交通等)。該控制系統可以通過組合來自個體車輛的信息報告來維護信息的持續的、按時間順序的數據庫。車輛可以自主地檢測環境內的可能的問題并且生成報告以發送回車隊控制系統。車輛還可以將從環境中收集的傳感器數據和報告一同發送。
示例中,控制系統可以使用傳感器數據來證實傳入的報告。控制系統還可以當新的信息變為可用時通過移除過期的信息報告來周期性地更新信息。此外,控制系統可以將信息部署回車隊內的車輛以在操作時使用。在一些示例中,數據庫可以被最優化以壓縮信息(如,通過移除完全一樣的報告)。在進一步的示例中,數據庫可以基于新的信息報告、使用多個不同的可能算法或統計方法(諸如貝葉斯推理(Bayesian inference))中的一個而被完善(refined),以組合來自多個汽車的觀測數據并且更新存儲的信息。
在一些示例中,控制系統可以將置信水平與個體信息報告相關聯。在進一步的示例中,系統可以在證實所述報告并且將所述報告添加到數據庫之前需要特定信息報告的一定的置信水平。具有高置信水平的一些信息報告可以被自動地證實。在一些示例中,更重要的信息(如,較高車流量區域中的報告或關于較嚴重的障礙物的報告)可能需要較高的置信水平。在另一示例中,在特定報告被信任之前,可能需要一定數目的相似的報告。
在進一步的示例中,證實的各種方法可以依賴于與特定報告相關聯的置信水平而被用于證實信息報告。在一些示例中,這一證實可以由操作人員執行。例如,可以呈現給操作人員包括所報告的信息和從自主車輛收集的傳感器數據的用戶界面。操作人員可能能夠通過經用戶界面鍵入輸入來證實報告。在其它示例中,更強大的遠程計算系統可以被用于證實一些信息報告。在一些示例中,這些證實的方法可以只被用于某些信息(如,當該信息特別地重要和/或信息的置信水平低)。在進一步的示例中,控制系統還可能能夠向特定區域部署車輛以證實所報告的問題。
在額外的示例中,數據庫也可以包括在應對所識別的道路事件時采取的某些建議的車輛行動方案。在進一步的示例中,這些建議的行動方案可以已經被其它車輛和/或由操作人確定為奏效。例如,操作人員可以證實報告并且向特定的自主車輛提供指令。該指令之后可以被提供給在相同位置處遇到相同情況的其它自主車輛。在一些示例中,其它信息也可以使用報告的數據庫被存儲和/或發送。
現在,將更細節地描述本公開的范圍內的示例系統。示例系統可以在汽車中被實現或可以采取汽車的形式來實現。然而,示例系統也可以在以下其它車輛中被實現或采取下列其它車輛的形式來實現,諸如轎車、卡車、摩托車、公交車、小船、飛機、直升機、割草機、堆土機、船、雪地摩托、飛行器、游藝車、游樂園車、農機具、施工設備、電車、高爾夫球車、火車和手推車。其它車輛也是可能的。
圖1是根據示例實施例的示出車輛100的功能框圖。車輛100可以包括各種子系統,諸如推進系統102、傳感器系統104、控制系統106、一個或多個外圍設備108,以及電源110、計算機系統112、數據存儲裝置114和用戶接口116。車輛100可以包括更多或更少的子系統并且每個子系統可以包括多個元件。進一步,每個子系統和車輛100的元件可以是互連的。從而,車輛100的一個或多個所描述的功能可以被劃分為額外的功能的或物理的組件,或者被組合為更少的功能的或物理的組件。在一些進一步的示例中,額外的功能的或物理的組件可以被添加到圖1所示的示例中。
推進系統102可以包括可操作以向車輛100提供有動力的移動的組件。根據示例實施例,推進系統102可以包括引擎/發動機118、能量源119、傳動裝置120和車輪/輪胎121。引擎/發動機118可以是內燃機、電動機、蒸汽機、斯特林發動機的任意組合。其它發動機和/或引擎是可能的。在一些示例中,引擎/發動機118可以被配置為將能量源119轉換為機械能。在一些實施例中,推進系統102可以包括多個類型的引擎和/或發動機。例如,氣電混合動力汽車可以包括汽油發動機和電動機。其它示例是可能的。
能量源119可以代表能完全地或部分地為引擎/發動機118供電的能量源。在本公開的范圍之內所考慮的能量源119的示例包括汽油、柴油、其它基于石油的燃料、丙烷、其它基于壓縮氣體的燃料、乙醇、太陽電池板、電池和電力的其它來源。(多個)能量源119可以額外地或替換地包括油箱、電池、電容器和/或飛輪的任意組合。能量源119還可以向車輛100的其它系統提供能量。
傳動裝置120可以包括可操作以將來自引擎/發動機118的機械能傳送到車輪/輪胎121的元件。傳動裝置120可以包括變速箱、離合器、差速器和傳動軸。傳動裝置120的其它組件是可能的。傳動軸可以包括可以耦接到一個或多個車輪/輪胎121的一個或多個軸。
車輛100的車輪/輪胎121可以被配置為各種形式,包括獨輪車、自行車/摩托車、三輪車,或四輪轎車/卡車的形式。其它車輪/輪胎的幾何構造是可能的,諸如包括六個或更多輪子的那些車。車輛100的車輪/輪胎121的任意組合可以是可操作以相對于其它車輪/輪胎121差速地旋轉。車輪/輪胎121可以代表固定地附接到傳動裝置120的至少一個車輪和耦接到車輪的邊緣以便與駕駛表面相接觸的至少一個輪胎。車輪/輪胎121可以包括金屬和橡膠的任意組合。其它材料是可能的。
傳感器系統104可以包括以下若干元件,諸如全球定位系統(GS)122、慣性測量單元(IMU)124、雷達126、激光測距儀/LIDAR 128、相機130、轉向傳感器123和節氣門/制動器傳感器125。傳感器系統104還可以包括其它傳感器,諸如可以監視車輛100的內部系統(如,O2監視器、燃料量計、引擎油溫、制動器磨損)的傳感器。
GPS 122可以包括收發機,其可操作以提供關于車輛100在地球上的位置的信息。IMU 124可以包括加速計和陀螺儀的組合并且可以代表基于慣性加速來感測車身的位置和方向變化的任意數目的系統。此外,IMU 124可以檢測車輛100的俯仰(pitch)和偏航(yaw)。俯仰(pitch)和偏航(yaw)可以在車輛靜止或移動時被檢測到。
雷達126可以代表一個系統,其在車輛100的本地環境內利用無線電信號感測物體,并且在一些情況下感測它們的速度和行進方向。此外,雷達126可以具有被配置為發送和接收無線電信號的多個天線。激光測距儀/LIDAR128可以包括一個或多個激光源、激光掃描儀和一個或多個檢測器,以及其它系統組件。激光測距儀/LIDAR 128可以被配置為操作在相干模式(如,使用外差檢測)或不相干檢測模式。相機130可以包括被配置為捕捉車輛100的環境的多個圖像的一個或多個器件。相機130可以是照相機或攝像機。
轉向傳感器123可以代表感測車輛100的轉向角的系統。在一些實施例中,轉向傳感器123可以測量方向盤本身的角度。在其它實施例中,轉向傳感器123可以測量表示方向盤的角度的電信號。在另一些實施例中,轉向傳感器123可以測量車輛100的車輪的角度。例如,車輪關于車輛100的前向軸(forward axis)的角度可被感測到。此外,在另一些實施例中,轉向傳感器123可以測量方向盤的角度、表示方向盤的角度的電信號、和車輛100的車輪的角度的組合(或子集)。
節氣門/制動器傳感器125可以代表感測位置的系統,該位置要么是車輛100的節氣門位置、要么是制動器位置。在一些實施例中,單獨的傳感器可以測量節氣門位置和制動器位置。在一些實施例中,節氣門/制動器傳感器125可以測量油門踏板(節氣門)和制動踏板兩者的角度。在其它實施例中,節氣門/制動器傳感器125可以測量能表示例如油門踏板(節氣門)的角度和/或制動踏板的角度的電信號。在又一些實施例中,節氣門/制動器傳感器125可以測量車輛100的節氣門主體的角度。節氣門主體可以包括向引擎/發動機118提供能量源119的調節的物理機構的部分(蝶形閥或化油器)。此外,節氣門/制動器傳感器125可以測量一個或多個制動片對車輛100的轉子的壓力。在又一些實施例中,節氣門/制動器傳感器125可以測量油門踏板(節氣門)和制動踏板的角度、表示油門踏板(節氣門)和制動踏板的角度的電信號、節氣門主體的角度、和至少一個制動片正施加到車輛100的轉子的壓力的組合(或子集)。在其它實施例中,節氣門/制動器傳感器125可以被配置為測量施加到車輛的踏板(諸如節氣門或制動器踏板)的壓力。
控制系統106可以包括各種元件,其中包含轉向單元132、節氣門134、制動器單元136、傳感器融合算法138、計算機視覺系統140、導航/路線系統142、和障礙規避系統144。轉向單元132可以代表能夠可操作以調節車輛100的行進方向的機構的任意組合。節氣門134可以控制例如引擎/發動機118的運轉速度,并且因而控制車輛100的速度。制動器單元136能夠可操作以使車輛100減速。制動器單元136可以使用摩擦來使車輪/輪胎121變慢。在其它實施例中,制動器單元136可以將車輪/輪胎121的動能轉換為電流。
傳感器融合算法138可以包括例如卡爾曼濾波器、貝葉斯網絡或可接受來自傳感器系統104的數據作為輸入的其它算法。傳感器融合算法138可以基于傳感器數據提供各種評定。根據實施例,該評定可以包括個體對象和/或特征的評估、特定情形的評估、和/或基于特定情形評估可能的影響。其它評定是可能的。
計算機視覺系統140可以包括硬件和軟件,其可操作以處理和分析圖像以盡力確定對象、重要的環境特征(如,停車燈、道路邊界等)和障礙物。計算機視覺系統140可以使用對象識別、從運動恢復結構(SFM)、視頻跟蹤和計算機視覺中使用的其它算法,例如,以識別對象、繪制環境地圖、跟蹤物體、估計物體的速度等。
導航/路線系統142可以被配置為對車輛100確定駕駛路線。導航/路線系統142可以額外地在車輛100處于操作中的同時動態地更新駕駛路線。在一些實施例中,導航/路線系統142可以合并來自傳感器融合算法138、GPS122和已知的地圖的數據,以便為車輛100確定駕駛路線。
障礙規避系統144可以表示被配置為基于傳感器數據評估潛在的障礙物并且控制車輛100避開或者相反越過潛在障礙物的控制系統。
各種外圍設備108可以被包括在車輛100中。例如,外圍設備108可以包括無線通信系統146、觸摸屏148、麥克風150和/或揚聲器152。外圍設備108可以提供,例如,用于車輛100的用戶與用戶接口116交互的裝置。例如,觸摸屏148可以向車輛100的用戶提供信息。用戶接口116也可以可操作以接受來自用戶的經觸摸屏148的輸入。在其它實例中,外圍設備108可以為車輛100提供與其環境內的設備通信的裝置。
在一示例中,無線通信系統146可以被配置為直接地或經通信網絡與一個或多個設備無線地通信。例如,無線通信系統146可以使用諸如CDMA、EVDO、GSM/GPRS的3G蜂窩通信,或諸如WiMAX或LTE的4G蜂窩通信。替換地,無線通信系統146可以用無線局域網(WLAN)通信,例如使用WiFi。在一些實施例中,無線通信系統146可以與設備直接地通信,例如,使用紅外鏈路、藍牙或ZigBee。諸如各種車輛通信系統的其它無線協議在本公開的上下文內是可能的。例如,無線通信系統146可以包括一個或多個專用短程通信(DSRC)設備,該DSRC設備可以包括車輛和/或路邊車站之間的公共和/或私人數據通信。
電源110可以向車輛100的各種組件提供電力并且可以代表,例如可再充電的鋰離子或鉛酸電池。在示例實施例中,這些電池的一個或多個電池組可以被配置為提供電能。其它電源材料和類型是可能的。根據本實施例。電源110和能量源119可以被集成為單獨的能量源,諸如在一些全電力轎車中。
車輛100的許多或所有功能可由計算機系統112來控制。計算機系統112可以包括至少一個處理器113(其可能包括至少一個微處理器),處理器113運行存儲在諸如數據存儲裝置114的非暫態計算機可讀介質中的指令115。計算機系統112還可以代表多個計算設備,所述多個計算設備可以用來以分布方式控制車輛100的個體組件或子系統。
在一些實施例中,數據存儲裝置114可以包含指令115(如,程序邏輯),指令115可由處理器113執行以運行車輛100的各種功能,其中所述各種功能包括以上結合圖1描述的這些功能。數據存儲裝置114也可以包含額外的指令,包括向它發送數據的指令、從它接收數據的指令、與它交互的指令,和/或控制它的指令,其中它指代下列內容中的一個或多個:推進系統102、傳感器系統104、控制系統106和外圍設備108。
除了指令115之外,數據存儲裝置114可以存儲諸如道路地圖、路線信息的數據以及其它信息。這些信息可在車輛100在自主、半自主和/或手動模式下操作期間由車輛100和計算機系統112使用。
車輛100可以包括用于向車輛100的用戶提供信息或從車輛100的用戶接收輸入的用戶接口116。用戶接口116可以控制或使能控制能夠顯示在觸摸屏148上的內容和/或交互式圖像的布局。進一步,用戶接口116可以包括在外圍設備108的集合內的一個或多個輸入/輸出設備,諸如無線通信系統146、觸摸屏148、麥克風150和揚聲器152。
計算機系統112可以基于從各種子系統(如,推進系統102、傳感器系統104和控制系統106)和從用戶接口116接收的輸入來控制車輛100的功能。例如,計算機系統112可以利用來自傳感器系統104的輸入以便估計推進系統102和控制系統106所產生的輸出。根據實施例,計算機系統112可以是可操作以監視車輛100及其子系統的許多方面。在一些實施例中,計算機系統112可以基于從傳感器系統104接收的信號來禁止車輛100的一些或所有功能。
車輛100的組件可以被配置為與其各自的系統之內或之外的其它組件以互連的方式工作。例如,在示例實施例中,相機130可以捕捉能代表關于操作在自主模式下的車輛100的環境狀態的信息的多個圖像。環境的狀態可以包括車輛正在其上操作的道路的參數。例如,計算機視覺系統140可以基于道路的多個圖像識別斜坡(slope)(坡度(grade))或其它特征。此外,全球定位系統122和計算機視覺系統140所識別的特征的組合可以和存儲在數據存儲裝置114中的地圖數據一起使用,來確定具體的道路參數。進一步,雷達單元126也可以提供關于車輛的周圍環境的信息。
換言之,各種傳感器(其可以被稱為輸入指示傳感器和輸出指示傳感器)和計算機系統112的組合可以交互以提供用于控制車輛的輸入的指示或車輛的周圍環境的指示。
在一些實施例中,計算機系統112可以基于除無線電系統之外的系統所提供的數據來做出關于各種對象的確定。例如,車輛可以具有激光器或被配置為感測車輛視野內的對象的其它光學傳感器。計算機系統112可以使用來自各種傳感器的輸出來確定關于車輛視野內的對象的信息。計算機系統112可以確定到各種對象的距離和方向信息。計算機系統112還可以基于來自各種傳感器的輸出來確定對象是期望的還是不期望的。
盡管圖1示出了車輛100的各種組件,即無線通信系統146、計算機系統112、數據存儲裝置114和用戶接口116,其中各種組件被集成到車輛100內,但是這些組件的一個或多個可以與車輛100分開地安裝或關聯。例如,數據存儲裝置114可以部分地或完全地與車輛100分開地存在。從而,車輛100可以以可被分開地或一起地放置的設備元件的形式被提供。組成車輛100的設備元件可以以有線和/或無線的形式通信地耦接到一起。
圖2示出了可以相似于或相同于參考圖1所述的車輛100的車輛200,根據實施例,車輛200可以包括傳感器單元202、無線通信系統204、無線電單元206、激光測距儀208和相機210。車輛200的元件可以包括針對圖1所述的一些或所有元件。盡管車輛200在圖2中作為轎車示出,但是其它實施例也是可能的。例如,車輛200可以在其它示例中代表卡車、貨車、半拖車的卡車、摩托車、高爾夫球車、越野車或農用車。
傳感器單元202可以包括被配置為捕捉關于車輛200的環境的信息的一個或多個不同的傳感器。例如,傳感器單元202可以包括相機、雷達、LIDAR、測距儀、無線電設備(如藍牙和/或802.11)和聲傳感器的任意組合。其它類型的傳感器也是可能的。根據實施例,傳感器單元202可以包括一個或多個可移動的底座,該底座是可操作以調整傳感器單元202中的一個或多個傳感器的朝向。在一實施例中,可移動的底座可以包括能掃描傳感器以便從車輛200四周的每個方向獲得信息的旋轉平臺。在另一實施例中,傳感器單元202的可移動底座可以是在特定范圍的角度和/或方位角內以掃描的方式可移動的。傳感器單元202可以被安裝在例如轎車的車頂上,然而其它的安裝位置也是可能的。此外,傳感器單元202的傳感器可以被分布在不同位置并且不需要被共同放置在單一位置中。一些可能的傳感器類型和安裝位置包括無線電單元206和激光測距儀208。
無線通信系統204可以如圖2所示放置。替換地,無線通信系統204可以完全地或部分地放置在別處。無線通信系統204可以包括無線發送器和接收器,其可被配置為與車輛200的外部或內部的設備通信。特別地,無線通信系統204可以包括收發機,其被配置為與例如在車輛通信系統或道路站中的其它車輛和/或計算設備通信。這些車輛通信系統的示例包括專用短程通信(DSRC)、射頻識別(RFID),以及針對智能交通系統而建議的其它通信標準。
相機210可以被安裝在車輛200的前擋風玻璃內部。相機210可以被配置為捕捉車輛200的環境的多個圖像。特別地,如圖所示,相機210可以從關于車輛200的朝前看的視圖中捕獲圖像。相機210的其它安裝位置和視角也是可能的。相機210可以代表一個或多個可見光相機。替換地或額外地,相機210可以包括紅外感測能力。相機210可以具有關聯的光學元件(optics),該光學元件可以可操作以提供可調的視野。進一步,相機210可以被安裝到具有可移動底座的車輛200上,其中該底座可以可操作以改變相機210的指向角度。
提供了一種方法300,用以接收并組合來自自主車輛的車隊內的車輛的與駕駛情況有關的信息報告。在一些示例中,方法300可以由援助中心執行,其中援助中心可以包含與車隊內的車輛通信的控制系統。例如,援助中心可以使用無線網絡連接來與個體車輛通信。在其它示例中,方法300的部分或全部可由自主車輛的車隊內的一個或多個車輛執行,諸如分別參考圖1和圖2所示和所述的車輛100和/或車輛200。例如,這里所述的過程可以使用被安裝到自主車輛中與控制系統106、傳感器融合算法138、計算機視覺系統140、導航系統142和/或障礙規避系統144通信的雷達單元126、激光測距儀和/或LIDAR單元128、和/或相機130來執行。此外,方法300可以使用來自自主車輛(如,車輛200)上的一個或多個傳感器(諸如圖2所示的傳感器單元202和/或相機210)的傳感器數據來執行。
更進一步,注意到,結合這里描述的流程圖所描述的功能可以被實現為特殊功能和/或配置的一般功能的硬件模塊、可由處理器(如計算機系統112內的處理器113)運行的用于實現結合圖3所示的流程圖所描述的特定邏輯功能、確定、和/或步驟的程序代碼的部分。使用時,程序代碼可以被存儲在任意類型的計算機可讀介質(如,計算機可讀存儲介質或非暫態介質,諸如以上關于計算機系統112和/或以下關于計算機程序產品600描述的數據存儲裝置114)上,例如,諸如包括盤或硬盤驅動器的存儲設備。
此外,圖3所示的流程圖的每個方框可以代表被布線為執行該過程中的特定邏輯功能的電路。除非特別指出,否則圖3所示的流程圖中的功能可以不按所示或所討論的順序執行,包括單獨描述的功能基本上同時執行,或者甚至在一些示例中逆序執行,這取決于所涉及的功能,只要所述方法的整體功能被保持即可。
如圖3的方框302所示,方法300可以最初包括從自主車輛的車隊內的車輛中接收與駕駛情況有關的信息報告。車輛可以被編程以自主地生成報告并將報告發回到接收和編譯報告的控制中心。示例中,報告可以涉及與在環境內操作的車輛相關的該環境的任何狀況或方面,包括交通狀況、天氣狀況、道路擁堵、建筑區、未預料到的線路變更或道路變化、或未預料到的指示牌。在一些示例中,車輛可以自主地從周圍環境中收集傳感器數據并且生成信息報告,其中可能包括不影響車輛自身行進的信息報告(如,檢測和識別車輛不在其上行駛的附近道路上的潛在障礙物)。
圖4A示出了根據示例實施例的自主車輛所遇到的場景的頂視圖。如圖所示,當車輛檢測到未出現在車輛先前的環境400的地圖中的臨時停車標志404時,自主車輛402可能正在環境400內操作。自主車輛402內的處理系統將這一場景(如,檢測到臨時停車標志)識別為提示生成信息報告以將該情形告知其它車輛的場景。相應地,可以從車輛402接收指示臨時停車標志404的位置的信息報告。
如圖3中方框304所示,方法300可以額外地包括從車隊內正在操作的車輛接收傳感器數據。例如,傳感器數據可被控制中心接收,該控制中心也接收信息報告,傳感器數據和信息報告要么同時地、要么不同時地和/或從不同車輛接收。為了在整個環境中導航(并且可能地生成信息報告),自主車輛可以基于傳感器數據確定對于該環境的再現。圖4B示出了根據示例實施例的基于車輛所收集的傳感器數據而對圖4A的環境的再現。自主車輛可以以多種方式接收從車輛在其中操作的環境中收集的數據。具體來說,車輛可以裝備提供描述周圍環境的數據的一個或多個傳感器系統。例如,車輛可以有各種傳感器,包括相機、雷達單元、激光測距儀、麥克風、無線電單元和其它傳感器。這些傳感器的每一個可以向車輛內的處理器通信關于每個相應的傳感器接收的信息的數據。
在一示例中,相機可以被配置為捕捉靜態圖像和/或視頻。在各種實施例中,車輛可以有不止一個位于不同方位的相機。并且,在一些實施例中,相機可以移動以不同方向上捕捉圖像和/或視頻。相機可以被配置為將捕捉到的圖像和視頻存儲到存儲器以供車輛的處理系統之后處理。捕捉到的圖像和/或視頻可以形成從車隊內的自主車輛接收到的傳感器數據的部分。
在另一示例中,雷達單元可以被配置為發送將被車輛附近的各種對象反射的電磁信號。雷達單元可以捕捉被反射的電磁信號。捕捉的被反射的電磁信號可以使雷達系統(或處理系統)能夠對關于反射電磁信號的對象進行各種確定。例如,到各種反射對象的距離和位置可以被確定。在各種實施例中,車輛可以有不止一個在不同方位上的雷達單元。雷達系統可以被配置為將捕捉到的信息存儲到存儲器以供車輛的處理系統之后處理。雷達系統所捕捉的信息可以形成從車隊內的自主車輛接收的傳感器數據的部分。
在進一步的示例中,激光測距系統可以被配置為發送將被車輛附近的目標對象所反射的電磁信號(如,光,諸如來自氣體或二極管激光器,或其它可能的光源)。激光測距系統可以捕捉被反射的電磁(如,激光)信號。捕捉到的被反射的電磁信號可以使測距系統(或處理系統)能確定到各種對象的距離。測距系統還可以確定目標對象的速率或速度并且將其作為從環境中收集的數據而存儲,該數據之后可以被發送到控制中心。
此外,在其它示例中,麥克風可以被配置為從車輛周圍的環境中捕捉音頻數據。麥克風捕捉到的聲音可以包括來自車輛或環境的其它方面的聲音。例如,麥克風可以捕捉緊急車輛的汽笛聲。處理系統可以識別到所捕捉的音頻信號指示緊急車輛。在另一示例中,麥克風可以捕捉到另一車輛的排氣管的聲音,諸如來自摩托車的排氣管的聲音。處理系統可以識別到所捕捉的音頻信號指示摩托車。麥克風捕捉到的數據可以形成從車隊內的自主車輛接收的傳感器數據的部分。
在額外的示例中,無線電單元可以被配置為發送電磁信號,該電磁信號可以采用藍牙信號、802.11信號和/或其它無線電技術信號的形式。電磁輻射信號可以經位于無線電單元中的一個或多個天線而發送。進一步,電磁輻射信號可以用許多不同的無線電信令模式之一而發送。在一些實施例中,可能想要以向位于自主車輛附近的設備請求響應的信令模式來發送電磁輻射信號。處理系統可以基于發送回無線電單元的響應來檢測附近的設備并且將這一通信信息作為發送到控制中心的傳感器數據的部分。
在一些實施例中,處理系統可以將來自車輛的一些或所有傳感器的信息組合,以便對車輛的環境進行進一步確定。例如,處理系統可以將雷達信息和捕捉的圖像二者組合,以確定其它車輛或行人是否在該自主車輛的前面。在其它實施例中,處理系統也可以使用傳感器數據的其它組合以對環境進行確定。
在車輛正在自主地操作的同時,車輛的處理系統可以基于從各種傳感器接收的數據來改變車輛的控制。在一些示例中,響應于來自各種傳感器的數據,自主車輛可以改變自主車輛的速率。例如,自主車輛可以改變速率以便避開障礙物、遵守交規等。當車輛中的處理系統識別到自主車輛所遇到的障礙物或其它情況時,車輛可以自主地確定如何行進(如,通過改變速率、改變軌跡以避開障礙物等)。
如圖4B所示,自主車輛402可以基于如上所述的可能類型的傳感器數據的任意組合來創建其環境400的再現。在一些示例中,再現可能不是該環境的完美復制。例如,一些傳感器可能在某些方向上被擋住,或者一些傳感器數據可能失真。此外,自主車輛402可能不能識別一些對象或環境的其它方面。例如,自主車輛402可以識別臨時停車標志404和另一標志406、以及越過標志的行進路上的施工車輛408。自主車輛402可以基于其對臨時停車標志404的檢測來生成信息報告。然而,自主車輛402可能不能識別堵塞的原因和/或如何在所描述的特定情況下最佳地行進。在這樣的環境下,自主車輛402可以額外地將來自其環境的傳感器數據和信息報告一同發送到控制中心以供處理。
在一些示例中,發送到控制中心的傳感器數據可以額外地包括自主車輛的環境的一個或多個部分的視頻流。圖4C示出了從自主車輛402的視角看到的自主車輛402的環境400的視頻流。例如,自主車輛402可以裝備捕捉環境400的部分的視頻流的一個或多個攝像機。在這一示例中,視頻流中捕捉到的環境400的部分包括臨時停車標志和“車道封閉”標志406(自主車輛402可能或可能未適當地識別)、以及越過行進車道上的標志的施工車輛408的部分。
方法300的方框306包括使用接收的傳感器數據來證實從車隊內的自主車輛接收的一些信息報告。在將信息報告向其它車輛發出之前可能需要證實該信息報告,以便避免向車隊發送錯誤的或誤導性的報告。示例中,信息報告可以通過將該報告與發送該報告的車輛和/或相同區域中的其它車輛所收集的傳感器數據作比較來被證實,以便確認該報告的準確性。
在一些示例系統中,置信度量可以與信息報告關聯,該信息報告指示該系統對該報告內包含的信息的信任程度。不同因素的組合可以被用來確定特定報告的置信水平。例如,一些類型的報告也許更可能出錯(如,對于車輛而言,一些類型的道路狀況可能比其它情況更難以檢測和識別)。并且,一些車輛在之前的信息報告方面可能比其它車輛更準確。在這一情況下,更高的置信度可以被賦予有準確報告的歷史的車輛。
在進一步的示例中,特定信息報告所需的證實水平可以基于與報告關聯的置信度量而確定。例如,具有高置信度量(如,在預定義的閾值水平之上)的某些報告可以被自動地證實而無需進一步處理。在其它示例中,某些報告可以在一定時間窗口內接收到一定數目的相似報告之后被證實(確認報告很可能是準確的)。在進一步的示例中,證實特定報告所需的置信水平可以部分地基于報告內包含的信息的重要性而確定。例如,與高交通量或人口稠密的區域有關的報告可能需要更高的置信度來被證實。并且,與更重要的道路狀況(如,需要車輛重新規劃路線的完全堵塞)有關的報告也可能需要更高的置信度來證實。
在額外的示例中,額外的證實步驟可以被用來證實一些信息報告。在一些情況下,這些步驟可以由遠程計算系統運行,該遠程計算系統相比位于自主車輛上的計算系統,可以具有更高的計算能力和/或更多的存儲的關于環境的信息。因而,遠程計算系統可以被編程以處理傳感器數據并且確認信息報告的準確性。
在進一步的示例中,除了遠程計算系統之外,操作人員也可以被用來證實一些信息報告,或者操作人員可以代替遠程計算系統來證實一些信息報告。在一些示例中,操作人員可以位于遠處位置,該遠處位置與車隊內的自主車輛的通信系統無線連接。例如,遠程操作人員可以位于遠程計算機終端,該遠程計算機終端具有提供來自自主車輛的信息的用戶界面,以便操作人員證實來自車輛的信息報告。
例如,圖4D示出了可呈現給操作人員的一個示例用戶界面。用戶界面410可以包括單獨的子窗口412和414。第一子窗口412可以包括車輛對其環境的再現,諸如以上關于圖4B所述。第二子窗口414可以包括部分環境的視頻流,諸如以上關于圖4C所述。相應地,操作人員可以將車輛對其環境的了解和該視頻流作比較以驗證車輛對其環境的再現和/或驗證車輛所發送的關于環境內駕駛狀況的信息報告。在一些示例中,車輛對其環境的再現也可以在用戶界面內重疊在視頻流的上面。例如,不是如圖4C所示作為用戶界面內單獨的窗口在子窗口412中示出車輛的再現和在子窗口414中示出視頻流,而是用戶界面可以包含具有視頻流和車輛的再現這兩者對齊的單一視窗。重疊的車輛的再現可以使操作員更容易了解車輛再現中所檢測到的對象是怎樣與視頻流內的可視對象相對應的。
例如,圖4E示出了包含顯示車輛對其環境的再現的第一子窗口和顯示車輛環境的部分的視頻的第二子窗口的示例用戶界面,諸如以上關于圖4D所述的。圖4E額外地包含允許操作人員對檢測到臨時停車標志418的報告進行驗證的控制菜單416。在這一示例中,人類向導已從菜單416中選擇了臨時停車標志420以便對來自自主車輛402的關于環境400內的臨時停車標志404的信息報告進行確認。人類向導還可以修改或增強信息報告(如,指示車道由于施工而關閉)。在其它示例中,人類向導可以指示那里什么都沒有或者車輛實際上識別到永久停車標志,并且相應地,信息地圖可以被更新。
在一些示例中,操作人員可以只被請求援助具有低于預定水平的關聯置信度量的信息報告。在額外的示例中,操作人員可以只被請求援助特別重要的信息報告(如,影響車隊內一定數目的車輛和/或需要在車隊內重大的路線重新規劃或其它費用高的操作的報告)。可以也使用或者替代地使用其它因素來確定何時利用遠程操作員來輔助證實。
在額外的示例中,控制中心可以通過向區域中部署車隊內的車輛(如,自主車輛或人為控制的車輛)以對報告進行查證和/或從區域中收集傳感器數據來證實一些信息報告。在一些示例中,特定報告附近的能夠容易地被重新規劃路線以查證所述報告的車輛可以被派出。在一些示例中,車隊內的當前尚未被分配路線的車輛可以被派出以查證某些信息報告(如,確定之前被報告的障礙物是否已被清除)。在額外的示例中,只有某些報告(如,那些具有低置信度的報告和/或包含特別重要的信息的那些報告)可能需要派出車隊內的車輛去查證。
方法300的方框308包括將已證實的信息報告組合到駕駛信息地圖。示例中,駕駛信息地圖可以包含已報告的與環境內特定位置處的駕駛狀況有關的問題。額外地,駕駛信息地圖可以包含與報告有關的其它信息,可能包括做出報告的時刻、背后的做出報告的理由、和/或與特定報告相對應的上述任何類型的傳感器數據。
信息報告可以被組合成允許將報告容易地發出到車隊內的車輛的格式。在一些示例中,完全一樣的報告(如,描述相同障礙或事故)可以從地圖中移除或被壓縮為更精簡的格式。在其它示例中,信息報告可以更復雜的方式組合。例如,新的信息報告可以被用來對之前存儲的報告中包含的信息進行完善或增強。在其它示例中,統計方法(如,貝葉斯推理)或不同類型的算法可以用來當來自轎車的觀察被接收時將其組合,以便完善環境中障礙和堵塞的當前模型。在進一步的示例中,最后,不同時間點處的增量版本的數據庫也可以被產生并且儲存。可以也使用或替換地使用將個體信息報告組合到地圖中的其它方法。
方法300的方框310包括周期性地過濾駕駛信息地圖以移除過期的信息報告。示例中,信息報告可以只是與車隊內的自主車輛在某個時間段內做的決定相關。例如,已報告的由事故引起的車道擁堵可能只是在該擁堵被搶修人員清除之前的短時間段內是重要的。此時,特定信息報告中的一些或全部信息可以從地圖中移除。
在一些示例中,某些信息報告可以被分配特定超時值,在該超時值之后,該報告可以從駕駛信息地圖中移除。例如,當前正堵塞某些道路的游行可以被識別,但是其會被安排為在一定量的時間內結束。相應地,信息報告可以在已經過了適當的時間量之后(可能建立一些緩沖區和/或已從諸如該區域中的人或其它自主車輛接收到某些外界證實之后)從地圖上移除。可被分配超時時段的其它類型的報告可以包括由于音樂會或體育賽事引起的道路阻塞、施工區域或天氣情況(可能具有較低置信度或需要進一步證實)。其它類型的報告可能需要在無限期的時間段內被儲存。例如,也許不可能預測由事故造成的堵塞將何時被完全清除。這樣的報告只能在車隊內的自主車輛或不同報告方確認該施工已被清除時才被移除。
方法300的方框312包括向車隊內的自主車輛提供駕駛信息地圖的部分。自主車輛可以使用信息報告來識別潛在的障礙并且繞開它們規劃路線或確定其它的路徑以避開或應對它們。在一些示例中,由于帶寬限制和/或為了效率的提升,通過避免使車輛由于可能需要額外計算能力的不相關數據而負擔過重,只有地圖的某些部分可以被發送到個體車輛。例如,車輛可以接收其當前位置的一定半徑范圍內或其規劃的(多條)路線的一定半徑范圍內的報告。
圖5示出了根據示例實施例的自主車輛的車隊中的車輛和援助中心的示例。援助中心可以經諸如無線通信網絡的網絡522、從正操作在環境500內的自主車輛510、512和514接收信息報告(和/或諸如傳感器數據的其它信息)。此外,援助中心520可以處理傳入的信息報告和傳感器數據,以便證實該報告并且將其組合到信息地圖中。在一些示例中,援助中心520可以利用計算系統和/或操作人員來輔助證實和/或組合報告。援助中心520還可以經網絡522將地圖的部分向外提供給自主車輛510、512或514。在其它示例中,可以在不同位置或中心之間劃分操作。例如,多個援助中心可以接收、證實、組合和/或發送信息報告。在一些示例中還可以在自主車輛之間發送信息報告和/傳感器數據。其它配置也是可能的。
在一些示例中,除了發送關于環境內可能的駕駛情況的信息之外,援助中心還可以額外地發送對于該情況(如,障礙物并且如何繞開它)所建議的解決方案。在一些示例中,所建議的解決方案可能已經被車隊內的其它自主車輛確定為奏效。在其它示例中,所提議的解決方案可能已經被遠程操作人員(或存在于自主車輛上的更強大的計算系統)建議或證實。
例如,遠程操作人員(位于援助中心或其它地點)可以輔助車輛確定當面對環境內的特定障礙時如何行進。參考回圖4E,操作員可以額外地向自主車輛發送指示該車輛應當在給定場景中如何行進的響應。例如,操作員可以確認臨時停車標志404的存在并且還基于“車道封閉”標志406和施工車輛408的傳感器數據(如,視頻饋送)確定該車道由于施工而被封閉。相應地,操作員可以發送用于自主車輛通過障礙的建議操作模式。
圖4F示出了從左側通過堵塞的車道的自主車輛402。例如,遠程操作員可能已經觀看了該環境的視頻流并且已確認該自主車輛402能安全地移動到左側以越過該施工(如,通過確認沒有對面的車流)。當成功地穿過障礙時,自主車輛402所使用的并且操作人員所確認的步驟可以被添加到駕駛信息地圖。相應地,這一信息可以被發送到該區域內可能遇到相同障礙的其它車輛,以便輔助車輛不僅識別出封閉的車道還知道如何通過。在這一示例中,該解決方案可能要求其它車輛也請求援助,以便通過障礙(如,確認對面的車道是無阻礙的)。在另一示例中,可能有另外的相同方向的車道,從而該解決方案可以僅僅要求將來的車輛在障礙之前改變到左側車道。在將用于避免或應對特定道路事件的建議操作模式提供給車隊內的其它車輛之前,該建議操作模式也可以用其它方式(如,由遠程計算系統)來確定或確認。
在一些實施例中,公開的方法可以被實現為計算機程序指令,該計算機指令以機器可讀的格式編碼在非暫態計算機可讀存儲介質上,或編碼在其它非暫態介質或產品上。圖6是示出了根據本文提出的至少某些實施例而布置的示例計算機程序產品的概念的部分圖,該計算機程序產品包括用于在計算設備上運行計算機過程的計算機程序。
在一個實施例中,使用信號承載介質602來提供示例計算機程序產品600。信號承載介質602可以包括一個或多個編程指令604,當一個或多個處理器運行該指令時可以提供關于圖1-5的上述功能或部分功能。在一些示例中,信號承載介質602可以包含非暫態計算機可讀介質606,諸如不限于硬盤驅動器、致密盤(CD)、數字視頻盤(DVD)、數字磁帶、存儲器等。在一些實現方案中,信號承載介質602可以包含計算機可記錄介質608,諸如但不限于存儲器、讀/寫(R/W)CD、R/W DVD等。在一些實現方案中,信號承載介質602可以包含通信介質610,諸如但不限于數字的和/或模擬的通信介質(如光纖電纜、波導、有線通信鏈路、無線通信鏈路等)。從而,例如,信號承載介質602可由無線形式的通信介質610來表達。
一個或更多編程指令604可以是例如計算機可執行和/或邏輯實現的指令。一些示例中,諸如圖1的計算機系統112的計算設備可以被配置為響應于由計算機可讀介質606、計算機可記錄介質608和/或通信介質610中的一個或多個傳遞到計算機系統112的編程指令604提供各種操作、功能或動作。
非暫態計算機可讀介質也可以分布在多個數據存儲元件之間,這些數據存儲元件可以彼此遠程地放置。運行所存儲的一些或全部指令的計算設備可以是車輛,諸如圖2所示的車輛200。替換地,運行所存儲的一些或全部指令的計算設備可以是諸如服務器的其它計算設備。
以上具體的描述參考附圖描述了所公開的系統、設備和方法的各種特征和功能。盡管本文已公開了各種方面和實施例,但是其它方面和實施例將是明顯的。本文所公開的各種方面和實施例是出于例證的目的,并且不意圖用后面的權利要求所指示的真正的范圍來限制。