基于深度學(xué)習(xí)的適配控制方法與裝置與流程

本發(fā)明屬于無(wú)人駕駛技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的適配控制方法與裝置。

背景技術(shù)：

無(wú)人駕駛技術(shù)涉及計(jì)算機(jī)科學(xué)、通信科學(xué)、認(rèn)知科學(xué)、車(chē)輛工程、電子電氣工程、控制科學(xué)與工程、系統(tǒng)科學(xué)與技術(shù)、人機(jī)工程科學(xué)、人工智能等諸多學(xué)科。自駕駛車(chē)是一種輪式移動(dòng)機(jī)器人，是無(wú)人駕駛發(fā)展到高級(jí)階段的產(chǎn)物，是衡量一個(gè)國(guó)家科研實(shí)力和工業(yè)水平的重要標(biāo)志之一。

自駕駛車(chē)的開(kāi)發(fā)涉及到軟、硬件兩個(gè)方面。軟件方面需要幾十甚至上百個(gè)軟件模塊協(xié)同工作，完成環(huán)境感知、駕駛認(rèn)知、智能決策、路徑規(guī)劃、自動(dòng)控制等任務(wù)。硬件方面需要在車(chē)輛不同位置安裝多種不同類(lèi)型的傳感器，滿(mǎn)足實(shí)時(shí)、準(zhǔn)確、全面獲取周邊環(huán)境信息的要求。同時(shí)，需要對(duì)車(chē)輛進(jìn)行線(xiàn)控改裝和電子電氣改造，并配備計(jì)算資源充足的主控制器。然而，不同類(lèi)型的車(chē)輛動(dòng)力學(xué)特性各異，為了確保對(duì)其施行安全、可靠的自主駕駛控制，車(chē)底盤(pán)完成線(xiàn)控改裝之后，人們常常通過(guò)pid(proportionintegrationdifferentiation)控制保證車(chē)輛自動(dòng)操控的平穩(wěn)性和魯棒性，或者通過(guò)模型預(yù)測(cè)控制(modelpredictivecontrol,mpc)對(duì)pid參數(shù)進(jìn)行整定，難度大，經(jīng)驗(yàn)成本和時(shí)間成本高，參變量難以?xún)?yōu)化，常常顧此失彼，左右為難。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)中的不足，而提供一種基于深度學(xué)習(xí)的適配控制方法與裝置。

為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明提供了一種基于深度學(xué)習(xí)的適配控制方法，利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)經(jīng)驗(yàn)駕駛員在多種駕車(chē)工況下，通過(guò)體感獲得反饋，對(duì)車(chē)輛實(shí)現(xiàn)人在回路的在線(xiàn)控制，生成適配控制器，應(yīng)用于自駕駛車(chē)，適用于各種車(chē)型。

相應(yīng)地，還提供了一種基于深度學(xué)習(xí)的適配控制裝置，包括大樣本數(shù)據(jù)采集單元、深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元以及適配控制器：

所述大樣本數(shù)據(jù)采集單元，用于采集經(jīng)驗(yàn)駕駛員在多種駕車(chē)工況下，操控車(chē)輛的數(shù)據(jù)和反映車(chē)輛運(yùn)行狀態(tài)的參數(shù)；

所述深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元，用于利用一個(gè)通用的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)上述獲得的大樣本數(shù)據(jù)，獲得穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)結(jié)構(gòu)中各個(gè)狀態(tài)參數(shù)的權(quán)重，形成數(shù)據(jù)驅(qū)動(dòng)的模型；

所述適配控制器，是將上述得到的模型制作成適配控制器芯片，應(yīng)用于自駕駛車(chē)，適用于各種車(chē)型。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為，通過(guò)物化經(jīng)驗(yàn)駕駛員的認(rèn)知行為，將自主駕駛控制進(jìn)行解耦，采用深度學(xué)習(xí)中的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)并實(shí)現(xiàn)了自駕駛車(chē)的適配控制器，在應(yīng)用中適配控制器接受駕駛大腦決策生成的認(rèn)知箭頭指揮，應(yīng)對(duì)道路、天氣、負(fù)荷等不確定性控制車(chē)輛行駛，保證了自駕駛車(chē)的安全、平穩(wěn)、節(jié)能。

附圖說(shuō)明

圖1自主駕駛控制解耦圖；

圖2是整車(chē)狀態(tài)適配控制示意圖；

圖3是一個(gè)按時(shí)間展開(kāi)的長(zhǎng)短時(shí)記憶(long-shorttermmemory,lstm)網(wǎng)絡(luò)結(jié)構(gòu)示意圖；

圖4是螺旋線(xiàn)道路示意圖。場(chǎng)地的徑向尺寸，應(yīng)滿(mǎn)足車(chē)輛在某一確定速度下轉(zhuǎn)向時(shí)輪胎沒(méi)有側(cè)滑。例如，速度為36km/h時(shí)，場(chǎng)地至少要260m×230m；速度為72km/h時(shí)，場(chǎng)地至少要500m×360m。

圖5是適配控制器設(shè)計(jì)框架圖；

圖6是較佳實(shí)施例中深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

具體實(shí)施方式

以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

應(yīng)當(dāng)說(shuō)明的是，本申請(qǐng)中所述的“連接”和用于表達(dá)“連接”的詞語(yǔ)，如“相連接”、“相連”等，既包括某一部件與另一部件直接連接，也包括某一部件通過(guò)其他部件與另一部件相連接。

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。

百年汽車(chē)業(yè)的成功是人機(jī)工程學(xué)的成功，是汽車(chē)縱向運(yùn)動(dòng)和橫向運(yùn)動(dòng)的解耦，是駕駛員對(duì)方向盤(pán)、油門(mén)和制動(dòng)可以憑感覺(jué)定性地操控，可控?zé)o需可測(cè)，是在認(rèn)知層面(而非數(shù)據(jù)和信號(hào)層面)實(shí)現(xiàn)人在回路的自主預(yù)測(cè)和控制，應(yīng)對(duì)車(chē)輛行駛中的不確定性。駕駛員通過(guò)方向盤(pán)、油門(mén)和制動(dòng)的反饋控制很重要，不同車(chē)輛、不同負(fù)荷、不同天氣、不同路面、不同道路曲率、不同速度時(shí)，駕駛員的在線(xiàn)操作形成的人在回路的實(shí)時(shí)反饋：通過(guò)把握方向盤(pán)的手感反饋過(guò)來(lái)的輪胎轉(zhuǎn)角、轉(zhuǎn)動(dòng)和滑移；通過(guò)踩踏板的腳感，通過(guò)視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)和體感，體會(huì)車(chē)輛的加速、減速、車(chē)體拐彎、振動(dòng)、抖動(dòng)、顛簸等，形成人在回路的實(shí)時(shí)在線(xiàn)反饋和控制，累積為駕駛技能。

經(jīng)驗(yàn)駕駛員駕車(chē)，不但要符合駕駛規(guī)范，安全、文明行駛，其經(jīng)驗(yàn)還體現(xiàn)在節(jié)能技巧、駕乘舒適性、對(duì)不同動(dòng)力學(xué)的車(chē)輛適應(yīng)性等方面。駕駛員的經(jīng)驗(yàn)和行為如同人的行走姿態(tài)各不相同，可用駕駛行為作為駕駛員的身份識(shí)別，也稱(chēng)為駕駛指紋。標(biāo)桿駕駛員是經(jīng)驗(yàn)駕駛員中的杰出代表。

自主駕駛難在擬人，要研究駕駛員行為學(xué)和心理學(xué)，物化駕駛員的感知、決策、記憶、控制和行為技巧，而不是一味地改進(jìn)車(chē)輛的動(dòng)力學(xué)性能、實(shí)現(xiàn)自動(dòng)駕駛。自駕駛車(chē)研發(fā)的困難，不僅僅是汽車(chē)動(dòng)力學(xué)的性質(zhì)和各種各樣的傳感器要求，更重要的是要研發(fā)和駕駛員一樣的在線(xiàn)“機(jī)器駕駛腦”，模擬實(shí)現(xiàn)人在回路的自主預(yù)測(cè)和控制。將自主駕駛控制解耦為不同層級(jí)的車(chē)輛控制，如圖1示：大尺度看，是對(duì)行駛軌跡的跟蹤控制；中尺度看，是對(duì)整車(chē)狀態(tài)的控制；小尺度看，是對(duì)各執(zhí)行器內(nèi)部的控制。本發(fā)明聚焦在中尺度的整車(chē)狀態(tài)的控制層面，如圖2示，利用深度學(xué)習(xí)中的長(zhǎng)短時(shí)記憶(long-shorttermmemory,lstm)模型，采用汽車(chē)can總線(xiàn)上反映車(chē)輛狀態(tài)的傳感器數(shù)據(jù)，如車(chē)速、振動(dòng)、輪胎的胎壓、轉(zhuǎn)角和轉(zhuǎn)速，學(xué)習(xí)經(jīng)驗(yàn)駕駛員在大風(fēng)、滿(mǎn)載、彎道、側(cè)傾、冰雪、涉水、泥濘和坑凹路面等通過(guò)體感實(shí)現(xiàn)人在回路的在線(xiàn)控制，生成自駕駛車(chē)的適配控制模型(俗稱(chēng)“駕駛小腦”)，獲得經(jīng)驗(yàn)駕駛員的“駕駛指紋”，應(yīng)用于自駕駛車(chē)，保證車(chē)輛行駛的平穩(wěn)、舒適、節(jié)能。lstm是一種循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetworks,rnn)，通過(guò)一種稱(chēng)為“門(mén)”的結(jié)構(gòu)來(lái)避免困擾傳統(tǒng)rnn網(wǎng)絡(luò)的長(zhǎng)期依賴(lài)問(wèn)題。圖3為一個(gè)按時(shí)間展開(kāi)的lstm網(wǎng)絡(luò)結(jié)構(gòu)示意圖。在lstm網(wǎng)絡(luò)中，狀態(tài)的傳遞通過(guò)“遺忘門(mén)”、“輸入門(mén)”、“輸出門(mén)”等實(shí)現(xiàn)長(zhǎng)短時(shí)記憶控制。

具體地，本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的適配控制方法，利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)經(jīng)驗(yàn)駕駛員在多種駕車(chē)工況下，通過(guò)體感獲得反饋，對(duì)車(chē)輛實(shí)現(xiàn)人在回路的在線(xiàn)控制，生成適配控制器，應(yīng)用于自駕駛車(chē)，適用于各種車(chē)型。

其中，所述多種駕車(chē)工況能夠反映實(shí)際應(yīng)用中駕車(chē)工況的不確定性，包括：不同天氣和/或不同路面、不同車(chē)輛平臺(tái)、不同載荷、不同道路曲率、不同速度。

典型的駕車(chē)工況有大風(fēng)，滿(mǎn)載，彎道，側(cè)傾，冰雪，涉水，泥濘和坑凹。

其中，適用的車(chē)型包括國(guó)家標(biāo)準(zhǔn)gb/t3730.1-2001中給出的汽車(chē)類(lèi)型，包括：普通乘用車(chē)、活頂乘用車(chē)、高級(jí)乘用車(chē)、小型乘用車(chē)、敞篷車(chē)、倉(cāng)背乘用車(chē)、旅行車(chē)、多用途乘用車(chē)、短頭乘用車(chē)、越野乘用車(chē)、專(zhuān)用乘用車(chē)、旅居車(chē)、防彈車(chē)、救護(hù)車(chē)、殯儀車(chē)、客車(chē)、小型客車(chē)、城市客車(chē)、長(zhǎng)途客車(chē)、旅游客車(chē)、鉸接客車(chē)、無(wú)軌電車(chē)，越野客車(chē)、專(zhuān)用客車(chē)、半掛牽引車(chē)、貨車(chē)、普通貨車(chē)、多用途貨車(chē)、全掛牽引車(chē)、越野貨車(chē)、專(zhuān)用作業(yè)車(chē)、專(zhuān)用貨車(chē)、汽車(chē)列車(chē)。

其中，所述基于深度學(xué)習(xí)的適配控制方法具體包括如下步驟：

(1)經(jīng)驗(yàn)駕駛員操控車(chē)輛的大樣本數(shù)據(jù)采集；

(2)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，利用一個(gè)通用的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)對(duì)步驟(1)中的大樣本數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，獲得穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)，形成數(shù)據(jù)驅(qū)動(dòng)的模型；

(3)利用步驟(2)得到的模型制作適配控制器芯片。

其中，上述步驟(1)具體包括：

經(jīng)驗(yàn)駕駛員在直線(xiàn)道路、螺旋線(xiàn)道路和不同泊車(chē)工況下駕駛車(chē)輛，道路要體現(xiàn)不同附著的路面摩擦、不同的俯仰，泊車(chē)工況除此之外還要體現(xiàn)狹小空間內(nèi)對(duì)車(chē)輛的操控；

(1.1)依據(jù)駕駛地圖上的一次規(guī)劃軌跡，經(jīng)驗(yàn)駕駛員按預(yù)設(shè)速度直線(xiàn)駕駛，或按螺旋線(xiàn)道路駕駛，如圖4示，偏離預(yù)設(shè)軌跡的橫向誤差保持在規(guī)定范圍內(nèi)；

依據(jù)駕駛地圖上的一次規(guī)劃軌跡，經(jīng)驗(yàn)駕駛員按預(yù)設(shè)速度完成限定空間范圍內(nèi)的泊車(chē)，偏離預(yù)設(shè)軌跡的橫向誤差保持在規(guī)定范圍內(nèi)；

(1.2)改變預(yù)設(shè)車(chē)速繼續(xù)重復(fù)多次試驗(yàn)，并記錄數(shù)據(jù)。

其中，步驟(1)中經(jīng)驗(yàn)駕駛員駕車(chē)工況的設(shè)定，需要結(jié)合特定的適配控制器應(yīng)用場(chǎng)景。

其中，步驟(1)中記錄的反映車(chē)輛運(yùn)行狀態(tài)的參數(shù)是：車(chē)體速度、小計(jì)里程、發(fā)動(dòng)機(jī)功率、車(chē)體航向角、俯仰角、側(cè)偏角、4輪或2個(gè)主動(dòng)輪的轉(zhuǎn)速、4輪或2個(gè)主動(dòng)輪的胎壓、2個(gè)轉(zhuǎn)向輪的轉(zhuǎn)角、車(chē)體振動(dòng)頻率、車(chē)體振動(dòng)幅度。

其中，步驟(2)中使用的所述通用的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)采用lstm模型。

其中，應(yīng)用于自駕駛車(chē)時(shí)，適配控制器的輸入為當(dāng)前時(shí)刻的油門(mén)踏板位移、制動(dòng)踏板位移、方向盤(pán)轉(zhuǎn)角和車(chē)輛運(yùn)行狀態(tài)參數(shù)，輸出為下一時(shí)刻的油門(mén)踏板位移、制動(dòng)踏板位移、方向盤(pán)轉(zhuǎn)角，從而實(shí)現(xiàn)對(duì)自駕駛車(chē)的控制。

如圖5所示，給出了適配控制器設(shè)計(jì)框架圖。由圖可知，t+τ時(shí)刻輸出的控制量是由t時(shí)刻的控制量和車(chē)輛運(yùn)行狀態(tài)參數(shù)共同決定的，也即：

其中，x1是方向盤(pán)轉(zhuǎn)角，x2是驅(qū)動(dòng)踏板位移，x3是制動(dòng)踏板位移；α1,...,αn是n個(gè)車(chē)輛運(yùn)行狀態(tài)參數(shù)，依次為，見(jiàn)表2：

表2車(chē)輛運(yùn)行狀態(tài)參數(shù)列表

由于很難找到甚至根本無(wú)法求解出f的確定解析式，因此利用一個(gè)通用的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)對(duì)步驟1中的大樣本數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，獲得網(wǎng)絡(luò)結(jié)構(gòu)中各個(gè)狀態(tài)參數(shù)的權(quán)重，形成數(shù)據(jù)驅(qū)動(dòng)的模型。所述通用的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)采用長(zhǎng)短時(shí)記憶(lstm)模型。

下面結(jié)合較佳實(shí)施例詳細(xì)說(shuō)明本發(fā)明的具體實(shí)施方式。

由經(jīng)驗(yàn)駕駛員在試驗(yàn)場(chǎng)駕車(chē)進(jìn)行直行、左轉(zhuǎn)、右轉(zhuǎn)、上坡、下坡等行駛，數(shù)據(jù)采集頻率為100hz，采集記錄的部分?jǐn)?shù)據(jù)示例如表3示。

表3采集數(shù)據(jù)示例

注：上表中第二列“油門(mén)位移電壓”數(shù)據(jù)表述的意義等同于驅(qū)動(dòng)踏板位移，第三列“制動(dòng)壓力”數(shù)據(jù)表述的意義等同于制動(dòng)踏板位移，第九列“顛簸”數(shù)據(jù)表述的意義等同于車(chē)體振動(dòng)幅度。

經(jīng)過(guò)訓(xùn)練生成的數(shù)據(jù)驅(qū)動(dòng)的模型如下，包括七層結(jié)構(gòu)：

第一層是輸入層，用于將原始數(shù)據(jù)接入循環(huán)神經(jīng)網(wǎng)絡(luò)；

第二層是分類(lèi)表達(dá)層，輸入層以全連接方式連接至分類(lèi)表達(dá)層；分類(lèi)表達(dá)層設(shè)置64個(gè)神經(jīng)元，分類(lèi)表達(dá)層有兩個(gè)作用：一是對(duì)原始數(shù)據(jù)進(jìn)行重新歸類(lèi)和梳理，二是隔離輸入層與lstm層，保證即使參數(shù)擴(kuò)展或改變，也不會(huì)影響lstm層的網(wǎng)絡(luò)結(jié)構(gòu)；

第三層是lstm記憶層1，用于綜合當(dāng)前輸入信息和以往經(jīng)驗(yàn)信息，進(jìn)行初步功能映射；

第四層是lstm記憶層2，用于增強(qiáng)網(wǎng)絡(luò)的函數(shù)表達(dá)能力，使網(wǎng)絡(luò)能夠支持更復(fù)雜的記憶問(wèn)題的映射；lstm記憶層1和lstm記憶層2節(jié)點(diǎn)個(gè)數(shù)為32；

第五層是中間決策層，用于將經(jīng)過(guò)兩層lstm記憶層處理后的輸出狀態(tài)進(jìn)行線(xiàn)性映射，形成初步?jīng)Q策；

第六層是輸出決策層，用于對(duì)中間決策層的輸出進(jìn)行最后整理；

第七層是輸出層，輸出的變量直接用于對(duì)方向盤(pán)、油門(mén)和剎車(chē)的控制。

(3)利用上述獲得的模型制作適配控制器。

將上述獲得的模型利用計(jì)算機(jī)程序?qū)懭脒m配控制器的芯片中，在使用時(shí)，接受駕駛大腦決策生成的認(rèn)知箭頭指揮，輸出方向盤(pán)轉(zhuǎn)角、油門(mén)踏板位移、制動(dòng)踏板位移至執(zhí)行器，控制車(chē)輛平穩(wěn)行駛。與上述適配控制方法相對(duì)應(yīng)地，本發(fā)明還提供了一種基于深度學(xué)習(xí)的適配控制裝置，包括大樣本數(shù)據(jù)采集單元、深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元以及適配控制器：

具體地，所述大樣本數(shù)據(jù)采集單元，用于采集經(jīng)驗(yàn)駕駛員在多種駕車(chē)工況下，操控車(chē)輛的數(shù)據(jù)和反映車(chē)輛運(yùn)行狀態(tài)的參數(shù)；

所述深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元，用于利用一個(gè)通用的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)上述獲得的大樣本數(shù)據(jù)，獲得穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)結(jié)構(gòu)中各個(gè)狀態(tài)參數(shù)的權(quán)重，形成數(shù)據(jù)驅(qū)動(dòng)的模型；

所述適配控制器，是將上述得到的模型制作成適配控制器芯片，應(yīng)用于自駕駛車(chē)，適用于各種車(chē)型。具體地，所述通用的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)采用lstm模型。

具體地，應(yīng)用于自駕駛車(chē)時(shí)，適配控制器的輸入為當(dāng)前時(shí)刻的油門(mén)踏板位移、制動(dòng)踏板位移、方向盤(pán)轉(zhuǎn)角和車(chē)輛運(yùn)行狀態(tài)參數(shù)，輸出為下一時(shí)刻的油門(mén)踏板位移、制動(dòng)踏板位移、方向盤(pán)轉(zhuǎn)角，從而實(shí)現(xiàn)對(duì)自駕駛車(chē)的控制。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出的是，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。