本發明涉及智能座艙交互領域,具體而言,涉及一種座艙交互方法、電子設備及介質。
背景技術:
1、目前,車輛座艙交互方式主要包括物理按鍵和旋鈕的方式、觸摸屏操作的方式以及常規的座艙主副駕語音交互的方式。
2、對于物理按鍵和旋鈕的方式,這種方式依賴于車輛內部的物理按鍵、旋鈕和開關來控制各種功能,如音響系統、空調、燈光和座椅調節,優點是操作直觀、可靠性高,使用感知明確,缺點是需要駕駛員分散注意力進行手動操作,復雜的功能設置可能導致過多的物理控制元件,增加駕駛員的認知負擔。觸摸屏集成了多個功能,用戶通過觸摸屏界面進行操作,包括導航、媒體控制、車輛設置等,它的優點是能節省空間,界面可動態更新,功能整合度高,但是用戶在駕駛過程中操作觸摸屏容易分心,觸摸屏反應可能受光線、振動等影響,界面設計復雜度高。
3、現階段,一些主流的新勢力車企采用了常規的座艙主副駕語音交互的方法,用戶通過語音指令控制車載系統,例如撥打電話、設置導航目的地、調整空調等,但這種方式缺乏個性化的服務,語音識別系統在嘈雜環境中容易出現識別錯誤或無法識別的情況,交互方式生硬,影響用戶體驗和系統的可靠性,且只滿足了主副駕的交互需求,后排乘客的體驗往往被忽略,無法享受到同樣的便捷和服務。
4、有鑒于此,特提出本發明。
技術實現思路
1、本發明的目的在于提供一種座艙交互方法、電子設備及介質,以實現具有個性化服務、操作方便、準確度高且能兼顧到后排乘客的效果。
2、為了實現上述目的,本發明采用以下技術方案:
3、第一方面,本發明提供了一種座艙交互方法,包括:
4、根據座艙內用戶圖像和年齡屬性識別模型,確定年齡屬性;
5、根據所述座艙內用戶圖像和手部檢測識別模型,確定手勢類別;
6、根據所述年齡屬性和所述手勢類別,輸出響應詢問;
7、獲取與所述響應詢問對應的應答數據,執行與所述應答數據對應的操作。
8、作為進一步優選的技術方案,所述年齡屬性識別模型采用以下方式構建:
9、采用分割大模型對不同年齡段的用戶數據進行標注;
10、獲取對所述標注的結果進行人工核驗后的第一數據;
11、采用所述第一數據對u-net網絡進行訓練,得到年齡屬性識別模型。
12、作為進一步優選的技術方案,所述手部檢測識別模型包括手部檢測網絡和手勢識別網絡,所述手部檢測識別模型采用以下方式構建:
13、采用grounding?dino視覺檢測大模型對不同手勢數據進行標注;
14、獲取對所述標注的結果進行人工核驗后的第二數據;
15、采用所述第二數據對mobilenet?v4網絡進行訓練,得到手部檢測網絡;
16、采用所述第二數據對mobilenet?v3網絡進行訓練,得到手勢識別網絡。
17、作為進一步優選的技術方案,所述采用所述第二數據對mobilenet?v4網絡進行訓練,得到手部檢測網絡,包括:
18、將所述第二數據輸入至mobilenet?v4網絡進行特征提取,得到第一特征圖;
19、采用fpn特征金字塔網絡融合所述第一特征圖,得到第一融合特征圖;
20、采用ssh選擇性網絡對所述第一融合特征圖進行處理,得到處理后的特征圖;
21、對所述處理后的特征圖進行卷積操作,輸出手部檢測信息。
22、作為進一步優選的技術方案,所述采用所述第二數據對mobilenet?v3網絡進行訓練,得到手勢識別網絡,包括:
23、將所述第二數據輸入至mobilenet?v3網絡進行特征提取,得到第二特征圖;
24、采用fpn特征金字塔網絡融合所述第二特征圖,得到第二融合特征圖;
25、對所述第二融合特征圖進行池化操作,得到第三特征圖;
26、將所述第三特征圖輸入全連接層,輸出手勢識別信息。
27、作為進一步優選的技術方案,所述根據所述年齡屬性和所述手勢類別,輸出響應詢問,包括:
28、根據所述年齡屬性和所述手勢類別,確定手勢發出者年齡屬性;
29、根據所述手勢發出者年齡屬性,輸出響應詢問。
30、作為進一步優選的技術方案,所述獲取與所述響應詢問對應的應答數據,執行與所述應答數據對應的操作,包括:
31、獲取與所述響應詢問對應的應答數據,解析所述應答數據的含義;
32、若所述含義為是,則執行與所述響應詢問對應的肯定性操作;
33、若所述含義為否,則執行與所述響應詢問對應的否定性操作。
34、作為進一步優選的技術方案,所述應答數據包括應答手勢或應答語音。
35、第二方面,本發明提供了一種電子設備,包括:
36、至少一個處理器,以及與至少一個所述處理器通信連接的存儲器;
37、其中,所述存儲器存儲有可被至少一個所述處理器執行的指令,所述指令被至少一個所述處理器執行,以使至少一個所述處理器能夠執行上述的方法。
38、第三方面,本發明提供了一種計算機可讀存儲介質,所述介質上存儲有計算機指令,所述計算機指令用于使計算機執行上述的方法。
39、與現有技術相比,本發明的有益效果為:
40、本發明提供的座艙交互方法基于座艙內用戶圖像展開,結合年齡屬性識別模型和手部檢測識別模型分別確定年齡屬性和手勢類別,進而根據年齡屬性和手勢類別輸出響應詢問,在獲取到與該響應詢問對應的應答數據后,執行與該應答數據對應的操作。該方法能夠針對不同的年齡屬性提供更個性化的服務,相比于僅依賴語音識別,手勢識別能夠有效減少嘈雜環境對系統響應的干擾,確保交互的準確性和可靠性,輸出響應詢問并根據應答數據執行對應的操作,進一步保證了交互的準確性,并且該方法是基于座艙內所有用戶的用戶圖像展開的,能夠兼顧到后排乘客的需求,不依賴物理按鍵和對觸摸屏的操作,交互操作的便利性更高。
41、進一步地,本發明利用分割大模型和grounding?dino視覺檢測大模型實現了零樣本泛化和自動化標注,減少了人工標注的工作量,提高了數據處理效率。
42、進一步地,本發明采用輕量級的u-net網絡和基于mobilenet的檢測與分類網絡,確保模型在車載環境中的高效運行和低資源消耗。
1.一種座艙交互方法,其特征在于,包括:
2.根據權利要求1所述的座艙交互方法,其特征在于,所述年齡屬性識別模型采用以下方式構建:
3.根據權利要求1所述的座艙交互方法,其特征在于,所述手部檢測識別模型包括手部檢測網絡和手勢識別網絡,所述手部檢測識別模型采用以下方式構建:
4.根據權利要求3所述的座艙交互方法,其特征在于,所述采用所述第二數據對mobilenet?v4網絡進行訓練,得到手部檢測網絡,包括:
5.根據權利要求3所述的座艙交互方法,其特征在于,所述采用所述手部檢測網絡的輸出數據對mobilenet?v3網絡進行訓練,得到手勢識別網絡,包括:
6.根據權利要求1所述的座艙交互方法,其特征在于,所述根據所述年齡屬性和所述手勢類別,輸出響應詢問,包括:
7.根據權利要求1所述的座艙交互方法,其特征在于,所述獲取與所述響應詢問對應的應答數據,執行與所述應答數據對應的操作,包括:
8.根據權利要求1所述的座艙交互方法,其特征在于,所述應答數據包括應答手勢或應答語音。
9.一種電子設備,其特征在于,包括:
10.一種計算機可讀存儲介質,其特征在于,所述介質上存儲有計算機指令,所述計算機指令用于使計算機執行權利要求1-8中任一項所述的方法。