本發明涉及語義通信,具體涉及一種基于信息解糾纏的協同非正交圖像語義通信方法及系統。
背景技術:
1、隨著邊緣網絡智能化應用的增加,對無線圖像傳輸的高效、可靠的要求也越來越高。信源編碼和信道編碼是實現高效、可靠無線圖像傳輸的關鍵技術,這種方法雖然對于無限長的信源和信道塊是最優的,但在惡劣的信道環境下,該方法無法正常進行信道解碼,從而出現“懸崖效應”。目前的工作大多集中在端到端的單用戶傳輸,對于多用戶傳輸均以正交方式傳輸,需要大量的頻譜資源。
2、為了提高頻譜效率,語義通信可以采用非正交多址(noma)方案,雖然用戶之間的信號干擾是noma中的一個挑戰,但先進的多用戶識別(mud)算法(如串行干擾消除技術(sic)可以減少用戶之間的相互干擾,提高信號質量。然而,該技術具有較高的計算復雜度,語義通信中的noma采用深度神經網絡將信號從疊加信號中分離出來,然而,現有的深度聯合信源信道編碼框架專注于解決特定的任務,如數據恢復、分類或其他人工智能任務,無法滿足執行其它非預期智能任務。
技術實現思路
1、為了克服現有技術存在的缺陷與不足,本發明提供一種基于信息解糾纏的協同非正交圖像語義通信方法及系統,本發明通過在輸入圖像中加入可訓練的高斯隨機矩陣,再通過解糾纏模塊對每個用戶語義信息進行解糾纏,最后基于課程學習進行訓練,實現高頻譜效率的非正交傳輸,從而解決在非正交多傳輸時沒有使用多用戶識別情況下的圖像分離和恢復問題,并且針對多個用戶在不同信噪比下進行非正交協同傳輸的問題,通過聯合信源信道編碼器和聯合信源信道解碼器,將重點放在傳遞信息而非特征上,實現了高效、可靠的傳輸。
2、為了達到上述目的,本發明采用以下技術方案:
3、本發明提供一種基于信息解糾纏的協同非正交圖像語義通信方法,包括下述步驟:
4、獲取目標的兩視圖圖像,將隨機高斯矩陣與圖像像素矩陣相連接,得到圖像拼接矩陣;
5、構建兩視圖分布式協作聯合信源信道編碼模型,包括聯合信源信道編碼器,解糾纏模塊和聯合信源信道解碼器,所述解糾纏模塊包括私有編碼器和公共編碼器;
6、基于課程學習構建訓練方法,對兩視圖分布式協作聯合信源信道編碼模型進行訓練,基于訓練后的兩視圖分布式協作聯合信源信道編碼模型完成圖像恢復、分類和聚類任務;
7、圖像拼接矩陣經聯合信源信道編碼器映射為語義信息,語義信息經私有編碼器、公共編碼器得到私有信息和公共信息,將私有信息和公共信息拼接得到編碼信息,編碼信息通過空中聚合得到空中聚合信息,空中聚合信息通過聯合信源信道解碼器恢復得到兩視圖圖像;
8、將公共信息作為輸入,基于knn算法對圖像數據進行分類;
9、將公共信息作為輸入,基于k-means聚類算法獲得圖像數據的聚類結果。
10、作為優選的技術方案,所述聯合信源信道編碼器包括:第一殘差塊上采樣、第一注意力特征模塊、第二殘差塊上采樣、第二注意力特征模塊、第一殘差塊、第三注意力特征模塊、第二殘差塊、第四注意力特征模塊和第三殘差塊上采樣;
11、圖像拼接矩陣依次經過第一殘差塊上采樣、第一注意力特征模塊、第二殘差塊上采樣、第二注意力特征模塊、第一殘差塊、第三注意力特征模塊、第二殘差塊、第四注意力特征模塊和第三殘差塊上采樣,得到語義信息。
12、作為優選的技術方案,將私有信息和公共信息拼接得到編碼信息,具體表示為:
13、;
14、其中,表示公共信息,,表示復數集,表示私有信息,,和分別表示對應信息的長度。
15、作為優選的技術方案,編碼信息通過空中聚合得到空中聚合信息,具體表示為:
16、;
17、其中,表示方差為的加性高斯白噪聲,表示m維單位矩陣,和分別為公共聚合信息和帶噪聲的私有聚合信息,表示邊緣設備i和服務器之間的通道矩陣,為預處理函數,i={1,2}。
18、作為優選的技術方案,所述聯合信源信道解碼器包括:第一殘差轉置塊上采樣、第五注意力特征模塊、第二殘差轉置塊上采樣、第六注意力特征模塊、第一殘差轉置塊、第七注意力特征模塊、第二殘差轉置塊、第八注意力特征模塊和第三殘差轉置塊上采樣;
19、空中聚合信息依次經過第一殘差轉置塊上采樣、第五注意力特征模塊、第二殘差轉置塊上采樣、第六注意力特征模塊、第一殘差轉置塊、第七注意力特征模塊、第二殘差轉置塊、第八注意力特征模塊和第三殘差轉置塊上采樣,恢復得到兩視圖圖像。
20、作為優選的技術方案,基于課程學習構建訓練方法,對兩視圖分布式協作聯合信源信道編碼模型進行訓練,包括:端到端訓練階段、帶圖像重構損失的訓練階段和帶總損失的訓練階段;
21、在端到端訓練階段基于單用戶的聯合信源信道編碼模型更新每一對聯合信源信道編碼器和聯合信源信道解碼器;
22、采用均方誤差mse測量兩視圖重構圖像和原始圖像之間的差距,得到圖像重構損失,在已訓練的單用戶的聯合信源信道編碼模型基礎上,基于圖像重構損失訓練分布式聯合信源信道編碼模型;
23、公共編碼器通過一致性約束捕獲跨輸入視圖的公共信息,得到設備間的公共信息cmd約束;
24、私有編碼器采用希爾伯特-施密特獨立準則衡量設備內公共信息與私有信息之間的差異,得到公共信息和私有信息的hsic約束;
25、基于圖像重構損失、公共信息cmd約束、hsic約束的加權求和,得到總損失,最小化總損失得到兩視圖分布式協作聯合信源信道編碼模型的最優模型參數。
26、作為優選的技術方案,在端到端訓練階段基于單用戶的聯合信源信道編碼模型更新每一對聯合信源信道編碼器和聯合信源信道解碼器,其損失函數表示為:
27、;
28、其中,表示邊緣設備i獲取到的視圖圖像,i={1,2},表示恢復得到的視圖圖像。
29、作為優選的技術方案,采用均方誤差mse測量重構圖像和原始圖像之間的差距,得到圖像重構損失,具體表示為:
30、;
31、其中,表示邊緣設備i獲取到的視圖圖像,i={1,2},表示恢復得到的視圖圖像。
32、作為優選的技術方案,基于圖像重構損失、公共信息cmd約束、hsic約束的加權求和,得到總損失,具體表示為:
33、;
34、;
35、;
36、;
37、;
38、;
39、;
40、;
41、;
42、;
43、其中,、和分別表示對應的權重值,表示邊緣設備i對應的公共信息的期望向量,表示邊緣設備j對應的公共信息的期望向量,表示邊緣設備i對應的公共信息的k階中心矩,表示邊緣設備j對應的公共信息的k階中心矩,表示公共信息,表示私有信息,和是通過和的內積得到的大小為 n×n的gram矩陣,表示n維單位矩陣,表示全一列向量,,和分別表示私有信息和公共信息對應的信息長度。
44、本發明還提供一種基于信息解糾纏的協同非正交圖像語義通信系統,用于實現上述基于信息解糾纏的協同非正交圖像語義通信方法,該系統包括:目標圖像獲取模塊、拼接模塊、模型構建模塊、訓練方法構建模塊、模型訓練模塊、圖像恢復模塊、分類模塊和聚類模塊;
45、所述目標圖像獲取模塊用于獲取目標的兩視圖圖像;
46、所述拼接模塊用于將隨機高斯矩陣與圖像像素矩陣相連接,得到圖像拼接矩陣;
47、所述模型構建模塊用于構建兩視圖分布式協作聯合信源信道編碼模型,包括聯合信源信道編碼器,解糾纏模塊和聯合信源信道解碼器,所述解糾纏模塊包括私有編碼器和公共編碼器;
48、所述訓練方法構建模塊用于基于課程學習構建訓練方法;
49、所述模型訓練模塊用于對兩視圖分布式協作聯合信源信道編碼模型進行訓練,基于訓練后的兩視圖分布式協作聯合信源信道編碼模型完成圖像恢復、分類和聚類任務;
50、所述圖像恢復模塊用于將圖像拼接矩陣經聯合信源信道編碼器映射為語義信息,語義信息經私有編碼器、公共編碼器得到私有信息和公共信息,將私有信息和公共信息拼接得到編碼信息,編碼信息通過空中聚合得到空中聚合信息,空中聚合信息通過聯合信源信道解碼器恢復得到兩視圖圖像;
51、所述分類模塊用于將公共信息作為輸入,基于knn算法對圖像數據進行分類;
52、所述聚類模塊用于將公共信息作為輸入,基于k-means聚類算法獲得圖像數據的聚類結果。
53、本發明與現有技術相比,具有如下優點和有益效果:
54、(1)本發明構建了兩視圖分布式協作聯合信源信道編碼模型two-view-dc-deepjscc-d,根據解纏模塊中的目標設計了一致性和非一致性損失,通過最小化一致性和非一致性損失,解糾纏語義信息,有效地學習不同語義信息之間的公共和私有部分;可以直接利用特征空間中具有足夠判別性的公共信息來執行智能任務,如聚類和分類任務;
55、有利于同一組內用戶在上行信道上同時傳輸語義信息,實現協同傳輸,可靠的恢復圖像信息,采用非正交多址技術共享頻譜資源,提高頻譜利用效率,減少了傳輸信息的冗余。
56、(2)本發明提出了分布式邊緣網絡中兩視圖圖像語義協同非正交傳輸方案,基于構建的兩視圖分布式協作聯合信源信道編碼模型進行語義通信,以支持多任務并發執行。
57、(3)本發明將可訓練的數據嵌入到原始圖像中,并基于課程學習構建訓練方法,對兩視圖分布式協作聯合信源信道編碼模型two-view-dc-deepjscc-d進行訓練,因此,本發明的兩視圖分布式協作聯合信源信道編碼模型two-view-dc-deepjscc-d可以在不使用sic或mud的情況下從疊加信號中恢復圖像。
58、(4)結合圖像恢復,聚類和分類實驗結果,本發明的兩視圖分布式協作聯合信源信道編碼模型two-view-dc-deepjscc-d可以有效地同時執行圖像恢復、分類和聚類任務,在分類和聚類精度方面取得了顯著提升。