本發明涉及圖數據處理,具體來說,涉及圖表示學習,更具體地說,涉及一種圖學習裝置構建方法及圖學習方法。
背景技術:
1、圖神經網絡(graph?neural?network,gnn)是一種非常有效的圖表示學習模型,常用于構建圖上的分類裝置。gnn通常采用一種消息傳遞的機制來進行特征提取。本發明也主要聚焦于這一機制的改進設計。在經典的gnn中,信息傳遞采用以節點中心的聚合范式,并被嚴格局限在節點的連通鄰域內。在以節點為中心的聚合過程中,信息傳遞過程以各向同性的方式訪問鄰居,迭代地聚合多跳特征。因此,此類消息傳遞在很大程度上依賴于輸入圖的結構。這種依賴性導致圖神經網絡出現過度平滑或過度壓縮的問題。
2、為了進一步提高圖表示學習中gnn的有效性,一個直接的解決方案是將消息傳遞路徑與輸入圖結構解耦。沿著這一思路,研究人員嘗試通過在圖結構之上擴展消息傳遞,以實現節點間的全局信息交換。其中,一些方法直接建模節點間的成對關系,但密集關系的建模會產生與節點數量關聯的立方級計算復雜度和平方級空間復雜度。對于大規模輸入圖來說,這一級別的復雜度是難以接受的。其他方法則引入偽節點與所有輸入節點相連。偽節點采集所有節點的信息,作為公共信息池向節點提供全局信息。然而,這些模型遵循統一的連接模式,即每個偽節點使用相同的邊權重與所有圖節點連接。在偽節點采集信息的過程中,大量節點特征被均等地壓縮到偽節點中。這種壓縮會使提取的特征缺乏區分性,影響模型在下游任務上的表現。基于統一連接的偽節點建立的擴展消息傳遞通路均等、固定,存在靈活性差問題,成為消息傳遞的瓶頸。
3、基于上述分析,傳統圖學習模型以節點為中心,通過迭代地聚合多跳特征,導致對輸入圖結構過度依賴性高,部分現有圖學習模型通過建模節點的關聯關系來解耦消息傳遞路徑與輸入圖結構,對于大規模圖數據場景,存在占用空間大、時間復雜度,低靈活性消息傳遞通路等問題,其他現有圖學習模型,則通過引入偽節點,并使用相同的邊權重與所有圖節點連接,大量節點特征被均等地壓縮到偽節點中,極大地限制了信息傳遞機制的表達能力,進一步影響了圖學習模型在下游分類任務上的表現,導致圖分類裝置難以在生產場景中進行部署。
4、需要說明的是:本背景技術僅用于介紹本發明的相關信息,以便于幫助理解本發明的技術方案,但并不意味著相關信息必然是現有技術。在沒有證據表明相關信息已在本發明的申請日以前公開的情況下,相關信息不應被視為現有技術。
技術實現思路
1、因此,本發明的目的在于克服上述現有技術的缺陷,提出一種圖學習裝置構建方法及圖學習方法。
2、本發明的目的是通過以下技術方案實現的:
3、根據本發明的第一方面,提出一種圖學習裝置構建方法,所述圖學習裝置用于學習圖數據,所述方法包括:s1、獲取歷史圖數據及其對應的實際標簽,所述實際標簽為圖數據類型真實分布或圖節點類型真實分布,所述圖數據包括多個圖節點;s2、構建初始圖學習裝置,所述初始圖學習裝置包括公共狀態空間構建模塊、偽節點適應性調整模塊、圖節點局部更新模塊、節點全局更新模塊、輸出模塊,其中:所述公共狀態空間模塊用于構建公共狀態空間、基于公共狀態空間生成圖數據對應的擴展圖結構,其中,公共狀態空間中配置有距離測度方法;所述偽節點適應性調整模塊用于基于擴展圖結構采用距離測度方法確定節點間的連邊權重,并使圖節點基于圖節點與偽節點的連邊權重加權自身節點特征并傳遞給對應偽節點,以及使任意兩個偽節點基于二者之間的連邊權重加權自身獲得的所有圖節點特征再進行特征交換,并使每個偽節點融合特征交換后獲得的圖節點特征,以及使每個偽節點基于與圖節點的連邊權重加權自身融合后的圖節點特征并反饋給對應的圖節點;所述圖節點局部更新模塊用于基于擴展圖結構用于將每個圖節點的所有鄰居節點的節點特征與其自身節點特征進行融合以更新該圖節點特征,并使每個圖節點基于更新后的特征更新自身節點狀態;所述節點全局更新模塊用于基于圖節點局部更新模塊更新了節點狀態后的擴展圖結構,以距離測度方法重新計算節點間的連邊權重,并使圖節點基于重新計算的圖節點與偽節點的連邊權重加權自身更新后節點特征并傳遞給對應偽節點,以及任意兩個偽節點基于二者之間的連邊權重加權自身獲得的更新后圖節點特征再進行特征交換,并使每個偽節點融合特征交換后獲得的圖節點特征,以及使每個偽節點基于與圖節點的連邊權重加權自身融合后的圖節點特征再反饋給對應的圖節點以使圖節點更新自身的節點狀態和節點特征;所述輸出模塊用于基于所述節點全局更新模塊更新后的圖節點狀態與偽節點狀態獲取輸出預測標簽;s3、采用歷史圖數據及其對應的實際標簽將初始圖學習裝置訓練至收斂,其中,采用圖學習裝置獲得的預測標簽與實際標簽計算交叉熵損失更新圖學習裝置的參數。
4、優選的,所述公共狀態空間構建模塊用于構建公共狀態空間、基于公共狀態空間生成圖數據對應的擴展圖結構,所述公共狀態空間包括所有圖節點狀態、多個偽節點狀態、多個類別節點狀態、距離測度方法,其中,圖節點狀態表示對應圖節點在公共狀態空間中的位置,多個偽節點為隨機初始化狀態的多個虛擬圖節點,偽節點狀態表示對應偽節點在公共狀態空間中的位置,多個類別節點為隨機初始化類別的與實際標簽數量一致的多個虛擬類別節點,類別節點狀態表示對應類別節點在公共狀態空間中的位置,所有偽節點之間以及每個偽節點與所有圖節點之間均有連邊,所述距離測度方法為包含隨機初始化參數的用于測量各種節點間的距離的方法,所述擴展圖為偽節點與所有圖節點及其之間的連邊組成的圖結構。
5、優選的,所述偽節點適應性調整模塊用于采用距離測度方法確定圖節點與偽節點、偽節點與偽節點、偽節點與圖節點的連邊權重,并將每個圖節點特征經圖節點與偽節點的連邊加權后傳遞給每個偽節點,以及使任意兩個偽節點獲取的所有加權后的圖節點特征經二者的連邊權重二次加權后再進行特征交換,以使每個偽節點融合由特征交換獲得的所有偽節點中的加權圖節點特征,并以此更新所有偽節點狀態,再將每個偽節點融合到的所有加權圖節點特征經圖節點與偽節點的連邊權重加權后反饋給對應的圖節點。
6、優選的,所述節點全局更新模塊用于基于圖節點局部更新模塊更新了節點狀態后的擴展圖結構,以距離測度方法重新計算圖節點與偽節點、偽節點與偽節點、偽節點與圖節點的連邊權重,并將每個更新后的圖節點特征經圖節點與偽節點的連邊加權后傳遞給每個偽節點,以及使任意兩個偽節點獲取的所有加權圖節點特征經二者的連邊權重二次加權后再進行特征交換,以使每個偽節點融合由特征交換獲得的所有偽節點中的加權圖節點特征,并以此更新所有偽節點狀態,再將每個偽節點融合到的所有加權圖節點特征經圖節點與偽節點的連邊權重加權后反饋給對應的圖節點并使所有圖節點基于所有更新后的圖節點的特征重新更新自身狀態以及特征。
7、優選的,所述距離測度方法包括:將有連邊的兩個節點的狀態分別劃分為相同數量的多個狀態單元并通過如下方式計算節點間連邊的權重:
8、
9、qi·=gi(q·)
10、其中,w,w'表示任意圖節點或偽節點,qw,qw'表示節點w與節點w'的節點狀態,ψ(qw,qw')表示節點w與節點w'的連邊權重,gi(·)表示任意非線性函數,q表示任意節點狀態,qi·表示節點狀態q的第i個狀態單元,λi表示兩節點的第i個狀態單元間的可學習權重參數。
11、優選的,所述圖節點局部更新模塊通過如下方式更新每個圖節點特征:
12、
13、其中,表示圖節點v融合了其所有鄰居節點特征以及自身節點特征以形成的節點特征,表示圖節點v的所有鄰居節點,表示圖節點v的鄰居節點的數量,mv'表示鄰居節點的節點特征,ev,v'表示基于距離測度方法獲得的圖節點v與圖節點v'的連邊權重,||表示矩陣拼接操作,h(2)(·)表示任意非線性函數,表示圖節點特征。
14、優選的,所述偽節點適應性調整模塊與全局節點更新模塊通過如下方式將每個圖節點特征經圖節點與偽節點的連邊加權后傳遞給每個偽節點:
15、g=enpmn
16、
17、其中,g表示所有偽節點特征,表示任意圖節點vi到偽節點uj的連邊權重,enp表示由所有圖節點到偽節點的連邊權重組成的連邊權重矩陣,mn表示所有圖節點特征,qi,·表示圖節點狀態,rj,·表示偽節點狀態,ψ(·,·)為距離測度方法。
18、優選的,所述偽節點適應性調整模塊與全局節點更新模塊通過如下方式將任意兩個偽節點獲取的所有加權后的圖節點特征經二者的連邊權重二次加權后再進行特征交換,以使每個偽節點融合由特征交換獲得的所有偽節點中的加權圖節點特征,并以此更新所有偽節點狀態:
19、
20、其中,表示所有的偽節點特征,每個偽節點的節點特征包含加權融合后的所有圖節點的節點特征,表示任意偽節點到偽節點的連邊權重,表示所有偽節點到偽節點的連邊權重構成的連邊權重矩陣,ri,·表示圖節點狀態,rj,·表示偽節點狀態,ψ(·,·)為距離測度方法,h(0)(·)、h(1)(·)表示任意非線性函數,δr表示偽節點的狀態變化量,其用于更新偽節點狀態,mp表示經非線性處理后的偽節點特征。
21、優選的,所述偽節點適應性調整模塊與全局節點更新模塊通過如下方式將每個偽節點融合到的所有加權圖節點特征經圖節點與偽節點的連邊權重加權后反饋給對應的圖節點:
22、mglob=epnmp
23、
24、其中,mglob表示反饋給圖節點的節點特征,epn分別表示偽節點到圖節點的邊權重矩陣,qj,·表示圖節點狀態,r表示偽節點狀態,[r+δr]i,·表示基于偽節點的狀態變化量更新的偽節點狀態,ψ(·)表示距離測度方法。
25、根據本發明的第二方面,提出一種圖學習方法所述方法包括:獲取待學習的圖數據;采用本發明第一方面中任一所述方法訓練得到的圖學習裝置學習獲取到的圖數據。
26、根據本發明的第三方面,一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序可被處理器執行以實現本發明第一方面或第二方面中任一項所述方法的步驟。
27、根據本發明的第四方面,一種電子設備,包括:一個或多個處理器;以及存儲器,其中存儲器用于存儲可執行指令;所述一個或多個處理器被配置為經由執行所述可執行指令以實現本發明第一方面或第二方面中任一項所述方法的步驟。
28、與現有技術相比,本發明的優點在于:
29、首先,本發明構建包含偽節點狀態、圖節點狀態、類別節點以及節點距離測度方案的公共狀態空間,并建立每個偽節點與所有圖節點以及其他偽節點的連邊,并以距離測度方法計算的節點相對距離作為對應連邊權重,以構造用于圖學習的擴展圖,從而實現圖學習過程與圖結構的解耦,避免圖學習結果出現過度平滑或過度壓縮。然后,基擴展圖結構,基于局部信息傳遞機制與全局信息傳遞機制調整節點在公共狀態空間的位置分布,并從局部和全局兩個維度提取圖數據特征以學習圖數據,避免了大量圖節點間直接的信息傳輸,降低了算法運行的時間、空間復雜度,同時,特征傳遞可以動態的改變節點在公共狀態空間的位置分布,進而改變擴展圖結構中連邊的權重,構建可學習的靈活信息傳遞通絡。最后,基于動態消息傳遞機制構建的圖學習裝置可以廣泛應用于各類圖數據的節點分類、圖分類、節點回歸、圖回歸和連邊預測的圖分析任務場景。