基于部分可測馬爾科夫決策過程模型的頻譜檢測方法
【技術領域】
[0001] 本發明涉及水聲通信領域，更具體地涉及認知水聲通信系統中一種基于部分可測 馬爾科夫決策過程（P0MDP)模型的頻譜檢測方法。
【背景技術】
[0002] 隨著現代信息技術和海洋開發技術的飛速發展，人們對水聲通信的需求日益增 加，如何實現高速水聲通信和對水下頻譜資源的有效共享，成為了亟待解決的問題。認知無 線電是近年來興起的一種智能無線通信新技術，它能感知周圍環境，運用"理解-構建"的 方法從周圍環境獲取信息，并通過實時改變諸如傳輸功率、載頻、調制方式等傳輸參數來適 應運行環境的變化。近年來，人們又在認知無線電的基礎上提出了認知水聲通信系統的概 念，為解決高速水聲通信和水下頻譜資源的有效共享問題指出了新的研究方向。與認知無 線電相同，認知水聲通信系統的目標是通過感知水下環境和進行信道估計來發現水聲信道 的頻譜空洞，并合理利用它，從而提高水聲通信系統的頻譜利用率。在認知水聲通信系統 中，除了將幅值衰減嚴重、通信性能差的頻點或頻段看作是信道的止帶外，把干擾用戶工作 的頻帶也看作是認知用戶的信道止帶，同時通信頻帶不能占用工作中的型號聲吶的工作頻 率。
[0003] 目前的兩種水下頻譜分配方式分別是基于固定分配類和基于競爭類，但它們又各 自存在局限性。固定的頻譜分配方式勢必造成信道利用率不高、頻譜資源緊張的問題；而 基于競爭類的分配方式又會出現多個用戶競爭同一信道的情況，從而造成數據的沖突和碰 撞。因此，動態、合理地分配水下的頻譜資源、提高頻譜利用率，就成為提高水聲通信性能的 關鍵問題，也是認知水聲通信系統中的關鍵技術。
[0004] 基于P0MDP模型的頻譜預測方法在認知無線電中已有過相關的應用，主要適用于 陸上信道多、環境復雜、不可能也沒有必要獲知每個信道使用信息的情況。其應用背景是陸 上的頻譜資源被劃分給特定的授權用戶，認知用戶在利用頻段的空白時間傳輸時必須保證 不對授權用戶的使用造成干擾，因此認知用戶必須不停的感知和預測授權用戶將來時刻的 使用狀態。與認知水聲通信不同的是：在認知無線電環境中沒有考慮傳播時延信息，默認頻 譜感知的結果是實時和同步的。
[0005] 水聲信道遠不如無線電環境的大氣或真空那樣，具有較寬的可用頻帶。在水下，由 于傳播損失隨著頻率的升高和距離的增大而增加，因而水聲信道的可用帶寬十分有限。另 外，由于聲波在水中的傳播速度遠小于電磁波在空氣中的傳播速度(聲波在水中的傳播速 度約為1500米/秒，僅為電磁波在空氣中傳播速度的二十萬分之一)，而傳輸時延卻是電磁 波傳輸的105倍，這使得水下頻譜感知與陸上頻譜感知相比具有延時和異步的特點。這些 都顯著地增加了在認知通信系統中后續的頻譜分配處理難度，使陸上的頻譜預測方法不能 直接運用于水下通信系統。
【發明內容】
[0006] 本發明的目的在于克服現有技術中的頻譜預測方法不能直接運用于水下通信系 統的缺陷，從而提供一種適合水下通信的頻譜檢測方法。
[0007] 為了實現上述目的，本發明提供了一種基于部分可測馬爾科夫決策過程模型的頻 譜檢測方法，包括：
[0008] 步驟1)、初始化信道狀態歷史信息序列H;
[0009] 步驟2)、對信道環境進行觀測，將觀測到的信道狀態信息添加到信道狀態歷史信 息序列H中，然后估計信道數據傳輸的時延，進而由信道的時延信息進一步得到信道i的狀 態息；
[0010] 步驟3)、觀測階段結束后，計算信道初始信念狀態和每個信道的狀態轉移概率；
[0011] 步驟4)、經一段時間觀測，獲取信道使用狀態的統計信息及狀態轉移概率，對各個 信道的使用狀態建立馬爾科夫模型；
[0012] 步驟5)、當時隙t-t+1時，根據步驟2)獲得的延時信息結合步驟3)的狀態轉 移概率，更新狀態歷史信息序列和當前時隙值；根據步驟3)獲得的信道的狀態轉移概率， 結合應答信息更新信念狀態，并計算瞬時報酬；采用啟發式算法迭代計算在執行不同行為 a后每個信道的值函數；
[0013] 步驟6)、重復步驟5)迭代Num次后，計算次用戶獲得的最大折扣回報，從而得到折 扣總報酬為最大帶寬的策略，待接入用戶根據各個信道的總報酬重新對信道進行從高到低 的排序，如果其有數據需要傳輸，則指導用戶按照新的信道順序嘗試接入信道。
[0014] 上述技術方案中，在步驟2)中，所述估計信道數據傳輸的時延通過解調感知信息 獲得的時間標簽實現；包括：在t時隙，當某用戶需要傳輸數據時，首先對各信道進行頻譜 感知，若某信道正在被占用，則用戶接收并解調正在各信道中傳輸的數據，如果某信道傳輸 的數據能夠被解調且能提取時間信息，則估計該信道數據傳輸的時延，記為1 ;如果某信道 的數據不能被解調或無法從解調的數據中提取時間信息，則將該信道的時延信息標注為缺 失；若感知到某信道該時刻空閑，將該信道的時延信息也標注為缺失。
[0015] 上述技術方案中，由信道的時延信息進一步得到信道i的狀態信息包括：若某信 道的時延信息通過估計得到，則根據信道的馬爾科夫性，利用S(i) =s(i-1)P1計算并判斷 出t時隙該信道的狀態，其中，s(i)表示信道i的狀態信息，p表示動作a保持觀測時的狀 態轉移概率T(s,a,s' ),s'為轉移后的狀態；如某信道的時延信息缺失，則該信道的統計 占用概率作為其t時隙的使用狀態概率。
[0016] 上述技術方案中，在步驟3)中，計算每個信道的狀態轉移概率時，在執行行為a的 條件下轉移概率服從Dirichlet分布。
[0017] 本發明的優點在于：
[0018] 采用本發明的頻譜檢測方法能夠方便地選擇通信質量高的信道，合理地動態分配 水下的頻譜資源、有效的減少數據碰撞概率，從而提高頻譜利用率以及用戶接入信道的準 確率。
【附圖說明】
[0019] 圖1是本發明的頻譜檢測方法的應用場景的示意圖；
[0020] 圖2是馬爾科夫決策過程模型的示意圖；
[0021] 圖3是本發明的頻譜檢測方法的流程圖。
【具體實施方式】
[0022] 現結合附圖對本發明作進一步的描述。
[0023] 認知無線電中一個基本的認知周期要經歷三個基本過程：1)頻譜感知，其作用是 檢測授權頻段，發現"空白"的可用頻譜資源；2)信道狀態估計及其容量預測，其作用是分析 "空白"頻段的特征，估計信道狀態的變化以及容量預測；3)頻譜管理，其目的是根據用戶需 求選擇合適的"空白"頻段，確定傳輸的功率、調制方式等。本發明的頻譜檢測方法涉及認 知周期的前兩個階段，它在頻譜感知結果的基礎上，對頻譜感知的結果做合理統計分析，進 而預測出未來某一時刻的信道使用狀態，從而得到未來某一時刻可以使用的頻譜空隙。頻 譜檢測方法所得到的結果能夠為后續的頻譜管理和分配提供服務。圖1為本發明的頻譜檢 測方法的應用場景，如圖所示，頻譜檢測方法在實現時需要感知外部環境與頻譜信息，然后 分別分析外部環境與所感知的頻譜信息，最終得到可用的頻譜資源。
[0024] 在對本發明的頻譜檢測方法做詳細說明之前，首先對該方法中所涉及的概念做 統一說明。
[0025] 信道狀態歷史信息：信道狀態信息的記錄稱為信道狀態歷史信息，可將水聲信道 可用頻帶均勻劃分得到多個信道，每個信道分為占用、空閑兩種狀態，分為表示。 將幅值衰減嚴重、通信性能差的頻點或頻段，其他用戶工作的頻帶，工作中的型號聲吶的工 作頻率均作為占用狀態，若信道狀態信息為空閑，則表示該頻段可以供用戶接入。時間單位 用時隙表示，每個時隙可量化為一個或幾個時間單位。信道狀態歷史信息可用離散觀測時 間序列Ts內的一系列行為、報酬、觀測狀態和反饋應答信息的序列H表示，有H= {hi，i= 1，2,…，N}，其中，
[0026] ^ = {(ai；1,ri；1,zi；1,ki；1), - , (ai；t,ri；t,zi；t,ki；t)},tGTs 公式 1
[0027] 其中a^t表示