專利名稱：一種基于支持向量機的參數自適應的運動預測方法
技術領域：
本發明屬于計算機人工智能技術領域，具體涉及一種基于支持向量機的參數自 適應的運動預測方法。
背景技術：
運動預測是指對歷史數據進行建模分析總結出運動規律對未來的運動軌跡進行 提前預測，在很多領域得到重要的研究和應用，如機器人運動控制、移動目標搜索跟 蹤、視頻圖像處理和壓縮、成像系統的穩像技術、地震天氣預測和移動網絡用戶位置預 測等。而支持向量機是現今用于建模學習實現預測的有效工具。支持向量機(Support Vector Machine, SVM)是I97O年代Vapnik結合統計理論
的VC維數理論和最小風險化原則提出的機器學習新方法，該方法針對有限小樣本信息仍 然具有很好的泛化能力。SVM其實是一個凸二次規劃問題，解決了神經網絡的過學習和 陷于局部最優解的難題，同時由于采用了核函數將數據向高維空間映射，將非線性問題 轉換成線性的二次規劃問題，有效地克服了維數災難。支持向量機，在模式識別(字符 識別、文本自動分類和人臉檢測等)、圖像分類和檢索、函數逼近、時間序列預測、故障 識別和預測、信息安全、電力系統電力電子和控制論領域都得到廣泛應用。然而SVM的性能很大程度上取決于參數的選擇，因此核參數的準確選擇是SVM 精準預測的關鍵步驟，也是SVM的研究領域的熱點和難點。早期遺傳算法、混沌算法和 人工免疫方法都相繼用到參數自適應優化，但是這些算法不僅復雜而且準確率和適用性 上都有針對性，沒有普適性，沒有得到廣泛應用和認可，大多仍采用高精度低效率的網 格搜索和交叉驗證(Cross Validation，CV)相結合的方法來實現支持向量機參數優化。本 發明提出了一種啟發式的近似直線搜索方法來尋找到最優的支持向量機參數。
發明內容
本發明提供了一種基于支持向量機的參數自適應的運動預測方法，該方法運算 效率和運算精度均較高。一種基于支持向量機的參數自適應的運動預測方法，包括(1)根據預測模型的需要建立SVM標準動態序列數據格式，確定連續數據個數 k和預測時間間隔大小m，將得到的N個隨時間變化的顫振位移樣本數據轉換為SVM標 準動態序列數據格式，并對數據極值歸一化，得到的極值歸一化值一致加上小數ω，最 后得到處理后的樣本數據；(2)對經步驟(1)得到處理后的樣本數據，在SVM參數對數空間坐標系 [C’ Y']網格中用最小均方誤差原則進行三像素寬度直線搜索訓練，找到最優參數對 [C*Y*],該最優參數對所對應的模型即為最優預測模型；具體步驟為(i)對網格中心點處45度方向上的若干近鄰點和中心點進行SVM訓練預測，其 中交叉驗證誤差最小點，即為近似直線的一個端點A；
3
(ii)對網絡兩個鄰邊上的點進行SVM訓練預測，搜索得到的最小交叉驗證誤差 點即為近似直線的另一個端點B ；(iii)計算由端點A和端點B確定的直線的斜率，在該條直線的上下三個像素寬 度的范圍內搜索訓練，得到交叉驗證誤差最小的點，即為最優參數對[C、'];(3)先實時采樣k個顫振位移，組成k個寬度的動態窗口，并按同步驟⑴中的 方法進行歸一化處理，然后一致加上ω，用步驟(2)得到的最優預測模型來預測m個時 刻后的顫振位移，輸出預測值；進行下一次預測時，將動態窗口的每一個數據往前移一 位，同時將實時采樣到的這個時刻的顫振數據填入動態窗口最后一位，用步驟(2)中求 得的最優預測模型進行預測，如此反復數據采樣更新動態窗口實現連續實時預測，并輸 出預測值；輸出的預測值都需要反歸一化處理得到實際的顫振位移預測值；上述步驟中ω滿足0.005《ω《0.02。本發明采用交叉驗證方法(cross validation，CV)來進一步提高SVM訓練預測的
精度，交叉驗證方法是將樣本測試數據分成η個子集，每個子集輪流作為測試集，η-1個 子集一起作為訓練集進行η次訓練預測分析，比較η次的預測結果找到最好的預測模型， 因此SVM評價指標采用的是交叉驗證誤差(CV-error)。本發明首先通過對大量的回歸樣本數據用高準確率的網格搜索方法進行 基于最小CV-error判斷準則的各種不同條件的SVM訓練預測試驗，得到大量的 [C’ Y' ]-Err0r(網格交叉誤差分布圖)，如圖3所示網格上每個點代表一個參數對 [C’ Y']，該點的顏色深淺代表該點對應CV-error大小，越深誤差越小。對這些網 格交差誤差分布圖分析發現支持向量機的主要參數懲罰因子C和核寬度Y的參數對 [C’ Y']呈現好區近似直線規律。該規律是指支持向量機回歸參數對[C’ Y']在對 數坐標系網格上存在一個以網格中心點作為中心向網格固定角(右下角)方向輻射的呈彗 星狀的好區，如圖3所示，該彗星狀好區的SVM訓練預測結果精確度都比較高，訓練精 度越高對應的CV-error值越小，網格的顏色越深，好區精度更高的點分布近似為有一定 寬度的直線，如圖4所示，該近似直線的一個端點在[C’ Y']網格中心點附近，另一 端點在網格的兩鄰邊上。支持向量機(SVM)主要用來解決分類問題和回歸問題，其中回歸問題最后可以 等價轉換為分類問題來求解。SVM回歸問題解決的核心思想是通過映射函數Ψ (X)將原 本呈非線性規律分布的數據映射到高維空間，非線性問題轉換為二次線性規劃問題，如
圖1所示，圓點和方點分別代表兩類樣本，將在二維空間中尋找橢圓曲線轉換為在三維 空間尋找平面的線性問題。解決這個線性問題便是尋找最優超平面，最優超平面不僅使 各類數據分割開來，而且保證分類間隔最大，如圖2所示，H為分類平面，HI、H2分別 為平行于分類平面并距離各類樣本最近的平面，這兩個平面的距離叫做分類間隔。對于線性可分問題，設給定的訓練集為{(X1; Yl), (X2, y2)，…，(Xn，
yn)},其中X1=Oc1, χ2,…，xk) e Rn,為輸入向量，即樣本的k個屬性，輸出向量為
Y1 e (-1，1)，即兩類yi= 1和％ = -1。如果該訓練集可以被一個超平面線性劃分，假
設該超平面為W · X+b = 0,其中W · X為兩個向量的內積，則該最優超平面能使得所
有的點到該平面的距離之和最小，或者分類間隔最大，分類間隔可以表示為R，Il Il2表
4示二階范數，即求解最大間隔超平面的優化問題。 對于回歸問題，目標函數表示為f(X) = W · Ψ (X)+b，考慮到SVM的學習性 能和泛化能力，引入松弛變量ξ和懲罰因子C，并采用Vapnik提出的ε不敏感損失函數 作為判斷函數，ε是指超平面可以水平移動的范圍，也就是容許的最大分類錯誤范圍為 2ε，這個區域(誤差e小于O的誤差e忽略不計，否則將誤差e用懲罰因子C作為權 重系數加入到目標函數中，懲罰因子越大，誤差增大引起的目標函數值的增大量越多， 優化難度加大。最大間隔超平面優化問題表述為
權利要求
1.一種基于支持向量機的參數自適應的運動預測方法，包括(1)根據預測模型的需要建立SVM標準動態序列數據格式，確定連續數據個數k和 預測時間間隔大小m，將得到的N個隨時間變化的顫振位移樣本數據轉換為SVM標準動 態序列數據格式，并對數據極值歸一化，得到的極值歸一化值一致加上小數ω，最后得 到處理后的樣本數據；(2)對經步驟(1)得到的處理后的樣本數據，在SVM參數對數空間坐標系[C’Y'] 網格中用最小均方誤差原則進行三像素寬度直線搜索訓練，找到最優參數對[C、']，該 最優參數對所對應的模型即為最優預測模型；(3)先實時采樣k個顫振位移，組成k個寬度的動態窗口，并按同步驟(1)中的方法 進行歸一化處理，然后一致加上ω，用步驟(2)得到的最優預測模型來預測m個時刻后 的顫振位移，輸出預測值；進行下一次預測時，將動態窗口的每一個數據往前移一位， 同時將實時采樣到的這個時刻的顫振數據填入動態窗口最后一位，用步驟(2)中求得的 最優預測模型進行預測，如此反復數據采樣更新動態窗口實現連續實時預測，并輸出預 測值；輸出的預測值都需要反歸一化處理得到實際的顫振位移預測值；上述步驟中ω滿足0.005<ω<0.02ο
2.根據權利要求1所述的基于支持向量機的參數自適應的運動預測方法，其特征在 于，所述的最優參數對[C' Y *]的獲得步驟為(i)對網格中心點處45度方向上的若干近鄰點和中心點進行SVM訓練預測，其中交 叉驗證誤差最小點，即為近似直線的一個端點A；(ii)對網絡兩個鄰邊上的點進行SVM訓練預測，搜索得到的最小交叉驗證誤差點即 為近似直線的另一個端點B;(iii)計算由端點A和端點B確定的直線的斜率，在該條直線的上下三個像素寬度的 范圍內搜索訓練，得到交叉驗證誤差最小的點，即為最優參數對[C、']。
3.根據權利要求1所述的基于支持向量機的參數自適應的運動預測方法，其特征在 于，所述的ω取0.01。
4.根據權利要求1所述的基于支持向量機的參數自適應的運動預測方法，其特征在 于，所述的SVM訓練預測過程中使用的核函數為徑向基核函數，所述的徑向基核函數中 參數ε取恒定值0.01。
全文摘要
本發明公開了一種基于支持向量機的參數自適應的運動預測方法，包括(1)將樣本數據轉化為SVM訓練預測的標準動態序列數據格式，并對數據極值歸一化，得到的極值歸一化值后加上小數ω；(2)在對數空間坐標系網格中用最小均方誤差原則進行三像素寬度直線搜索，找到最優參數組合，得到最優預測模型；(3)實時采樣顫振數據，采樣k個顫振位移，用步驟(2)得到的最優預測模型進行SVM實時預測得到顫振位移。本發明的基于支持向量機的參數自適應的運動預測方法，計算精度和計算效率非常高，可以用于各種基于SVM的回歸擬合和預測領域，不僅能摒棄以往人為調整參數的繁瑣，還能同時滿足精度和效率的要求，很好地實現了自動化智能化。
文檔編號G06N5/04GK102024180SQ20101060169
公開日2011年4月20日 申請日期2010年12月23日 優先權日2010年12月23日
發明者馮華君, 龐紅霞, 徐之海, 李奇 申請人:浙江大學