專利名稱：基于神經網絡改進算法的電信客戶流失預測方法
技術領域：
本發明屬于電信運營商數據挖掘領域，涉及一種基于神經網絡改進算法的電信客戶(流失)預測方法。
背景技術：
隨著電信市場競爭的發展，客戶選擇電信產品及電信企業的余地越來越大，電信企業之間對客戶的爭奪也越來越激烈。面對日益激烈的市場競爭環境，電信企業的傳統的、被動式服務體系已無法滿足客戶需要，應對對手挑戰。同時，傳統的網絡、技術等優勢難以在電信企業之間拉開差距，無法形成差異化的競爭優勢。因此，為了在新的市場形勢下能夠培育和創造出新的差異化競爭優勢，電信企業應以客戶為中心，深入的了解客戶，引導客戶，留住客戶。
通過客戶離網前的行為特征構建流失預測模型，預測即將流失的客戶，對即將流失的客戶做挽留；也可以通過對現有CRM系統中，業務人員的客戶拜訪行為對簽單成功率的影響構建預測模型，改善業務人員客戶拜訪水平；通過以往銷售人員的客戶拜訪費用構建預測模型，預測下階段費用預算；通過銷售漏斗所處的階段與是否簽單的關系，預測市場部門的市場活動所需投入等。
CN02822042.0病人數據挖掘本發明為挖掘高質量結構化的臨床信息提供了一種數據挖掘框架。該數據挖掘框架包括數據挖掘器(350)，它根據知識庫(330)中包含的領域專用的知識從計算機化的病人記錄(CPR)(310)挖掘醫療信息。數據挖掘器(350)包括用于從CPR提取信息的部件，隨時間以有原則的方式組合所有可用證據的部件(354)，以及從這個組合過程做出推理的部件(356)。所挖掘的醫療信息被存儲在結構化的CPR(380)中，該CPR可以是一個數據倉庫。上述根據知識庫數據挖掘器不宜用于客戶離網前的行為特征構建立的流失預測模型。
神經網絡BP網絡模型，是常用的預測模型，如圖BP網絡的工作原理是將訓練模式輸入至輸入層，并傳至后面的隱含層，通過連接權向后傳遞，直至得到網絡的輸出。網絡中每個神經元通過求輸入權值和與經非線性興奮函數傳遞結果來工作。
得到輸出層的輸出后，將其與相應訓練模式的目標值進行比較，按預先定義的網絡誤差函數求出誤差值。如誤差小于容許值，則訓練完成，否則將誤差按梯度下降法調整網絡連接權。
現有的直接使用BP算法直觀簡單，容易實現，但是在實際應用中存在以下問題1.收斂速度慢的問題，限制了該方法的進一步運用。
2.局部極小點的問題，導致訓練誤差無法下降，無法用于預測電信客戶(流失)。
發明內容
本發明的目的是針對上面的兩個缺點，提出一種收斂速度快且經訓練后誤差小的方法，用于預測電信客戶(流失)。
本發明的技術解決方案是利用改進后的方法建立模型，誤差傳播因子采用(期望輸出-實際輸出)×f(上次訓練批量誤差)，其中f(u)=11+exp(-λu)]]>權值調整算法采用Δw(t)=S(t)S(t-1)-S(t)Δw(t-1),]]>式中，S(t)和S(t-1)是當前時刻和前一時刻 的值。對數據進行歸一化處理，歸一化的公式為x′=0.8(x-xminxmax-xmin)+0.1,]]>上述模型訓練模型，訓練后誤差小，再使用模型，進行預測。
一種基于神經網絡改進算法的電信客戶預測方法，利用改進后的方法建立模型，即，結合神經網絡速率常數模型的對模型的建模，首先采用BP神經網絡方法建立客戶流失模型，接著采用誤差傳播因子(期望輸出-實際輸出)×f(上次訓練批量誤差)，其中f(u)=11+e-λu]]>(λ為常量)；權值調整算法采用Δw(t)=S(t)S(t-1)-S(t)Δw(t-1),]]>式中，S(t)和S(t-1)是當前時刻和前一時刻誤差對權值的偏導，即 的值。對數據進行歸一化處理，歸一化的公式為x′=0.8(x-xminxmax-xmin)+0.1]]>(x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以后的輸入參數)，用上述模型訓練模型；然后對上述模型添加修正系數，通過工業反應器的實際運行和分析數據，采用優化算法求得修正系數值，最終獲得模型。
本發明采用神經網絡建立模型，并選取神經元之間的連接權值作為模型的自變量。
采用歸一化后的客戶屬性值作為模型的輸入，歸一化公式為x′=0.8(x-xminxmax-xmin)+0.1]]>(x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以后的輸入參數)。本發明采用二階的方法調整權值Δw(t)=S(t)S(t-1)-S(t)Δw(t-1)]]>添加修正系數。在權值調整中涉及到的誤差傳播因子采用(期望輸出-實際輸出)×f(上次訓練批量誤差)
本發明的效果是
說明實驗1為傳統BP算法實驗2為采用新的誤差傳播因子的實驗實驗3為采用新的誤差傳播因子，和新的權值調整算法的實驗論證按照BP算法梯度下降法的特點，BP算法中權值的修正量與誤差對權值的偏微分成正比，即Δw3[i][j]∞∂E∂w3[i][j]]]>權值修正量越大，收斂速度越快，所以考察∂E∂w3[i][j]=∂E∂ϵ·∂ϵ∂y[j]·∂y[j]∂yo[j]·∂yo[j]∂w3[i][j]]]>∂E∂w3[i][j]=-ϵf′(yo[j])v[i]=ϵ·y[j]·(1-y[j])·v[i]]]>可見，權值修正量Δw3[i][j]和ε·y[j]·(1-y[j])·v[i]成正比。ε·y[j]·(1-y[j])還會以誤差傳遞因子的形式逐層反向傳播到輸入層。顯然，當ε·y[j]·(1-y[j])越大，則權值修正越大，則收斂速度越快。采用BP神經網絡模型中，輸入層的節點數皆為21，為客戶流失的相關屬性，如客戶類型，在網年限，停機次數，平均話費，...等。隱含層節點數為l(l＝2～20)，輸出層節點數皆為1。
分析1.一般來說，希望學習速率與系統的輸出誤差相關，在誤差較大的早期學習過程中，學習算法應采用比較大的學習速率以加快訓練的收斂，而在誤差較小的后期學習過程中，算法最好采用比較小的學習速率以避免網絡的不穩定。但是y[j]·(1-y[j])卻不隨誤差的變化而改變，故不能很好的滿足這一要求。
2.考察y[j]·(1-y[j]函數，y的取值是(0，1)，當y為0.5的時候，函數取得最大值0.25，也就是說當訓練樣本集中的輸出值接近0.5的時候，權值調整步長最大，收斂的速度相對比較快。但是實際上大部分樣本數據的結果都是靠近兩頭，即0和1，導致收斂速度較慢。
3.在ε·y[j]·(1-y[j])中，只是參考了當前誤差，沒有參考上次訓練的樣本批量誤差。可以考慮將上次批量樣本誤差也作為參數結論綜合上面的三點因素，于是選擇上次批量樣本誤差E作為自變量，用f(E)形式的函數來代替f′(yo[j]作為誤差傳遞因子，另外考察f(E)這個函數，可以知道E＞0且f(E)的值域為(0.5，1)，單調遞增，即當上次訓練誤差越大，則f(E)越大，間接地權值調整量越大。另外，這個函數沒有上面的第2點的問題，誤差傳播因子跟樣本結果是否趨0.5無關。
圖1是一般神經網絡結構示意2本發明所采用的神經網絡結構示意圖具體實施方式
圖2為輸入x數量N0，輸入層節點數N1，隱層節點數N2，輸出層節點數N3輸入為x[N0]，輸入層輸出為μ[N1]，隱層輸出為v[N2]，輸出層輸出為y[N3]，期望輸出為d[N3]。
各個節點的輸入為x0[N0]，uo[N1]，vo[N2]，yo[N3]層之間的權值為w1[N0][N1]，w2[N1][N2]，w3[N2][N3]具體實施方式
第一步利用改進后的方法建立模型，第二步數據準備，由于神經網絡模型的需要，對數據進行歸一化處理，歸一化的公式為x′=0.8(x-xminxmax-xmin)+0.1]]>第三步訓練模型通過231次訓練，模型的訓練誤差為0.000934405已經能滿足誤差精度要求。
第四步使用模型，進行預測。第五步結果分析(見下表)
預測成功率＝(未流失預測成功數+流失預測成功數)/客戶總數＝(2109+179)/2823
＝81％流失客戶預測覆蓋率＝流失客戶數/總客戶數＝698/2823＝24.7％表
權利要求
1.基于神經網絡改進算法的電信客戶預測方法，其特征是首先采用BP神經網絡方法建立客戶流失模型，接著采用誤差傳播因子(期望輸出-實際輸出)×f(上次訓練批量誤差)，其中f(u)=11+e-λu]]>λ為常量，權值調整算法采用Δw(t)=S(t)S(t-1)-S(t)Δw(t-1)']]>式中，S(t)和S(t-1)是當前時刻和前一時刻誤差對權值的偏導，即 的值；對數據進行歸一化處理，歸一化的公式為x′=0.8(x-xminxmax-xmin)+0.1]]>x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以后的輸入參數，用上述模型訓練模型；然后對上述模型添加修正系數，通過工業反應器的實際運行和分析數據，采用優化算法求得修正系數值，最終獲得模型。
2.由權利要求1所述的基于神經網絡改進算法的電信客戶預測方法，其特征是采用神經網絡建立模型，并選取神經元之間的連接權值作為模型的自變量。
3.由權利要求1所述的基于神經網絡改進算法的電信客戶預測方法，其特征是采用歸一化后的客戶屬性值作為模型的輸入，歸一化公式為x′=0.8(x-xminxmax-xmin)+0.1]]>x為輸入參數，xmin為最小輸入參數，xmax為最大輸入參數，x′為歸一化以后的輸入參數。
4.由權利要求1所述的基于神經網絡改進算法的電信客戶預測方法，其特征是采用二階的方法調整權值Δw(t)=S(t)S(t-1)-S(t)Δw(t-1)]]>添加修正系數。
5.由權利要求1所述的基于神經網絡改進算法的電信客戶預測方法，其特征是在權值調整中涉及到的誤差傳播因子采用(期望輸出-實際輸出)×f(上次訓練批量誤差)。
6.由權利要求1所述的方法，其特征是采用BP神經網絡模型中，輸入層的節點數皆為21，為客戶流失的相關屬性，包括客戶類型，在網年限，停機次數，平均話費；隱含層節點數為l(l＝2～20)，輸出層節點數皆為1。
全文摘要
基于神經網絡改進算法的電信客戶預測方法，首先采用BP神經網絡方法建立客戶流失模型，接著采用誤差傳播因子對數據進行歸一化處理，歸一化的公式為
文檔編號H04L12/56GK1897573SQ200610085768
公開日2007年1月17日 申請日期2006年6月30日 優先權日2006年6月30日
發明者黃曉穎, 薛慶童, 余志剛, 莊學陽, 李巖 申請人:南京聯創科技股份有限公司