專利名稱：用于車輛數據接收和實時分析的集群分布式系統及方法
技術領域：
本發明涉及車輛數據接收和實時分析領域，具體地，涉及一種用于車輛數據接收和實時分析的集群分布式系統及方法。
背景技術：
隨著我國汽車數量的不斷增加，需要對大量采集的車輛數據進行處理，而現有技術對車輛數據的接受和實時分析時仍采用如圖1所示的方法，在每個匯聚點上進行車輛數據的各種分析運算。而采用這樣的方式，在數據接收和數據分析上都是會有很大的延時，而且當一個匯聚點上的接收或者分析模塊宕機后，在匯聚點修復之前，整個匯聚點下的所有設備數據接受和分析都會中斷，造成數據的丟失或者成批量的數據長時間無法分析。
發明內容
本發明的目的在于，針對上述問題，提出一種用于車輛數據接收和實時分析的集群分布式系統及方法，以實現防止因一個匯聚點上的接收或者分析模塊宕機后造成的數據傳輸中斷，及因中斷造成的數據的丟失或者成批量的數據長時間無法分析的優點。為實現上述目的，本發明采用的技術方案是
一種用于車輛數據接收和實時分析的集群分布式系統，包括前端設備、通信服務器和分析服務器，
所述前端設備收集車輛數據； 所述通信服務器接收上述前端設備采集的車輛數據；
所述分析服務器接收上述由通信服務器傳輸的前端設備采集的車輛數據并進行數據處理；
所述多個通信服務器組合為一個接收集群； 所述多個分析服務器組合為一個分析集群；
上述接收集群和分析集群中設置有集群管理器和集群服務器狀態列表； 上述集群管理器根據服務器的工作負載性能數值，動態的分配連接地址，在上述通信服務器和前端設備間及分析服務器和通信服務器間建立通信，并負責整個集群中服務器的運行和對外的服務響應；
上述集群服務器狀態列表保存上述通信服務器和分析服務器自身的實時運行狀態和性能數值。一種用于車輛數據接收和實時分析的集群分布式的方法，包括以下步驟 前端設備向接收集群提出連接請求；
上述接收集群中的集群管理器接收到上述請求并根據接收集群內集群服務器狀態列表中的通信服務器的實時運行狀態和性能數值計算通信服務器的工作負載性能數值； 上述接收集群中的集群管理器根據上述計算的工作負載性能數值分配連接地址； 上述接收集群中的集群管理器根據上述分配的連接地址在通信服務器與前端設備間建立通信；
上述接收集群中的集群管理器向分析集群提出連接請求；
上述分析集群中的集群管理器接收上述請求，并根據分析集群內集群服務器狀態列表中的分析服務器的實時運行狀態和性能數值計算分析服務器的工作負載性能數值； 上述分析集群中的集群管理器根據上述工作負載性能數值分配連接地址； 上述分析集群中的集群管理器根據上述分配的連接地址在分析服務器和通信服務器間建立通信。根據本發明的優選實施例，所述接收集群中的集群管理器接收到上述請求并根據接收集群內集群服務器狀態列表中的通信服務器的實時運行狀態和性能數值計算通信服務器的工作負載性能數值，包括以下步驟
上述集群管理器從集群服務器狀態列表中讀取通信服務器的實時運行狀態和性能數
值；
上述集群管理器分析上述通信服務器的實時運行狀態和性能數值判斷上述集群服務器狀態列表中通信服務器的信息是否及時更新；
如通信服務器的信息沒有及時更新則從新讀取通信服務器的實時運行狀態和性能數
值；
如通信服務器的信息得到及時更新集群管理器則根據上述通信服務器的信息計算通信服務器的工作負載性能數值。根據本發明的優選實施例，所述分析集群中的集群管理器接收上述請求，并根據分析集群內集群服務器狀態列表中的分析服務器的實時運行狀態和性能數值計算分析服務器的工作負載性能數值，包括以下步驟
上述集群管理器從集群服務器狀態列表中讀取分析服務器的實時運行狀態和性能數
值；
上述集群管理器分析上述分析服務器的實時運行狀態和性能數值判斷上述集群服務器狀態列表中分析服務器的信息是否及時更新；
如分析服務器的信息沒有及時更新則從新讀取分析服務器的實時運行狀態和性能數
值；
如分析服務器的信息得到及時更新集群管理器則根據上述分析服務器的信息計算分析服務器的工作負載性能數值。根據本發明的優選實施例，所述服務器的工作負載性能數值的計算公式如下
F (C, M, N, H, L) = (pl*C + p2*M + p3*N + p4*H + p5*L ) / ( pi + p2 + p3 + p4 +
p5)；
其中F值越高，表示該服務器的工作負載越重；
C表示CPU使用率，M表示內存使用率，N表示網絡帶寬使用率，H表示硬盤緩存使用率，L表示外部設備的連接比例，F表示工作負載量，Px表示權重參數。本發明的技術方案通過將通信服務器和分析服務器組合成集群，并在集群中設置集群管理器和集群服務器狀態列表，并對服務器的工作負載性能數值進行計算，從而動態的分配連接地址，使前端設備和通信服務器和分析服務器建立動態通信，從而避免了因一個匯聚點上的接收或者分析模塊宕機后造成的數據傳輸中斷，和因中斷造成的數據的丟失或者成批量的數據長時間無法分析的缺點。本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。
附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例一起用于解釋本發明，并不構成對本發明的限制。在附圖中
圖1為現有的車輛數據的接受和實時分析的結構系統圖2為本發明所述的用于車輛數據接收和實時分析的集群分布式系統的結構系統圖； 圖3為本發明所述的用于車輛數據接收和實時分析的集群分布式的方法的流程圖； 圖4為本發明計算通信服務器工作負載性能數值的流程圖； 圖5為本發明計算分析服務器工作負載性能數值的流程圖。
具體實施例方式以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用于說明和解釋本發明，并不用于限定本發明。如圖2所示，本發明的技術方案公開的用于車輛數據接收和實時分析的集群分布式系統，包括前端設備收集車輛數據；通信服務器接收前端設備采集的車輛數據；分析服務器接收由通信服務器傳輸的前端設備采集的車輛數據并進行數據處理；多個通信服務器組合為一個接收集群；多個分析服務器組合為一個分析集群；接收集群和分析集群中設置有集群管理器和集群服務器狀態列表；集群管理器根據服務器的工作負載性能數值，動態的分配連接地址，在通信服務器和前端設備間及分析服務器和通信服務器間建立通信，并負責整個集群中服務器的運行和對外的服務響應；集群服務器狀態列表保存通信服務器和分析服務器自身的實時運行狀態和性能數值。如圖3所示，本發明的技術方案公開的于車輛數據接收和實時分析的集群分布式的方法，包括以下步驟
步驟101 前端設備向接收集群提出連接請求；
步驟102 接收集群中的集群管理器接收到請求并根據接收集群內集群服務器狀態列表中的通信服務器的實時運行狀態和性能數值計算通信服務器的工作負載性能數值； 步驟103 接收集群中的集群管理器根據計算的工作負載性能數值分配連接地址； 步驟104 接收集群中的集群管理器根據分配的連接地址在通信服務器與前端設備間建立通信；
步驟105 接收集群中的集群管理器向分析集群提出連接請求； 步驟106 分析集群中的集群管理器接收請求，并根據分析集群內集群服務器狀態列表中的分析服務器的實時運行狀態和性能數值計算分析服務器的工作負載性能數值； 步驟107 分析集群中的集群管理器根據工作負載性能數值分配連接地址； 步驟108 分析集群中的集群管理器根據分配的連接地址在分析服務器和通信服務器間建立通信。如圖4所示，在步驟102中接收集群中的集群管理器接收到請求并根據接收集群內集群服務器狀態列表中的通信服務器的實時運行狀態和性能數值計算通信服務器的工作負載性能數值，包括以下步驟
步驟201 集群管理器從集群服務器狀態列表中讀取通信服務器的實時運行狀態和性能數值；
步驟202 集群管理器分析通信服務器的實時運行狀態和性能數值判斷集群服務器狀態列表中通信服務器的信息是否及時更新；
如通信服務器的信息沒有及時更新則從新讀取通信服務器的實時運行狀態和性能數值及返回步驟201 ；
步驟203 如通信服務器的信息得到及時更新集群管理器則根據通信服務器的信息計算通信服務器的工作負載性能數值。如圖5所示，步驟106中分析集群中的集群管理器接收請求，并根據分析集群內集群服務器狀態列表中的分析服務器的實時運行狀態和性能數值計算分析服務器的工作負載性能數值，包括以下步驟
步驟301 集群管理器從集群服務器狀態列表中讀取分析服務器的實時運行狀態和性能數值；
步驟302 集群管理器分析分析服務器的實時運行狀態和性能數值判斷集群服務器狀態列表中分析服務器的信息是否及時更新；
如分析服務器的信息沒有及時更新則從新讀取分析服務器的實時運行狀態和性能數值及返回步驟301 ；
步驟303 如分析服務器的信息得到及時更新集群管理器則根據分析服務器的信息計算分析服務器的工作負載性能數值。另外，服務器的工作負載性能數值的計算公式如下
F (C, M, N, H, L) = (pl*C + p2*M + p3*N + p4*H + p5*L ) / ( pi + p2 + p3 + p4 +
p5)；
其中F值越高，表示該服務器的工作負載越重；
C表示CPU使用率，M表示內存使用率，N表示網絡帶寬使用率，H表示硬盤緩存使用率，L表示外部設備的連接比例，F表示工作負載量，表示權重參數。其中服務器的運行狀態包括CPU使用率，內存使用率，網絡帶寬使用率，硬盤緩存使用率，接收、分析軟件運行狀態，外部設備的連接比例。集群管理器通過分析每一臺服務器的運行性能來動態的調配對外設備的連接和內部分析運算。集群內部通信采用TCP通信模式。各個節點服務器上的客戶端實時把運行數值傳輸到集群管理器。最后，基于工作負載性能數值計算結果，在一系列的服務器中挑選出有哪臺服務器適合作為最新的接入對象，將接入端口分發給外部設備，完成外部設備與集群的對接。接入集群中每一臺服務器上的接收軟件與分析集群的對接也是如此，由分析集群的集群管理器動態分派。
分發過程中挑選工作負載量最低的服務器作為外部設備的接入對象，同時，為了防止出現接入請求密度高時無法及時更新的服務器狀態的狀況，一旦連接分發出去之后在狀態更新之前就不再對外分發。一、低工作負載節點挑選過程；
二、從服務器狀態列表中取得最低工作負載的服務器信息；
三、分析該信息是否及時更新，是否已進行分發；
四、如果不符合條件，重復步驟一；
五、把服務器信息發送至請求方；
六、在服務器狀態列表中進行狀態標注，標志已分發出去；
七、等到下一個請求。最后應說明的是以上所述僅為本發明的優選實施例而已，并不用于限制本發明， 盡管參照前述實施例對本發明進行了詳細的說明，對于本領域的技術人員來說，其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換。 凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
權利要求
1.一種用于車輛數據接收和實時分析的集群分布式系統，包括前端設備、通信服務器和分析服務器，其特征在于，所述前端設備收集車輛數據； 所述通信服務器接收上述前端設備采集的車輛數據；所述分析服務器接收上述由通信服務器傳輸的前端設備采集的車輛數據并進行數據處理；所述多個通信服務器組合為一個接收集群； 所述多個分析服務器組合為一個分析集群；上述接收集群和分析集群中設置有集群管理器和集群服務器狀態列表； 上述集群管理器根據服務器的工作負載性能數值，動態的分配連接地址，在上述通信服務器和前端設備間及分析服務器和通信服務器間建立通信，并負責整個集群中服務器的運行和對外的服務響應；上述集群服務器狀態列表保存上述通信服務器和分析服務器自身的實時運行狀態和性能數值。
2.一種利用權利要求1所述的用于車輛數據接收和實時分析的集群分布式系統的方法，其特征在于，包括以下步驟前端設備向接收集群提出連接請求；上述接收集群中的集群管理器接收到上述請求并根據接收集群內集群服務器狀態列表中的通信服務器的實時運行狀態和性能數值計算通信服務器的工作負載性能數值； 上述接收集群中的集群管理器根據上述計算的工作負載性能數值分配連接地址； 上述接收集群中的集群管理器根據上述分配的連接地址在通信服務器與前端設備間建立通信；上述接收集群中的集群管理器向分析集群提出連接請求；上述分析集群中的集群管理器接收上述請求，并根據分析集群內集群服務器狀態列表中的分析服務器的實時運行狀態和性能數值計算分析服務器的工作負載性能數值； 上述分析集群中的集群管理器根據上述工作負載性能數值分配連接地址； 上述分析集群中的集群管理器根據上述分配的連接地址在分析服務器和通信服務器間建立通信。
3.根據權利要求2所述的用于車輛數據接收和實時分析的集群分布式的方法，其特征在于，所述接收集群中的集群管理器接收到上述請求并根據接收集群內集群服務器狀態列表中的通信服務器的實時運行狀態和性能數值計算通信服務器的工作負載性能數值，包括以下步驟上述集群管理器從集群服務器狀態列表中讀取通信服務器的實時運行狀態和性能數值；上述集群管理器分析上述通信服務器的實時運行狀態和性能數值判斷上述集群服務器狀態列表中通信服務器的信息是否及時更新；如通信服務器的信息沒有及時更新則從新讀取通信服務器的實時運行狀態和性能數值；如通信服務器的信息得到及時更新集群管理器則根據上述通信服務器的信息計算通信服務器的工作負載性能數值。
4.根據權利要求2所述的用于車輛數據接收和實時分析的集群分布式的方法，其特征在于，所述分析集群中的集群管理器接收上述請求，并根據分析集群內集群服務器狀態列表中的分析服務器的實時運行狀態和性能數值計算分析服務器的工作負載性能數值，包括以下步驟上述集群管理器從集群服務器狀態列表中讀取分析服務器的實時運行狀態和性能數值；上述集群管理器分析上述分析服務器的實時運行狀態和性能數值判斷上述集群服務器狀態列表中分析服務器的信息是否及時更新；如分析服務器的信息沒有及時更新則從新讀取分析服務器的實時運行狀態和性能數值；如分析服務器的信息得到及時更新集群管理器則根據上述分析服務器的信息計算分析服務器的工作負載性能數值。
5.根據權利要求2、3或4所述的用于車輛數據接收和實時分析的集群分布式的方法， 其特征在于，所述服務器的工作負載性能數值的計算公式如下F (C, M, N, H, L) = (pl*C + p2*M + p3*N + p4*H + p5*L ) / ( pi + p2 + p3 + p4 +p5)；其中F值越高，表示該服務器的工作負載越重；C表示CPU使用率，M表示內存使用率，N表示網絡帶寬使用率，H表示硬盤緩存使用率，L表示外部設備的連接比例，F表示工作負載量，Px表示權重參數。
全文摘要
本發明公開了一種用于車輛數據接收和實時分析的集群分布式系統及方法，包括前端設備、通信服務器和分析服務器，多個通信服務器組合為一個接收集群，多個分析服務器組合為一個分析集群，接收集群和分析集群中設置有集群管理器和集群服務器狀態列表，通過對服務器的工作負載性能數值計算，從而有集群管理器動態的分配連接地址，在前端設備、通信服務器和分析服務器間建立通信。從而達到避免因一個匯聚點上的接收或者分析模塊宕機后造成的數據傳輸中斷，和因中斷造成的數據的丟失或者成批量的數據長時間無法分析的缺點。
文檔編號H04L29/08GK102510403SQ20111036153
公開日2012年6月20日 申請日期2011年11月15日 優先權日2011年11月15日
發明者包可為 申請人:江蘇大為科技股份有限公司