基于大數據分析的數據治理方法和系統與流程

本發明涉及銷售數據異常檢測，具體涉及一種基于大數據分析的數據治理方法和系統。

背景技術：

1、醫藥企業通過藥品銷售大數據建立預測模型，預測地區的藥品需求量。藥品銷售大數據的質量影響預測模型建立的準確性，數據治理通過建立數據質量監控機制，可以提高藥品銷售大數據的數據質量。在對藥品銷售大數據進行數據治理過程中，由于藥品銷售的記錄和傳輸的時候容易出現失誤，因此需要進行數據清洗，消除異常的數據，補充缺失的數據部分，形成可靠的數字資產。

2、由于地區藥品的銷售數據存在因操作失誤或異常傳輸等情況造成銷售數據異常，因此需要進行數據清洗。在數據清洗時，藥品銷售數據中的銷售時間、藥品銷售價等數據都可以根據其他數據直接推導完成交叉驗證，通過交叉驗證就能識別出異常數據完成數據清洗。但是售藥點的藥品銷售量與實際銷售情況掛鉤，無法通過直接推導進行交叉驗證以識別出異常數據。因此在數據治理過程中，由于藥品的藥品銷售量難以交叉驗證，存在難以識別出藥品的藥品銷售量中異常數據的問題。

技術實現思路

1、為了解決現有技術難以識別出藥品的藥品銷售量中異常數據的技術問題，本發明的目的在于提供一種基于大數據分析的數據治理方法和系統，所采用的技術方案具體如下：

2、一種基于大數據分析的數據治理方法，所述方法包括以下步驟：

3、獲取每個售藥點的系統數據；所述系統數據包含售藥點的空間位置以及各個采樣周期下的天氣參數、藥品銷售量和藥品銷售價；

4、以任意一個售藥點為目標售藥點，獲取所述目標售藥點的參考周圍售藥點；根據所述目標售藥點和所述參考周圍售藥點的所述空間位置的距離以及所述藥品銷售價的差異，對目標售藥點的所述藥品銷售量進行調整獲取調整后的藥品銷售量；

5、以售藥點的任意一個調整后的藥品銷售量作為待分析異常點；根據待分析異常點所屬售藥點的所述調整后的藥品銷售量和所述天氣參數的局部波動程度在連續采樣周期下的相關性，以及待分析異常點對應的天氣參數的局部波動程度，獲取待分析異常點的異常程度；

6、根據所述異常程度，篩選出異常藥品銷售量。

7、進一步地，所述目標售藥點的參考周圍售藥點的獲取方法包括：

8、在采樣周期下除了所述目標售藥點的其他所有售藥點中，獲取目標售藥點和每個售藥點的空間位置之間歐氏距離，將歐氏距離小于預設距離閾值對應的每個售藥點，標記為目標售藥點的參考周圍售藥點。

9、進一步地，所述調整后的藥品銷售量的獲取方法包括：

10、根據在采樣周期下所述目標售藥點和所述參考周圍售藥點在空間位置維度的距離以及在藥品銷售價維度的差異，獲取所述參考周圍售藥點對所述目標售藥點的分流影響度；

11、根據參考周圍售藥點對所述目標售藥點的分流影響度，對目標售藥點的藥品銷售量進行調整，獲取目標售藥點在采樣周期下調整后的藥品銷售量。

12、進一步地，所述分流影響度的獲取方法包括：

13、根據所述目標售藥點和所述參考周圍售藥點的空間位置之間歐氏距離，獲取所述參考周圍售藥點的位置影響值；

14、根據所述目標售藥點和所述參考周圍售藥點的藥品銷售價的差異，獲取所述參考周圍售藥點的價格影響值；

15、根據所述位置影響值和所述價格影響值，獲取所述參考周圍售藥點對所述目標售藥點的分流影響度；所述位置影響值、所述價格影響值均和所述分流影響度呈正相關。

16、進一步地，所述根據參考周圍售藥點對所述目標售藥點的分流影響度，對目標售藥點的藥品銷售量進行調整，獲取目標售藥點在采樣周期下調整后的藥品銷售量的方法包括：

17、綜合在采樣周期下所有參考周圍售藥點對所述目標售藥點的所述分流影響度，獲取目標售藥點的分流調節指標；

18、根據目標售藥點的分流調節指標和目標售藥點的藥品銷售量，獲取目標售藥點在采樣周期下調整后的藥品銷售量；所述藥品銷售量、分流調節指標均和調整后的藥品銷售量呈正相關。

19、進一步地，所述分流調節指標獲取的方法包括：

20、計算在采樣周期下所有參考周圍售藥點對所述目標售藥點的分流影響度的累加值，對累加值進行歸一化，得到整體分流影響度；計算整體分流影響度和預設分流銷量值的乘積，得到目標售藥點的分流調節指標。

21、進一步地，所述根據目標售藥點的分流調節指標和目標售藥點的藥品銷售量，獲取目標售藥點在采樣周期下調整后的藥品銷售量的方法包括：

22、計算目標售藥點的分流調節指標與藥品銷售量的和值，得到目標售藥點在采樣周期下調整后的藥品銷售量。

23、進一步地，所述異常程度的獲取方法包括：

24、根據待分析異常點所屬售藥點的調整后的藥品銷售量和天氣參數的局部波動程度在連續采樣周期下的相關性，以及待分析異常點對應的天氣參數的局部波動程度，獲取待分析異常點的天氣影響度；

25、根據待分析異常點所屬售藥點的所有采樣周期下調整后的藥品銷售量，獲取待分析異常點的異常得分；

26、根據天氣影響度和異常得分，獲取待分析異常點的異常程度；所述異常得分和所述異常程度呈正相關；所述天氣影響度和所述異常程度呈負相關。

27、進一步地，所述天氣影響度的獲取方法包括：

28、確定天氣參數的參考時間范圍，計算在天氣參數的參考時間范圍中所有天氣參數的方差，獲取天氣參數的天氣變化度；

29、按照采樣周期的順序，依次統計待分析異常點所屬售藥點的各個調整后的藥品銷售量，獲取調整后的藥品銷售量時序數據；依次統計待分析異常點所屬售藥點的各個天氣變化度，獲取天氣變化度時序數據；將調整后的藥品銷售量時序數據和天氣變化度時序數據的皮爾遜相關系數進行歸一化，得到藥品季節特征指標；

30、在待分析異常點所屬售藥點中，將與待分析異常點的采樣周期相同的天氣變化度進行歸一化，作為待分析天氣變化指標；

31、計算藥品季節特征指標和待分析天氣變化指標的乘積，得到待分析異常點的天氣影響度。

32、本發明提出一種基于大數據分析的數據治理系統，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現任意一項所述一種基于大數據分析的數據治理方法的步驟。

33、本發明具有如下有益效果：

34、考慮到藥品銷售量中存在操作流程失誤和傳輸流程失誤造成的數據異常，流程異常數據和正常藥品銷售量具有較大差異，從而分析出藥品銷售量中流程異常數據。考慮到售藥點的周圍售藥點也是藥品銷售的重要渠道，以任意一個售藥點為目標售藥點，獲取目標售藥點的參考周圍售藥點；參考周圍售藥點會對目標售藥點的藥品銷售量產生分流的影響；考慮到顧客往往傾向于距離較近且價格較便宜的售藥點進行購藥，距離目標售藥點越近且藥品價格越低的參考周圍售藥點對目標售藥點分流程度越大，對售藥點的藥品銷售量進行調整，獲取售藥點的調整后的藥品銷售量。調整后的藥品銷售量降低了參考周圍售藥點的分流影響，使得后續進行數據異常分析時，降低因周圍售藥點分流使得藥品銷售量的波動加劇，提高藥品銷售量的異常分析準確性。考慮到部分藥品具有常服特征，即該藥品適用于患者的慢性病，患者對該藥品需求穩定，銷量穩定性高；部分藥品具有季節性特征，即該藥品適用于患者季節性疾病，在天氣波動越大時藥品的藥品銷售量越高，例如感冒藥具有季節性特征，在天氣變化越大時，人群中患有感冒的人群增多，對感冒藥需求越大，感冒藥的藥品銷售量增大；本發明考慮到具有季節特征指標的藥品在天氣劇烈波動時產生時，銷量增大是正常購藥現象，在進行異常分析時，降低藥品季節特征對異常分析的影響，獲取能更加準確反映流程不當產生失誤的異常程度，使得異常藥品銷售量能更好反映流程異常數據，從而更好地對銷量數據進行數據治理。