一種基于多維標識的數據采集方法
【技術領域】
[0001]本發明涉及一種數據采集技術領域,尤其涉及一種基于多維標識的數據采集方法。
【背景技術】
[0002]傳統網絡環境下,汽車、房地產等特殊行業客戶的采集捕獲數據變化的方式比較常見的是垂直門戶網上采集和線下采集,這里主要將網絡環境的門戶網站線上采集,垂直門戶網站通過網上團購、會員用戶注冊信息中抓取客戶基本信息。
[0003]通過數據采集技術,網站將通過活動鏈接方式,將用戶導流到團購或活動申請界面,用戶通過注冊報名的方式,按網頁輸入框輸入姓名、聯系電話、預計訂單時間等,通過網頁對應入口,用戶基本信息采集完成后(簡稱源數據),源數據通過采集、上傳的方式來處理數據流,其工作原理是:客戶在網站填寫一份源數據,所在網頁服務器負責收集并上傳數據,并將描述客戶數據源的元數據即主題(共享數據模型)發布到一個或多個公共的信息目錄服務器,使有需求的一個或多個需求者可從信息目錄服務器獲得主題信息、基于主題通過組合裁剪等手段定向信息,并將客戶提交給平臺專題數據庫。
[0004]但是,網上數據采集技術存在如下問題:
(一)、網站采集方式需要進入門戶網站,找到活動入口,在通過活動宣傳網頁,選擇申請報名,再進入采集填寫入口,且采集填寫入口的數據為基本信息,無法實現精準采集和后期的精準分發;
(二)使用采集入口觸發器方式捕獲數據變化主要是基礎信息,維度比較單一且精準度不高,同時因維度單一,網站需要為每個源數據進行二次篩選和加工,采集效率很低、精準度低。
【發明內容】
[0005]本發明的目的是提供一種基于多維標識的數據采集方法,該方法改變了傳統網頁數據采集的采集模式,由廣泛采集轉變為區域注冊用戶采集,由網頁采集轉變為移動APP注冊認證用戶的采集,避免了源數據的重復采集,讓源數據的更加精準。
[0006]本發明實現其發明目的,所采用的技術方案是:
一種基于多維標識的數據采集方法,包括以下步驟:
(I)、登陸認證
在客戶端上輸入用戶信息,用戶管理服務器對用戶信息進行認證判斷,若認證注冊,則成功登陸,然后進行下一步;
(2 )、訪問業務服務器并拉取最新設置
成功登陸后,用戶管理服務器生成用戶token并返回給客戶端,同時用戶訪問業務服務器,并向業務服務器拉取最新設置,然后返回客戶端進行下一步;
(3)、填寫源數據用戶在最新設置中填寫源數據,包括基礎標識、選擇至少一個已看訂單型號、選擇至少一個意向訂單型號、時間標識,并將其發送到數據采集服務器;當用戶調用源數據采集時,數據采集服務器通過與用戶管理服務器關聯,啟動數據采集服務器,然后進行下一步;
(4)、對基礎標識進行多維標識采集
通過遍歷N日內的歷史采集數據,N由數據采集服務器設置,判斷源數據中基礎標識是否存在;若基礎標識存在,則進行下一步;
(5)、對已看訂單型號進行多維標識采集
用戶選擇已看訂單型號,將已看訂單型號作為意向訂單型號的比對標識,當意向訂單型號標識與已看訂單型號標識不重復、不沖突時,進行下一步;
(6)、對時間標識進行多維標識采集
通過調用時鐘服務,選擇源數據的時間標識,對源數據進行年、月、日、時刻的時間標識;然后進行下一步;
(7)、對意向訂單型號進行多維標識采集
用戶選擇至少I個意向訂單型號,然后將基礎標識、時間標識、已看訂單型號標識、意向訂單型號標識發送到數據采集服務器,完成源數據采集。
[0007]進一步地,上述步驟(I)用戶管理服務器對用戶信息進行認證判斷,還包括:若無法登陸,則用戶未注冊,用戶管理服務器收到未注冊提示。
[0008]進一步地,上述步驟(4)對基礎標識進行多維標識采集,還包括:通過遍歷N日內的歷史采集數據,NS數據采集服務器設置,判斷源數據中基礎標識是否存在;若不存在則提示客戶端不可上傳分享,不將其發送到數據采集服務器。
[0009]進一步地,上述步驟(5)對已看訂單型號進行多維標識采集,還包括:用戶選擇已看訂單型號,將已看訂單型號作為意向訂單型號的比對標識,當意向訂單型號標識與已看訂單型號標識重復、沖突時,無法完成源數據采集。
[0010]與現有技術相比,本發明的有益效果是:
(一)、本發明改變了傳統網頁數據采集的采集模式,由廣泛采集轉變為區域注冊用戶采集,由網頁采集轉變為移動APP注冊認證用戶的采集。
[0011](二)、本發明用戶上傳的客戶源數據,發生在用戶與客戶就訂單意向進行現場溝通、追蹤和深度溝通后的時間段,客戶意向行為已進入訂單比價實施階段。
[0012](三)、本發明無論注冊用戶何時進行源數據采集,平臺得到的都是具有多維標識的精準數據,同時配合更新標識位策略、優先上傳機制、維度標識數據剔重策略,避免了源數據的重復采集,讓源數據的更加精準。
[0013]下面結合【具體實施方式】對本發明作進一步的詳細說明。
【具體實施方式】
實施例
[0014]本例的數據采集方法是這樣實現的:
1、登陸認證
移動APP用戶輸入手機號碼與密碼,用戶管理服務器判斷經紀人狀態兩種狀態:已注冊、未注冊;未注冊,則無法登陸,經紀人收到未激活提示。
[0015]若已注冊:成功登陸,用戶管理服務器生成用戶唯一token(記號)并返回給手機端,然后訪問業務服務器,向服務器拉取最新設置(包括:分享獎勵值、可分享源數據、每一條源數據可選擇品牌數、今日已分享數、用戶關聯品牌、城市等基本信息),再返回手機APP端。
[0016]2、源數據采集調用:
移動APP認證通過的用戶填寫源數據:包括基礎標識(姓名、電話)、選擇已看訂單型號(必選I個)、選擇意向訂單型號(必選I個,