一種面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)架構(gòu)
相關(guān)鏈接： 中國安全網(wǎng) 中國質(zhì)量網(wǎng) 中國論文網(wǎng) 中國資訊網(wǎng)
作者：鄭曉敏
1 引言
移動互聯(lián)網(wǎng)時代，變革日新月異，在“互聯(lián)網(wǎng)+”大潮下，具有雄厚資金技術(shù)和用戶規(guī)模的BAT公司頻頻涉足通信、智慧城市、云計(jì)算、物聯(lián)網(wǎng)等信息服務(wù)領(lǐng)域，各類oTr應(yīng)用也動搖了運(yùn)營商短信和語音業(yè)務(wù)收入的基礎(chǔ)。虛擬運(yùn)營商蓄勢待發(fā)和互聯(lián)網(wǎng)企業(yè)的跨界競爭對基礎(chǔ)運(yùn)營商而言，呈現(xiàn)出空前的壓力和挑戰(zhàn)。大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，給運(yùn)營商帶來了新的曙光。運(yùn)營商處在大數(shù)據(jù)產(chǎn)業(yè)鏈的傳輸與交換中心地位，具有豐富的高價(jià)值數(shù)據(jù)資源，具有開展大數(shù)據(jù)業(yè)務(wù)的獨(dú)特優(yōu)勢。在這個數(shù)據(jù)為王的時代，傳統(tǒng)IT走向DT。面對海量復(fù)雜數(shù)據(jù)和創(chuàng)新型應(yīng)用，面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)肩負(fù)著公司商業(yè)模式轉(zhuǎn)型和運(yùn)營強(qiáng)支撐的更高要求。
2 需求與挑戰(zhàn)
運(yùn)營商為消費(fèi)者提供網(wǎng)絡(luò)服務(wù)，處在大數(shù)據(jù)產(chǎn)業(yè)鏈的傳輸與交換中心地位，具有相對全面完整真實(shí)的高價(jià)值密度信息。包括用戶的語音通話行為、上網(wǎng)痕跡信息、短／彩信使用信息、SP/CP使用信息、地理位置移動信息、用戶實(shí)名信息、信令數(shù)據(jù)、網(wǎng)管日志數(shù)據(jù)、渠道偏好、終端喜好信息以及挖掘衍生的用戶價(jià)值、用戶消費(fèi)習(xí)慣、交際圈信息、生活行為指紋、個人興趣愛好等信息。
2.1 面對的需求
面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)，對升化數(shù)據(jù)分析和數(shù)據(jù)挖掘和增值數(shù)據(jù)價(jià)值提出了更高要求，需要面對企業(yè)內(nèi)部支撐強(qiáng)能、企業(yè)外部創(chuàng)新增值的需求召喚。
(1)精準(zhǔn)化營銷管理需求
電信行業(yè)客戶群龐大、需求差異也大，運(yùn)營商需要分析用戶行為偏好，建立用戶全息畫像，通過標(biāo)簽化用戶管理，細(xì)分市場、客戶群，將最合適的業(yè)務(wù)及時、準(zhǔn)確地推銷給最需要的客戶，實(shí)現(xiàn)業(yè)務(wù)和客戶的最佳匹配，改善用戶體驗(yàn)，提升用戶消費(fèi)和忠誠度。
(2)流失預(yù)警與維系挽留需求
電信行業(yè)的競爭是大家有目共睹的。運(yùn)營商間持續(xù)不斷的“價(jià)格戰(zhàn)”，使得客戶變更業(yè)務(wù)及轉(zhuǎn)網(wǎng)的選擇余地和意愿越來越大，合約用戶協(xié)議到期或促銷活動優(yōu)惠期結(jié)束后，大量低忠誠度用戶通過轉(zhuǎn)網(wǎng)或棄卡重入網(wǎng)方式，套取新的補(bǔ)貼優(yōu)惠。有些老用戶也會因各種原因，存在流失風(fēng)險(xiǎn)。如何提早識別預(yù)警流失傾向用戶，對高價(jià)值、高風(fēng)險(xiǎn)的流失用戶維系挽留，是運(yùn)營商提升存量用戶和收入保有率的需求。
(3)創(chuàng)新增值需求
在不侵犯用戶隱私的前提下，對數(shù)據(jù)進(jìn)行深度加工，形成大數(shù)據(jù)能力輸出和數(shù)據(jù)平臺開放，服務(wù)于社會，是運(yùn)營商實(shí)現(xiàn)“數(shù)據(jù)資產(chǎn)”運(yùn)營和商業(yè)模式轉(zhuǎn)型的業(yè)務(wù)創(chuàng)新需求。
2.2面臨的挑戰(zhàn)
現(xiàn)有經(jīng)營分析系統(tǒng)轉(zhuǎn)型升級為面向DT的數(shù)據(jù)分析系統(tǒng)，需要面對如下挑戰(zhàn)。
(1)平臺能力待提升
目前經(jīng)營分析系統(tǒng)是服務(wù)企業(yè)內(nèi)部，主要功能體現(xiàn)在：KPI監(jiān)控、統(tǒng)計(jì)報(bào)表、綜合分析和客戶群細(xì)分等方面。雖然取得了一定效果，但仍存在數(shù)據(jù)分散、分析內(nèi)容不全面、展現(xiàn)界面不友好、同名指標(biāo)不一致等方面的問題。經(jīng)分使用者很難迅速查到自己想要的數(shù)據(jù)，特別是管理者很難一目了然地看到公司運(yùn)營出現(xiàn)的關(guān)鍵問題。突出體現(xiàn)在數(shù)據(jù)量大與使用率低的矛盾、功能靈活與使用簡便的矛盾、業(yè)務(wù)多變與指標(biāo)穩(wěn)定性的矛盾。經(jīng)營分析人員在使用經(jīng)分系統(tǒng)時，往往還需要進(jìn)行大量的數(shù)據(jù)匯總整理、數(shù)據(jù)合并、深入分析和數(shù)據(jù)挖掘等工作，工作難度大、工作量大、效率低；管理者和決策者在使用經(jīng)分系統(tǒng)時，很難直接看到想要的數(shù)據(jù)和分析結(jié)果，難以迅速有效進(jìn)行決策。
(2)平臺架構(gòu)待擴(kuò)展
目前經(jīng)分系統(tǒng)采集的數(shù)據(jù)主要是BSS數(shù)據(jù)，處理的都是賬單、詳單、用戶資料、產(chǎn)品服務(wù)訂購、業(yè)務(wù)受理記錄等結(jié)構(gòu)化數(shù)據(jù)，包括CRM、計(jì)費(fèi)、賬務(wù)、OCS、總部下發(fā)清單、結(jié)算、客服等，缺乏對OSS域，MSS域的數(shù)據(jù)采集聚合。處理海量數(shù)據(jù)時系統(tǒng)性能瓶頸過大，存在各類時間窗口無法控制的風(fēng)險(xiǎn)。需要引入分布式并行處理技術(shù)架構(gòu)，擴(kuò)展數(shù)據(jù)采集范圍，提高采集時效性、完備性。
(3)數(shù)據(jù)治理需提高
運(yùn)營商的數(shù)據(jù)分散，大數(shù)據(jù)4V特征明顯，因各種原因存在少量“臟”數(shù)據(jù)，采集數(shù)據(jù)時需要排除數(shù)據(jù)噪音，分析數(shù)據(jù)時需要加強(qiáng)數(shù)據(jù)關(guān)聯(lián)性，健全數(shù)據(jù)質(zhì)量管控機(jī)制，提升數(shù)據(jù)質(zhì)量。對涉密敏感信息需要脫敏加密，加強(qiáng)數(shù)據(jù)輸出服務(wù)的安全防護(hù)和流程管理，規(guī)范數(shù)據(jù)資產(chǎn)運(yùn)營機(jī)制。
3面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)架構(gòu)
基于以上的需求與挑戰(zhàn)，需要構(gòu)建“能力開放、靈活支撐、安全服務(wù)”的面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)，有效支撐各類創(chuàng)新應(yīng)用，提升數(shù)據(jù)資源的價(jià)值轉(zhuǎn)換能力。
3.1 系統(tǒng)邏輯架構(gòu)
數(shù)據(jù)分析系統(tǒng)一般分為集團(tuán)總部、省分兩級架構(gòu)，省分?jǐn)?shù)據(jù)分析系統(tǒng)邏輯架構(gòu)如圖1所示。
省分?jǐn)?shù)據(jù)分析系統(tǒng)主要包括4層結(jié)構(gòu)，即數(shù)據(jù)獲取層、數(shù)據(jù)存儲層、數(shù)據(jù)應(yīng)用層和數(shù)據(jù)服務(wù)層。采集的數(shù)據(jù)源包括CRM、計(jì)費(fèi)、賬務(wù)管理、OCS、客服、VAC平臺、cBSS等系統(tǒng)的基礎(chǔ)數(shù)據(jù)以及集團(tuán)總部下發(fā)文件明細(xì)數(shù)據(jù)、擴(kuò)展采集整合OSS域、MSS域的網(wǎng)管日志、網(wǎng)元信令、地理位置移動信息、上網(wǎng)痕跡、財(cái)務(wù)核算等數(shù)據(jù)。數(shù)據(jù)采集的方式可以是接口文件、DBlink訪問、ETL加工處理、人機(jī)交互等方式。通過系列加工流程、深度分析和信息挖掘，在數(shù)據(jù)存儲層形成企業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)集市。數(shù)據(jù)應(yīng)用層表現(xiàn)形式包括運(yùn)營總覽、預(yù)定義報(bào)表、縱向上傳、異動監(jiān)控、電子書、即席查詢、OLAP分析等基礎(chǔ)功能，精準(zhǔn)營銷、客戶維系、網(wǎng)格管理等生產(chǎn)支撐體系以及外部輸出服務(wù)功能。在數(shù)據(jù)服務(wù)層，可通過個性化定制、信息推送、用戶搜素、能力開放等方式，實(shí)現(xiàn)對內(nèi)對外服務(wù)。在整個數(shù)據(jù)加工處理、流轉(zhuǎn)服務(wù)過程中，數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、生命周期等數(shù)據(jù)管理措施貫穿始終。通過安全制度、安全技術(shù)、安全運(yùn)營、安全教育等運(yùn)營機(jī)制確保數(shù)據(jù)安全。
3.2系統(tǒng)技術(shù)架構(gòu)
技術(shù)架構(gòu)上采用Hadoop、MPP、傳統(tǒng)關(guān)系型數(shù)據(jù)庫混搭模式，揚(yáng)長避短。Hadoop對海量數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的處理能力強(qiáng)，且易擴(kuò)展；MPP數(shù)據(jù)庫對數(shù)據(jù)的處理性能高，可提升數(shù)據(jù)實(shí)時分析能力：傳統(tǒng)成熟關(guān)系型數(shù)據(jù)庫作為主數(shù)據(jù)倉庫，可確保核心數(shù)據(jù)服務(wù)能力的穩(wěn)定。數(shù)據(jù)分析系統(tǒng)技術(shù)架構(gòu)如圖2所示。
圖2中，Hadoop適用于大集群海量離線數(shù)據(jù)分析，可擴(kuò)展至1 000多個節(jié)點(diǎn)，可處理PB級海量數(shù)據(jù)。利用Hadoop對海量非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)處理能力，可對網(wǎng)管日志、網(wǎng)元信令、上網(wǎng)痕跡等進(jìn)行預(yù)處理整合。由于Hadoop的分布式并行計(jì)算和易擴(kuò)展特性，且對硬件平臺的要求相對較低（比如x86平臺集群），可實(shí)現(xiàn)靈活配置，按需、快速分配資源，有效控制成本。
Hadoop生態(tài)圈中，Impala與Hive都是構(gòu)建在Hadoop之上的數(shù)據(jù)查詢工具，各有側(cè)重，Hive適用于靜態(tài)批處理查詢分析，而Impala適用于實(shí)時交互式SQL查詢。可以先用Hive數(shù)據(jù)處理能力，進(jìn)行數(shù)據(jù)轉(zhuǎn)換聚合；再用Impala在Hive處理后的結(jié)果集上實(shí)施快速數(shù)據(jù)分析。HBase是運(yùn)行于HDFS頂層的NoSQL．具備隨即讀寫功能，是一種列存儲數(shù)據(jù)庫。而Hive支持HSQL，是一種類SQL編程接口，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，它本身不存儲數(shù)據(jù)。
MPP是一種海量數(shù)據(jù)實(shí)時分析架構(gòu)。適合小集群(100以內(nèi))、低并發(fā)（50以內(nèi)）的場景，可處理TB級海量數(shù)據(jù)。比如EMC Greenplum、HP Vertica、IBM Netezza、TeradataAster等。MPP數(shù)據(jù)庫存儲明細(xì)數(shù)據(jù)、輕度匯總數(shù)據(jù)等。
MPP采用不共享架構(gòu)，每個節(jié)點(diǎn)運(yùn)行自己的操作系統(tǒng)和數(shù)據(jù)庫等，節(jié)點(diǎn)之間信息交互通過網(wǎng)絡(luò)傳輸實(shí)現(xiàn)。與Hadoop相比，擴(kuò)展性、并發(fā)性比不上Hadoop，這可從CAP理論中得到解釋。根據(jù)CAP定律(consistency，availability，partition tolerance theorem)：在分布式計(jì)算機(jī)系統(tǒng)中，一致性、可用性和分區(qū)容錯性這3種保證無法同時得到滿足，最多滿足兩個。因?yàn)镸PP始終還是DB數(shù)據(jù)庫，一定要考慮一致性，其次考慮可用性，最后才在可能的情況下盡量做好分區(qū)容錯性。而Hadoop是專為并行處理和存儲設(shè)計(jì)的，所有數(shù)據(jù)都以文件形式存儲，它優(yōu)先考慮的是分區(qū)容錯性，然后是可用性，最后再考慮一致性。所以Hadoop的可擴(kuò)展性當(dāng)然優(yōu)于MPP。
傳統(tǒng)RDB數(shù)據(jù)庫（Oracle、DB2等）用于存儲用戶標(biāo)簽庫、用戶361 0全息數(shù)據(jù)、粗粒度匯總數(shù)據(jù)、報(bào)表數(shù)據(jù)、多維數(shù)據(jù)、指標(biāo)庫等結(jié)果數(shù)據(jù)，確保核心數(shù)據(jù)服務(wù)能力的穩(wěn)定。
4數(shù)據(jù)治理與數(shù)據(jù)安全
在移動互聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)的穹頂之下，未來的IT運(yùn)維管理被賦予了更多的數(shù)據(jù)治理、數(shù)據(jù)挖掘和數(shù)據(jù)安全管理的重任，傳統(tǒng)IT走向DT。“Garbage in，Carbage out”表示輸出質(zhì)量是由輸入質(zhì)量決定的。面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)，數(shù)據(jù)治理管控機(jī)制如圖3所示。
圖3中列出數(shù)據(jù)生產(chǎn)中業(yè)務(wù)規(guī)范、數(shù)據(jù)采集加工過程中常規(guī)稽核規(guī)則配置以及和生產(chǎn)系統(tǒng)互動、與數(shù)據(jù)需求方互動運(yùn)維協(xié)作機(jī)制。
面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)還必須確保“云、管、端”的數(shù)據(jù)安全，對涉密敏感信息需要脫敏加密，加強(qiáng)數(shù)據(jù)輸出服務(wù)的安全防護(hù)和流程管理，從管理、技術(shù)和控制
3個視角，建立數(shù)據(jù)資產(chǎn)安全運(yùn)營規(guī)范機(jī)制。
·從管理視角看，包括規(guī)章制度與作業(yè)標(biāo)準(zhǔn)的制定，
崗位角色的設(shè)定，管理流程模型的制訂等。
·從控制角度看，涵蓋網(wǎng)絡(luò)層、系統(tǒng)層、應(yīng)用層和數(shù)據(jù)
層的安全控制、安全審計(jì)等。
·從技術(shù)視角看，需要采用立體交互的技術(shù)防護(hù)、監(jiān)
控與審計(jì)措施，做到安全預(yù)警、保護(hù)、檢測、反應(yīng)、恢
復(fù)、反擊，以保障系統(tǒng)安全穩(wěn)定不間斷應(yīng)用。
總體來看，技術(shù)、人員、管理構(gòu)成信息安全的三要素。其中，技術(shù)是核心，人員是關(guān)鍵，管理是保障。管理和技術(shù)并重，技術(shù)和人員結(jié)合，充分發(fā)揮人的作用，做到人、技術(shù)和管理的和諧統(tǒng)一，在法律和安全規(guī)章的約束下，才能確保企業(yè)信息安全的真正有效落地。
5數(shù)據(jù)服務(wù)的應(yīng)用場景
5.1 數(shù)據(jù)服務(wù)的迭代優(yōu)化流程
如何利用運(yùn)營商擁有的豐富、多維、高價(jià)值的“數(shù)據(jù)資產(chǎn)”，解決自身營銷和客戶服務(wù)精準(zhǔn)性，以改善用戶體驗(yàn)，提升用戶價(jià)值與忠誠度；如何對外數(shù)據(jù)輸出和能力開放，服務(wù)于產(chǎn)業(yè)鏈各方合作伙伴，服務(wù)于社會；這是個漸進(jìn)的過程，圖4表示這種迭代優(yōu)化流程。
圖4中，數(shù)據(jù)服務(wù)的基礎(chǔ)是面向DT服務(wù)的數(shù)據(jù)分析系統(tǒng)（數(shù)據(jù)中心），通過大數(shù)據(jù)積累、選定應(yīng)用方向、數(shù)據(jù)分析、正確的解讀、實(shí)施效果評估、完善與再循環(huán)閉環(huán)流程，逐步提升服務(wù)效果和能力。其中比較關(guān)鍵的環(huán)節(jié)包括數(shù)據(jù)清洗、數(shù)據(jù)集成、構(gòu)建模型、算法參數(shù)調(diào)優(yōu)等。
5.2精準(zhǔn)營銷服務(wù)支撐
在數(shù)據(jù)中心中構(gòu)建客戶361°全息視圖，如圖5所示。
圖5中，一些用戶衍生屬性，是通過CHAID（卡方自動交叉檢驗(yàn)）分類算法、隨機(jī)森林模型等算法挖掘分析得出，比如忠誠度、流失傾向、興趣愛好等。有些屬性對衍生屬性的動態(tài)變化起著關(guān)鍵作用，比如交際圈的收縮、主叫異常波動會顯著影響忠誠度、流失傾向等評估，圖6顯示了流失預(yù)警的關(guān)鍵特征。
客戶361°全息視圖，在企業(yè)內(nèi)部精準(zhǔn)營銷服務(wù)實(shí)際運(yùn)用中，取得較好效果，據(jù)業(yè)務(wù)部門營銷后評估報(bào)告，流量類業(yè)務(wù)的針對性營銷較先前普銷型推薦的成功率提升了7.5個百分點(diǎn)，客戶對營銷的滿意度提升近10個百分點(diǎn)，存量公眾用戶的保有率與2014年同比提升1.4個百分點(diǎn)，續(xù)約用戶的ARPU值也有明顯提升。此外，通過用戶4G終端選購因素的挖掘分類訓(xùn)練，得出實(shí)驗(yàn)結(jié)果：訓(xùn)練分區(qū)查準(zhǔn)率71%，測試分區(qū)查準(zhǔn)率68%，查全率平均65%，預(yù)計(jì)經(jīng)過迭代優(yōu)化，對精準(zhǔn)營銷也會發(fā)生積極作用。
6結(jié)束語
大數(shù)據(jù)時代給運(yùn)營商業(yè)務(wù)創(chuàng)新和涅槃重生提供了新的曙光。數(shù)據(jù)資產(chǎn)運(yùn)營是一個迭代優(yōu)化的過程，構(gòu)建易擴(kuò)展、性能高效的靈活系統(tǒng)架構(gòu)是需求的推動，也是產(chǎn)生價(jià)值的源泉。目前建設(shè)的統(tǒng)一數(shù)據(jù)分析系統(tǒng)平臺，已取得初步成效和商業(yè)價(jià)值。平臺架構(gòu)的設(shè)計(jì)方案、數(shù)據(jù)治理的協(xié)同管理對業(yè)界有一定參考價(jià)值。從未來的發(fā)展看，大數(shù)據(jù)資產(chǎn)對運(yùn)營商業(yè)務(wù)貢獻(xiàn)會越來越多。與第三方合作，構(gòu)建大數(shù)據(jù)生態(tài)體系和能力開放已在開展并會持續(xù)增強(qiáng)，數(shù)據(jù)租賃、數(shù)據(jù)分析、數(shù)據(jù)分享服務(wù)等將是運(yùn)營商提供通信網(wǎng)絡(luò)服務(wù)外的一大亮點(diǎn)。
7摘 要：DT時代，數(shù)據(jù)分析系統(tǒng)肩負(fù)著運(yùn)營商業(yè)務(wù)創(chuàng)新和運(yùn)營強(qiáng)支撐的更高要求。首先闡述了深化數(shù)據(jù)分析、增益數(shù)據(jù)價(jià)值所面臨的需求與挑戰(zhàn)；接著，提出面向開放服務(wù)的數(shù)據(jù)分析系統(tǒng)的邏輯架構(gòu)和技術(shù)架構(gòu)以及數(shù)據(jù)治理與數(shù)據(jù)安全措施，以實(shí)現(xiàn)能力開放、架構(gòu)靈活的運(yùn)營支撐；最后示例介紹該平臺的服務(wù)場景以及取得的良好效果和價(jià)值體現(xiàn)。
