隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，數(shù)據(jù)呈爆炸式增長(zhǎng)，其重要性已被企業(yè)提升到前所未有的高度，成為了企業(yè)發(fā)展的戰(zhàn)略資產(chǎn)。海量數(shù)據(jù)的產(chǎn)生，給企業(yè)帶來巨大潛在價(jià)值的同時(shí)，也讓企業(yè)在數(shù)據(jù)存儲(chǔ)和處理能力方面面臨著更大的挑戰(zhàn)。
在移動(dòng)互聯(lián)網(wǎng)出現(xiàn)之前，運(yùn)營(yíng)商數(shù)據(jù)主要是人機(jī)會(huì)話方式產(chǎn)生的，以結(jié)構(gòu)化數(shù)據(jù)為主;隨著互聯(lián)網(wǎng)尤其是移動(dòng)互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了大量的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫應(yīng)對(duì)這類應(yīng)用需求，無論從技術(shù)上還是功能上都存在明顯的不足，而Hadoop等技術(shù)的誕生為非結(jié)構(gòu)化的海量數(shù)據(jù)處理提供了新的研究思路和解決方案。
在技術(shù)上，中興軟創(chuàng)經(jīng)過綜合比較傳統(tǒng)數(shù)據(jù)倉庫技術(shù)和Hadoop等新技術(shù)，結(jié)合植根多年的運(yùn)營(yíng)商服務(wù)經(jīng)驗(yàn)，提出了構(gòu)建新一代運(yùn)營(yíng)商數(shù)據(jù)中心的解決方案。中興軟創(chuàng)選擇傳統(tǒng)數(shù)據(jù)倉庫(如Oracle)與Hadoop混搭的方式，借鑒關(guān)系型數(shù)據(jù)倉庫在傳統(tǒng)應(yīng)用支撐方面以及在復(fù)雜查詢和分析方面的快速響應(yīng)能力，同時(shí)也借鑒了Hadoop的非結(jié)構(gòu)化數(shù)據(jù)處理能力，實(shí)現(xiàn)數(shù)據(jù)的高效運(yùn)算、低耗能存儲(chǔ)，滿足運(yùn)營(yíng)商的日常戰(zhàn)略需求。
圖1 企業(yè)數(shù)據(jù)中心技術(shù)架構(gòu)圖
在功能上，新一代運(yùn)營(yíng)商數(shù)據(jù)中心包括三大能力中心：數(shù)據(jù)生產(chǎn)中心、數(shù)據(jù)服務(wù)中心、數(shù)據(jù)管理中心。
圖2 企業(yè)數(shù)據(jù)中心功能架構(gòu)圖
數(shù)據(jù)生產(chǎn)中心作為數(shù)據(jù)中心的核心，主要負(fù)責(zé)企業(yè)數(shù)據(jù)的采集和處理，保障數(shù)據(jù)的及時(shí)性、高質(zhì)性和穩(wěn)定性。基于大數(shù)據(jù)技術(shù)為數(shù)據(jù)生產(chǎn)、測(cè)試和挖掘構(gòu)建基礎(chǔ)的計(jì)算、存儲(chǔ)、作業(yè)提交、任務(wù)調(diào)度、數(shù)據(jù)查詢和認(rèn)證授權(quán)等能力;同時(shí)通過引入Spark、Spark Streaming、impala等系統(tǒng)，進(jìn)一步提升平臺(tái)實(shí)時(shí)性能和效率。
在接口數(shù)據(jù)采集方面，采用實(shí)時(shí)增量方式采集，提升數(shù)據(jù)入庫效率，減小生產(chǎn)系統(tǒng)數(shù)據(jù)抽取壓力;整合層通過實(shí)時(shí)與增量整合模式提升實(shí)時(shí)性和及時(shí)性;中間層以基線+增量的方式進(jìn)行基礎(chǔ)寬表計(jì)算，進(jìn)一步優(yōu)化基礎(chǔ)寬表計(jì)算的效率;匯總層通過標(biāo)簽、指標(biāo)模塊化，實(shí)現(xiàn)靈活、高效的標(biāo)簽、指標(biāo)庫。
數(shù)據(jù)服務(wù)中心負(fù)責(zé)把企業(yè)數(shù)據(jù)中心的能力進(jìn)行封裝，通過API、查詢、推送、資源等方式對(duì)外提供服務(wù)，探索數(shù)據(jù)變現(xiàn)之道。通過系統(tǒng)目錄和門戶網(wǎng)站，實(shí)現(xiàn)企業(yè)數(shù)據(jù)能力的可視、可查;通過標(biāo)準(zhǔn)化的訂閱、審批和服務(wù)提供流程，實(shí)現(xiàn)數(shù)據(jù)、資源、消息共享;通過定制化的加密脫敏、精細(xì)化的權(quán)限控制、詳細(xì)的使用日志的記錄和審計(jì)，最終實(shí)現(xiàn)安全的數(shù)據(jù)共享。
數(shù)據(jù)管理中心是以數(shù)據(jù)資產(chǎn)為核心打造的數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)管理和生產(chǎn)過程管理; 同時(shí)，以全程調(diào)度為中心銜接管理和生產(chǎn)，提升系統(tǒng)端到端的協(xié)同式數(shù)據(jù)生產(chǎn)效率和安全質(zhì)量。
2016年，中興軟創(chuàng)和中國電信湖南省分公司開展合作，率先協(xié)助湖南電信完成新一代的企業(yè)數(shù)據(jù)中心(EDC)項(xiàng)目的上線。全新打造的企業(yè)數(shù)據(jù)中心成為湖南電信大數(shù)據(jù)和各項(xiàng)業(yè)務(wù)的連接器，以全面、及時(shí)、高質(zhì)、敏捷、安全的能力，支撐企業(yè)內(nèi)外部的數(shù)據(jù)需求，為踐行湖南電信乃至中國電信集團(tuán)的發(fā)展戰(zhàn)略奠定堅(jiān)實(shí)基礎(chǔ)!
