1系統(tǒng)架構(gòu)設(shè)計(jì)

　　整個(gè)系統(tǒng)以廣電大數(shù)據(jù)分析平臺為基礎(chǔ)構(gòu)建，系統(tǒng)由數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)分析中心、三個(gè)數(shù)據(jù)應(yīng)用中心(推薦中心、決策中心和服務(wù)中心)組成和系統(tǒng)管理模塊組成。

　　1.1數(shù)據(jù)采集系統(tǒng)

　　大數(shù)據(jù)時(shí)代，大數(shù)據(jù)有著來源復(fù)雜、體量巨大、價(jià)值潛伏等特點(diǎn)，這使得大數(shù)據(jù)分析必然要依托計(jì)算機(jī)技術(shù)予以實(shí)現(xiàn)．因此從兩個(gè)方向上加強(qiáng)數(shù)據(jù)采集統(tǒng)建設(shè)，一是側(cè)重于數(shù)據(jù)的處理與表示，強(qiáng)調(diào)采集、存取、加工和可視化數(shù)據(jù)的方法;二是研究數(shù)據(jù)的統(tǒng)計(jì)規(guī)律，側(cè)重于對微觀數(shù)據(jù)本質(zhì)特征的提取和模式發(fā)現(xiàn)，在兩個(gè)方向上的協(xié)同、均衡推進(jìn)，以此來保障大數(shù)據(jù)平臺應(yīng)用的穩(wěn)健成長和可持續(xù)發(fā)展．廣電的網(wǎng)絡(luò)和用戶是其核心資產(chǎn)，而其中流動(dòng)的數(shù)據(jù)(包括用戶基礎(chǔ)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、網(wǎng)管/日志數(shù)據(jù)、用戶位置數(shù)據(jù)、終端信息等)是核心數(shù)據(jù)資產(chǎn)．對于廣電運(yùn)營商來說，最有價(jià)值的數(shù)據(jù)來自基礎(chǔ)網(wǎng)絡(luò)，對于基礎(chǔ)網(wǎng)絡(luò)數(shù)據(jù)的挖掘和分析是運(yùn)營商大數(shù)據(jù)挖掘的最重要方向．因此其數(shù)據(jù)采集的目標(biāo)包括機(jī)頂盒數(shù)據(jù)、CＲM數(shù)據(jù)、帳務(wù)數(shù)據(jù)、客服數(shù)據(jù)、運(yùn)維數(shù)據(jù)、媒資數(shù)據(jù)、GIS數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)和其他手工錄入、表格數(shù)據(jù)．采集頻率要求可以實(shí)現(xiàn)實(shí)時(shí)采集和定時(shí)批量采集．采集這類數(shù)據(jù)帶來一個(gè)問題就是各類數(shù)據(jù)雜亂無章，會導(dǎo)致數(shù)據(jù)質(zhì)量問題越來越嚴(yán)重，通過引進(jìn)實(shí)時(shí)質(zhì)量監(jiān)控和清洗技術(shù)，建設(shè)強(qiáng)大的分布式計(jì)算和集群能力，提高數(shù)據(jù)監(jiān)控和數(shù)據(jù)采集性能，利用分布式處理技術(shù)，實(shí)現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)清洗以及相應(yīng)的數(shù)據(jù)質(zhì)量檢查工作，保證采集到高質(zhì)量的數(shù)據(jù)，將廣電大數(shù)據(jù)中心建設(shè)成一個(gè)覆蓋廣電系統(tǒng)全部數(shù)據(jù)的存儲中心，具備采集各類結(jié)構(gòu)化、非結(jié)構(gòu)化海量數(shù)據(jù)的處理能力．

　　1.2數(shù)據(jù)分析中心

　　廣電企業(yè)每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)，需要對這些數(shù)據(jù)歸集、提煉，廣電企業(yè)大數(shù)據(jù)平臺建設(shè)的意義在于有效掌握規(guī)模龐大的數(shù)據(jù)信息，對這些數(shù)據(jù)信息進(jìn)行智能處理，從中分析和挖掘出有價(jià)值的信息．在廣電大數(shù)據(jù)分析中需要對直播節(jié)目分析、互動(dòng)業(yè)務(wù)分析、互聯(lián)網(wǎng)流量分析、互聯(lián)網(wǎng)內(nèi)容分析、廣電客戶分析、市場收益分析、智能內(nèi)容推送和廣告分析等，通過這類數(shù)據(jù)分析，能夠?qū)崟r(shí)了解廣電運(yùn)營商的經(jīng)營狀況，提供決策支持．因此采用兩種方式分析方法對收集到的數(shù)據(jù)進(jìn)行分析處理．一是采用在線分析方法技術(shù)，使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的．這些信息是從原始數(shù)據(jù)直接轉(zhuǎn)換過來的，他們以用戶容易理解的方式反映企業(yè)的真實(shí)情況．在線分析策略是將關(guān)系型的或普通的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)存貯，以便于進(jìn)行分析，從而達(dá)到在線分析處理的目的．這種多維數(shù)據(jù)存儲可以被看作一個(gè)超立方體，沿著各個(gè)維方向存貯數(shù)據(jù)，它允許分析人員沿事物的軸線方便地分析數(shù)據(jù)，分析形式一般有切片和切塊以及下鉆、挖掘等操作．二是數(shù)據(jù)挖掘是從海量、不完全的、有噪聲的數(shù)據(jù)中挖據(jù)出隱含的、未知的、用戶可能感興趣的和對決策有潛在價(jià)值的知識和規(guī)則．這些規(guī)則蘊(yùn)含了數(shù)據(jù)庫中一組對象之間的特定關(guān)系，揭示出一些有用的信息，可以為經(jīng)營決策、市場策劃和金融預(yù)測等方面提供依據(jù)．

　　1.3數(shù)據(jù)應(yīng)用中心

　　在大數(shù)據(jù)分析平臺應(yīng)用過程中，數(shù)據(jù)本身并不是數(shù)據(jù)分析和數(shù)據(jù)挖掘的重點(diǎn)，重點(diǎn)在于如何應(yīng)用這些技術(shù)去解決企業(yè)在運(yùn)營中實(shí)際的商業(yè)問題．通過對數(shù)據(jù)分析和挖掘，了解企業(yè)運(yùn)行過程存在問題，預(yù)判企業(yè)中各類業(yè)務(wù)發(fā)展走向．對數(shù)據(jù)分析與挖掘結(jié)果來說主要有兩個(gè)方面，一是將分析結(jié)果給客戶使用，另一個(gè)是將分析結(jié)果提供給內(nèi)部用戶使用，因此在大數(shù)據(jù)分析平臺設(shè)計(jì)中，將數(shù)據(jù)應(yīng)用劃分為三個(gè)應(yīng)用中心:

　　1)推薦中心

　　推薦中心面向收視、寬帶使用用戶，通過分析使用用戶的收視、互聯(lián)網(wǎng)、消費(fèi)等行為，將使用用戶分群，總結(jié)群體特征，向不同群體推薦個(gè)性化的電視節(jié)目、廣告和增值應(yīng)用服務(wù)．從而提升用戶的使用體驗(yàn)，提升用戶的滿意度和粘度．

　　2)決策中心

　　決策中心面向廣電企業(yè)內(nèi)部決策者、管理者、經(jīng)營分析人員，通過對企業(yè)經(jīng)營數(shù)據(jù)的KPI、運(yùn)營監(jiān)控、經(jīng)營盤點(diǎn)，使企業(yè)決策者掌握企業(yè)運(yùn)營狀況及發(fā)展趨勢;智能報(bào)告協(xié)助分析人員自動(dòng)定位經(jīng)營中的問題;即席查詢在預(yù)定義的語義層基礎(chǔ)上，實(shí)現(xiàn)靈活的自定義查詢;通過主題分析滿足各部門、崗位的多維度分析需求;通過專題分析就某一具體問題進(jìn)行深入挖掘，輔助專業(yè)分析人員的工作;統(tǒng)計(jì)報(bào)表滿足各部門常規(guī)統(tǒng)計(jì)需求．

　　3)服務(wù)中心

　　服務(wù)中心面向廣電的合作伙伴，比如:電視臺、廣告商、服務(wù)和內(nèi)容提供商、相關(guān)政府職能部門等．通過對使用用戶收視行為的實(shí)時(shí)分析，將電視欄目實(shí)時(shí)收視率提供給電視臺，電視臺根據(jù)收視率進(jìn)行在線的問卷調(diào)查，提高電視臺的影響力，幫助其增強(qiáng)欄目的評價(jià)體系．為廣告商提供精準(zhǔn)的廣告投放策略，實(shí)時(shí)準(zhǔn)確的廣告投放評估，幫助廣告商提升廣告到達(dá)率、準(zhǔn)確度和營銷效果．為服務(wù)和內(nèi)容提供商的電影、電視和增值應(yīng)用等產(chǎn)品提升收視率和使用頻率，并進(jìn)行評估，為其提供受眾喜好特征，幫助其推出有針對性的產(chǎn)品．通過用戶收視數(shù)據(jù)、節(jié)目反饋等信息，將相關(guān)輿情向相關(guān)政府部門匯報(bào)．

　　1.4系統(tǒng)管理

　　系統(tǒng)管理是大數(shù)據(jù)分析平臺一個(gè)輔助功能模塊，主要是為了系統(tǒng)管理員對大數(shù)據(jù)平臺進(jìn)行有效的監(jiān)控和管理，提升大數(shù)據(jù)分析平臺性能使用，包含有如下幾個(gè)模塊:權(quán)限管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、調(diào)度管理、系統(tǒng)監(jiān)控等．

2數(shù)據(jù)應(yīng)用分析

　　移動(dòng)互聯(lián)網(wǎng)的發(fā)展為傳統(tǒng)行業(yè)帶來了新的思考，如何在互聯(lián)網(wǎng)時(shí)代更好地實(shí)現(xiàn)以客戶為中心的服務(wù)理念，借助大數(shù)據(jù)分析平臺、海量的客戶非結(jié)構(gòu)化的行為數(shù)據(jù)和傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，可以有效提升廣電個(gè)性化、人性化的服務(wù)水平．大數(shù)據(jù)分析平臺通過整合廣電網(wǎng)絡(luò)中多個(gè)數(shù)據(jù)源，并按照主題進(jìn)行劃分，在定義主題的過程中，提供廣電業(yè)務(wù)概念的規(guī)范定義．?dāng)?shù)據(jù)模型不偏重于面向某個(gè)應(yīng)用，而是站在企業(yè)角度統(tǒng)攬全局，提供可擴(kuò)展的模型設(shè)計(jì)，偏范式化的設(shè)計(jì)使平臺在最大程度上保持一致和靈活擴(kuò)展性．依托某廣電網(wǎng)絡(luò)公司業(yè)務(wù)開展情況，搭建數(shù)據(jù)分析平臺，具有如圖2所示的主題結(jié)構(gòu)，共計(jì)8大類53小類，從廣電網(wǎng)絡(luò)運(yùn)營的各個(gè)方面進(jìn)行了數(shù)據(jù)分析．