前言
我國鐵路信息化建設(shè)經(jīng)過幾十年的發(fā)展，已經(jīng)形成多個較為未穩(wěn)定的系統(tǒng)，如辦公自動化系統(tǒng)(OA)、運輸生產(chǎn)計劃系統(tǒng)(FOMS)、鐵路運輸管理信息系統(tǒng)(TIMS)、鐵路列車調(diào)度指揮系統(tǒng)(TDCS)、鐵路車輛管理系統(tǒng)(CMIS)、鐵路客票發(fā)售和預(yù)定系統(tǒng)(PMIS)、機務(wù)、工務(wù)、電務(wù)等管理信息系統(tǒng)以及中國鐵路總公司站和12306鐵路客戶服務(wù)中心等，提高了鐵路管理和決策的智能化程度，但在鐵路信息化建設(shè)之初，由于缺乏統(tǒng)籌規(guī)劃，各信息系統(tǒng)的建設(shè)通常以業(yè)務(wù)部門為界限，各個系統(tǒng)之間的業(yè)務(wù)協(xié)同及數(shù)據(jù)交互處于割裂狀態(tài)，隨著業(yè)務(wù)領(lǐng)域的不斷拓展，由于各時期所采用的開發(fā)技術(shù)互不相同，硬件及平臺的異構(gòu)性等原因暴露出鐵路在信息化建設(shè)方面存在的一些問題：
(1)由于各個業(yè)務(wù)信息系統(tǒng)是獨立建設(shè)的，每個都自成體系，導(dǎo)致各個系統(tǒng)間包括系統(tǒng)內(nèi)的信息資源不能實現(xiàn)有效整合。系統(tǒng)軟件專用，數(shù)據(jù)庫獨立，信息難以共享，綜合利用難度巨大。
(2)由于缺乏前期規(guī)劃，各業(yè)務(wù)信息系統(tǒng)的協(xié)議、編碼和接口規(guī)范不統(tǒng)一，難以實現(xiàn)信息共享和交換，對突發(fā)事件難以快速響應(yīng)。
(3)各業(yè)務(wù)系統(tǒng)的操作系統(tǒng)存在非常大的異構(gòu)性，操作系統(tǒng)有UNIX、Windows 等，也有大型機操作系統(tǒng)。
(4)數(shù)據(jù)庫管理系統(tǒng)也存在多種不同，如SQLServer、DB2、Oracle等，各部門之間數(shù)據(jù)資源共享很難實現(xiàn)。
1 Hadoop 分布式系統(tǒng)
隨著數(shù)據(jù)容量、數(shù)據(jù)維度的爆炸式增長，傳統(tǒng)模式的數(shù)據(jù)處理方式已經(jīng)難以滿足數(shù)據(jù)分析、業(yè)務(wù)處理等在處理效率、響應(yīng)速度等方面的要求，在這種情況下，大數(shù)據(jù)與云計算的概念便應(yīng)運而生。在鐵路領(lǐng)域，全國鐵路數(shù)據(jù)同樣滿足了容量巨大、維度復(fù)雜的特點，同時鐵路行業(yè)對業(yè)務(wù)響應(yīng)的要求也滿足了價值豐富、響應(yīng)快速的特性，這些均說明大數(shù)據(jù)與云計算的方式在該領(lǐng)域同樣適用。但是當前我國鐵路還停留在傳統(tǒng)的數(shù)據(jù)存儲形式，系統(tǒng)設(shè)計與實現(xiàn)也停留在傳統(tǒng)模式中，因此將大數(shù)據(jù)、云計算等先進的技術(shù)應(yīng)用于鐵路運輸領(lǐng)域是十分必要的。
Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的`軟件框架，能夠使用戶在不了解分布式底層的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算與存儲數(shù)據(jù)。與常規(guī)系統(tǒng)相比，Hadoop 采用并行執(zhí)行機制，大大提高了運算效率。并且Hadoop 在檢驗應(yīng)用層，處理異常錯誤等方面充分考慮了“硬件故障是常態(tài)而非異態(tài)”的理念，利用集群實現(xiàn)了高容錯率的特性。
通過Hadoop 集群視圖不難發(fā)現(xiàn)，在Hadoop 架構(gòu)中，存在大量的數(shù)據(jù)節(jié)點，每個數(shù)據(jù)節(jié)點都被管理節(jié)點按照某種規(guī)則分配一定的任務(wù)。在這種情況下，所有節(jié)點(或者所有活躍節(jié)點)進行并行運算，用以解決復(fù)雜的大數(shù)據(jù)問題。我國鐵路有6000 多個鐵路車站，且在鐵路運輸中的作用各不相同，這就造成了鐵路數(shù)據(jù)存儲、業(yè)務(wù)處理方面存在操作困難、反應(yīng)遲緩等問題。以車站為單位作為數(shù)據(jù)節(jié)點，或按照某種方式將車站進行分類形成節(jié)點區(qū)域恰恰能夠滿足Hadoop 架構(gòu)中的數(shù)據(jù)節(jié)點(DateNode)要求。同時，我國鐵路行業(yè)現(xiàn)行管理機制較為集中，在中國鐵路總公司層面建立相應(yīng)的名字節(jié)點(NameNode)能夠保證核心部門對全國鐵路運輸狀況進行統(tǒng)籌規(guī)劃與管理。
從軟件資源、硬件資源的角度來看，Hadoop 大數(shù)據(jù)框架有兩個主要特征：
(1)異構(gòu)性
a.Hadoop 所依賴的網(wǎng)絡(luò)環(huán)境可以是異構(gòu)的。目前對Hadoop 集群的應(yīng)用主要集中在局域網(wǎng)內(nèi)部。各種類型的局域網(wǎng)，運行不同的協(xié)議，這些不同協(xié)議的子網(wǎng)互聯(lián)成廣域網(wǎng)。
b. 組成Hadoop 集群的服務(wù)器硬件資源是異構(gòu)的。分布式系統(tǒng)由不同硬件類型的服務(wù)器組成，導(dǎo)致存儲和運算資源分配的不同。
c.服務(wù)節(jié)點所處的軟件環(huán)境是異構(gòu)的。服務(wù)器的操作系統(tǒng)可以運行Windows、Unix、Linux 等不同OS。同時，服務(wù)所使用的編程語言也可以不同，服務(wù)間通過協(xié)議接口進行通
(2)服務(wù)節(jié)點共享資源
資源共享是形成分布式系統(tǒng)的主要動力。在Hadoop 大數(shù)據(jù)集群中，數(shù)據(jù)資源分散存儲于不同物理服務(wù)器的磁盤上。在物理視圖上，數(shù)據(jù)是分散存儲的，而在邏輯視圖上，數(shù)據(jù)則是全局的統(tǒng)一的。這就是說，數(shù)據(jù)“分布式存儲”這一特性對用戶來說是透明的。
2 Hadoop 分布式系統(tǒng)的安全性
鐵路應(yīng)用Hadoop 技術(shù)的存在著一定的安全風(fēng)險。首先，系統(tǒng)本身存在如網(wǎng)絡(luò)攻擊、系統(tǒng)漏洞等安全風(fēng)險;其次，客戶的隱私數(shù)據(jù)面臨泄露風(fēng)險。鐵路企業(yè)既能夠獲取旅客和貨主的身份證號碼、聯(lián)系方式等基礎(chǔ)信息，又可以通過數(shù)據(jù)挖掘出旅客和貨主深層次的運輸習(xí)慣等信息。
針對上述問題，首先應(yīng)建立嚴格的數(shù)據(jù)存儲機制，并對數(shù)據(jù)存儲選擇加密性能比較高的加密算法進行加密，同時采用數(shù)據(jù)安全隔離技術(shù)，如物理隔離、虛擬化和Multi-tenancy 等方式;其次建立嚴格的數(shù)據(jù)訪問控制機制，使用技術(shù)手段依據(jù)不同權(quán)限做好敏感數(shù)據(jù)如客戶的名字、身份證號、聯(lián)系方式等的消隱工作;最后做好數(shù)據(jù)備份與恢復(fù)工作，實現(xiàn)快速的虛擬機恢復(fù)，支持文件級完整與增量備份。
3 結(jié)束語
綜上所述，Hadoop 技術(shù)實現(xiàn)了全路信息的資源共享，降低了投資成本和維護成本;各部門可根據(jù)自身發(fā)展需要，實現(xiàn)資源動態(tài)配置，有效降低投資成本，簡化內(nèi)部管理;各業(yè)務(wù)部門實現(xiàn)信息高度共享，既提高了生產(chǎn)效率，又增加了部門參與生產(chǎn)與決策的積極性。
【探析Hadoop 技術(shù)在鐵路信息化建設(shè)中的作用論文】相關(guān)文章：
6.新農(nóng)村建設(shè)中農(nóng)機技術(shù)推廣的作用論文
7.地方高校圖書館在學(xué)科建設(shè)中的作用論文
本文來源：http://www.nvnqwx.com/shiyongwen/2049679.htm