前言

　　我國鐵路信息化建設經(jīng)過幾十年的發(fā)展，已經(jīng)形成多個較為未穩(wěn)定的系統(tǒng)，如辦公自動化系統(tǒng)(OA)、運輸生產(chǎn)計劃系統(tǒng)(FOMS)、鐵路運輸管理信息系統(tǒng)(TIMS)、鐵路列車調(diào)度指揮系統(tǒng)(TDCS)、鐵路車輛管理系統(tǒng)(CMIS)、鐵路客票發(fā)售和預定系統(tǒng)(PMIS)、機務、工務、電務等管理信息系統(tǒng)以及中國鐵路總公司站和12306鐵路客戶服務中心等，提高了鐵路管理和決策的智能化程度，但在鐵路信息化建設之初，由于缺乏統(tǒng)籌規(guī)劃，各信息系統(tǒng)的建設通常以業(yè)務部門為界限，各個系統(tǒng)之間的業(yè)務協(xié)同及數(shù)據(jù)交互處于割裂狀態(tài)，隨著業(yè)務領域的不斷拓展，由于各時期所采用的開發(fā)技術(shù)互不相同，硬件及平臺的異構(gòu)性等原因暴露出鐵路在信息化建設方面存在的一些問題：

　　(1)由于各個業(yè)務信息系統(tǒng)是獨立建設的，每個都自成體系，導致各個系統(tǒng)間包括系統(tǒng)內(nèi)的信息資源不能實現(xiàn)有效整合。系統(tǒng)軟件專用，數(shù)據(jù)庫獨立，信息難以共享，綜合利用難度巨大。

　　(2)由于缺乏前期規(guī)劃，各業(yè)務信息系統(tǒng)的協(xié)議、編碼和接口規(guī)范不統(tǒng)一，難以實現(xiàn)信息共享和交換，對突發(fā)事件難以快速響應。

　　(3)各業(yè)務系統(tǒng)的操作系統(tǒng)存在非常大的異構(gòu)性，操作系統(tǒng)有UNIX、Windows 等，也有大型機操作系統(tǒng)。

　　(4)數(shù)據(jù)庫管理系統(tǒng)也存在多種不同，如SQLServer、DB2、Oracle等，各部門之間數(shù)據(jù)資源共享很難實現(xiàn)。

　　1 Hadoop 分布式系統(tǒng)

　　隨著數(shù)據(jù)容量、數(shù)據(jù)維度的爆炸式增長，傳統(tǒng)模式的數(shù)據(jù)處理方式已經(jīng)難以滿足數(shù)據(jù)分析、業(yè)務處理等在處理效率、響應速度等方面的要求，在這種情況下，大數(shù)據(jù)與云計算的概念便應運而生。在鐵路領域，全國鐵路數(shù)據(jù)同樣滿足了容量巨大、維度復雜的特點，同時鐵路行業(yè)對業(yè)務響應的要求也滿足了價值豐富、響應快速的特性，這些均說明大數(shù)據(jù)與云計算的方式在該領域同樣適用。但是當前我國鐵路還停留在傳統(tǒng)的數(shù)據(jù)存儲形式，系統(tǒng)設計與實現(xiàn)也停留在傳統(tǒng)模式中，因此將大數(shù)據(jù)、云計算等先進的技術(shù)應用于鐵路運輸領域是十分必要的。

　　Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的`軟件框架，能夠使用戶在不了解分布式底層的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算與存儲數(shù)據(jù)。與常規(guī)系統(tǒng)相比，Hadoop 采用并行執(zhí)行機制，大大提高了運算效率。并且Hadoop 在檢驗應用層，處理異常錯誤等方面充分考慮了“硬件故障是常態(tài)而非異態(tài)”的理念，利用集群實現(xiàn)了高容錯率的特性。

　　通過Hadoop 集群視圖不難發(fā)現(xiàn)，在Hadoop 架構(gòu)中，存在大量的數(shù)據(jù)節(jié)點，每個數(shù)據(jù)節(jié)點都被管理節(jié)點按照某種規(guī)則分配一定的任務。在這種情況下，所有節(jié)點(或者所有活躍節(jié)點)進行并行運算，用以解決復雜的大數(shù)據(jù)問題。我國鐵路有6000 多個鐵路車站，且在鐵路運輸中的作用各不相同，這就造成了鐵路數(shù)據(jù)存儲、業(yè)務處理方面存在操作困難、反應遲緩等問題。以車站為單位作為數(shù)據(jù)節(jié)點，或按照某種方式將車站進行分類形成節(jié)點區(qū)域恰恰能夠滿足Hadoop 架構(gòu)中的數(shù)據(jù)節(jié)點(DateNode)要求。同時，我國鐵路行業(yè)現(xiàn)行管理機制較為集中，在中國鐵路總公司層面建立相應的名字節(jié)點(NameNode)能夠保證核心部門對全國鐵路運輸狀況進行統(tǒng)籌規(guī)劃與管理。

　　從軟件資源、硬件資源的角度來看，Hadoop 大數(shù)據(jù)框架有兩個主要特征：

　　(1)異構(gòu)性

　　a.Hadoop 所依賴的網(wǎng)絡環(huán)境可以是異構(gòu)的。目前對Hadoop 集群的應用主要集中在局域網(wǎng)內(nèi)部。各種類型的局域網(wǎng)，運行不同的協(xié)議，這些不同協(xié)議的子網(wǎng)互聯(lián)成廣域網(wǎng)。

　　b. 組成Hadoop 集群的服務器硬件資源是異構(gòu)的。分布式系統(tǒng)由不同硬件類型的服務器組成，導致存儲和運算資源分配的不同。

　　c.服務節(jié)點所處的軟件環(huán)境是異構(gòu)的。服務器的操作系統(tǒng)可以運行Windows、Unix、Linux 等不同OS。同時，服務所使用的編程語言也可以不同，服務間通過協(xié)議接口進行通

　　(2)服務節(jié)點共享資源

　　資源共享是形成分布式系統(tǒng)的主要動力。在Hadoop 大數(shù)據(jù)集群中，數(shù)據(jù)資源分散存儲于不同物理服務器的磁盤上。在物理視圖上，數(shù)據(jù)是分散存儲的，而在邏輯視圖上，數(shù)據(jù)則是全局的統(tǒng)一的。這就是說，數(shù)據(jù)“分布式存儲”這一特性對用戶來說是透明的。

　　2 Hadoop 分布式系統(tǒng)的安全性

　　鐵路應用Hadoop 技術(shù)的存在著一定的安全風險。首先，系統(tǒng)本身存在如網(wǎng)絡攻擊、系統(tǒng)漏洞等安全風險;其次，客戶的隱私數(shù)據(jù)面臨泄露風險。鐵路企業(yè)既能夠獲取旅客和貨主的身份證號碼、聯(lián)系方式等基礎信息，又可以通過數(shù)據(jù)挖掘出旅客和貨主深層次的運輸習慣等信息。

　　針對上述問題，首先應建立嚴格的數(shù)據(jù)存儲機制，并對數(shù)據(jù)存儲選擇加密性能比較高的加密算法進行加密，同時采用數(shù)據(jù)安全隔離技術(shù)，如物理隔離、虛擬化和Multi-tenancy 等方式;其次建立嚴格的數(shù)據(jù)訪問控制機制，使用技術(shù)手段依據(jù)不同權(quán)限做好敏感數(shù)據(jù)如客戶的名字、身份證號、聯(lián)系方式等的消隱工作;最后做好數(shù)據(jù)備份與恢復工作，實現(xiàn)快速的虛擬機恢復，支持文件級完整與增量備份。

　　3 結(jié)束語

　　綜上所述，Hadoop 技術(shù)實現(xiàn)了全路信息的資源共享，降低了投資成本和維護成本;各部門可根據(jù)自身發(fā)展需要，實現(xiàn)資源動態(tài)配置，有效降低投資成本，簡化內(nèi)部管理;各業(yè)務部門實現(xiàn)信息高度共享，既提高了生產(chǎn)效率，又增加了部門參與生產(chǎn)與決策的積極性。

【探析Hadoop 技術(shù)在鐵路信息化建設中的作用論文】相關文章：

1.信息科在醫(yī)院信息化建設中的作用論文

2.信息化技術(shù)論文

3.探析鐵路準寬軌道岔的組裝技術(shù)論文

4.地面數(shù)字電視技術(shù)的作用探析論文

5.鐵路電氣化技術(shù)論文

6.新農(nóng)村建設中農(nóng)機技術(shù)推廣的作用論文

7.地方高校圖書館在學科建設中的作用論文

8.水利工程建設中統(tǒng)計的作用論文