隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)的快速發(fā)展，半結(jié)構(gòu)化和非結(jié)構(gòu)化等類型數(shù)據(jù)成幾何倍增長(zhǎng)，學(xué)習(xí)和使用大數(shù)據(jù)管理技術(shù)順應(yīng)時(shí)代發(fā)展潮流。本文從數(shù)據(jù)管理技術(shù)的發(fā)展進(jìn)程出發(fā)，介紹了人工管理方式、文件系統(tǒng)管理方式、數(shù)據(jù)庫(kù)管理方式三種階段的管理方式。然后詳細(xì)介紹了關(guān)系數(shù)據(jù)庫(kù)和NoSQL非關(guān)系數(shù)據(jù)庫(kù)，并且將兩者從三種角度進(jìn)行了對(duì)比。最后對(duì)未來(lái)大數(shù)據(jù)時(shí)代信息管理方式作出了展望。

引言

　　隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)、云計(jì)算等各種新興服務(wù)的興起，極大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，隨之產(chǎn)生的是海量的數(shù)據(jù)，這些數(shù)據(jù)不僅來(lái)源的渠道多樣，并且數(shù)據(jù)規(guī)模和數(shù)據(jù)種類也是快速的增長(zhǎng)，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。大數(shù)據(jù)時(shí)代，無(wú)法將海量數(shù)據(jù)存儲(chǔ)和管理在一臺(tái)或者有限數(shù)目的服務(wù)器內(nèi)，更無(wú)法借助有限的計(jì)算機(jī)去處理和管理大數(shù)據(jù)。因此，如何利用現(xiàn)有的資源應(yīng)對(duì)當(dāng)前數(shù)據(jù)量的快速增長(zhǎng)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的有效、便捷、安全的管理，是當(dāng)前國(guó)內(nèi)外關(guān)于數(shù)據(jù)管理和數(shù)據(jù)分析亟需解決的問(wèn)題。

1 數(shù)據(jù)管理技術(shù)的發(fā)展

　　數(shù)據(jù)管理是指對(duì)各種類型的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、分類、計(jì)算、加工、檢索和傳輸?shù)倪^(guò)程。隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和改進(jìn)，數(shù)據(jù)庫(kù)管理技術(shù)也在不斷的更新?lián)Q代。到目前階段為止，數(shù)據(jù)管理技術(shù)主要發(fā)展歷程經(jīng)歷了以下階段：人工數(shù)據(jù)管理方式、文件系統(tǒng)管理方式和數(shù)據(jù)庫(kù)系統(tǒng)管理方式。

　　1.1 人工數(shù)據(jù)管理方式

　　20世紀(jì)50年代中期，計(jì)算機(jī)初期被應(yīng)用于科學(xué)計(jì)算方面，因此，早期的數(shù)據(jù)處理都是手工完成的。數(shù)據(jù)存儲(chǔ)只有磁帶、卡片和紙帶等低速存儲(chǔ)設(shè)備。既沒(méi)有操作系統(tǒng)，也沒(méi)有管理數(shù)據(jù)的專門(mén)軟件，此階段管理的數(shù)據(jù)，不能進(jìn)行共享，且沒(méi)有獨(dú)立性，數(shù)據(jù)純粹面向應(yīng)用，服務(wù)于應(yīng)用。

　　1.2 文件系統(tǒng)管理方式

　　20世紀(jì)60年代中期，隨著計(jì)算機(jī)進(jìn)一步的發(fā)展，不僅用于科學(xué)計(jì)算，而且更多地用于信息處理。對(duì)于數(shù)據(jù)存儲(chǔ)，有了磁盤(pán)、磁鼓等存儲(chǔ)設(shè)備。操作系統(tǒng)和高級(jí)語(yǔ)言的出現(xiàn)為文件系統(tǒng)管理提供了可能。此階段的文件系統(tǒng)，是按照相應(yīng)的規(guī)則將數(shù)據(jù)組織成一個(gè)獨(dú)立的命名文件。這一時(shí)期的數(shù)據(jù)特點(diǎn)是：數(shù)據(jù)可以長(zhǎng)期存儲(chǔ)在磁盤(pán)上、有專門(mén)的軟件進(jìn)行管理維護(hù)、數(shù)據(jù)不再獨(dú)立存在，數(shù)據(jù)不止服務(wù)于應(yīng)用，在一定程度上，數(shù)據(jù)的共享性得到了提高。

　　1.3 數(shù)據(jù)庫(kù)系統(tǒng)管理方式

　　20世紀(jì)60年代后期，數(shù)據(jù)庫(kù)系統(tǒng)管理方式逐漸形成并具有一定的規(guī)模。由于磁盤(pán)技術(shù)的不斷進(jìn)步和發(fā)展，低成本、高速的硬盤(pán)占領(lǐng)了市場(chǎng)，為新的數(shù)據(jù)管理技術(shù)提供了產(chǎn)生的必要條件。對(duì)應(yīng)的軟件技術(shù)也有一定的發(fā)展。數(shù)據(jù)庫(kù)系統(tǒng)是由計(jì)算機(jī)的軟硬件資源共同組成，實(shí)現(xiàn)了數(shù)據(jù)的動(dòng)態(tài)、有規(guī)則、獨(dú)立存儲(chǔ)。如圖1所示。

2 大數(shù)據(jù)管理技術(shù)

　　大數(shù)據(jù)是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。歸結(jié)為四個(gè)特點(diǎn)就是四“V”，即大量(Volume)、高速(Velocity)和多樣性(Variety)和價(jià)值(Value)。大數(shù)據(jù)首先體現(xiàn)在數(shù)據(jù)量上：全球著名咨詢機(jī)構(gòu)IDC(國(guó)際文獻(xiàn)資料中心)在2006年估計(jì)全世界產(chǎn)生的數(shù)據(jù)量是0.18ZB(1ZB=100萬(wàn)PB)，而截至2011年這個(gè)數(shù)字已經(jīng)提升了一個(gè)數(shù)量級(jí)，達(dá)到1.8ZB。這種數(shù)據(jù)產(chǎn)生的速度仍在增長(zhǎng)，預(yù)計(jì)2015年將達(dá)到8ZB。隨著數(shù)據(jù)量的增長(zhǎng)，得到龐大的數(shù)據(jù)源和樣本數(shù)據(jù)后，人們并不能容忍對(duì)于這些龐大的數(shù)據(jù)處理響應(yīng)時(shí)間。因此，大數(shù)據(jù)需要在數(shù)據(jù)量提高的前提下，數(shù)據(jù)的處理和響應(yīng)能力進(jìn)行提高，從而確保數(shù)據(jù)延遲可以在人們的接受范圍之內(nèi)。因此數(shù)據(jù)處理要得到有效的保證，那如何存儲(chǔ)和組織管理這些海量數(shù)據(jù)，值得我們?nèi)ヌ剿骱脱芯俊?/p>

　　2.1 關(guān)系型數(shù)據(jù)庫(kù)(RDBMS)

　　2.1.1 關(guān)系數(shù)據(jù)庫(kù)的提出

　　20世紀(jì)70年代初，IBM工程師Codd發(fā)表了一篇論文“A Relational Model of Large Shared DataBanks”，隨之關(guān)系數(shù)據(jù)庫(kù)時(shí)代宣告到來(lái)。關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(Relational Database ManagementSystem，簡(jiǎn)稱RDBMS)就是基于上述的論文而被設(shè)計(jì)出來(lái)的。在關(guān)系數(shù)據(jù)庫(kù)之前的系統(tǒng)主要有基于層次模型的層次數(shù)據(jù)庫(kù)、基于網(wǎng)狀模型的網(wǎng)狀數(shù)據(jù)庫(kù)等。以上幾種數(shù)據(jù)庫(kù)的主要不足是數(shù)據(jù)模型是很難被用戶所理解，并且編寫(xiě)的軟件與數(shù)據(jù)模式依賴性比較高。Codd提出的關(guān)系數(shù)據(jù)模型是基于表格、行、列、屬性等基本概念，將現(xiàn)實(shí)世界中的各類實(shí)體及其關(guān)系映射到表格上，并且還為關(guān)系模型建立了關(guān)系代數(shù)運(yùn)算。

　　2.1.2 關(guān)系數(shù)據(jù)庫(kù)的應(yīng)用

　　關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)最初主要是應(yīng)用于事務(wù)處理領(lǐng)域。隨著數(shù)據(jù)的不斷積累增長(zhǎng)，人們需要對(duì)數(shù)據(jù)進(jìn)行分析操作，提取出有用的信息以支持決策等等。這些分析操作主要包括簡(jiǎn)單匯總、聯(lián)機(jī)分析處理(online analytical processing，簡(jiǎn)稱OLAP，主要是多維分析)、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘等。有些分析處理需要對(duì)數(shù)據(jù)集進(jìn)行多次的掃描，分析查詢執(zhí)行的時(shí)間以分鐘或者小時(shí)計(jì)。與普通行存儲(chǔ)模式不同，一些學(xué)者提出了列存儲(chǔ)模式(columnar storage model)。列存儲(chǔ)模型有行存儲(chǔ)沒(méi)有的優(yōu)勢(shì)特征，當(dāng)查詢只涉及關(guān)系的某些數(shù)據(jù)列時(shí)，不會(huì)造成無(wú)關(guān)數(shù)據(jù)的提取，減少I(mǎi)/O操作，提高了查詢的效率。圍繞RDBMS，形成了一個(gè)完整的生態(tài)體系(廠家、技術(shù)、產(chǎn)品、服務(wù)等)，提供了包括數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)查詢與分析、數(shù)據(jù)展現(xiàn)(即可視化)等技術(shù)和產(chǎn)品，創(chuàng)造了巨大的數(shù)據(jù)庫(kù)產(chǎn)業(yè)，為社會(huì)發(fā)展做出了巨大貢獻(xiàn)。

　　2.1.3 關(guān)系數(shù)據(jù)庫(kù)的不足

　　大數(shù)據(jù)時(shí)代的到來(lái)，關(guān)系型數(shù)據(jù)庫(kù)并未做好全面的準(zhǔn)備，出現(xiàn)了諸多問(wèn)題，主要問(wèn)題有以下幾個(gè)方面：

　　(1)關(guān)系模型不容易組織和管理所有類型多樣的數(shù)據(jù)，例如在關(guān)系數(shù)據(jù)庫(kù)里，管理大規(guī)模的高維時(shí)空數(shù)據(jù)、大規(guī)模的圖像數(shù)據(jù)等都顯得力不從心。

　　(2)如何才能通過(guò)大量節(jié)點(diǎn)的并行操作實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的高速處理，仍然值得我們?nèi)ヌ剿鳌Ｔ陉P(guān)系數(shù)據(jù)庫(kù)上進(jìn)行大規(guī)模的事物處理，不但需要解決查詢的性能問(wèn)題，更需要解決修改操作的性能問(wèn)題，大量的事物處理，需要高效完成，才能保證數(shù)據(jù)的持久性和可靠性。