近年來伴隨著不少國(guó)家的寬帶化戰(zhàn)略的實(shí)施、云計(jì)算服務(wù)的起步、物聯(lián)網(wǎng)應(yīng)用的鋪開和移動(dòng)互聯(lián)網(wǎng)的崛起,數(shù)據(jù)量與時(shí)俱增,數(shù)據(jù)處理能力也發(fā)展迅速,數(shù)據(jù)量積累到一定程度其資源屬性越加明晰,顯示出開發(fā)的價(jià)值。同時(shí),社會(huì)的節(jié)奏越來越快,要求快速的反應(yīng)和精細(xì)的管理,急需借助對(duì)數(shù)據(jù)的分析來科學(xué)決策,催生了對(duì)大數(shù)據(jù)開發(fā)的需求,大數(shù)據(jù)被稱為將引發(fā)生活、工作和思維變革的一次革命。
大數(shù)據(jù)是相對(duì)于一般數(shù)據(jù)而言的,目前對(duì)大數(shù)據(jù)尚缺權(quán)威的嚴(yán)格定義,但較普遍的解釋是指“難以用常規(guī)的軟件工具在容許的時(shí)間內(nèi)對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”。規(guī)模大是大數(shù)據(jù)的標(biāo)志之一,但大數(shù)據(jù)之所以難處理不僅在于規(guī)模大,更大的挑戰(zhàn)是其隨時(shí)間的變化快和類型的多樣性,根據(jù)可否用表格或關(guān)系數(shù)據(jù)庫(kù)的表和視圖來表示而區(qū)分為結(jié)構(gòu)型和非結(jié)構(gòu)型數(shù)據(jù),照片和視頻等就是典型的非結(jié)構(gòu)數(shù)據(jù)。隨時(shí)間和類型的變化增加了大數(shù)據(jù)的復(fù)雜性但也同時(shí)豐富了大敷據(jù)的內(nèi)涵。通常用4V( Volume、Velocity、Variety、Value)來反映大數(shù)據(jù)的特征,即量大、增長(zhǎng)快、多樣性和高價(jià)值。從這一點(diǎn)來看,對(duì)大數(shù)據(jù)僅僅冠以“大”這一形容詞是不全面的,只不過在大數(shù)據(jù)的4V中,規(guī)模相對(duì)于變化和類型這兩個(gè)特征容易定量,而且即便是單一類型的數(shù)據(jù)集(例如文本文件),只要有足夠的規(guī)模也能稱得上大數(shù)據(jù)。數(shù)據(jù)的規(guī)模越大,通常對(duì)數(shù)據(jù)挖掘所得到的事物演變規(guī)律越可信,數(shù)據(jù)分析的結(jié)果也越有代表性,因此對(duì)大數(shù)據(jù)這一詞匯突出其規(guī)模大這一特征也是可理解的。
大數(shù)據(jù)不僅是一種資源,也是一種方法,伴隨大數(shù)據(jù)產(chǎn)生數(shù)據(jù)密集型科學(xué),有人將它稱為是繼實(shí)驗(yàn)科學(xué)、理論科學(xué)和計(jì)算科學(xué)之后的第四種科學(xué)研究模式,這一研究模式的特點(diǎn)表象為不在意數(shù)據(jù)的雜亂,但強(qiáng)調(diào)數(shù)據(jù)的量;不要求數(shù)據(jù)精準(zhǔn),但看重其代表性;不刻意追求因果關(guān)系,但重視規(guī)律總結(jié)。這一模式不僅用于科學(xué)研究,更多的會(huì)用到各行各業(yè),成為從復(fù)雜現(xiàn)象中透視本質(zhì)的有用工具。有人擔(dān)心從大數(shù)據(jù)中發(fā)現(xiàn)事物發(fā)展規(guī)律并預(yù)測(cè)未來的做法強(qiáng)調(diào)了有章可循,可能會(huì)妨礙創(chuàng)新。事實(shí)上檢驗(yàn)技術(shù)創(chuàng)新、商業(yè)模式創(chuàng)新還是管理創(chuàng)新,不是看是否使用新的模式或顛覆性技術(shù),而是看應(yīng)用領(lǐng)域酌開拓和市場(chǎng)上的引領(lǐng),成功的重要因素正是符合客觀規(guī)律。蘋果公司的iPhone用觸摸屏代替鍵盤并開發(fā)了AppStore應(yīng)用商店,完善了移動(dòng)互聯(lián)網(wǎng)的產(chǎn)業(yè)鏈,開創(chuàng)了移動(dòng)智能終端時(shí)代,方便了用戶的使用,順應(yīng)并引導(dǎo)移動(dòng)互聯(lián)網(wǎng)的發(fā)展,這是大數(shù)據(jù)思維與創(chuàng)新文化結(jié)合的范例。
大數(shù)據(jù)還是一個(gè)新學(xué)科,大數(shù)據(jù)技術(shù)是指設(shè)計(jì)用于高速收集、發(fā)現(xiàn)和分析從多種類型的大規(guī)模數(shù)據(jù)中提取經(jīng)濟(jì)價(jià)值的新一代技術(shù)和體系,涉及數(shù)據(jù)存儲(chǔ)、合并壓縮、清洗過濾、格式轉(zhuǎn)換、統(tǒng)計(jì)分析、知識(shí)發(fā)現(xiàn)、可視呈現(xiàn)、關(guān)聯(lián)規(guī)則、分類聚類、序列路徑和決策支持等技術(shù)。大數(shù)據(jù)將帶動(dòng)起大數(shù)據(jù)產(chǎn)業(yè)和市場(chǎng),包括服務(wù)器、存儲(chǔ)器、聯(lián)網(wǎng)設(shè)備、軟件與服務(wù)。總之,大數(shù)據(jù)服務(wù)業(yè)屬性大于制造業(yè),對(duì)其他產(chǎn)業(yè)的影響大于對(duì)直接產(chǎn)業(yè)的影響,社會(huì)效益大于直接經(jīng)濟(jì)效益。大數(shù)據(jù)影響之大和受到廣泛重視也正是因其溢出效應(yīng)明顯。
(作者:鄔賀銓。摘自《科學(xué)與社會(huì)》2014年第1期有改動(dòng))
本文來源:http://www.nvnqwx.com/yuwen/yuedudaan/504052.htm