信息管理專業(yè)建立大數(shù)據(jù)實驗平臺的思考論文

　　隨著大數(shù)據(jù)、商務(wù)智能技術(shù)的快速發(fā)展與廣泛應(yīng)用，作為綜合型應(yīng)用型人才的信息管理專業(yè)的本科生必須在掌握理論知識的前提下了解和熟悉大數(shù)據(jù)存儲、處理、分析與可視化的實踐操作，這就對建立大數(shù)據(jù)實驗平臺提出了要求。本文探討大數(shù)據(jù)實驗平臺建立的必要性與可行性，并通過大數(shù)據(jù)系統(tǒng)的調(diào)研情況，給出大數(shù)據(jù)實驗平臺建立的初步構(gòu)想。

　　一、引言

　　隨著大數(shù)據(jù)應(yīng)用范圍的擴大，相應(yīng)的人才需求也存在很大缺口，此時在信息管理學(xué)院建立大數(shù)據(jù)開發(fā)實驗室，包括云存儲平臺建設(shè)、基于云存儲平臺的教育資源建設(shè)、大數(shù)據(jù)開發(fā)平臺建設(shè)、大數(shù)據(jù)分析工具與資源建設(shè)，能應(yīng)用云存儲技術(shù)實現(xiàn)教育資源的有效應(yīng)用;能促進學(xué)生了解大數(shù)據(jù)開發(fā)的Hadoops環(huán)境，以及該環(huán)境下的平臺建設(shè);并能在該平臺下進行大數(shù)據(jù)分析實踐。本校信息管理學(xué)院包括信息管理與信息系統(tǒng)、電子商務(wù)、信息安全等專業(yè)，在此實驗平臺上，根據(jù)不同的教學(xué)目標(biāo)開發(fā)針對不同專業(yè)的學(xué)生的開放性實驗課程尤為重要。

　　二、必要性與可行性

　　當(dāng)前“大數(shù)據(jù)技術(shù)”充滿了新的機遇和挑戰(zhàn)，其在企業(yè)IT基礎(chǔ)架構(gòu)、數(shù)據(jù)管理、分析和服務(wù)這些關(guān)鍵規(guī)劃領(lǐng)域的應(yīng)用，將會對社會經(jīng)濟發(fā)展帶來長遠(yuǎn)深刻的影響。大數(shù)據(jù)指的是從各種各樣的數(shù)據(jù)中快速獲得有價值信息的能力，具有數(shù)據(jù)量大、種類繁多、價值稀疏、處理速度快的特征，這些特征對目前社會各個行業(yè)的信息架構(gòu)、系統(tǒng)的沖擊非常大。大數(shù)據(jù)技術(shù)對整個社會經(jīng)濟發(fā)展來說既是機遇也是挑戰(zhàn)。

　　(一)必要性

　　根據(jù)IDC在2011年6月發(fā)布的《數(shù)字宇宙》(Digital Universe)研究報告，2011年全球新建和復(fù)制的信息量超過1.9 ZB(1.8萬億GB)，五年時間增加了近九倍。隨著數(shù)據(jù)量的指數(shù)級增長、數(shù)據(jù)源種類(包括結(jié)構(gòu)化數(shù)據(jù)源和非結(jié)構(gòu)化數(shù)據(jù)源，如社交媒體、富媒體文件以及地理空間信息)的飛速增加，以及數(shù)據(jù)產(chǎn)生速度的加快(如實時傳感器數(shù)據(jù))，傳統(tǒng)的數(shù)據(jù)庫和架構(gòu)無法處理、管理和分析如此龐大的數(shù)據(jù)集。政府、金融、電信、互聯(lián)網(wǎng)等大數(shù)據(jù)應(yīng)用的行業(yè)先鋒目前均面臨大數(shù)據(jù)的問題。不僅如此，隨著物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、智能手機、平板電腦的飛速發(fā)展，大數(shù)據(jù)技術(shù)擁有了更為廣泛的數(shù)據(jù)資源。因此，IT產(chǎn)業(yè)界及行業(yè)用戶都亟需針對大數(shù)據(jù)設(shè)計和優(yōu)化大數(shù)據(jù)存儲、管理和查詢平臺，來替代傳統(tǒng)關(guān)系型數(shù)據(jù)庫平臺。在技術(shù)發(fā)展的前沿階段進行實驗平臺建設(shè)對我學(xué)院師生具有重要意義。

　　該實驗平臺能夠為學(xué)生提供一個了解最前沿技術(shù)的機會，不僅能夠提高學(xué)生學(xué)習(xí)興趣、自學(xué)能力，還為學(xué)生就業(yè)、更好地規(guī)劃未來的職業(yè)發(fā)展提供了機會。大數(shù)據(jù)技術(shù)的機遇與挑戰(zhàn)帶來了很大的人才缺口，目前大數(shù)據(jù)技術(shù)平臺開發(fā)、方案實施人才緊缺;由于云存儲、大數(shù)據(jù)技術(shù)帶來的信息安全問題，也亟需大量信息安全領(lǐng)域的人才;由于大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)、電子商務(wù)、移動互聯(lián)方面的應(yīng)用，對了解大數(shù)據(jù)技術(shù)的電子商務(wù)專業(yè)人才也更青睞。通過本實驗平臺的培養(yǎng)，感興趣的優(yōu)秀學(xué)生還可以嘗試考取與大數(shù)據(jù)技術(shù)密切相關(guān)的Hadoop專業(yè)認(rèn)證——Cloudera Certified Developer/Administrator for Apache Hadoop，為學(xué)校、學(xué)院在該領(lǐng)域帶來正面影響，增加更多合作和就業(yè)的機會。

　　該實驗平臺能夠為信息系統(tǒng)專業(yè)試點班培養(yǎng)計劃的很多核心課程(包括管理統(tǒng)計學(xué)中的業(yè)務(wù)報表與分析、商務(wù)智能方法與應(yīng)用、商務(wù)智能實踐、數(shù)據(jù)挖掘和BA綜合實訓(xùn)等)形成較好的前后銜接關(guān)系，能夠豐富實踐教學(xué)環(huán)節(jié)，深化教學(xué)大綱的內(nèi)容，從建設(shè)更合理的課程建設(shè)體系來說具有很大的必要性。

　　近幾年學(xué)生就業(yè)壓力越來越大，迫切需要對教學(xué)內(nèi)容和實踐環(huán)節(jié)不斷突破創(chuàng)新，才能具備持續(xù)發(fā)展能力。因此在原有課程體系和實踐教學(xué)環(huán)境的基礎(chǔ)上增設(shè)本實驗平臺非常必要。

　　(二)可行性

　　教學(xué)計劃中的相關(guān)程序設(shè)計課程為學(xué)生學(xué)習(xí)云存儲技術(shù)、熟悉大數(shù)據(jù)開發(fā)平臺、了解最新大數(shù)據(jù)技術(shù)的發(fā)展、進行大數(shù)據(jù)平臺基礎(chǔ)上的開發(fā)、實現(xiàn)對大數(shù)據(jù)的分析、可視化演示打好了基礎(chǔ)。

　　英特爾Apache Hadoop平臺是目前大多數(shù)大數(shù)據(jù)處理的技術(shù)基礎(chǔ)，目前該技術(shù)已經(jīng)發(fā)展成熟，并隨之產(chǎn)生很多基于該平臺的大數(shù)據(jù)處理工具，可供實驗室建設(shè)實驗平臺使用。

　　三、建立大數(shù)據(jù)實驗平臺的基本構(gòu)想

　　(一)實驗平臺人員

　　實驗平臺人員負(fù)責(zé)實驗平臺的建設(shè)、維護，實驗設(shè)計與指導(dǎo)人員由在大數(shù)據(jù)相關(guān)領(lǐng)域、課程建設(shè)以及實踐教學(xué)方面都有著豐富的`經(jīng)驗的教師與實驗室工作人員構(gòu)成，同時與大數(shù)據(jù)企業(yè)進行合作，獲得其核心技術(shù)人員的支持、培訓(xùn)和大力配合，可以共同組成一個經(jīng)驗豐富、精煉實干的建設(shè)團隊。

　　(二)軟件調(diào)研

　　大數(shù)據(jù)的特點為4個“V”：第一，“Volume”，指的數(shù)據(jù)量大，包括大的數(shù)據(jù)塊，或數(shù)據(jù)總量巨大，從TB躍升到PB;第二，“Variety”，指的是數(shù)據(jù)種類繁多，包含大量非結(jié)構(gòu)化數(shù)據(jù)，例如網(wǎng)絡(luò)日志、音頻、視頻、地理信息等;第三，“Value”，價值稀疏性，大量數(shù)據(jù)中有價值數(shù)據(jù)很少;第四，“Velocity”，指的是處理速度快，這與傳統(tǒng)數(shù)據(jù)挖掘有很大區(qū)別。選擇有數(shù)據(jù)分析基礎(chǔ)、在業(yè)內(nèi)發(fā)展領(lǐng)先的企業(yè)進行調(diào)研并選擇適合高校規(guī)模的合作企業(yè)是建立實驗平臺的重要工作。

　　很多公司給出了可供使用的大數(shù)據(jù)平臺：IBM?誖 InfoSphere?誖BigInsightsTMBasic Edition是一款基于開放源碼Apache Hadoop的分析平臺，用于分析大量本機格式的非常規(guī)數(shù)據(jù)，支持結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化內(nèi)容，以實現(xiàn)最大程度的靈活性;IBM?誖InfoSphere?誖 Streams是一個高級計算平臺，幫助用戶開發(fā)的應(yīng)用程序快速攝取、分析和關(guān)聯(lián)來自數(shù)千個實時源的信息;惠普公司Vertica分析平臺6.1，能夠通過Hadoop分布式文件系統(tǒng)連接器來優(yōu)化大數(shù)據(jù);ClearStory Data大數(shù)據(jù)分析新創(chuàng)公司，通過Clearstory，公司客戶可以將自身的數(shù)據(jù)與行業(yè)的公共數(shù)據(jù)融合，尋找統(tǒng)計上的新視角，目標(biāo)是取代目前市場上的主流數(shù)據(jù)可視化工具，包括QlikView和Tableau等老牌工具;Informatica 9.1提供首款Hadoop編譯器Hparse，這是一種針對Hadoop而優(yōu)化的數(shù)據(jù)轉(zhuǎn)換環(huán)境，該軟件支持靈活高效地處理Hadoop里面的任何文件格式，為Hadoop開發(fā)人員提供了即開即用的解析功能，以便處理復(fù)雜而多樣的數(shù)據(jù)源;Datameer：Hadoop海量數(shù)據(jù)分析平臺允許用戶在缺乏技術(shù)知識的情況下能夠分析大量數(shù)據(jù);Infochimps平臺以其完備的基礎(chǔ)設(shè)施和專業(yè)知識，為客戶提供端到端的大數(shù)據(jù)解決方案，Infochimps是一家位于美國德克薩斯州奧斯丁的創(chuàng)業(yè)公司，2012年2月從數(shù)據(jù)市場轉(zhuǎn)型為大數(shù)據(jù)平臺提供商后獲得谷歌投資;甲骨文大數(shù)據(jù)機——Oracle Big Data Appliance集成系統(tǒng)融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個開源R;微軟SQL Server新增PDW功能，可以幫助客戶擴展部屬數(shù)百TB級別數(shù)據(jù)的分析解決方案;亞馬遜將MapReduce作為一項服務(wù)，其彈性MapReduce編程是一項能夠迅速擴展的Web服務(wù)，運行在aws的亞馬遜彈性計算云和亞馬遜簡單存儲服務(wù)上;Teradata是企業(yè)級數(shù)據(jù)倉庫(EDW)的領(lǐng)導(dǎo)者，在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和大部分非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域幾乎沒有很大成果，因此收購了Aster Data——一家提供SQL-MapReduce框架的公司。Aster Data是高級分析和管理各種非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域的市場領(lǐng)導(dǎo)者和開拓者，為Teradata帶來了大數(shù)據(jù)分析市場商機。

　　(三)方案實施

　　實驗平臺的設(shè)計同時立足于大數(shù)據(jù)技術(shù)的發(fā)展的前沿性與本學(xué)院學(xué)生專業(yè)特點，與學(xué)生前序的理論、實踐課程均有良好的銜接，符合人才培養(yǎng)計劃，深化了教學(xué)大綱的內(nèi)容，并針對不同專業(yè)學(xué)生設(shè)計實踐學(xué)時、內(nèi)容和難度。

　　本實驗平臺可以同大數(shù)據(jù)行業(yè)中的公司科研部門共同合作建設(shè)，雙方確定在人才培養(yǎng)、師資培訓(xùn)、共建實驗室和實訓(xùn)基地、推動大學(xué)生校外實習(xí)和社會實踐活動的開展等方面開展全面、廣泛、長期、深入的合作。該實驗室建設(shè)將豐富實踐教學(xué)體系，也可推動學(xué)院科研項目立項、新課題研究、專項基金申請和聯(lián)合開展商用項目開發(fā)等;該實驗室使師生能接觸高新大數(shù)據(jù)開發(fā)平臺，了解最新大數(shù)據(jù)技術(shù)的發(fā)展，進行大數(shù)據(jù)平臺的開發(fā)，實現(xiàn)對大數(shù)據(jù)的分析、可視化演示，增強學(xué)生的動手能力并提升就業(yè)質(zhì)量;與此同時，提升了教師的項目管理能力和教學(xué)能力。

　　四、結(jié)論

　　實踐教學(xué)平臺建設(shè)是一項可以推動課程建設(shè)和專業(yè)建設(shè)的可行工作，在轉(zhuǎn)變觀念、定位于應(yīng)用型人才培養(yǎng)的今天，實踐教學(xué)平臺的建設(shè)更是一項必須的工作，而一個高水平的實驗平臺可以為教師們的教學(xué)和科研活動提供良好的物質(zhì)保證，經(jīng)過大數(shù)據(jù)平臺建設(shè)可以使課程建設(shè)工作再上一個臺階，同時也會使教師們的研究水平更上一個臺階。

【信息管理專業(yè)建立大數(shù)據(jù)實驗平臺的思考論文】相關(guān)文章：

1.社會保障信息管理平臺建設(shè)思考論文

2.大數(shù)據(jù)與信息管理論文

3.創(chuàng)新教育下高職院校建立實驗室信息管理平臺的分論文

4.面向教育技術(shù)專業(yè)學(xué)生建立開放性實驗室的思考論文

5.大數(shù)據(jù)平臺項目建議書

6.醫(yī)院聘用人員信息管理平臺創(chuàng)建論文

7.電大數(shù)控專業(yè)畢業(yè)論文

8.基于Restful挖泥船信息管理云平臺的構(gòu)建論文