一種靈活的網絡學習行為數據采集與分析系統論文

　　摘要：網絡學習正在日益興起，在多樣化的教與學過程中充分利用網絡上日益豐富的學習資源，滿足不同層次求學者的需要。對網絡學習中學習者的各項學習行為進行分析，從中找出學習者群體的特征和個體的特點，從而幫助教育者促進網絡教與學的建設是目前迫切學要解決的問題。本文結合當前主流的學習行為數據采集和分析的方法的優點和不足，提出了一種基于數據流獲取的網絡學習行為數據采集與分析的方案，詳細介紹了數據采集和數據分析的方法，并探討了實現這套方案的軟件系統設計。該軟件系統具有較強的靈活性和實用性，能夠幫助學習者和教育者進行更加有效網絡教與學。

　　關鍵詞：網絡學習；學習行為數據采集；學習行為分析；數據流獲取；文本挖掘

　　1.引言

　　現代教育教學除了傳統的課堂教學和實踐培訓外，越來越多地采用了網絡學習的方式。網絡學習可以分為兩種類型，一種是集中式網絡學習，比如遠程網絡教育以及企事業內部網絡的業務培訓；一種是發散式網絡學習，比如在學生在互聯網上廣泛、分散地查閱資料等自主學習。不論哪一種方式的網絡學習都能在多樣化的教與學過程中，充分利用網絡上日益豐富的學習資源，滿足不同層次求學者的需要。

　　對網絡學習中學習者的各項學習行為進行分析，從中找出學習者的學習規律，可以幫助教育者不斷修正目前還不成熟的網絡學與教，促進網絡教育的建設。

　　對網絡學習者的學習行為進行分析，首先需要采集學生在網絡學習過程中的學習行為信息數據，然后對這些數據進行集成、分類和分析。目前，基于計算機和網絡平臺的網絡學習行為數據采集與分析的常用方法主要有兩類，一是基于Web服務（Web Services）的方法[1][2]，一是基于Web日志挖掘（Web Usage Mining）的方法[3][4]。目前，基于Web Services的方法應用較多，但這種方法也存在比較明顯的`不足，主要是：只能得到在該網站進行學習的注冊學習者的學習行為數據，并對他們的學習行為進行分析，具有局限性；這樣的系統開發要與網站程序的設計以及數據庫設計同步進行，才能做到無縫集成，專用性強，靈活性較差。Web Usage Mining的不足在于Web日志和客戶端數據不容易得到，即使得到了，也和Web安全的相關原則有沖突，而且這些數據都是學習者通過該Web服務器時留下的，同樣存在局限性。

　　通過實際對比分析和研究發現，如果能結合上述兩者，就將是一種比實用的解決方案。本方案的基本思路是：在服務器或網關上使用netmate進行數據流捕獲，然后處理并輸出為文本，然后使用文本挖掘的成熟算法進行處理，得到網絡學習者學習的特點、偏好等學習規律，幫助教育者進行教育學分析，從而有效地指導網絡學習和教學的建設。

　　2.學習行為數據采集

　　學習行為數據的采集是進行學習行為分析的前提，是整個方案的基礎。學生網絡學習行為數據的采集是一種基于開源軟件netmate的數據流自動獲取，這種方式很容易對流經節點服務器或網關的數據流進行實時獲取，然后回根據netmate提供的接口，生成文本已備后續的文本處理。

　　2.1數據流獲取

　　數據流獲取是網絡學習行為數據采集的第一步。這種獲取是實時的、基于隨機樣本的，由于樣本容量可以取很大，即使出現丟包的情況，也能夠接近實際情況。由于經過節點服務器或者網關的數據流既有流入的也有流出的，因此既能夠獲取到學習者在站或者內部網絡上的集中式學習的行為數據，又能夠獲取到學習者通過服務器或網關進入互聯網絡的發散式學習的行為數據。由此可見，這樣的基于數據流的網絡學習行為數據采集能夠滿足前述兩種主要的網絡學習方式。

　　首先要在節點服務器或者網關計算機上安裝好netmate及配套的庫（libpcap、readline），然后根據數據獲取的需求在配置文件（netmate.conf.xml）中進行配置，主要是根據需求制定自己的規則（rule）。在netmate工作過程中，根據制訂好的規則，會將獲取到的數據流以指定的形式進行輸出。

　　由于netmate部署的位置可以根據需要而改變，獲得的文本可以通過傳送工具傳到指定的目的主機，因此具有很強的靈活。在集中式網絡學習中，如果獲取點在遠程教育網站上，則可以獲取在該網站學習的所有學習者的學習信息，如果獲取點在校園網的Web服務器上，就可以獲取該校校園網絡學習資源的利用情況；在發散式網絡學習中，如果獲取點在校園網的網絡服務器上，就可以獲取全校學生在互聯網上的學習情況，如果獲取點在某個院系的網關服務器上，就可以獲取該院系的學生在實驗室在各個時段的網絡學習情況。

　　3.學習行為的文本挖掘

　　文本挖掘也被稱作文本數據挖掘，是指從文本中得到高質量的、事先未知的、可理解的信息的過程。在得到通過節點服務器的數據文本后，就可以進行文本分類，從中找出網絡學習行為的特點以及一些規律。

　　3.1文本預處理

　　在進行文本分類之前，須先對文本文檔進行預處理，并將信息存放在比文本數據更適合處理的數據結構中。對英文單詞而言，動詞的不同時態一般在動詞后加后綴表示（ing或ed），而單詞的基本意義還是在原形式上，這時就需要進行詞根還原，將一個詞加后綴后的形式還原為它們基本形式。對中文文本的理解在于正確地斷句，由于中文詞與詞之間沒有空格，因此在進行中文文本挖掘之前，需要對文本進行分詞處理，把中文的漢字序列切分成有意義的詞。

　　在預處理的末期，將得到非常巨大的向量空間，這時需要進行特征降維處理。由于不同的標準對同一學習行為的界定原本就不是很明確，因此采用了卡方統計（CHI）算法進行特征選擇，接下來采用聚類方法進行特征提取。

　　3.2文本分類

　　在特征降維之后，應用分類器對文本分類。目前的分類器大致可分為兩類：基于統計的分類器和基于語義的分類器。基于統計的方法中，成熟的有中心法，樸素貝葉斯，支持向量機。基于語義的有決策樹等。通過比較算法實現的難度和算法能達到的精度，本案采用了基于統計的分類器，通過支持向量機算法來實現。

　　4.采集和分析系統的設計

　　通過前面的描述，對本案采集和分析系統進行了詳細地分析。

　　系統的軟件設計結合前述采用的算法和工具，自行開發的一些軟件模塊，從而構成一個比較完整的采集和分析系統。軟件的結構如圖1所示。系統采用客戶機/服務器模式，數據流獲取與傳輸模塊作為客戶機端模塊，部署在獲取點計算機上，其余模塊作為服務器端模塊，部署在文本處理和分析的主機上。

　　4.1數據流獲取與傳輸模塊

　　數據流獲取與傳輸負責對網絡學習行為數據進行廣泛的采集，然后將數據傳輸到指定的主機上。如前所述，數據流獲取通過netmate進行，當配置為text輸出時，就會取得需要的數據流文本。考慮到當前網絡基本都是高速的，在獲取數據流的過程中對服務器的需求已經很高，因此，將這些文本數據傳輸到遠程主機的學習行為樣本庫中，然后再進行離線處理和分析工作。遠程傳輸部分采用多線程的TCP套接字實現。recConfig也采用多線程的TCP套接字實現，用來接收來自于遠程主機上Configer的參數，對采集端的配置參數進行修正，然后重啟netmate和remTrans。

　　4.2學習行為樣本庫

　　學習行為樣本庫存放從各個獲取點得到學習行為數據樣本，并以文本文件形式存放。樣本庫中的文本根據其采集時間或者指定來源進行簡單檢索4.3文本分析模塊文本分析模塊負責對學習行為樣本庫中的文本進行分析，包括文本預處理（Preproceed）、文本分類（Classify）、輸出（Export）和模式調整（RecModify）四個部分。PreProceed和Classify如前面敘述所設計。Export負責把經過分類的文本數據輸出為Weka的數據格式，或者直接把各分類的數據統計結果輸出到屏幕。RecModify接收來自Modifer的模式調整參數，并重啟PreProceed和Classify，以便對文本挖掘的調整馬上生效。

　　4.4可視化顯示模塊

　　可視化顯示模塊主要是利用Weka工具提供的可視化功能，對文本分析的結果進行顯示，或者做進一步的關聯規則分析并可視化輸出。

　　4.5運行控制模塊

　　運行控制模塊主要負責系統運行期間對數據獲取和文本分析兩個模塊的運行參數作調整，以便系統能夠靈活處理需求變化。其中，Configer針對netmate配置文件和遠程傳輸地址進行調整，為多線程TCP服務器套接字設計；Modier對文本預處理和文本分類的模式進行調整。

　　結束語

　　本文提出了一個比較靈活的網絡學習行為數據采集和分析系統，采用了開源軟件工具和成熟的算法，在此基礎上進行軟件設計，從而實現網絡學習行為數據采集和學習行為的分析。遠程傳輸模塊的設計大大方便了對學習行為分析的本地化，在每個階段都設計了相應的反饋和調整模塊使得系統在運行過程中能適應具體環境。系統還處在試驗的階段，下一步將繼續完善與改進，除了分類算法改進外，結果可視化也需要改進。

　　參考文獻：

　　[1]Karin Anna Hummel，Helmut Hlavacs Anytime.AnywhereLearning Behavior Using a Web-Based Platform for a University Lecture.[EB/OLD.www.ani.univie.ac.at/hlavacs/publications/ssgrr_winter03.pdf,2006-3-1]

　　[2]呂莉,張屹.基于Web服務的網絡學習行為采集研究現狀[J].開放教育研究,2009(15)

　　[3]Chien-Sing Lee and YashwanL Prasud Singly.Student modelingusing Principle component analysis of SOM clusters.Proceedings of theIEEE International Conference on Advanced Learning Technologies,2004

　　[4]黎孟雄.基于Web挖掘的遠程教學質量跟蹤系統設計[J].河南科技大學學報,2007(28)

　　[5]黃克斌,王鋒,王會霞.智能化網絡學習行為分析系統的設計與實現[J].中國教育信息化,2008(3)

【一種靈活的網絡學習行為數據采集與分析系統論文】相關文章：

1.公共文明行為論文

2.遠動系統及數據采集論文

3.行為小學議論文

4.讓人反思的行為論文

5.遵循規律靈活的運算管理論文

6.一種不文明的行為作文

7.靈活的反義詞

8.電量采集管理分析系統在太平哨發電廠的應用論文