一、人類社會三大要素

　　人類社會三大要素(能源 材料和信息)中，信息愈來愈顯示出其重要性和支配力，它將人類社會由工業化時代推向信息化時代，使現代社會所有大的機構都卷入到以數據及其處理(數據搜集 存儲 檢索 傳送 分析和表示）的浪潮中。而隨著人類活動范圍擴展，節奏加快，以及技術的進步，人們能以更快速較易而廉價的方式獲取和存儲數據，這就使得數據和信息量以指數形式向上增長。早在八十年代，人們粗略地估算到全球信息量，每隔20個月就增加班一倍。進入九十年代，各類機構所有數據庫數據量增長更快。一個不大的企業每天要產生100MB以上來自各方面的營業數據。美國政府部門的一個典型的大數據庫每天要接收約5TP數據量，在15秒到1分鐘時間里，要維持的數據量達到300TB，存檔數據達15-100PB。在科研方面，以美國宇航局的數據庫為例，每天從衛星下載的數據量就達3-4TB之多，而為了研究的需要，這些數據要保存七年之久。九十年代因特網（Internet）的出現和發展，以及隨之而來的企業內部網（Intranet）和企業外部網（Extranet）以及虛擬私有網（V P N--Virtual Private network）的產生和應用，將整個世界聯成一個小小的地球村，人們可以跨越時空地在網上交換信息和協同工作。這樣，展現在人們面前的已不是局限于本部門，本單位和本行業的龐大數據庫，而是浩瀚無垠的信息海洋。據估計，1993年面全球數據存貯容量約為二千TP，到達2000年會增加到三百萬TB，對這極度膨脹的數據信息量，人們受到“信息爆炸”“混沌信息空間”（Information Chaotic Spact）和“數據過剩”（Data glut)的巨大壓力。

　　然而，人類的各項活動基于人類的智慧和知識，即對外部世界的觀察和了解，正確的判斷和決策以及采取正確的行動，而數據僅僅是人們用各種工具和手段觀察外部世界所得到的原始材料，它本身沒有任何意義。從數據到智慧，要經過分析加工處理精煉的過程。如圖1所示：數據是原材料，它只是描述發生了什么事情，它不提供判斷或解釋，和行動的可靠基礎。人們對數據進行分析找出其中關系，賦予數據以某種意義和關聯，這就形成所謂信息。信息雖給出了數據中一些有一定意義的東西，但它往往和人們手上的任務沒有什么關聯，還不能做為判斷 決策和行動的依據。對信息進行再加工，進行深入洞察，才能獲得更有用可資利用的信息，即知識.所謂知識，可以定義為“信息塊中的一組邏輯聯系，其關系是通過上下文或過程的貼近度發現的。”從信息中理解其模式，即形成知識。在大量知識積累基礎上，總結成原理和法則，就形成所謂智慧(Wisdom）.其實，一部分人類文明發展史，就是在各種活動中 知識的創造 交流 再創造不斷積累的螺旋式上升的歷史。另一方面，計算機與信息技術的發展，加速了這種過程，據德國世界報的資料分析，如果說19世紀時科學定律（包括新的化學分子式，新的物理關系和新的醫學認識）的認識數量一百年增長一倍，到本世紀60年代中期以后，每五年就增加一倍。這其中知識起著關鍵的作用。當數據量極度增長時,如果沒有有效的方法,由計算機及信息技術來提取有用信息和知識，也感到像大海撈針一樣束手無策。據估計，一個大型企業數據庫中數據，只有百分之七得到很好應用.這樣，相對于“數據過剩” 和“信息爆炸”,人們又感到“信息貧乏”（Information poor)"數據關在牢籠中”(data in jail).

二 從數據到知識

　　早在八十年代，人們從“物競天擇 適者生存”的大原則下，認識到“誰最先從外部世界獲得有用信息并加以利用誰就是優勝者”。現時當市場經濟面向全球性劇烈競爭的環境下，一家廠商的優勢不在于像產品 服務 地區等方面因素，而在于創新。用知識來作為創新的原動力，就能使公司長期持續保持競爭優勢。因此要能及時迅速從日積月累的龐大的數據庫及網絡上獲取有關經營決策有關知識，這是應付客戶需求易變性及市場快速變化引起競爭激烈局面的唯一武器。

　　針對上述情況，如何對數據與信息快速有效地進行分析加工提煉以獲取所需知識并發揮其作用，向計算機和信息技術領域提出了新的挑戰。其實計算機和信息技術發展的過程，也是數據和信息加工手段不斷更新和改善的過程。早年受技術條件限制，一般用人工方法進行統計分析，和用批處理程序進行匯總和提出報告.在當時市場情況下，月度和季度報告已能滿足決策所需信息要求。隨著數據量的增長，多渠道數據源帶來各種數據格式的不相容性，為了便于獲得決策所需信息，就有必要將整個機構內的數據以統一形式集成存儲在一起,這就是所謂數據倉庫（data Warehousing).它不同于只適用于日常工作的數據庫.它是為了便于分析針對一定主

　　題（Subject-oriented）的集成化的 時變的（time-Variant即提供存貯5-10或更老的數據，這些數據不再更新，供比較以求出趨向及預測用）非破壞性（即只容易輸入和訪問不容許更新和改變）的數據集中場所。數據倉庫的出現，為更深入對數據進行分析提供了條件，針對市場變化的加速人們提出了能實時分析和報表的在線分析手段OLAP（On Line Analytical Processing），它是一種友好而靈活的工具，它能允許用戶以交互方式瀏覽數據倉庫對其中數據進行多維分析，能及時地從變化和不太完整的數據中提出與企業經營動作有關的信息。例如能對數據中的異常和變化行為進行了解，OLAP是數據分析手段的一大進步，以往的分析工具所得到的報告結果能回答“什么”（What），而OLAP的分析結果能回答“為什么”（Why）。但上述分析手段是建立在用戶對深藏在數據中的某種知識有預感和假設的前提下。而由于數據倉庫（通常數據貯藏量以TB計）及聯網界面上的數據來源于多種信息源，因此其中埋藏著豐富的不為用戶所知的有用信息和知識，而要使企業能及時迅速準確地作出經營動作的決策，以適應變化迅速的市場環境，就需要有一種基于計算機與信息技術的智能化自動工具，來發掘埋藏在數據中的各類知識。這種手段不應再基于用戶假設，而應能自身生成多種多種假設，再用數據倉庫或聯網的數據進行檢驗和驗證，然后返回對用戶 最有用的結果。同時這種工具還應能適應現實世界中數據的多種特性（即量大 含噪聲 不完整 動態 稀疏性 異質 非線性等）。要達到上述要求，只借助于一般數學分析和算法是無能為力的。多年來，數理統計技術以及人工智能和知識工程等領域的研究成果，諸如推理 歸納學習 機器學習 知識獲取 模糊理論 神經元網絡 進化算法 模式識別 粗糙集理論等等分支給開發上述工具提供了堅實而豐富的理論和技術基礎。九十年代中期以來，許多軟件開發商，基于上述技術和市場需求,開發了名目繁多的數據發掘(DM--Data Mining)和知識發現(KDD--Discovery from Data）工具和軟件，DM和KDD形成了近年來軟件開發市場的熱點，并且已不斷出現成套軟件和系統，并開始朝智能化整體解決方案發展，這是從數據到知識前進過程中又一個里程碑。

　　從數據中獲取有用信息或知識，是一個完整的對數據進行加工 處理的過程。如圖3所示，其中DM是關鍵的一步。挑選：按一定的標準從數據源中挑選或切取一組數據，形成目標數據。凈化和預處理：將不必要或影響分析進程的部分數據刪去。轉換：將預處理后的數據進行某些轉換使之成為可用和可導引的數據。數據發掘：這是關鍵的階段，從數據中抽取出信息的模式。所謂模式，可以作如下定義：給定一組事實（數據）F，一種語言L，和某種可信度測量C，模式就是一種用L的描述方式S，它以可信度C對F的一個子集Fs各事實間的關系進行描述，這種描述在某種意義上比枚舉Fs中所有事實上要簡單得多。解釋賦義或可視化：將模式解釋為可以支持決策的知識，例如預測 分類 匯總數據內容和解釋所觀察到的.現象等。上述階段之間也許還需要某種迭代分析.(見圖3)從上述過程可以看出,從數據中獲取知識是涉及多個領域內技術融合的綜合應用（見圖4）

　　數據庫 模式識別

　　技術

　　機器學 可視化

　　習技術 技術

　　AI技術 統計學

　　圖4 DM(KDD)與相關技術