關于搜索引擎的研究論文

摘要：搜索引擎的出現， 把互聯網產品的技術水平提高到了一個新的高度。本文首先介紹搜索引擎技術的發展歷程， 其次簡要介紹了搜索引擎關鍵技術和產品；隨著移動終端智能化和互聯網用戶個性化以及社交化為中心的融合趨勢下的發展， 催生了很多新型應用。結合目前管理信息系統互聯網化的發展方向， 詳細介紹了搜索引擎在管理信息系統中的一整套應用案例。

關鍵詞：搜索引擎； 搜索引擎技術； 搜索引擎產品； 搜索引擎在管理信息系統中案例； 搜索引擎發展趨勢；

Discussion on search engine

Abstract:The emergence of search engine takes the Internet product technology to a new level. This article first introduces the development of search engine technology, then introduces search engine's key technologies and products.With the intelligent mobile terminals, services users personalized services, and social network integration as the center of the trend, a lot of new applications have emerged. Combined with the development direction of the current management MIS system, this article introduces the application case of search engine in MIS system.

Keyword:search engine; search engine technology; search engine product; search engine in management information system case; search engine development trend;

1、引言

　　搜索引擎的誕生源自互聯網最根本的用途之一：信息獲取。

　　在搜索引擎出現之前， 互聯網缺少入口， 用戶往往需要自己記住有用的網站和網頁。為了滿足這種需求， 最早的“搜索引擎”, 即分類目錄瀏覽式的引擎便出現了， Yahoo就是其中的代表。最初只是采用把一些有用的網站通過分類的方式手工組織起來， 便于用戶找到有用的信息。能夠手工組織也是基于早年整個互聯網的網站數量也非常少， 可以通過人工方式實現組織。

　　隨著互聯網的壯大， 網頁網站數量越來越多， 手工組織的方式變為不可行， 于是由機器實現的全文檢索引擎便出現了。用戶可以通過關鍵字查詢來獲取相關的網頁。又隨著網頁數量的不斷增多， 任何關鍵字查詢都會返回大量的相關網頁， 如果對網頁進行評分和排序， 返回給用戶真正有價值的網頁便成為重點?；诰W頁之間的鏈接關系為網頁進行評分， 成為很多搜索引擎的網頁排序算法基礎， Google的Page Rank算法便是其中的代表者。

　　Google也以此為基礎成為搜索引擎產品中的領先者， 為用戶提供了更好的搜索結果相關性。現代搜索引擎基本上也由此基本成型， 雖然后來的技術創新和改進很多， 但主要的思路基本上沒有變。

　　搜索引擎發展到今天， 基礎架構和算法在技術上都已經基本成型和成熟。搜索引擎已經發展成為根據一定的策略、運用特定的計算機程序從互聯網上搜集信息， 在對信息進行組織和處理后， 為用戶提供檢索服務， 將用戶檢索相關的信息展示給用戶的系統。

2、搜索引擎技術

　　搜索引擎所涉及和涵蓋的技術范圍非常廣， 涉及到了系統架構和算法設計等許多方面。可以說由于搜索引擎的出現， 把互聯網產品的技術水平提高到了一個新的高度；搜索引擎無論是在數據和系統規模， 還是在算法技術的研究應用深度上， 都遠超之前簡單的互聯網產品。

　　搜索引擎涉及的關鍵技術點包含：爬蟲 （Crawling） 、索引結構 （Inverted Index） 、檢索模型 （VSM&TF-IDF） 、搜索排序 （Relevance Ranking&Evaluation） 、鏈接分析 （Link Analysis） 、分類 （Document&Query Classification） 、自然語言處理 （NLP:Tokenization, Lemmatization, POS Tagging, NER, etc.） 、分布式系統 （Distributed Processing&Storage） .

　　雖然搜索引擎涉及的技術方方面面， 但歸結起來最關鍵的幾點在于：

　　●系統：大規模分布式系統， 支撐大規模的數據處理容量和在線查詢負載。

　　●數據：數據處理和挖掘能力。

　　●算法：搜索相關性排序、查詢分析、分類等。

　　由此可見搜索引擎系統是一個由許多模塊組成的復雜系統， 核心模塊通常包括爬蟲、索引、檢索和排序， 除了必需的核心模塊之外， 通常還需要一些支持輔助模塊， 常見的有鏈接分析、去重、反垃圾、查詢分析等。搜索引擎中各關鍵功能模塊功能簡介如下：

　　（1） 爬蟲：從互聯網爬取原始網頁數據， 存儲于文檔知識庫服務器。

　?。?） 文檔知識庫服務器：存儲原始網頁數據， 通常是分布式Key-Value數據庫， 能根據URL/UID快速獲取網頁內容。

　?。?） 索引：讀取原始網頁數據， 解析網頁， 抽取有效字段， 生成索引數據。索引數據的生成方式通常是增量的， 分塊/分片的， 并會進行索引合并、優化和刪除。生成的索引數據通常包括：字典數據、倒排表、正排表、文檔屬性等。生成的索引存儲于索引服務器。

　?。?） 索引服務器：存儲索引數據， 主要是倒排表， 通常是分塊、分片存儲， 并支持增量更新和刪除。數據內容量非常大時， 還根據類別、主題、時間、網頁質量劃分數據分區和分布， 更好地服務在線查詢。

　?。?） 檢索：讀取倒排表索引， 響應前端查詢請求， 返回相關文檔列表數據。

　?。?） 排序：對檢索器返回的文檔列表進行排序， 基于文檔和查詢的相關性、文檔的鏈接權重等屬性。

　?。?） 鏈接分析：收集各網頁的鏈接數據和錨文本 （Anchor Text） , 以此計算各網頁鏈接評分， 最終會作為網頁屬性參與返回結果排序。

　?。?） 網頁去重：提取各網頁的相關特征屬性， 計算相似網頁組， 提供離線索引和在線查詢的去重服務。

　?。?） 網頁反垃圾：收集各網頁和網站歷史信息， 提取垃圾網頁特征， 從而對在線索引中的網頁進行判定， 去除垃圾網頁。

　?。?0） 查詢分析：分析用戶查詢， 生成結構化查詢請求， 指派到相應的類別、主題數據服務器進行查詢。

　?。?1） 頁面描述/摘要：為檢索和排序完成的網頁列表提供相應的描述和摘要。

　　（12） 前端：接受用戶請求， 分發至相應服務器， 返回查詢結果。