基于lucene的垂直搜索引擎的研究與設(shè)計(jì)論文

　　摘 要：隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，通用搜索引擎就需要采集的更多的信息和內(nèi)容，但是面對(duì)巨大的搜索結(jié)果，用戶要想準(zhǔn)確找到他們所需要的信息，這樣將會(huì)耗費(fèi)很大的精力。因此，需要以數(shù)據(jù)的特定領(lǐng)域?yàn)橹攸c(diǎn)，全面進(jìn)行深入的研究，注重專業(yè)化的垂直搜索引擎就產(chǎn)生了，它能夠準(zhǔn)確、及時(shí)返回用戶需要的信息。本文主要分析垂直搜索引擎的特點(diǎn)和結(jié)構(gòu)，并分析了基于Lucene的垂直引擎的研究和設(shè)計(jì)，對(duì)提高互聯(lián)網(wǎng)信息的搜索速度具效率具有重要的意義。

　　隨著互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)信息迅猛增長(zhǎng),人們已經(jīng)習(xí)慣從互聯(lián)網(wǎng)上獲取他們所需的信息。然而,一些通用搜索引擎無法及時(shí)準(zhǔn)確地反饋給人們需要的信息,不能夠做到有針對(duì)性的搜索一些信息，無法滿足人們的基本需求。在進(jìn)行搜索的過程中，想搜索一件物品，系統(tǒng)將會(huì)提供給你很多的搜索結(jié)果。但是，這些搜索引擎返回結(jié)果中有大量排在前面的信息可能不是我們需要的,這樣就會(huì)讓人感覺郁悶，得不到自己想要的信息。而且，60%的搜索引擎沒有機(jī)會(huì)收錄一些有價(jià)值的的信息，需要用戶進(jìn)行注冊(cè)才能夠得到一些更有價(jià)值的信息。基于lucene的垂直搜索引擎，能夠及時(shí)、準(zhǔn)確給用戶反饋出他們需要的信息。

　　1 垂直搜索引擎的概述

　　垂直搜索引擎能夠在一些專業(yè)領(lǐng)域得到廣泛的應(yīng)用，為用戶提供更加便捷的搜索服務(wù)。垂直搜索引擎能夠在某一特定領(lǐng)域內(nèi)啟動(dòng)一些網(wǎng)絡(luò)爬蟲，在進(jìn)行網(wǎng)頁(yè)下載的時(shí)候，能夠找到和本地網(wǎng)頁(yè)庫(kù)中相關(guān)的信息，然后對(duì)這些信息進(jìn)行處理，將一些數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，最后反饋給用戶的搜索入口。垂直搜索能夠有針對(duì)性進(jìn)行搜索，能夠根據(jù)用戶的具體要求進(jìn)行搜索和檢測(cè)，為他們提供具有非常鮮明特色的搜索服務(wù)，這種搜索引擎一個(gè)非常突出的特點(diǎn)就是深入、詳細(xì)。由于通用搜索引擎搜索的范圍十分廣泛，因此，它不能滿足細(xì)致的搜索工作，不能夠?qū)?zhǔn)確的信息反饋給需要的.特定人群[2]。根據(jù)市場(chǎng)需求的多樣化，搜索引擎必須進(jìn)行細(xì)分，給人們提供準(zhǔn)確的搜索服務(wù)。

　　2 垂直搜索引擎的特點(diǎn)和框架結(jié)構(gòu)設(shè)計(jì)

　　2.1 垂直搜索的特點(diǎn) 垂直搜索引擎能夠有針對(duì)性進(jìn)行搜索，能夠準(zhǔn)確提供給人們需要的信息。通用的搜索引擎更加注重?cái)?shù)據(jù)分離和關(guān)鍵詞搜索，垂直搜索更多注重文本的分離，對(duì)數(shù)據(jù)信息進(jìn)行處理，使得數(shù)據(jù)能夠滿足人們的需求，通用的搜索引擎就不需要考慮數(shù)據(jù)結(jié)構(gòu)。由于相關(guān)信息垂直搜索引擎只需要捕捉到一些某個(gè)特定的行業(yè)，這樣的信息采集方式的使用只需要爬蟲找題相關(guān)信息，垂直搜索引擎具有以下特點(diǎn)。一是垂直搜索引擎的爬蟲具有定制性，能夠深入抓取特定行業(yè)的一些信息。二是垂直搜索引擎是針對(duì)行業(yè)的特點(diǎn)來進(jìn)行抓取信息的，以網(wǎng)站的數(shù)據(jù)為例，各種人才網(wǎng)數(shù)據(jù)源的來源于求職的網(wǎng)站，從股票網(wǎng)站中搜索到相關(guān)的信息。三是垂直搜索引擎更傾向于抓住一些結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)，例如，在尋找一所房子的過程中，其能夠捕捉到相關(guān)的地理位置、價(jià)格、小區(qū)環(huán)境、房地產(chǎn)價(jià)格等一些系統(tǒng)的信息[3]。

　　2.2 垂直搜索引擎的框架設(shè)計(jì) 垂直搜索引擎的建設(shè)需要做好以下幾個(gè)方面的工作。一是網(wǎng)站分析。抓捕器需要設(shè)置所需的網(wǎng)站信息,并且還要結(jié)合特定的行業(yè)模板進(jìn)行抓捕工作。二是站點(diǎn)初始化分析。一些網(wǎng)站需要用戶登錄以后才能夠獲得詳細(xì)信息，因此，有必要在垂直搜索引擎中，設(shè)置這個(gè)注冊(cè)和登錄過程,這樣才能夠完善詳細(xì)的信息。三是頁(yè)面爬蟲。網(wǎng)絡(luò)爬蟲主要負(fù)責(zé)抓取一些web數(shù)據(jù)。四是數(shù)據(jù)分析。分析有用的鏈接和數(shù)據(jù),并且利用爬蟲來提取這些新的數(shù)據(jù)。五是建立索引。將爬蟲抓取到的信息進(jìn)行整理和分析，將這些信息進(jìn)行選擇并存儲(chǔ)在數(shù)據(jù)庫(kù)中當(dāng)中，并結(jié)合數(shù)據(jù)庫(kù)來建立索引，以便能夠快速獲取信息。六是搜索查詢。設(shè)計(jì)一個(gè)個(gè)性化的應(yīng)用程序，或融合一些其他網(wǎng)站，能夠搜索到其他網(wǎng)站的一些信息。

　　3 基于Lucene的垂直引擎的設(shè)計(jì)

　　3.1 lucene全文搜索框架 Lucene是一個(gè)子項(xiàng)目，能夠有效利用開放源代碼來對(duì)全文的搜索，它能夠給開發(fā)人員提供了大量的外部接口，這是一個(gè)易于使用的工具。在垂直搜索引擎的部件當(dāng)中，建立基于Lucene的索引和查詢，用戶只需要按照該方法來進(jìn)行操作，就能夠?qū)崿F(xiàn)對(duì)全文進(jìn)行檢索。因?yàn)長(zhǎng)ucene是開源的，具有面向全體對(duì)象的特點(diǎn)，程序員還能夠在此基礎(chǔ)

【基于lucene的垂直搜索引擎的研究與設(shè)計(jì)論文】相關(guān)文章：

1.垂直搜索引擎核心技術(shù)研究及展望論文

2.基于Web的農(nóng)機(jī)推廣信息系統(tǒng)的研究與設(shè)計(jì)論文

3.有關(guān)基于Zigbee的校園節(jié)能監(jiān)管系統(tǒng)網(wǎng)關(guān)的研究與設(shè)計(jì)論文

4.關(guān)于搜索引擎的研究論文

5.視覺設(shè)計(jì)中城市導(dǎo)向設(shè)計(jì)的研究論文

6.基于嵌入式終端的票控機(jī)的研究與設(shè)計(jì)分析論文

7.《平行與垂直》教學(xué)設(shè)計(jì)

8.學(xué)科的研究設(shè)計(jì)與規(guī)劃論文