服務(wù)器處理網(wǎng)頁

服務(wù)器處理是對蜘蛛抓取的網(wǎng)頁進(jìn)行處理，是提高搜索準(zhǔn)確度和用戶體驗的重要節(jié)，和爬行抓取相同，都是搜索引擎后臺處理的一部分。搜索引擎蜘蛛抓取的網(wǎng)頁數(shù)據(jù)是不能直接參與排名的。因為數(shù)據(jù)過于龐大，如果直利用檢索器檢索，大量相關(guān)網(wǎng)頁的排名計算量非常大，根本不能在一兩秒內(nèi)提供給用戶案，所以搜索引擎會對抓取的網(wǎng)頁進(jìn)行預(yù)處理，得出關(guān)鍵詞的索引，相當(dāng)于對網(wǎng)頁上各關(guān)鍵詞進(jìn)行一個預(yù)排名，用戶檢索時就能更快地獲得搜索結(jié)果。服務(wù)器處理網(wǎng)頁的工作通常包括網(wǎng)頁結(jié)構(gòu)化、分詞、去噪去重、索引、超鏈分析、

據(jù)整合等，下面分別來介紹這些內(nèi)容。

1.網(wǎng)頁結(jié)構(gòu)優(yōu)化

提取網(wǎng)頁有用信息，去除HTML代碼及腳本，剩下的文字信息就是服務(wù)器需要分析處理的數(shù)據(jù)。

搜索引擎蜘蛛抓取到的網(wǎng)頁是整個網(wǎng)頁所有的信息都包含在其中，導(dǎo)航、分類列表友情鏈接，甚至廣告都會被抓取到搜索引擎，這樣的內(nèi)容并不能直接用來進(jìn)行預(yù)排名處理所以搜索引擎會去除網(wǎng)頁的HTML代碼，剩下的文字內(nèi)容，如正文文字、Meta標(biāo)簽文字錨文本、圖片視頻注釋等，都可以進(jìn)行排名的處理，這樣對排名的干擾也就更小了。

<div class="headlinetop">

<a

blank">

<h3>蘋果全球十四大最著名零售店</h3>

<p>騰訊科技訊(云松）北京時間3月12日消息，據(jù)國外媒體報道，近日，全球著名雜志《福布斯》發(fā)布了蘋果公司在……</p></a></dlv>

以上代碼經(jīng)過服務(wù)器網(wǎng)頁結(jié)構(gòu)化后就剩下：“蘋果全球十四大最著名零售店 騰訊科技訊(云松）北京時間3月12日消息，據(jù)國外媒體報道，近日，全球著名雜志《福布斯》發(fā)布了蘋果公司在……”。

2.分詞

通常在中文搜索引擎中使用，由于中文和英文語系的意義表達(dá)不同，中文的意思表達(dá)一般是詞匯，有的一個字為一個詞匯，也可以多個字組成一個詞匯，而且中文詞匯之間是沒有間隔做區(qū)分的。因此在中文搜索引擎中，需要根據(jù)詞典或者日常使用習(xí)慣對語句按詞匯進(jìn)行劃分，以建立以詞匯為索引的信息數(shù)據(jù)庫。

例如，上面的網(wǎng)頁“蘋果全球十四大最著名零售店”，搜索引擎調(diào)用詞典分詞為“蘋果”“全球”“十四”“大”“最”“著名”“零售店”，然后根據(jù)一定的條件，建立由這些詞為索引的網(wǎng)頁數(shù)據(jù)，再進(jìn)行一系列的排名程序。但在實際應(yīng)用中，不只會用詞典為依據(jù)，還會加入日常搜索的統(tǒng)計數(shù)據(jù)和該網(wǎng)頁自身詞匯組成來分詞。

因為中文詞匯非常多，所以搜索引擎在判斷網(wǎng)頁詞匯的時候需要借用詞典進(jìn)行分詞，而搜索引擎分詞的準(zhǔn)確性取決于詞典的準(zhǔn)確性和完整性。主要搜索引擎都會建立獨立的詞典，這個詞典不是一成不變的，會不斷加人新詞匯，也會將常用的詞匯進(jìn)行靠前排列，在調(diào)用時也就更快捷。調(diào)用的過程就是將抓取到的網(wǎng)頁文字逐一按詞到詞典中去匹配，也就相當(dāng)于我們查詞典的過程。

需要注意的是服務(wù)器分詞的時候，用正向和逆向兩種順序掃描網(wǎng)頁中的文字，以詞典中含有的長短詞對網(wǎng)頁文字進(jìn)行多次分詞。例如，“中國地圖”在按詞典分詞時，服務(wù)器正向掃描分為“中國”“地圖”，這是最短的詞匯，如果按照最大匹配可以分為“中國地圖”，然后建立與詞對應(yīng)索引項。圖2.8和圖2.9所示為“中國地圖”百度分詞的兩種結(jié)果。

依據(jù)統(tǒng)計數(shù)據(jù)的分詞是對詞典分詞的一種補(bǔ)充和優(yōu)化。由于詞典對新詞的匹配度很低，搜索引擎不能很好地對新關(guān)鍵詞的網(wǎng)頁進(jìn)行分詞并建立索引，這就大大降低了搜索引擎搜索新關(guān)鍵詞的能力。作為對詞典分詞的補(bǔ)充，服務(wù)器能根據(jù)網(wǎng)頁中每個字的前后字出現(xiàn)頻率(頻率越高說明這幾個字成詞）形成詞匯的統(tǒng)計數(shù)據(jù)庫，分詞時調(diào)用并進(jìn)行匹配。例如，搜索“鞋子理論是什么”，由于習(xí)近平主席提出的“鞋子理論”近日受到廣泛關(guān)注，網(wǎng)頁中“鞋子理論”四個字出現(xiàn)在一起的頻率非常高，因此在統(tǒng)計數(shù)據(jù)庫中就形成了一個詞條，用以網(wǎng)頁分詞的匹配。圖2.10所示為“鞋子理論是什么”的百度分詞結(jié)果。

Baid百度快照

您查詞的關(guān)建詞是：鞋子理論是什么，如果打開速度餒，司以雪試快過題，如需想保存快現(xiàn)，(伍讀和問面1信p/gock 591rx.c0m/ar1ce/2013-03-25/0000678650s 3mbrg0作通無關(guān)，下時元內(nèi)可

圖2.10“鞋子理論是什么”百度分詞結(jié)果

值得注意的是每種搜索引擎分詞的結(jié)果并不完全相同，滿足用戶需求的能力也有所不同，這主要取決于搜索引擎的詞典的豐富程度與準(zhǔn)確度。因此網(wǎng)頁在不同搜索引擎的分詞結(jié)果并不完全相同，也是影響搜索結(jié)果的一個因素。SEO人員在針對分詞上所能做的就是盡量使常用搜索詞組合在一起，這樣在搜索引擎分詞時就可以將常用詞化為同一個詞建索引，也就能獲得更高的匹配度。