做seo�┚褪菫榱巳�悅搜索引擎�┠敲椽┪覀儽仨氁�了解搜索引擎抓取頁面的方式�� 搜索引擎不可能一次性抓取到網(wǎng)站中所有的頁面�┒�且網(wǎng)站中頁面的數(shù)量也會不斷地變化�﹥�(nèi)容也在不斷地更新。因此�┧阉饕�擎還需要對已經(jīng)抓取的頁面進行維護、更新�┮员隳芗皶r獲取頁面中最新的信息及抓取更多的新頁面。常見頁面維護方式包括��定期抓取、增量抓取及分類定位抓取。

　　●定期抓取 定期抓取也稱為周期性抓取�┘此阉饕�擎周期性地對網(wǎng)站中已收錄的頁面進行全面更新。更新的時候�┌炎ト〉降男马撁嫣鎿Q原有的舊頁面�﹦h除不存在的頁面�┎⒋鎯π掳l(fā)現(xiàn)的頁面。周期性更新針對的是全部已收錄的頁面�┮虼烁�新周期會比較長。例如�〨oogle-般是30��60天才會對已收錄的頁面進行更新。 定期抓取算法的實現(xiàn)相對簡單。由于每次更新涉及到網(wǎng)站中所有已經(jīng)收錄的頁面�┮虼隧撁鏅�(quán)重的再分配也是同步進行的。這種方式適用于維護頁面比較少、內(nèi)容更新緩慢的網(wǎng)站�├�如普通的企業(yè)網(wǎng)站。但是�┯捎诟�新周期十分漫長�┻@就導致不能及時向用戶反映更新其間頁面的變化情況。例如�┠硞�頁面的內(nèi)容更新以后�┲辽傩枰�30��60天才能在搜索引擎上有所體現(xiàn)。

　　●增量抓取 增量抓取是通過對已抓取的頁面進行定時監(jiān)控��實現(xiàn)對頁面的更新及維護。但是��對網(wǎng)站中的每個頁面都進行定時監(jiān)控的做法是不現(xiàn)實的�；�于重要頁面攜帶重要內(nèi)容的思想以及80/20法則�┧阉饕�擎只需對網(wǎng)站中部分重要頁面進行定時的監(jiān)控�┘纯色@取網(wǎng)站中相對重要的信息。因此�┰隽孔ト≈会槍�網(wǎng)站中某些重要的頁面�┒�非所有已經(jīng)收錄的頁面�┻@也是為什么搜索引擎對重要頁面的更新周期會更短的原因。例如�﹥�(nèi)容經(jīng)常更新的頁面�┧阉饕�擎也會經(jīng)常對其進行更新��從而可以及時發(fā)現(xiàn)新內(nèi)容、新鏈接�┎�刪除不存在的信息。 由于增量抓取是在原有頁面的基礎上進行的�┮虼藭�大大縮減搜索引擎的抓取時間�┒�且還可以及時向用戶展示頁面中最新的內(nèi)容。

　　●分類定位抓取 與增量抓取由頁面重要性決定不同�┓诸惗ㄎ蛔ト∈侵父鶕�(jù)頁面的類別或性質(zhì)而制定相應更新周期的頁面監(jiān)控方式。例如��對于“新聞資訊”與“資源下載”這兩類頁面�┬侣勝Y訊類頁面的更新周期可以精確到每分鐘�┒�下載類頁面更新周期就可以定為一天或更長。 分類定位抓取對不同類別的頁面進行分開處理�┻@樣就可以節(jié)省大量的抓取時間�┎⒋蟠筇岣唔撁鎯�(nèi)容的實時性�┮苍鰪婍撁孀ト〉撵`活性。但是�┌凑疹悇e而制定頁面更新周期的方式比較籠統(tǒng)�┖茈y跟蹤頁面的更新情況。因為即使是相同類別的頁面�┰诓煌�的網(wǎng)站上內(nèi)容的更新周期也會存在很大的差別。例如新聞類頁面�┰诖笮烷T戶網(wǎng)站中內(nèi)容的更新速度就會比其他小型網(wǎng)站快得多。

　　所以�┻�需要結(jié)合其他的方式�Ю�如增量抓取等�▽�頁面進行監(jiān)控、更新。 實際上�┧阉饕�擎對網(wǎng)站中頁面的維護也是結(jié)合多種方式進行�┫喈斢陂g接為每一個頁面選擇最合適的維護方式。這樣�ゼ瓤梢詼p少搜索引擎的負擔�ビ挚梢詾橛脩籼峁┘皶r的信息。 例如在一個網(wǎng)站中��會存在多種不同性質(zhì)的頁面�コＲ姷陌�括首頁、論壇頁面、內(nèi)容頁面等。對于更新比較頻繁的頁面�＠�如首頁�おタ梢允褂迷隽孔ト》绞綄ζ溥M行監(jiān)控�ミ@樣就可以對網(wǎng)站中相對重要的頁面進行及時更新�Χ鴮τ趯崟r性非常高的論壇頁面��則可以采用分類定位的抓取方式�Χ鵀榱朔乐惯z漏網(wǎng)站中的某些頁面�ミ�需要采用定期抓取的方式。