一、頁面更新度。

蜘蛛每次爬行都會(huì)把頁面數(shù)據(jù)存儲(chǔ)起來。如果第二次爬行發(fā)現(xiàn)頁面與第一次收錄的完全一樣，說明頁面沒有更新，多次抓取后，蜘蛛會(huì)對(duì)頁面更新頻率有所了解，不經(jīng)常更新的頁面，蜘蛛也就沒有必要經(jīng)常抓取了。像我的網(wǎng)站愛起航登報(bào)網(wǎng)有個(gè)欄目經(jīng)常每天更新1-3篇文字，蜘蛛就對(duì)這個(gè)欄目抓取的很快，幾乎是第二天就放出來快照了，而有的欄目更新的比較慢，就算更新了，蜘蛛也不會(huì)很快的給抓取了。

二、導(dǎo)入鏈接。

無論是外部鏈接還是同一個(gè)網(wǎng)站的內(nèi)部鏈接，要是被蜘蛛抓取，就必須要有導(dǎo)入鏈接進(jìn)入頁面，否則蜘蛛根本沒有機(jī)會(huì)知道這個(gè)頁面的存在。高質(zhì)量的導(dǎo)入鏈接也經(jīng)常會(huì)使導(dǎo)出鏈接被爬行深度增加。下面的文章發(fā)布了，幾乎很少有蜘蛛爬去，我就給從外部導(dǎo)入幾個(gè)鏈接，讓蜘蛛有個(gè)渠道可以爬取。

三、與首頁的點(diǎn)擊距離。

一般來說網(wǎng)站權(quán)重最高的是首頁，大部分鏈接是指向網(wǎng)站首頁，蜘蛛爬的最快的也是首頁，所以我首頁的文章更新的就比較快，而蜘蛛抓取的也快。