官方是這樣解釋的:抓取頻次是搜索引擎在單位時間內(nèi)對網(wǎng)站服務(wù)器抓取的總次數(shù),如果搜索引擎對站點的抓取頻次過高,很有可能造成服務(wù)器不穩(wěn)定,Baiduspider會根據(jù)網(wǎng)站內(nèi)容更新頻率和服務(wù)器壓力等因素自動調(diào)整抓取頻次。
通過百度抓取頻次的查看,我們網(wǎng)站管理員可以清晰的了解百度對我們的網(wǎng)站的爬取次數(shù),相應(yīng)的爬取時間。
其次通過百度抓取頻次的可以引導(dǎo)管理百度蜘蛛
(1)對于抓取頻次過大問題如何解決
1、如果您覺得Baiduspider 抓取了您認(rèn)為的無價值鏈接, 請更新網(wǎng)站robots.txt進行屏蔽抓取,然后到robots工具頁面操作生效。
2、如果Baiduspider的抓取影響了您網(wǎng)站的正常訪問,請到抓取頻次上限調(diào)整頁面進行抓取頻次上限下調(diào)。
3、若以上方法均不能解決問題,請到反饋中心反饋。
(2)對于抓取頻次過小問題如何解決
您可以按照如下方法依次進行排查及解決頻次過小問題:
1、若您已設(shè)置了抓取頻次上限,建議您先取消抓取頻次上限設(shè)置或到抓取頻次上限調(diào)整頁面上調(diào)抓取頻次上限。
2、若您未設(shè)置抓取頻次上限,建議先使用抓取異常工具查看是否為抓取異常導(dǎo)致。
3、若您仍覺得抓取量較小,可能是您有新鏈接未提交,請到鏈接提交頁面進行數(shù)據(jù)提交。
4、若以上方法均不能解決問題,請到反饋中心反饋。
一般來講百度搜索引擎蜘蛛抓取頻次曲線是基本平緩延伸的,不會大幅波動,如果你的網(wǎng)站在抓取頻次方面出現(xiàn)大幅波動,很大可能是被木馬攻擊,被上傳的過多的頁面。
如果從大幅波動期慢慢恢復(fù)原來的抓取頻率,說明網(wǎng)站正逐漸恢復(fù)和變好,通過這種改變,可以增強我們廣大SEO朋友們的信心。