×

什么導(dǎo)致引擎蜘蛛抓取異常

  • 作者:新網(wǎng)
  • 來源:新網(wǎng)
  • 瀏覽:100
  • 2018-02-27 17:19:31

什么導(dǎo)致引擎蜘蛛抓取異常?網(wǎng)站發(fā)布高質(zhì)量內(nèi)容讓搜索引擎蜘蛛抓取就會讓網(wǎng)站有一個好的排名,導(dǎo)致搜索引擎蜘蛛抓取異常的原因有什么,接下來為大家具體分析一下。

什么導(dǎo)致引擎蜘蛛抓取異常?網(wǎng)站發(fā)布高質(zhì)量內(nèi)容讓搜索引擎蜘蛛抓取就會讓網(wǎng)站有一個好的排名,導(dǎo)致搜索引擎蜘蛛抓取異常的原因有什么,接下來為大家具體分析一下。
 

22c6000402bba5ff1692.gif

異常跳轉(zhuǎn)
將網(wǎng)絡(luò)請求重新指向其他位置即為跳轉(zhuǎn)。異常跳轉(zhuǎn)指的是以下幾種情況:
1)當(dāng)前該頁面為無效頁面(內(nèi)容已刪除、死鏈等),直接跳轉(zhuǎn)到前一目錄或者首頁,百度建議站長將該無效頁面的入口超鏈接刪除掉
2)跳轉(zhuǎn)到出錯或者無效頁面
注意:對于長時間跳轉(zhuǎn)到其他域名的情況,如網(wǎng)站更換域名,百度建議使用301跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。
其他異常:
1)針對百度refer的異常:網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行為。
2)針對百度ua的異常:網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。
3)JS跳轉(zhuǎn)異常:網(wǎng)頁加載了百度無法識別的JS跳轉(zhuǎn)代碼,使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情況。
4)壓力過大引起的偶然封禁:百度會根據(jù)站點的規(guī)模、訪問量等信息,自動設(shè)定一個合理的抓取壓力。但是在異常情況下,如壓力控制失常時,服務(wù)器會根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下,請在返回碼中返回503(其含義是“Service Unavailable”),這樣搜索引擎蜘蛛會過段時間再來嘗試抓取這個鏈接,如果網(wǎng)站已空閑,則會被成功抓取。
什么導(dǎo)致引擎蜘蛛抓取異常?在以前的文章中小編就為大家介紹過很多的導(dǎo)致引擎蜘蛛抓取異常的原因和解決辦法,看過了以上的文章你都學(xué)會了嗎?其實這些原因解決起來也是挺簡單的,只要我們找對了方法就能很快的解決了,希望以上文章對你有所幫助。

免責(zé)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳,本網(wǎng)站不擁有所有權(quán),也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,請發(fā)送郵件至:operations@xinnet.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,本站將立刻刪除涉嫌侵權(quán)內(nèi)容。

免費咨詢獲取折扣

Loading