Spider也就是大家常說的爬蟲、蜘蛛或機器人，是處于整個搜索引擎最上游的一個模塊，只有Spider抓回的頁面或URL才會被索引和參與排名。需要注意的是，只要是Spider抓到的URL, 都可能會參與排名，但參與排名的網(wǎng)頁并不一定就被Spider抓取到了內(nèi)容，比如有些網(wǎng)站屏蔽搜索引擎Spider后，雖然Spider不能抓取網(wǎng)頁內(nèi)容，但是也會有一些域名級別的URL在搜索引 擎中參與了排名(例如天貓上的很多獨立域名的店鋪)。根據(jù)搜索引擎的類型不同，Spider也會有不同的分類。大型搜索引擎的Spider一般都會有以下所需要解決的問題，也是和SEO密切相 關的問題

首先，Spider想要抓取網(wǎng)頁，要發(fā)現(xiàn)網(wǎng)頁抓取入口，沒有抓取入口也就沒有辦法繼續(xù)工作， 所以首先要給Spider一些網(wǎng)頁入口，然后Spider順著這些入口進行爬行抓取，這里就涉及抓取 策略的問題。抓取策略的選擇會直接影響Spider所需要的資源、Spider所抓取網(wǎng)頁占全網(wǎng)網(wǎng)頁 的比例，以及Spider的工作效率。那么Spider一般會采用什么樣的策略抓取網(wǎng)頁呢?

其次，網(wǎng)頁內(nèi)容也是有時效性的，所以Spider對不同網(wǎng)頁的抓取頻率也要有一定的策略性， 否則可能會使得索引庫中的內(nèi)容都很陳舊，或者該更新的沒更新，不該更新的卻浪費資源更新了，甚至還會出現(xiàn)網(wǎng)頁已經(jīng)被刪除了，但是該頁面還存在于搜索結果中的情況。那么Spider一 般會使用什么樣的再次抓取和更新策略呢?

什么是搜索引擎的Spider(蜘蛛)?相信大家看過了以上文章以后對于什么是搜索引擎的Spider(蜘蛛)肯定已經(jīng)完全明白了。