1、百度蜘蛛：Baiduspider
網上的資料百度蜘蛛名稱有BaiduSpider、baiduspider等，都洗洗睡吧，那是舊黃歷了。百度蜘蛛最新名稱為Baiduspider。日志中還發現了Baiduspider-image這個百度旗下蜘蛛，查了下資料（其實直接看名字就可以了……），是抓取圖片的蜘蛛。
常見百度旗下同類型蜘蛛還有下面這些：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取圖片）、Baiduspider-video（抓取視頻）、Baiduspider-news（抓取新聞）。
注：以上百度蜘蛛目前常見的是Baiduspider和Baiduspider-image兩種。

2、谷歌蜘蛛：Googlebot
這個爭議較少，但也有說是GoogleBot的。谷歌蜘蛛最新名稱為“compatible; Googlebot/2.1;”。還發現了Googlebot-Mobile，看名字是抓取wap內容的。

3、360蜘蛛：360Spider，它是一個很“勤奮抓爬”的蜘蛛。

4、SOSO蜘蛛：Sosospider，也可為它頒一個“勤奮抓爬”獎的蜘蛛。

5、雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo! 
名稱中帶“Slurp”和空格，名稱有空格robots里名稱可以使用“Slurp”或者“Yahoo”單詞描述，不知道有效無效。

6、有道蜘蛛：YoudaoBot，YodaoBot（兩個名字都有，中文拼音少了個U字母讀音差別很大嘎，這都會少？）

7、搜狗蜘蛛：Sogou News Spider
搜狗蜘蛛還包括如下這些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider，
（參考一些網站的robots文件，搜狗蜘蛛名稱可以用Sogou概括，無法驗證不知道有沒有效）
看看最權威的百度的robots.txt ，http://www.baidu.com/robots.txt 就為Sogou搜狗蜘蛛費了不少字節，占了一大塊領地。
“Sogou web spider；Sogou inst spider；Sogou spider2；Sogou blog；Sogou News Spider；Sogou Orion spider”目前6個，名稱都帶空格。
線上常見"Sogou web spider/4.0" ；"Sogou News Spider/4.0" ；"Sogou inst spider/4.0" 可以為它頒個“占名為王”獎。

8、MSN蜘蛛：msnbot，msnbot-media（只見到msnbot-media在狂爬……）

9、必應蜘蛛：bingbot 
線上(compatible; bingbot/2.0;)

10、一搜蜘蛛：YisouSpider    （對應神馬搜索引擎）

11、Alexa蜘蛛：ia_archiver

12、宜sou蜘蛛：EasouSpider

13、即刻蜘蛛：JikeSpider

14、一淘網蜘蛛：EtaoSpider

"Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)"
根據上述蜘蛛中選擇幾個常用的允許抓取，其余的都可以通過robots屏蔽抓取。如果你暫時空間流量還足夠使用，等流量緊張了就保留幾個常用的屏蔽掉其它蜘蛛以節省流量。至于那些蜘蛛抓取對網站能帶來有利用的價值，網站的管理者眼睛是雪亮的。

另外還發現了如 YandexBot、AhrefsBot和ezooms.bot這些蜘蛛屬于國外搜索，對中文網站用處很小。那不如就節省下資源。

官網地址：https://www.50yun.top

免費注冊：https://www.50yun.top/col-reg/

趕快注冊 - 創建自己的線上數字化運營系統吧