测试网站是否能被百度蜘蛛抓取

只需要使用curl命令配合一些参数就可以测试了,看返回内容就知道能否抓取了

# 用PC的UA来抓取
curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" http://listenerri.com
# 用移动UA来抓取
curl -A "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）" http://listenerri.com

下面两张图是我测试正常的,第一张是上述命令返回的开始部分,第二张是上述命令返回的结束部分: