发布时间:2023-6-24 分类: 行业资讯
我经常听到代购源码网站管理员问,百度蜘蛛是什么?最近百度蜘蛛经常来到服务器,最近百度蜘蛛都没有来。有多少代购源码网站想要获得百度蜘蛛的IP段,想要添加IP白名单,但IP不固定,我们无法发布它。
那么我们如何识别正确的百度蜘蛛呢?来吧,只需两步教你正确识别百度蜘蛛
1.检查UA。如果UA不正确,可以直接判断非百度搜索蜘蛛。已向公众宣布的UA是:
移动UA: Mozilla/5.0(Linux; u; Android 4.2.2; zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)版本/5.1 Mobile Safari/10600.6.3(兼容; Baiduspider/2.0; +http://www.baidu的.com /搜索/spider.html)
PC UA: Mozilla/5.0(兼容; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
添加了渲染UA:
移动UA:Mozilla/5.0(iPhone; CPU iPhone OS 9_1喜欢Mac OS X)AppleWebKit/601.1.46(KHTML,类似Gecko)版本/9.0 Mobile/13B143Safari/601.1(兼容; Baiduspider-render/2.0; +http://www.baidu的.com /搜索/spider.html)
PC UA:Mozilla/5.0(兼容; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2.检查IP
代购源码网站管理员可以使用DNS检查IP以确定蜘蛛是否来自百度搜索引擎。根据平台的不同验证方法,linux/windows/os三个平台下的验证方法如下:
1)在Linux平台下,您可以使用host ip命令来反转ip以确定它是否来自Baiduspider。 Baiduspider的主机名以* .baidu.com或* .baidu.jp的格式命名,不是* .baidu.com或* .baidu.jp。
2)在Windows平台或IBM OS/2平台上,您可以使用nslookup ip命令反转ip以确定它是否来自Baiduspider。打开命令处理器并输入nslookup xxx.xxx.xxx.xxx(IP地址)来解析ip以确定它是否来自Baiduspider。 Baiduspider的主机名以* .baidu.com或* .baidu.jp的格式命名。非* .baidu.com或* .baidu.jp是假冒。
3),在mac os平台下,你可以使用dig命令来反转ip,以确定它是否来自Baiduspider爬行。打开命令处理器并输入dig xxx.xxx.xxx.xxx(IP地址)来解析ip以确定它是否来自Baiduspider。 Baiduspider的主机名以* .baidu.com或* .baidu.jp的格式命名。非* .baidu.com或* .baidu.jp是假冒。
« 99%的SEO会犯错误 | 创建移动台友好的四个维度 »