广告位招租

推扬网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
推扬网 门户 经验分享 查看内容

如何查看百度蜘蛛是否过来网站

2020-3-23 20:45| 发布者: admin| 查看: 40| 评论: 0

怎么看是否来过?如何正确识别百度蜘蛛?如何进行蜘蛛的抓取诊断?如何通过百度蜘蛛IP得知网站状态?

怎么看是不是来过?若何精确辨认baidu蜘蛛?若何举行蜘蛛的抓取诊断?若何经由过程baidu蜘蛛IP得悉网站状况?

一、若何检察baidu蜘蛛是不是过去网站

能够经由过程检察网站日记举行。Windows服务器的IIS与Linux服务器的apache都有记载网站日记的性能。

二、若何鉴识baidu蜘蛛

baidu民间给出的鉴识baidu蜘蛛的要领以下。

1、检察UA

首先要UA精确,baidu颁布过的UA有以下这些。

挪移UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) appleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+)

新增衬着UA:

挪移UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +)

三、若何经由过程baidu蜘蛛IP得悉网站状况

1、抓取你网站的网页蜘蛛

60.172.229.61

61.129.45.72

61.135.162.*

2、baidu竞价蜘蛛

61.135.165.134

117.34.74.66

118.122.188.194

119.63.196.9

125.39.78.185

3、baidu统计的蜘蛛

61.135.186.*

4、站长对象的仿照的baidu蜘蛛

61.147.98.146

61.188.39.16

113.98.254.245

117.21.220.245

117.28.255.42

5、搜外站长对象的仿照的baidu蜘蛛

124.248.34.52

6、114站长工具箱仿照的baidu蜘蛛

119.147.114.213

121.10.141.*

7、baidu图片蜘蛛

123.15.**.**

8、抓取网站内页收录的权重较低的非原创,需求经由过程一段时候调查

123.125.71.*

9、站长对象检测造成的无用

125.90.88.*

10、baidu考察期蜘蛛或降权蜘蛛

159.226.50.*

180.76.5.*

180.76.5.87

220.181.158.107

11、假装baidu蜘蛛

180.149.130.*

12、新站及站点有不正常征象

183.91.40.144

203.208.60.*

13、不间断巡逻各站便是途经

210.72.225.*

14、沙盒或许有被K站

123.125.68.*

218.30.118.102

220.181.68.*

15、此ip爬过的文章或首页,绝对24小时内放出来和隔夜快照

220.181.108.*

16、baidu蜘蛛IP来过,预备抓取

123.125.66.*

220.181.7.*

17、渡过新站考察期

121.14.89.*

18、baidu抓取首页的公用IP,网站首页快照更新快,隔夜更新

220.181.108.95

19、baidu的权重IP段,抓取的文章次日放出来,权重较高

220.181.108.92

20、综合性权重IP,抓取文章和首页,权重较高

220.181.108.91

220.181.108.75

21、抓取内页收录的,但权重较低

123.125.71.95

123.125.71.97

123.181.108.77

123.125.71.106

22、抓取网站首页的,也属于权重段,权重较高。

220.181.108.89

220.181.108.94

220.181.108.97

220.181.108.80


鲜花

握手

雷人

路过

鸡蛋

最新评论

关闭

站长推荐上一条 /1 下一条

QQ|广告服务|网站出售|投稿要求|禁言标准|版权说明|免责声明|手机版|小黑屋|推扬网 ( 粤ICP备18134897号 )

GMT+8, 2020-5-25 19:30 , Processed in 0.197282 second(s), 28 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

返回顶部

为了响应国家互联网安全,本站已和国家网信办举报中心对接。发布内容信息系统会自动记录IP地址、设备信息、行为记录等。如有发生犯罪违法违规行为,我们全部配合有关部门协助调查取证!

本站部分文字及图片均来自于网络,如侵犯到您的权益,请及时通知我们,我们将及时的处理。

本站所提供的信息,只供参考之用。本站不保证该等信息的准确性、有效性、及时性或完整性。本站一概毋须以任何方式就任何信息传递或传送的失误、不准确或错误对用户或任何其他人士负任何直接或间接的责任。
在法律允许的范围内,本站在此声明,不承担用户或任何人士就使用或未能使用本站所提供的信息或任何链接或项目所引致的任何直接、间接、附带、从属、特殊、惩罚性或惩戒性的损害赔偿(包括但不限于收益、预期利润的损失或失去的业务未实现预期的节省)。

本站中的文章(包括转贴文章)的版权仅归原作者所有,若作者有版权声明的或文章从其它网站(或各种互联网渠道)转载而附带有原所有站的版权声明者,其版权归属以附带声明为准;文章仅代表作者本人的观点,与本站立场无关。