最近 泰州网站优化在分析网站的时候,需要分析到网站的日志,在日志上我们重点需要分析的是各种蜘蛛的记录,其中最重要的当然是 百度蜘蛛了,一般而言, 百度蜘蛛的记录只要搜索“Baiduspider”就行了。我们在搜索中可以看到,不同的页面可能有不同IP段的百度蜘蛛来爬行抓取,那么这些不同IP的百度蜘蛛所起的作用都是一眼的么?
实际上是有很大差别的,有的IP的百度蜘蛛是抓取新页面的,有的IP百度蜘蛛是 降权的,那么我们该如何判断呢?还好网上已经有人总结了一份相当详细的表格,解释了各个百度蜘蛛IP所代表的含义。虽然不一定解读得准确,但是也可以供我们参考了。
百度蜘蛛 | 功能说明 |
60.172.229.61 | 蜘蛛来访,准备抓取网页内容 |
61.129.45.72 | 蜘蛛来访,准备抓取网页内容 |
61.135.162.* | 蜘蛛来访,准备抓取网页内容 |
61.135.165.134 | 百度竞价蜘蛛 |
117.34.74.66 | 百度竞价蜘蛛 |
118.122.188.194 | 百度竞价蜘蛛 |
119.63.196.9 | 百度竞价蜘蛛 |
125.39.78.185 | 百度竞价蜘蛛 |
61.135.186.* | 百度联盟蜘蛛、 百度统计蜘蛛 |
61.147.98.146 | 站长工具模拟百度蜘蛛 |
61.188.39.16 | 站长工具模拟百度蜘蛛 |
113.98.254.245 | 站长工具模拟百度蜘蛛 |
117.21.220.245 | 站长工具模拟百度蜘蛛 |
117.28.255.42 | 站长工具模拟百度蜘蛛 |
124.248.34.52 | 站长工具模拟百度蜘蛛 |
125.90.88.* | 站长工具模拟百度蜘蛛 |
119.147.114.213 | 站长工具模拟百度蜘蛛 |
121.10.141.* | 站长工具模拟百度蜘蛛 |
123.15.**.** | 百度图片蜘蛛 |
123.125.71.* | 抓取网站内页 收录,质量不高,暂时不会放出来 |
159.226.50.* | 考察蜘蛛(很大可能是降权蜘蛛) |
180.76.5.* | 考察蜘蛛(很大可能是降权蜘蛛) |
180.76.5.87 | 考察蜘蛛(很大可能是降权蜘蛛) |
220.181.158.107 | 考察蜘蛛(很大可能是降权蜘蛛) |
183.91.40.144 | 新站不正常情况下的蜘蛛 |
203.208.60.* | 新站不正常情况下的蜘蛛 |
210.72.225.* | 打酱油的百度蜘蛛 |
123.125.68.* | 如果发现下面这几个ip段每天只增不减的话,那就很危险了, 很有可能会进入沙盒或者有被K站的现象。 |
218.30.118.102 | 如果发现下面这几个ip段每天只增不减的话,那就很危险了, 很有可能会进入沙盒或者有被K站的现象。 |
220.181.68.* | 如果发现下面这几个ip段每天只增不减的话,那就很危险了, 很有可能会进入沙盒或者有被K站的现象。 |
123.125.66.* | 代表百度蜘蛛IP来过了,准备抓取你网站上的东西! |
220.181.7.* | |
121.14.89.* | 百度蜘蛛作为度过新站考察期的一个ip段 |
220.181.108.95 | 此ip段爬过的文章或首页正常情况下基本在24小时都会放出来 |
220.181.108.92 | 此ip段爬过的文章或首页正常情况下基本在25小时都会放出来 |
220.181.108.91 | 此ip段爬过的文章或首页正常情况下基本在26小时都会放出来 |
220.181.108.75 | 此ip段爬过的文章或首页正常情况下基本在27小时都会放出来 |
123.125.71.95 | 抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来, 因它怀疑不是原创文章或者怀疑是采集来的文章。 |
123.125.71.97 | 抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来, 因它怀疑不是原创文章或者怀疑是采集来的文章。 |
123.181.108.77 | 抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来, 因它怀疑不是原创文章或者怀疑是采集来的文章。 |
123.125.71.106 | 抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来, 因它怀疑不是原创文章或者怀疑是采集来的文章。 |
220.181.108.89 | 专用抓取网站首页的,也属于权重段, 一般返回代码304 0 0就代表网站未更新 |
220.181.108.94 | 专用抓取网站首页的,也属于权重段, 一般返回代码304 0 1就代表网站未更新 |
220.181.108.97 | 专用抓取网站首页的,也属于权重段, 一般返回代码304 0 2就代表网站未更新 |
220.181.108.80 | 专用抓取网站首页的,也属于权重段, 一般返回代码304 0 3就代表网站未更新 |
220.181.108.77 | 专用抓取网站首页的,也属于权重段, 一般返回代码304 0 4就代表网站未更新 |
220.181.108.83 | 专用抓取网站首页的,也属于权重段, 一般返回代码304 0 5就代表网站未更新 |
220.181.108.86 | 专用抓取网站首页的,也属于权重段, 一般返回代码304 0 6就代表网站未更新 |
以上这份表格就是关于百度蜘蛛IP段的详细解释,现在通过这份表格,我们就知道为什么最近我们的网站权重下降了,或者是网站更新抓取及时了。
当然了,上面只是提到了百度蜘蛛IP的问题,实际上分析网站日志是一个非常好的习惯,你能够了解到的东西,绝不仅仅是一个百度网站蜘蛛。