最新对百度蜘蛛的发现,百度对新站蜘蛛爬的很快

       最近弄了几个自动采集更新的程序就是 NICEWORDS,建了几个站反正成本也就一块钱一个。K了也不心疼,因为也不会花很多功夫进去,都是自动更新的。为了观察蜘蛛的情况所以都开了网站日志,昨天建了个站,发现百度的蜘蛛已经几乎将所有的页面爬完了,但是又看了一个被K的站他就爬了没几页。发现他蜘蛛对新站的页面爬的很快,估计可能是否验证是垃圾数据还是什么东西,至于收不收还要看下次的更新情况。。

估计可能是不近人意的。

最新对百度蜘蛛的发现,百度对新站蜘蛛爬的很快》上有 1 条评论

发表评论

邮箱地址不会被公开。 必填项已用*标注

click to changeSecurity Code