全球主机交流论坛

标题: 万能的hostloc，请赐予我答案吧！！ [打印本页]

作者: 小伦 时间: 2011-7-29 13:53
标题: 万能的hostloc，请赐予我答案吧！！
遇到一个很郁闷的问题，一个网站，GG收录很给力，基本是秒收，但是百度就是不收录，1年了，就收录了一个主页
但是他的爬虫24小时在我的网站上爬，光爬虫都走了1G的流量
是什么问题啊？
万能的hostloc，请给我答案吧！！
下面是爬虫记录
18 个机器人* 文件数字节最近参观日期
BaiDuSpider 71786+8 1.01 G字节 2011年 7 月 29日 13:36
Googlebot 10535+15 119.61 M字节 2011年 7 月 29日 13:36

作者: geyunbing 时间: 2011-7-29 13:55
提示: 作者被禁止或删除内容自动屏蔽

作者: 神马皆浮云 时间: 2011-7-29 13:58
小伦老湿，求学生mm

作者: 神马皆浮云 时间: 2011-7-29 14:01
话说小伦老湿你这个爬虫记录肿么看的？还能看大小？

作者: iller_K 时间: 2011-7-29 14:01
标题: 回复 3# 神马皆浮云的帖子
这个可以有!

作者: samuel 时间: 2011-7-29 14:20
加上百度连接，上书“度娘，我会给你高潮”

作者: 金关村村长 时间: 2011-7-29 14:25
放网址出来才是啊

作者: 小伦 时间: 2011-7-29 20:59
神啊，就没有人给个答案

作者: fhs 时间: 2011-7-29 21:09
去吸引度娘蜘蛛

作者: 小伦 时间: 2011-7-29 21:49
蜘蛛天天爬啊，一个月爬1G多流量，就是不收录

作者: 老刘 时间: 2011-7-29 22:13
发外链.不然收录难

欢迎光临全球主机交流论坛 (https://loc.1226.eu.org/)