全球主机交流论坛

标题: cloudflare的五秒盾，影响蜘蛛抓取和收录吗 [打印本页]

作者: 围观者 时间: 2018-2-27 21:16
标题: cloudflare的五秒盾，影响蜘蛛抓取和收录吗
如果网站不想被收录，开着这个五秒盾，可以防止来蜘蛛抓取吗

这样开着，能保证蜘蛛抓取不到内容吗？
因为我听说cloudflare对谷歌和几家大的搜索引擎，有特殊通道，不受五秒盾影响

作者: hxuf 时间: 2018-2-27 21:17
应该都没有影响只是会影响用户体验

作者: 安之若素 时间: 2018-2-27 21:17
Robots 不行吗，

作者: hellfires 时间: 2018-2-27 21:18
提示: 作者被禁止或删除内容自动屏蔽

作者: raingoc 时间: 2018-2-27 21:25
3楼说的这么好为什么不采纳呢

作者: sskdgu 时间: 2018-2-27 21:27
好像受影响的，爬不到了

作者: 冻猫 时间: 2018-2-27 21:28
robots.txt
User-agent: *
Disallow: /

作者: wxchello 时间: 2018-2-27 21:57
想要不想收录很简单，用个便宜的非主流域名后缀加robots，robots防止谷歌收录，便宜非主流域名后缀防止国内搜索引擎收录

欢迎光临全球主机交流论坛 (https://loc.1226.eu.org/)