全球主机交流论坛

标题: 有什么办法不让网站被各大搜索引擎收录 [打印本页]

作者: Polymer_dg 时间: 2017-8-19 19:14
标题: 有什么办法不让网站被各大搜索引擎收录
除了去暗网

作者: 余晖脉脉 时间: 2017-8-19 19:15
提示: 作者被禁止或删除内容自动屏蔽

作者: 萌䒤萌 时间: 2017-8-19 19:19
全站必须登录才能访问就是

作者: leaveoff 时间: 2017-8-19 19:19
设置Robot.txt是可以的。。。

作者: 余晖脉脉 时间: 2017-8-19 19:19
提示: 作者被禁止或删除内容自动屏蔽

作者: 萌䒤萌 时间: 2017-8-19 19:20

余晖脉脉发表于 2017-8-19 19:19
还是会收录登陆页面

作者: sky170 时间: 2017-8-19 19:21
robost.txt?

作者: sky170 时间: 2017-8-19 19:21
我记得meta头部信息也可以设置好像

作者: hdown 时间: 2017-8-19 19:23
robost.txt加上nginx判断一下蜘蛛的ua

作者: dvbhack 时间: 2017-8-19 19:23
就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎

作者: 余晖脉脉 时间: 2017-8-19 19:26
提示: 作者被禁止或删除内容自动屏蔽

作者: 醉里耍大刀 时间: 2017-8-19 19:44
头部返回500状态

作者: Rabbey 时间: 2017-8-19 19:46
用这个 http://tool.chinaz.com/robots/

作者: kaivps代理 时间: 2017-8-19 19:47
CC策略屏蔽引擎

作者: 十十 时间: 2017-8-19 19:50
以lnmp为例，在/usr/local/nginx/conf/vhost文件夹中找到你的域名配置文件，输入以下代码：

if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
return 403;
}

复制代码

然后重启nginx生效，能不让搜索引擎收录，但是我的网站还是被墙了

作者: Tran 时间: 2017-8-19 21:10
设置网站访问密码

作者: kyotrue 时间: 2017-8-19 23:26
垃圾域名就不会被收录，TK、ML这些

作者: njav 时间: 2017-8-19 23:48

dvbhack 发表于 2017-8-19 19:23
就是robots.txt，“各大搜索引擎”还是能遵守的，不遵守的都是些不知道什么玩意儿的搜索引擎 ...

google就帶頭不遵守

作者: 风铃 时间: 2017-8-20 01:36
屏蔽了还是会收录比如你在百度搜索淘宝网那种效果，最好的是直接屏蔽搜索引擎的ip地址

作者: billyfish152 时间: 2017-8-20 01:38
你需要按照防采集的思路防搜索引擎

作者: 黑街天祖 时间: 2017-8-20 01:39
提示: 作者被禁止或删除内容自动屏蔽

作者: oskey 时间: 2017-8-20 05:58
屏蔽蜘蛛ip

作者: yandere 时间: 2017-8-20 11:04
设置个401认证

欢迎光临全球主机交流论坛 (https://loc.1226.eu.org/)