服务器如何屏蔽某个域名的爬虫抓取?

robotstxt文件用法举例
禁止所有搜索引擎访问网站的任何部分 User-agent:
Disallow: /
在他网站根目录下放个robotstxt文件,然后 写上上面的内容,就没有收录了

如果用户不能随意的更改DNS服务器的话，那么可以利用系统的Hosts文件来进行屏蔽。我们知道在网络上要访问网 的话，要首先通过DNS服务器把要访问的网络域名解析成IP地址才能访问。为了提高对经常访问的网络域名的解析效率，可以通过利用Hosts文件中建立域 名和IP的映射关系来达到目的。当然我们可以利用Hosts把该网站的域名，映射到错误的IP或本地计算机的IP，这样系统就不用访问这个网站了。这里我 们以Windows XP为例，首先在C:\WINDOWS\system32\drivers\etc中找到hosts，然后用记事本打开这个文件，在 “127001 localhost”下面写上“127001 禁止访问某网站”后保存即可。当然我们也可以利用杀毒软件或网络防火墙对这个网 站进行屏蔽设置。

域名被墙的处理方法
1、使用国内服务器；
2、服务器上绑定一个新域名，使用国内的转发服务器，将被墙的域名跳转到新域名上；[推荐] 使用第二种方式时，通过设置301和全站转发，可以将原来域名的权重转移到新的域名上。
域名被墙查询工具有很多（例如780822com）这是一个免费的查域名被墙dns污染。

创维电视dns被劫持了，可以在创维电视上下载安装360安全卫士，打开360安全卫士并在功能大全里找到断网急救箱，然后使用断网急救箱来修复被劫持的dns。
dns劫持又称为域名劫持，是指在劫持的网络范围内拦截域名解析的请求，分析一些请求的域名，对于审查范围以外的请求放行，否则返回假的IP地址，其作用就是使得特定的网络不能反应或访问的是假网址。
dns被劫持，就会导致创维电视无法正常运行，所以要及时对创维电视被劫持的dns进行修复，这样它才可以正常使用。一般dns被劫持，很有可能是连接了无线网络导致的，因为无线网络的dns服务器配置是很容易被修改的，当创维电视连接上无线网络后dns就会被劫持，所以家中使用电视机的时候最好直接连接网线，这样就可以避免电视的dns被劫持。

---