nginx屏蔽网络爬虫

软件运维

Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法

每个网站通常都会遇到很多非搜索引擎的爬虫，这些爬虫大部分都是用于内容采集或是初学者所写，它们和搜索引擎的爬虫不一样，没有频率控制，往往会消耗大量服务器资源，导致带宽白白浪费了。其实Nginx可以非常容易地根据User-Agent过滤请求，

code
2022-5-15
40 0 0 0

Error[2]: array_keys() expects parameter 1 to be array, null given, File: /www/wwwroot/outofmemory.cn/tmp/view_template_wqo_wpcom_htm_tag.htm, Line: 137

File: /www/wwwroot/outofmemory.cn/tmp/view_template_wqo_wpcom_htm_tag.htm, Line: 137, array_keys()
File: /www/wwwroot/outofmemory.cn/tmp/route_tag.php, Line: 115, include(/www/wwwroot/outofmemory.cn/tmp/view_template_wqo_wpcom_htm_tag.htm)
File: /www/wwwroot/outofmemory.cn/tmp/index.inc.php, Line: 174, include(/www/wwwroot/outofmemory.cn/tmp/route_tag.php)
File: /www/wwwroot/outofmemory.cn/index.php, Line: 30, include(/www/wwwroot/outofmemory.cn/tmp/index.inc.php)

Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法