Nginx 阻断异常爬虫
2019-07-04 本文已影响0人
ifree321
# 阻断异常爬虫
if ($http_user_agent ~* (Scrapy|HttpClient|linkfluence|Bytespider|system\.ini)) {
return 403;
}
# 阻断异常爬虫
if ($http_user_agent ~* (Scrapy|HttpClient|linkfluence|Bytespider|system\.ini)) {
return 403;
}