网站被不知名蜘蛛爬取大量流量

需要在该目录下添加文件 /www/server/nginx/conf/agent_deny.conf

#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA访问。UA为空的可以访问,比如火车头可以正常发布。 if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|JikeSpider|SemrushBot" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }

文件添加以上内容并保存

网站 ---> 设置 -----> 配置文件

root /www/wwwroot/niuzheng.net; include agent_deny.conf; #SSL-START SSL相关配置,请勿删除或修改下一行带注释的404规则 #error_page 404/404.html;

记得重启nginx哟

Last modification:October 30, 2020
如果觉得我的文章对你有用,请随意赞赏