收集的恶意爬虫UA

114次阅读
没有评论

网站上线,总会遇到有人恶意采集,还有一些SEO营销公司,也喜欢采集别人网站的数据,尤其是现在流行AI,有些AI也开始采集内容,这些爬虫蜘蛛对网站没有好处,反而会消耗网站的资源,最好禁止访问。

下面是搜集到的常见的恶意爬虫,添加到宝塔防火墙里面即可。

AhrefsBot
AwarioBot
BLEXBot
Barkrowler
CensysInspect
Criteo
DataForSeoBot
DigExt
DnyzBot
DotBot
ExtLinksBot
Ezooms
FlightDeckReports
Go-http-client
Grapeshot
Heritrix
HttpClient
HubSpot
InternetMeasurement
Knowledge AI
Linguee Bot
MJ12bot
MauiBot
MegaIndex
RepoLookoutBot
SemrushBot
SurdotlyBot
Web-Crawler
WellKnownBot
Yellowbrandprotectionbot
ZoominfoBot
axios
fasthttp
github
libcurl
paloaltonetworks
python
seokicks
serpstatbot
webprosbot

收集的恶意爬虫UA

添加位置如上图。如果你没有安装nginx防火墙,需要写在nginx配置文件里。

正文完
 0
116博客
版权声明:本篇文章由 116博客 于2024-10-07发表,共计563字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)
验证码