Боты на сайтах бывают весьма разные и далеко не все они хороши и полезны, а некоторые даже вредны. Вред от бота может быть не только в нагрузке на хостинг, но и в том, что информация о вашем сайте через различные сервисы может уходить к прямым конкурентам, а оно вам надо?
Полезные боты от поисковых систем, с остальными надо быть строже.
Здесь приведен пример того, как заблокировать ботов на сайте через файл .htaccess и имена некоторых ботов, которых уже точно следует заблокировать.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(AhrefsBot|SemrushBot|PetalBot|DataForSeoBot|MegaIndex.ru|Barkrowler|SeekportBot|Go-http-client/2.0).*$ [NC]
RewriteRule .* - [F,L]Забить следующих ботов — святое дело
User-agent: Go-http-client/1.1
User-agent: Go-http-client/2.0
User-agent: Nuclei
User-agent: WikiDo
User-agent: Riddler
User-agent: PetalBot
User-agent: Zoominfobot
User-agent: Node/simplecrawler
User-agent: CazoodleBot
User-agent: dotbot/1.0
User-agent: Gigabot
User-agent: Barkrowler
User-agent: BLEXBot
User-agent: magpie-crawler
Некоторые мысли вместо выводов.
Последние годы развелось много ботов, которые занимаются накручиванием поведенческих факторов. Решений по их блокировки немного. Прежде всего это специализированные сервисы, которые берут совсем нескромную плату за свои услуги, и, кажется, существует лишь один бесплатный, назовем его CF, но и к нему имеются вопросы.
Второй вариант блокировка по IP, тоже не лучшее решение, поскольку блокируются и посетители с этих адресов.
Но вот вопрос — а надо ли их блокировать? Путь пользователя на сайт — это переход с поиска. Яндекс вполне способен различить бота и пользователя, а следовательно и учесть это в рейтинге сайта. Почему Яндекс показывает ботов в метрике — это другой вопрос. Те же, кто пугает снижением рейтинга из-за ботов, — может быть, они пытаются что-то продвигать? Стоит подумать об этом.
Если это не то, что вы ищете, возможно, вас заинтересует статья: Блокировка доступа к сайту по IP или по домену