Вопрос-Ответ по RotorCMS 6

Vantuz, по ip бесполезно, там может через прокси гоняют

Добавлено через 01:12 сек.
®_GodZiIIa_€, желательно узнать реальный UA бота, попробуй сделать логирование и посмотри

DimmoS, представления не имею, как это можно сделать.

Получил некую статистику за вчера и сегодня.
Есть список ботов, а что с этим делать, нет никакой зацепки.
Известны только названия, других параметров что то не нашёл.

Первых двух банить, в инете есть примеры блока их подсетей через хтаччесс, легко и непринужденно, можно даже по юзерагенту их там же блокнуть, они реально создают нагрузку, могут 100 запросов в 1 миг сгенерировать. Известные вредители

Добавлено через 02:09 сек.

You can easily slow down bot by adding the following to your robots.txt file:

User-Agent: MJ12bot
Crawl-Delay: 5

или
User-agent: MJ12bot
Disallow: /

Добавлено через 02:46 сек.
а вообще я тебе с самого начала говорил, посмотри как у нас роботс и сделай также
User-agent: *
Allow: /
Crawl-delay: 1
...

Crawl-delay: 1 говорит делать не чаще 1 запроса в секунду от бота

Эти боты срать хотели на роботс, по ним много тем давно

®_GodZiIIa_€, заноси UA в базу при каждом запросе к серверу, самый эффективный вариант, но нужно следить постоянно, возможна большая нагрузка на бд

$sql = $db->prepare("INSERT INTO `my_bots_log` (`ua`) VALUES (?)");
$sql->bind_param('s', $_SERVER['HTTP_USER_AGENT']);
$sql->execute();

зато все запросы отследишь

®_GodZiIIa_€, заноси UA в базу при каждом запросе к серверу, самый эффективный вариант, но нужно следить постоянно, возможна большая нагрузка на бд$sql = $db->prepare("INSERT INTO `my_bots_log` (`ua`) VALUES (?)");$sql->bind_param('s', $_SERVER['HTTP_USER_AGENT']);$sql->execute();зато все запросы отследишь

в чем смысл подобного? ua ни к чему не привязан и за ним может быть что угодно. просто засорение бд и ресурсов сервера.

Добавлено через 03:40 сек.

##############################################
#                        Блокируем ненужных ботов                          #
##############################################
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SolomonoBot|PrivateSearch|SearchBot|MJ12bot|SemrushBot|proximic|MegaIndex|crazywebcrawler|Python-urllib|QQ-Manager|PHP/5|python|FirePHP|oBot|HttpRequest|OpenSSL|libwww|Wget|HTTPClient|voltron|LinkScan|Sleuth|Drupal|WordPress|NerdyBot|adsafemedia|bin/bash|var/tmp|cliqz|WebIndex|Ruby|curl-|Powermarks/3) [NC]
RewriteRule .* - [F,L]

давно, еще лет 5 назад, что бы не засоряли логи, забил в .htaccess списочек, и с тех пор не вспоминал ни о этих ботах, ни о многих других

ramzes, спасибо за подсказку, дополнил список и у себя сделал,
посмотрим как будет, потому что прежние не очень помогли.
И да, что то думаю, простая блокировка остановит ли ботов ?
Может лучше устроить им переадресацию на другой ресурс, типа на сайт фсб ))) ?
Или это бред ?

конкретно ахрефсбот и мдж12 не меняют юзерагент, так что все, можешь забыть о них
переадресацию не надо. цели перенаправления может не понравиться и прилететь ответка. если так хочется заслать их к черту на рога шли их на их же ип))
с дополнением списка осторожнее не зацепи валидные юзерагенты со схожими строками

ramzes, ок, понял.
Теперь буду наблюдать, как повлияет блокировка.
MJ12bot вообще оборзел, за 2 дня более 12000 хитов

ну вообще то 12к хитов не должны быть не то что серьезной нагрузкой, но даже заметной не должны быть

Так это только от этого бота...
Ну или в роторе есть какая то проблема, которая вызывает такую нагрузку от 12 кило хостов и более...