Ну вот боты сканируют сайт, стучатся по ссылкам которых нет, где-то я поставил временные редиректы 302
это мусорные боты. ахрефс вообще непонянтный, он вечно на 404 лезет. сильно подозрительный, где он берет ссылки кривые?
мажестик - дятел, плевать ему на роботс, он влегкую может положить тяжелый сайт, сгенерировав уйму запросов разом, тоже многие рекомендую банить.
у архива другой юзер агент, а именно ia_archive, об этом четко написано на их сайте, далее вп-логин - ну привет, теперь тебя дятлоботы будут постоянно долбитб в эту страницу, твой сайт попал в какой то список вредителей с энным кол-вом ботов ищущих админки по крону на куче сайтов.
яши в списке не увидел, яша мониторит нагрузку на сайт обычно и не напрягает излишне.
как то так.
я бы советовал пробивать айпишники и не смотреть на юзерагент, и банить пачками все это говно.
з.ы. а хост у тебя какашка походу раз от такого начинает тупить, должен хотя бы 500 онлайн спокойно выдерживать имхо, или валить с него, зачем он такой?
___
особо понравился вот этот "поисковик":
(compatible; MSIE 6.0; Windows NT 5.1; SV1) с ПОСТ запросом
POST /book/index.php?act=add&uid=0....
и потрясающим айпишником с локацией в питере, названием провайдера Ереван нетворк и юр.адресом
person: Trusov Ilya Igorevych
address: 249806, Russia, Kaluga region, Moscow Street 258, office 16
phone: +79533100064
лол