Нагрузка на MySQL ( Бот Гугла возможно ?)
1. Seriv79 (05.04.2011 / 17:23)Наш сайт превышал допустимую нагрузку на MySQL в несколько раз и нас уже гонят со второго хоста. А вот вчера нагрузка пришла в норму.С чем это может быть связано??? мы ведь причину не нашли,посещаемость сайта не падала . У нас еще в сутки каждый день по 28 000 переходов делает бот гугла .Вычислили по логам,что этот бот делает переходы в одну маленькую онлайн игру,мы ее удалили,но этот бот долбит все равно по этой ссылке у же неделю,хоть и ссылка выдает ошибку.Нагрузка случайно не может быть связана с этим как то?
Вот этот бот и ссылка по чем долбит
66.249.72.182 - - [24/Mar/2011:14:22:22 +0300] "GET /Fallout_Quest/game.php?mod=game/bos/2&img=/game/bos/maccinli.png&r=785& HTTP/1.0" 200 24750 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2. Azzido (05.04.2011 / 17:49)
возможно стоит оптимизировать запросы к базе данных, или же подумать о вдс
3. Seriv79 (05.04.2011 / 18:00)
Переходи идут с этого бота примерно 1- 2 перехода секунду.
4. Денис (05.04.2011 / 18:02)
что-то многовато ... попробуй запретить индекс
5. Seriv79 (05.04.2011 / 18:09)
Denver (5 Апреля 2011 / 18:02)Каким образом запретить индекс? мне бы не хотелось терять народ с гугла,он дает до 200 человек в сутки.
что-то многовато ... попробуй запретить индекс
6. Seriv79 (05.04.2011 / 18:18)
ZiGR (5 Апреля 2011 / 18:13)Да настраиваем сервер,но хотелось бы понять в чем проблема у нас.
5. Seriv79, и ты до сих пор на хосте? Я бы уже сервер орендовал и скрипт оптимизировал.
7. Денис (05.04.2011 / 18:25)
5: Seriv79, http://www.google.com/support/webmasters/bin/answer.py?answer=182072
тут читай
8. Seriv79 (05.04.2011 / 19:59)
Что то не понял как прекрутить гул ,чтоб он индексировал хотя бы каждые 5 секунд и не пострадали другие поисковики?
вот мой robots.txt может кто нибудь показать пример.
User-Agent: *
Disallow: /panel/
Disallow: /stats/
Disallow: /cgi-bin/
Disallow: /theme/
Disallow: /incfiles/
9. ramzes (05.04.2011 / 21:34)
Запросов много к бд?
10. Seriv79 (05.04.2011 / 23:39)
А как понять много или мало?
11. Azzido (05.04.2011 / 23:42)
ну смотреть код надо поидее, но чаще всего запросы в цикле грузят типа while(....){
mysql_query('SELECT * ..');} или же постоянные коннекты mysql_pconnect, но думаю это вряд ли, и вообще не думаю что один бот даже 2 запросами в секунду может нагрузить, многие сайты и не такой онлайн выносят, думаю все таки пора искать более мощный сервер
12. ramzes (05.04.2011 / 23:56)
У меня примерно столько же гуглобот шерстит, + яша и другие боты
ни какой нагрузки нет, код скорее всего не айс
13. Seriv79 (06.04.2011 / 04:03)
Не чего не делал сайту но нагрузка уж второй день упала, с чем это может быть связано???
вот наша нагрузка какая была
Дата Сервер Нагрузка на CPU процессами Нагрузка на MySQL
5 апреля theseus 12.88 cp 41
4 апреля theseus 9.47 cp 557
3 апреля theseus 10.8 cp 2012
2 апреля theseus 11.17 cp 2845
1 апреля theseus 8.61 cp 2219
31 марта theseus 8.11 cp 1918
30 марта theseus 10.58 cp 2677
29 марта theseus 11.64 cp 3193
28 марта theseus 11.01 cp 3079
27 марта theseus 3.19 cp 2663
26 марта theseus 13.99 cp 2299
25 марта theseus 16.17 cp 3852
24 марта theseus 8.09 cp 1387
14. Seriv79 (06.04.2011 / 14:27)
15. ZiGR, Что то не понял про сайт.ру ? Если ты про наш сайт образно ,то у нас зеркала нет.
15. ZipeR (06.04.2011 / 15:18)
Снизить скорость индексации можно
16. Seriv79 (06.04.2011 / 15:36)
А как объяснить такой скачек 4 апреля нагрузка упала в 5 раза ,а 5 апреля 50 раз.Нас наверно скорей всего кто то каким то способом нагружает,а вот каким это вопрос????
17. ZipeR (06.04.2011 / 15:52)
18: Seriv79, Твоим скриптом,и хостом
18. Seriv79 (06.04.2011 / 16:00)
ZipeR (6 Апреля 2011 / 15:52)а еще варианты есть,например как вычислить тот скрипт через который нагружают?
18: Seriv79, Твоим скриптом,и хостом
19. Петруха (06.04.2011 / 19:58)
Скорее всего идёт логирования типа "ОнЛайн за неделю" Ибо 4 апреля понедельник, посему требуется оптимизировать и копать с сторону статистики сайта, проиндексировать поля, убрать или оптимизировать запросы, в общем мануал в зубы и вперёд) или же заплатить и за вас всё сделают, ато скоро такая же нагрузка пойдёт
20. Seriv79 (06.04.2011 / 20:26)
Вот топ 20 айпи по посещаемости сайта,по ним можно понять кто нагружает???
5482 Неизвестный Страницы Хиты Объем Последний визит
80.76.105.1 8254 8254 178.46 МБ 05 Апрель 2011 - 21:35
94.248.55.124 5091 5091 39.09 МБ 06 Апрель 2011 - 08:36
95.135.182.231 2997 2997 76.09 МБ 02 Апрель 2011 - 00:09
95.135.62.72 2910 2910 71.36 МБ 03 Апрель 2011 - 17:38
82.145.209.12 2406 2406 15.50 МБ 06 Апрель 2011 - 09:44
93.124.65.32 2306 2306 15.30 МБ 05 Апрель 2011 - 21:17
95.135.13.237 1872 1872 46.22 МБ 03 Апрель 2011 - 00:45
80.67.220.37 1698 1698 18.31 МБ 06 Апрель 2011 - 13:30
82.145.209.71 1458 1458 10.39 МБ 06 Апрель 2011 - 13:22
93.124.82.87 1202 1202 29.55 МБ 01 Апрель 2011 - 21:23
82.145.209.57 1170 1170 5.35 МБ 05 Апрель 2011 - 16:26
94.243.72.1 1149 1149 9.13 МБ 06 Апрель 2011 - 15:43
83.149.3.78 1144 1144 31.76 МБ 05 Апрель 2011 - 13:08
109.171.27.239 1103 1103 16.25 МБ 06 Апрель 2011 - 08:29
82.145.208.212 1102 1102 4.25 МБ 06 Апрель 2011 - 14:38
80.239.243.84 1040 1040 10.83 МБ 06 Апрель 2011 - 05:56
94.243.72.2 1024 1024 8.40 МБ 06 Апрель 2011 - 13:38
Добавлено через 04:39 сек.
или верней как узнать чьи это айпи и стоит ли их забанить?
21. Петруха (06.04.2011 / 20:34)
Я склонен к тому, что бы уделить больше внимания к скрипту, а не клиентов) ну a ip конечно тоже желательно проверить) может граббер кто то юзает
22. Seriv79 (11.04.2011 / 23:53)
Подскажите я правильно прикрутил поисковые боты ?
User-agent: *
Disallow: /panel/
Disallow: /stats/
Disallow: /cgi-bin/
Disallow: /incfiles/
Disallow: /cache/
Disallow: /game/
Disallow: /player/
Disallow: /champ/
Disallow: /tournament/
Disallow: /files/
Disallow: /pratt/
Disallow: /manager_adm
Disallow: /manager1_adm
Disallow: /admin_ktp
User-agent: YandexBot
Crawl-delay: 50
User-agent: MSNbot
Crawl-Delay: 300
User-agent: Slurp
Crawl-Delay: 300
User-agent: googlebot
Crawl-delay: 50
User-agent: Ramblerbot
Crawl-delay: 50
User-agent: Bingbot
Crawl-delay: 50
User-agent: StackRambler
Crawl-delay: 50
User-agent: Mail.ru bot
Crawl-delay: 50
User-agent: Mediapartners-Google
Crawl-delay: 50
User-agent: Googlebot-Mobile
Crawl-delay: 50
User-agent: YandexImages
Crawl-delay: 50
23. JustZero (12.04.2011 / 00:06)
1, да не.. Я так не могу) а хотя все зависит от тя) Если тя грузит бот, то человек уложет твой сайт быстро и скоро
24. Seriv79 (13.04.2011 / 16:50)
Rss может нагружать сайт если в нее добавляются темы форума ,а на форуме пишется до 1000 сообщений в сутки?
25. саша (14.04.2011 / 09:01)
уменя боты сожрали весь траф на хосте!подскажите как это устронить.
26. spamerok (14.04.2011 / 09:07)
перейди на хостинг с анлим трафиком, ну или запрети доступ ботам на сайт что есть не хорошо
27. KOZZ (14.04.2011 / 13:36)
вообще не понимаю о чем речь может идти. 100% проблема в скрипте, написанным жестким гк
URL: https://visavi.net/topics/20432