Тормозит сайт

1. mishgun (14.01.2014 / 19:24)
Всем здрасте. У меня есть wap сайт с посещалкой 10к в сутки, сайт без движка, построеный на грабберах разных сайтов. Грабберы писал все сам, а знаний в этом деле у меня маловато. Дак вот, сайт периодически жутко тормозит, метрика вообще кричит, что сайт не доступен, хотя с тормозами но работает. Хостинг у меня на джино вип аккаунт, это почти как вдс. Я думаю, что проблема в самих грабах, потому что они довольно простые и сильно напрягают сервак хостера. Одновременный онлайн посетителей колеблется в районе 160чел. если выше, например за 200 то тоже сильно тормозит сайт.
Помогите плиз разобраться в этой ситуэйшн, хостеру писал, говорит "Судя по логам,на ваш сайт поступает большое кол-во обращений". Х.з) Зарание спасибо тому, кто откликнется.

2. Дмитрий (14.01.2014 / 19:41)
Скинь адрес сайта в приват.

А по поводу торможения - смотри свои грабы. Их надо кешировать же. Если они не кешируются, то скорость генерации страницы зависит от той скорости, с которой сработал тот сервер, с которого в данный момент тырится информация.

А если на странице подключены одовременно два и больше некешируемых грабов - суши весла. Алгоритм таков:
- при открытии страницы дергается твой сервер, он дергает твой скрипт;
- в скрипте отрабатывается какая-то твоя информация;
- запускается граб, которые делает запрос к чужому серверу, и ждет от него ответа;
- получает информацию, обрабатывает ее;
- вся информция обобщается и отправляется в шаблонизатор или стазу отдается на страницу конструкцией echo.

Чем больше грабов - тем больше обращений к чужим серверам и тем дольше надо ждать от них ответа.

Это я постарался рассказать тебе самым доступным для твоего понимания способом.

3. mishgun (15.01.2014 / 00:43)
Про кэширование я задумывался и даже ставил, но видимо не правильно чтоли, был один граб, там поиск видео и с кэшэм, при вводе в строку запроса выводилось одно и тоже каждый раз, пока идет тайм аут кэша

4. Кевин Митник (15.01.2014 / 01:19)
3. mishgun, нужно продумывать структуру. Естественно, что будет ошибка, если просто сохранить html страницу в кеше и отдавать статику. Нормальное решение - проанализировать, какое время жизни файлов, которые предназначены для закачивания, или же видео, доступное для просмотра. Вот на это время и можно закешировать ссылку на видео, дабы не "выдергивать" с кода страницы.

5. mishgun (15.01.2014 / 01:29)
о.к, другой вопросик, поставил я кэш, пришел юзер, загрузил страницу, она сохранилась в папке с кэшем на моем сервере, приходит другой юзер и у него будет подгружаться страница из этого кэша, или он по новой будет теребить серв, откуда идет граб?

6. KpuTuK (15.01.2014 / 01:37)
5. mishgun, у всякого кэша есть время жизни и пока оно идет страница будет даваться из кэша)) в этом то вся и суть)))

7. mishgun (15.01.2014 / 01:40)
Пасибо)

8. AutoRain (15.01.2014 / 02:38)
10к в сутки на грабах? ты надесюь хотя бы vds взял для этого?

9. mishgun (15.01.2014 / 02:44)
у меня вип акк на джино, почти vds, было время брал и vds но как то сьехал

10. AutoRain (15.01.2014 / 02:45)
покажи логи по ресурсам, там график должен быть прям, может все же много cpu ешь?

11. mishgun (15.01.2014 / 02:46)
Запалю сайт была не была) arhivka.ru

Добавлено через 01:03 сек.
Работы над сайтом много конечно, но как то руки все не доходят..

12. AutoRain (15.01.2014 / 02:48)
сколько выхлоп с рекламы в месяц?

13. mishgun (15.01.2014 / 02:52)
1к в день

14. AutoRain (15.01.2014 / 03:31)
мог бы псевдо попробовать или алярмы)

15. mishgun (15.01.2014 / 03:44)
пробовал, не для меня) так стабильнее и спокойнее, пускай и не много

16. mishgun (15.01.2014 / 04:43)
Тут в чем дело, половина трафа идет с поисковиков, половина закладки, поставлю я алярмы... бан от антивирусов и соответственно траф упадет, итак с прошлого раза, когда пробовал алярмы, каспер забанил и McAfee SiteAdvisor тоже, уж лучше так)

17. Tegos (15.01.2014 / 05:17)
Кешировать результаты надо...
Каждый грабер кешируешь на хотя бы на 24часа, пишешь в файл.
Тогда проверяешь прошло ли 24 часа от изм. файла. Если да, - обращаешся к серверу, если нет - исп. файл.

18. mishgun (17.01.2014 / 03:22)
Знаю ведь, что не надо палить и рассказывать об сайте, но все равно... не прошло и двух суток, как на хостинге какие то проблемы... сайтов вообще не стало, все файлы и папки исчезли, сайты не доступны!.. ещё один урок мне!) Такое каждый раз бывает как кому нить расскажу, хрень какая то)

19. Wapwa (17.01.2014 / 04:14)
18. mishgun, а что в поддержке пишут? Может просто совпадение?

20. Изнаур (17.01.2014 / 09:48)

mishgun (15 Января 2014 / 04:43)
Тут в чем дело, половина трафа идет с поисковиков, половина закладки, поставлю я алярмы... бан от антивирусов и соответственно траф упадет, итак с прошлого раза, когда пробовал алярмы, каспер забанил и McAfee SiteAdvisor тоже, уж лучше так)

eset not до сих пор не пускает на твой сайт

21. Кевин Митник (17.01.2014 / 11:25)
а бэкапа нету?

22. mishgun (17.01.2014 / 13:17)
Получен ответ на вашу заявку:
*****************************************

Работа сервера будет полностью возобновлена в течении сегодняшнего дня. Возникла ошибка в работе оборудования.

Примите наши извинения за доставленные неудобства.

23. Maksim (17.01.2014 / 13:27)
оптимизируй однозначно.
У меня онлайн около 300. Я мягкий лимит на джино не превышаю. Даже вип пока брать не думаю

24. mishgun (18.01.2014 / 23:23)
Суки хост до сих пор сайт не работает!

URL: https://visavi.net/topics/39890