Парсер и время выполнения скрипта.

Печать RSS
471

Автор
Пишу, строю и воображаю
0
Добрый день!

Написал парсер по проверке WHOIS домена. Откуда я парсирую данные, сайт не постоянно доступен. И получается кто делает запрос с моего сайта, из-за того что нет ответа, юзер делает еще запрос. И таких запросов ОЧЕНЬ много. Из-за чего на сервер выпадает большая нагрузка, сайт перестает работать. Пока хостер не перезагрузит апач мой сайт так и висит.

Как быть? Как назначить таймаут на выполнение запроса? А то скоро хостер наверное откажется от моего сайта))))
J

Оранжевые штаны
0
проверять работу сайта в начале кода, делать exit();

Добавлено через 04:32 сек.
или парсить из нормального сайта типа nic.ru/whois

Добавлено через 05:15 сек.
если на сервере есть whios, то там вообще парсер не нужен будет

Пацак
0
> И таких запросов ОЧЕНЬ много
Юзай очереди или кеширование.

Дедушка
0
3. inlanger, кеширование? что ты собрался там кешировать?


ТС, парси нормальные ресурсы

Пацак
0
А зачем парсим с такого сайта ?

Добавлено через 09:13 сек.
Ну да, можно и результат кешировать...
J

Оранжевые штаны
0
что кешировать, если сайт не доступен?

Чатланин
0
set_time_limit(3); - время выполнения всего скрипта
http://www.php.net/manual/ru/function.fsockopen.php
Умеет таймаут ;)
А вообще лучше парсить не сайты... а юзать системную утилиту whois через shell_exec() или аналоги (но это не везде возможно)

Пацак
0
что ты собрался там кешировать?
одинаковые запросы. чтобы серверу пофиг было лежит сайт или нет. Врядли у ТС сотни посетителей одновременно запрашивают одновременно разные сайты. Скорее всего одни и те же юзеры долбят форму и посылают каждый раз новый запрос на одни и те же данные.
К

Айсберг Визави
0
Автор
Пишу, строю и воображаю
0
спасибо ребята за помощь.

просто ситуация такая что это домены определенной зоны. он недавно открылся. и проверка whois и занятости домена осуществляет ТОЛЬКО ОДИН САЙТ, который постоянно то работает то не работает....
Стикеры / Теги / Правила / Топ тем / Топ постов / Поиск