Парсер и время выполнения скрипта. - Visavi.net
https://visavi.net/
RSS - Visavi.nethttps://visavi.net/assets/img/images/logo_small.pngRSS - Visavi.net
https://visavi.net/
[email protected] (admin)[email protected] (admin)Fri, 19 Apr 2024 11:38:25 +0300cURL не такой и сложный<br>
<br>
<br>
<pre class="prettyprint">
<?php
ini_set('max_execution_time',20);
function curl_get($host,$referer=null){
$ch=curl_init($host);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.17) Gecko/2009122116 Firefox/3.0.17');
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_TIMEOUT,20);
curl_setopt($ch,CURLOPT_REFERER,$referer);
ob_start();
curl_exec($ch);
print(curl_error($ch));
curl_close($ch);
return ob_get_clean();
}
?>
</pre>
https://visavi.net/topics/38846/648195
Парсер и время выполнения скрипта. ШЕДЕВРMon, 07 Oct 2013 01:55:36 +0400Сообщенияhttps://visavi.net/topics/38846/648195в общем с fsockopen никак... хостер посоветовал попробовать переписать парсер на curl php ... есть у кого живой пример?<br>
<br>
или помогите отредактировать этот, я готов даже заплатить за помощь.<br>
<pre class="prettyprint">
<?php
/*Парсирование данных*/
function get_URL_by_socket($host,$path){
//$fp=fsockopen($host,80);
$fp=fsockopen($host,80,$errno,$errstr,1);
if(!$fp){
//die("Не могу получить данные с url http://$host/$path");
}
else{
$out="GET $path HTTP/1.0\r\n";
$out.="Accept: image/gif, application/xhtml+xml,*/*\r\n";
$out.="Accept-Language: ru\r\n";
$out.="Host: $host\r\n";
$out.="User-Agent: Opera/8.01 (J2ME/MIDP;Opera Mini/2.0.4509/1716; ru; U; ssr)\r\n";
$out.="Cache-Control: no-cache\r\n";
$out.="Connection: Close\r\n\r\n";
fwrite($fp,$out);
$headers="";
while($str=trim(fgets($fp)))
$headers.="$str\n";
$body="";
while(!feof($fp))
$body.= fgets($fp);
fclose($fp);
}
return $body;
}
?>
</pre>
https://visavi.net/topics/38846/647783
Парсер и время выполнения скрипта. ШЕДЕВРThu, 03 Oct 2013 22:25:54 +0400Сообщенияhttps://visavi.net/topics/38846/647783Такой парсер никак не должен грузить сервер)
https://visavi.net/topics/38846/645520
Парсер и время выполнения скрипта. АлексейThu, 05 Sep 2013 00:11:55 +0400Сообщенияhttps://visavi.net/topics/38846/645520$fp=fsockopen($host,80,$errno,$errstr,1);<br>
<br>
попробую сегодня сделать так... таймаут с 1 секундой. если завтра утром сайт мой всё еще работает, значит нагрузки не было
https://visavi.net/topics/38846/645301
Парсер и время выполнения скрипта. ШЕДЕВРTue, 03 Sep 2013 02:33:02 +0400Сообщенияhttps://visavi.net/topics/38846/645301спасибо ребята за помощь.<br>
<br>
просто ситуация такая что это домены определенной зоны. он недавно открылся. и проверка whois и занятости домена осуществляет ТОЛЬКО ОДИН САЙТ, который постоянно то работает то не работает....
https://visavi.net/topics/38846/645243
Парсер и время выполнения скрипта. ШЕДЕВРMon, 02 Sep 2013 20:21:28 +0400Сообщенияhttps://visavi.net/topics/38846/645243вот интересность <a href="http://domainapi.com/documentation/how-to-use-domainapi/servuces-provided/domain-whois-api.html" target="_blank" rel="nofollow">http://domainapi.com/documentation/how-to-use-domainapi/servuces-provided/domain-whois-api.html</a>
https://visavi.net/topics/38846/645237
Парсер и время выполнения скрипта. Кевин МитникMon, 02 Sep 2013 20:11:00 +0400Сообщенияhttps://visavi.net/topics/38846/645237<blockquote class="blockquote">что ты собрался там кешировать?</blockquote>
одинаковые запросы. чтобы серверу пофиг было лежит сайт или нет. Врядли у ТС сотни посетителей одновременно запрашивают одновременно разные сайты. Скорее всего одни и те же юзеры долбят форму и посылают каждый раз новый запрос на одни и те же данные.
https://visavi.net/topics/38846/645223
Парсер и время выполнения скрипта. ВладимирMon, 02 Sep 2013 19:29:35 +0400Сообщенияhttps://visavi.net/topics/38846/645223set_time_limit(3); - время выполнения всего скрипта<br>
<a href="http://www.php.net/manual/ru/function.fsockopen.php" target="_blank" rel="nofollow">http://www.php.net/manual/ru/function.fsockopen.php</a><br>
Умеет таймаут ;)<br>
А вообще лучше парсить не сайты... а юзать системную утилиту whois через shell_exec() или аналоги (но это не везде возможно)
https://visavi.net/topics/38846/645220
Парсер и время выполнения скрипта. shiloMon, 02 Sep 2013 19:13:46 +0400Сообщенияhttps://visavi.net/topics/38846/645220что кешировать, если сайт не доступен?
https://visavi.net/topics/38846/645218
Парсер и время выполнения скрипта. JustZeroMon, 02 Sep 2013 18:54:46 +0400Сообщенияhttps://visavi.net/topics/38846/645218А зачем парсим с такого сайта ?<br>
<br>
<em><span style="font-size:x-small">Добавлено через 09:13 сек.</span></em><br>
Ну да, можно и результат кешировать...
https://visavi.net/topics/38846/645217
Парсер и время выполнения скрипта. TegosMon, 02 Sep 2013 18:43:43 +0400Сообщенияhttps://visavi.net/topics/38846/6452173. <strong>inlanger</strong>, кеширование? что ты собрался там кешировать?<br>
<br>
<br>
ТС, парси нормальные ресурсы
https://visavi.net/topics/38846/645216
Парсер и время выполнения скрипта. ЖенекMon, 02 Sep 2013 18:32:10 +0400Сообщенияhttps://visavi.net/topics/38846/645216> И таких запросов ОЧЕНЬ много<br>
Юзай очереди или кеширование.
https://visavi.net/topics/38846/645215
Парсер и время выполнения скрипта. ВладимирMon, 02 Sep 2013 18:00:38 +0400Сообщенияhttps://visavi.net/topics/38846/645215проверять работу сайта в начале кода, делать exit();<br>
<br>
<em><span style="font-size:x-small">Добавлено через 04:32 сек.</span></em><br>
или парсить из нормального сайта типа nic.ru/whois<br>
<br>
<em><span style="font-size:x-small">Добавлено через 05:15 сек.</span></em><br>
если на сервере есть whios, то там вообще парсер не нужен будет
https://visavi.net/topics/38846/645211
Парсер и время выполнения скрипта. JustZeroMon, 02 Sep 2013 17:15:42 +0400Сообщенияhttps://visavi.net/topics/38846/645211Добрый день!<br>
<br>
Написал парсер по проверке WHOIS домена. Откуда я парсирую данные, сайт не постоянно доступен. И получается кто делает запрос с моего сайта, из-за того что нет ответа, юзер делает еще запрос. И таких запросов ОЧЕНЬ много. Из-за чего на сервер выпадает большая нагрузка, сайт перестает работать. Пока хостер не перезагрузит апач мой сайт так и висит.<br>
<br>
Как быть? Как назначить таймаут на выполнение запроса? А то скоро хостер наверное откажется от моего сайта))))
https://visavi.net/topics/38846/645210
Парсер и время выполнения скрипта. ШЕДЕВРMon, 02 Sep 2013 17:09:38 +0400Сообщенияhttps://visavi.net/topics/38846/645210