Помогите спарсить сайт.

Печать / RSS-лента
0
1. igrovik1 (19.07.18 / 12:52)
Пришелец
Привет всем есть сайт megapesni.me (Не реклама) .
При парсинге на локалке все работает как через file_get_contents так и через curl.
Но как только переношу на хостинг сразу выдает ошибку

Please enable cookies.
Error 1007 Ray ID: 43cc395723888e13 • 2018-07-19 09:39:59 UTC
Access denied
What happened?
The owner of this website (megapesni.me) has banned your IP address (x.x.x.x).

Cloudflare Ray ID: 43cc395723888e13 • Your IP: x.x.x.x • Performance & security by Cloudflare



Может кто знает как это обойти, или предложит готовое решение. Заранее спасибо всем кто откликнется.
0
2. erasier (19.07.18 / 14:05)
Пришелец
cloudflare блокирует ip твоего хостинга. как обойти - парси через прокси или меняй ip или хостинг
0
3. igrovik1 (19.07.18 / 14:25)
Пришелец
@erasier, Пробую с помощью прокси socks5 та же ошибка!!!Хостинг пока нет возможности поменять. Другого решения нет ??
0
4. sy2nyk (19.07.18 / 15:21)
Оранжевые штаны
@igrovik1, Please enable cookies куки делать пробовал?
0
5. erasier (19.07.18 / 15:40)
Пришелец
@erasier, Пробую с помощью прокси socks5 та же ошибка!!!Хостинг пока нет возможности поменять. Другого решения нет ??@igrovik1 (Сегодня / 14:25)

походу нет. т.к., если у него cf блочит все прокси, значит он там врубил повышенную защиту. или проси хостера выдать какой-нибудь свежий айпишник, хз. можно еще попробовать через курл задать хттп-заголовки (юзер-агент и т.п.) какого-нибудь популярного браузера, мб прокатит, хотя и врядли. или спарси и закешируй всё с локалки, а потом ставь на хост. или парси яваскриптом. или напиши админу этого сайта типа "не могу зайти, клоудфларе блочит жостко, отключи защиту плиз"
0
6. igrovik1 (19.07.18 / 15:48)
Пришелец
@JustZero, Да и куки и прокси уже все что можно было одно и то же выдает и все :-(

Добавлено через 01:17 сек.
@erasier, Ясно. спс.

Добавлено через 06:21 сек.
@erasier, А можно ли как-то сделать через поисковик типа через гугл вылавливать сохранённую страницу данной новости и далее распарсивать ?? Только вот гугля тоже противная собака при частых обращениях к ней блочит ипишник. Не сможешь помочь обойти гуглю хотя бы???
0
7. erasier (19.07.18 / 16:21)
Пришелец
@igrovik1, для гугла тогда создать большой массив с проксями и юзать их рандомно. еще можно попробовать заюзать какой-нибудь онлайн-сервис, выкачивающий хтмл-исходник, хз. вобщем, геморроя много будет, лучше парси другой сайт )

Добавлено через 06:13 сек.
@JustZero, Да и куки и прокси уже все что можно было одно и то же выдает и все :-(@igrovik1 (Сегодня / 15:48)

там антибот на js , пхп его не пройдет)
0
8. igrovik1 (19.07.18 / 16:29)
Пришелец
@erasier, Да дело в том что племяхи начальник не хочет менять доннора, а ей нужен парс для облегчения работы. Ну бум еще раз с начальником говорить о смене доннора.
0
9. erasier (19.07.18 / 16:38)
Пришелец
@igrovik1, а что если попробовать пройти антибота? загрузи эту страницу через пхп со всеми скриптами и открой в браузере. хз, вдруг проканает и ip разблокируется

Добавлено через 02:36 сек.
хотя, если он проверяет location.href то надо думать как это обойти, хз
0
10. erasier (19.07.18 / 16:49)
Пришелец
ой, там же бан, а не антибот. ну походу админ вылавливает парсеры и блочит вручную, судя по всему. есть вариант опять же договориться с админом, денег ему забашлять, хз. пусть начальник с ним договаривается D.gif
Для добавления сообщения необходимо авторизоваться
Смайлы / Теги / Правила / Топ тем / Топ постов / Поиск