Помогите спарсить сайт.

Печать RSS
693

I
Автор
Пришелец
0
Привет всем есть сайт megapesni.me (Не реклама) .
При парсинге на локалке все работает как через file_get_contents так и через curl.
Но как только переношу на хостинг сразу выдает ошибку
Please enable cookies.
Error 1007 Ray ID: 43cc395723888e13 • 2018-07-19 09:39:59 UTC
Access denied
What happened?
The owner of this website (megapesni.me) has banned your IP address (x.x.x.x).

Cloudflare Ray ID: 43cc395723888e13 • Your IP: x.x.x.x • Performance & security by Cloudflare


Может кто знает как это обойти, или предложит готовое решение. Заранее спасибо всем кто откликнется.
E

Пацак
0
cloudflare блокирует ip твоего хостинга. как обойти - парси через прокси или меняй ip или хостинг
I
Автор
Пришелец
0
erasier, Пробую с помощью прокси socks5 та же ошибка!!!Хостинг пока нет возможности поменять. Другого решения нет ??
J

Оранжевые штаны
0
igrovik1, Please enable cookies куки делать пробовал?
E

Пацак
0
@erasier, Пробую с помощью прокси socks5 та же ошибка!!!Хостинг пока нет возможности поменять. Другого решения нет ??
@igrovik1 (Сегодня / 14:25)
походу нет. т.к., если у него cf блочит все прокси, значит он там врубил повышенную защиту. или проси хостера выдать какой-нибудь свежий айпишник, хз. можно еще попробовать через курл задать хттп-заголовки (юзер-агент и т.п.) какого-нибудь популярного браузера, мб прокатит, хотя и врядли. или спарси и закешируй всё с локалки, а потом ставь на хост. или парси яваскриптом. или напиши админу этого сайта типа "не могу зайти, клоудфларе блочит жостко, отключи защиту плиз"
I
Автор
Пришелец
0
JustZero, Да и куки и прокси уже все что можно было одно и то же выдает и все :-(

Добавлено через 01:17 сек.
erasier, Ясно. спс.

Добавлено через 06:21 сек.
erasier, А можно ли как-то сделать через поисковик типа через гугл вылавливать сохранённую страницу данной новости и далее распарсивать ?? Только вот гугля тоже противная собака при частых обращениях к ней блочит ипишник. Не сможешь помочь обойти гуглю хотя бы???
E

Пацак
0
igrovik1, для гугла тогда создать большой массив с проксями и юзать их рандомно. еще можно попробовать заюзать какой-нибудь онлайн-сервис, выкачивающий хтмл-исходник, хз. вобщем, геморроя много будет, лучше парси другой сайт )

Добавлено через 06:13 сек.
@JustZero, Да и куки и прокси уже все что можно было одно и то же выдает и все :-(
@igrovik1 (Сегодня / 15:48)
там антибот на js , пхп его не пройдет)
I
Автор
Пришелец
0
erasier, Да дело в том что племяхи начальник не хочет менять доннора, а ей нужен парс для облегчения работы. Ну бум еще раз с начальником говорить о смене доннора.
E

Пацак
0
igrovik1, а что если попробовать пройти антибота? загрузи эту страницу через пхп со всеми скриптами и открой в браузере. хз, вдруг проканает и ip разблокируется

Добавлено через 02:36 сек.
хотя, если он проверяет location.href то надо думать как это обойти, хз
E

Пацак
0
ой, там же бан, а не антибот. ну походу админ вылавливает парсеры и блочит вручную, судя по всему. есть вариант опять же договориться с админом, денег ему забашлять, хз. пусть начальник с ним договаривается D
Стикеры / Теги / Правила / Топ тем / Топ постов / Поиск