Парсер игр Sever.ru

Парсер игр Sever.ru - Visavi.net https://visavi.net/ RSS - Visavi.net https://visavi.net/assets/img/images/logo_small.png RSS - Visavi.net https://visavi.net/ [email protected] (admin) [email protected] (admin) Sat, 23 Nov 2024 08:09:46 +0300 Я ничего не говорю о твоем личном времени, просто уже столько времени прошло, нужно было мне о сроках заговорить)) https://visavi.net/topics/41499/672529 Парсер игр Sever.ru Geor Wed, 29 Oct 2014 17:25:35 +0300 Сообщения https://visavi.net/topics/41499/672529 9. Менетил, +1. Половину книжки A Python of Byte только прочитал. https://visavi.net/topics/41499/672518 Парсер игр Sever.ru iNeeXT Wed, 29 Oct 2014 14:05:39 +0300 Сообщения https://visavi.net/topics/41499/672518 Обычны <del>говно</del>код Расходимся. https://visavi.net/topics/41499/672492 Парсер игр Sever.ru XoPyC Tue, 28 Oct 2014 19:18:23 +0300 Сообщения https://visavi.net/topics/41499/672492 <blockquote class="blockquote">Geornyaga (28 Октября 2014 / 12:43) Так это и есть твоя домашняя работа?</blockquote> Я выделяю немного времени, чтобы заниматься саморазвитием в программировании, поэтому не нужно меня судить и думать, что я нашим делом не занимаюсь. https://visavi.net/topics/41499/672491 Парсер игр Sever.ru iNeeXT Tue, 28 Oct 2014 19:13:20 +0300 Сообщения https://visavi.net/topics/41499/672491 Так это и есть твоя домашняя работа? https://visavi.net/topics/41499/672483 Парсер игр Sever.ru Geor Tue, 28 Oct 2014 14:43:46 +0300 Сообщения https://visavi.net/topics/41499/672483 5. sanya-rus, создать папку data и запустить из консоли как обычный python-скрипт: <pre class="prettyprint">python file.py</pre> Да, конечно, смотри документацию на сайте grablib.org https://visavi.net/topics/41499/672473 Парсер игр Sever.ru iNeeXT Tue, 28 Oct 2014 07:58:15 +0300 Сообщения https://visavi.net/topics/41499/672473 а как пользоваться этим чудом? значит можно и другие сайты грабить таким образом? https://visavi.net/topics/41499/672472 Парсер игр Sever.ru sanya-rus Tue, 28 Oct 2014 07:26:29 +0300 Сообщения https://visavi.net/topics/41499/672472 3, спасибо. Grab это лучший инструмент, который я видел для парсинга/граббинга сайтов. https://visavi.net/topics/41499/672468 Парсер игр Sever.ru iNeeXT Tue, 28 Oct 2014 03:45:44 +0300 Сообщения https://visavi.net/topics/41499/672468 Молодец! https://visavi.net/topics/41499/672464 Парсер игр Sever.ru Волан-де-Морт Tue, 28 Oct 2014 01:25:22 +0300 Сообщения https://visavi.net/topics/41499/672464 Думаю, хватит скачивать, статистика: 134.238 объектов, всего 10,8 ГБ https://visavi.net/topics/41499/672462 Парсер игр Sever.ru iNeeXT Tue, 28 Oct 2014 01:17:02 +0300 Сообщения https://visavi.net/topics/41499/672462 Продолжаю практику с Python, после <a href="//visavi.net/forum/topic.php?tid=41453">чекера waplog.net</a>. На этот раз использовал так называемый Spyder из библиотеки Grab. Ссылка на программу: <a href="http://pastebin.com/9z9q5NbC" target="_blank" rel="nofollow">http://pastebin.com/9z9q5NbC</a> Файлы расположены на диске в таком виде (сохранение идет в папку data): <pre class="prettyprint">... ├── Nokia │ ├── ... ├── Sony Ericsson │ ├── 176x220: K550, K750, W810, K610 │ │ ├── Стратегии │ │ │ ├── Civilization IV - War Of Two Cities │ │ │ │ ├── description.txt │ │ │ │ ├── game.jad │ │ │ │ ├── game.jar │ │ │ │ ├── screenshot_0.jpg │ │ │ │ ├── screenshot_1.jpg │ │ │ │ └── screenshot_2.jpg ... </pre> На данный момент (еще идет скачивание самих игр): 81.740 объектов, всего 2,2 ГБ P.S. чтобы ускорить выполнение скрипта можно изменить к-во потоков (программа асинхронна) в предпоследней строке, изменив параметр thread_number. https://visavi.net/topics/41499/672456 Парсер игр Sever.ru iNeeXT Mon, 27 Oct 2014 23:54:05 +0300 Сообщения https://visavi.net/topics/41499/672456