Парсер игр Sever.ru

Печать RSS
371

I
Автор
Пришелец
0
Продолжаю практику с Python, после чекера waplog.net. На этот раз использовал так называемый Spyder из библиотеки Grab.

Ссылка на программу: http://pastebin.com/9z9q5NbC

Файлы расположены на диске в таком виде (сохранение идет в папку data):
...
├── Nokia
│   ├── ...
├── Sony Ericsson
│   ├── 176x220: K550, K750, W810, K610
│   │   ├── Стратегии
│   │   │   ├── Civilization IV - War Of Two Cities
│   │   │   │   ├── description.txt
│   │   │   │   ├── game.jad
│   │   │   │   ├── game.jar
│   │   │   │   ├── screenshot_0.jpg
│   │   │   │   ├── screenshot_1.jpg
│   │   │   │   └── screenshot_2.jpg
...
На данный момент (еще идет скачивание самих игр): 81.740 объектов, всего 2,2 ГБ

P.S. чтобы ускорить выполнение скрипта можно изменить к-во потоков (программа асинхронна) в предпоследней строке, изменив параметр thread_number.
Изменил: iNeeXT (28.10.2014 / 07:59)
I
Автор
Пришелец
0
Думаю, хватит скачивать, статистика:
134.238 объектов, всего 10,8 ГБ

Оранжевые штаны
0
Молодец!
I
Автор
Пришелец
0
3, спасибо. Grab это лучший инструмент, который я видел для парсинга/граббинга сайтов.
S

Пришелец
0
а как пользоваться этим чудом? значит можно и другие сайты грабить таким образом?
I
Автор
Пришелец
0
5. sanya-rus, создать папку data и запустить из консоли как обычный python-скрипт:
python file.py
Да, конечно, смотри документацию на сайте grablib.org
Изменил: iNeeXT (28.10.2014 / 07:59)
G

Землянин
0
Так это и есть твоя домашняя работа?
I
Автор
Пришелец
0
Geornyaga (28 Октября 2014 / 12:43)
Так это и есть твоя домашняя работа?
Я выделяю немного времени, чтобы заниматься саморазвитием в программировании, поэтому не нужно меня судить и думать, что я нашим делом не занимаюсь.

Граф Озриор
0
Обычны говнокод

Расходимся.
I
Автор
Пришелец
0
9. Менетил, +1. Половину книжки A Python of Byte только прочитал.
Стикеры / Теги / Правила / Топ тем / Топ постов / Поиск