Парсер игр Sever.ru

Продолжаю практику с Python, после чекера waplog.net. На этот раз использовал так называемый Spyder из библиотеки Grab.

Ссылка на программу: http://pastebin.com/9z9q5NbC

Файлы расположены на диске в таком виде (сохранение идет в папку data):

...
├── Nokia
│   ├── ...
├── Sony Ericsson
│   ├── 176x220: K550, K750, W810, K610
│   │   ├── Стратегии
│   │   │   ├── Civilization IV - War Of Two Cities
│   │   │   │   ├── description.txt
│   │   │   │   ├── game.jad
│   │   │   │   ├── game.jar
│   │   │   │   ├── screenshot_0.jpg
│   │   │   │   ├── screenshot_1.jpg
│   │   │   │   └── screenshot_2.jpg
...

На данный момент (еще идет скачивание самих игр): 81.740 объектов, всего 2,2 ГБ

P.S. чтобы ускорить выполнение скрипта можно изменить к-во потоков (программа асинхронна) в предпоследней строке, изменив параметр thread_number.

Думаю, хватит скачивать, статистика:
134.238 объектов, всего 10,8 ГБ

Молодец!

3, спасибо. Grab это лучший инструмент, который я видел для парсинга/граббинга сайтов.

а как пользоваться этим чудом? значит можно и другие сайты грабить таким образом?

5. sanya-rus, создать папку data и запустить из консоли как обычный python-скрипт:

python file.py

Да, конечно, смотри документацию на сайте grablib.org

Так это и есть твоя домашняя работа?

Geornyaga (28 Октября 2014 / 12:43)
Так это и есть твоя домашняя работа?

Я выделяю немного времени, чтобы заниматься саморазвитием в программировании, поэтому не нужно меня судить и думать, что я нашим делом не занимаюсь.

Обычны говнокод

Расходимся.

9. Менетил, +1. Половину книжки A Python of Byte только прочитал.