Просмотр файла robots.txt

Размер файла: 41B 
User-agent: *
Allow: /
Crawl-delay: 1