Нужна консультация по валидности robots.txt

1. Алексей (31.08.2015 / 13:32)
В общем тема такая:
нужно разрешить индексировать только главную страницу и ссылки: /auth, /reg
так-же нужно разрешить индексировать ссылки (вместо 123 - любое число): /id123 и /id123?to=1
а все остальное запретить индексировать
я собственно написал условия для робота, но не уверен что все в нем верно...
собственно само условие выглядит так:
User-agent: *
Allow: /$
Allow: /auth$
Allow: /reg$
Allow: /id$
Allow: /id*?to=1
Disallow: /
подскажите, верно ли я его составил для своего условия? и если есть ошибки, то прошу поправить меня

2. Антон (31.08.2015 / 13:49)
1. FaZaHaK, сори, поторопился, удалено.

Единственное что лишние &to=1 в строчке
Allow: /id*?to=1
Можно написать так Allow: /id* и все ссылки начинающиеся с /id будут индексироваться, если конечно не требуются запретить какие то ссылки начинающиеся так же с /id, но имеющие другие параметры типа /id238764?from=panel

Добавлено через 00:56 сек.
1. FaZaHaK, почитать про robots.txt можно здесь
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

3. Антон (31.08.2015 / 14:01)
1. FaZaHaK, а так все верно у тебя.

4. Алексей (31.08.2015 / 14:40)
2. WmLiM, это хорошо, спасибо
а насчет Allow: /id* - нет, все ссылки начинающиеся с /id не надо индексировать, а только /id* и /id*?to=1, т.е все другие get параметры - не индексировать

5. Антон (31.08.2015 / 16:14)
4. FaZaHaK, для очистки параметров посмотри директиву Clean-param, там все просто описано.

URL: https://visavi.net/topics/42613