В общем тема такая:
нужно разрешить индексировать только главную страницу и ссылки: /auth, /reg
так-же нужно разрешить индексировать ссылки (вместо 123 - любое число): /id123 и /id123?to=1
а все остальное запретить индексировать
я собственно написал условия для робота, но не уверен что все в нем верно...
собственно само условие выглядит так:
User-agent: *
Allow: /$
Allow: /auth$
Allow: /reg$
Allow: /id$
Allow: /id*?to=1
Disallow: /
подскажите, верно ли я его составил для своего условия? и если есть ошибки, то прошу поправить меня