Нужна консультация по валидности robots.txt

Печать RSS
353

Автор
Землянин
0
В общем тема такая:
нужно разрешить индексировать только главную страницу и ссылки: /auth, /reg
так-же нужно разрешить индексировать ссылки (вместо 123 - любое число): /id123 и /id123?to=1
а все остальное запретить индексировать
я собственно написал условия для робота, но не уверен что все в нем верно...
собственно само условие выглядит так:
User-agent: *
Allow: /$
Allow: /auth$
Allow: /reg$
Allow: /id$
Allow: /id*?to=1
Disallow: /
подскажите, верно ли я его составил для своего условия? и если есть ошибки, то прошу поправить меня

Оранжевые штаны
0
1. FaZaHaK, сори, поторопился, удалено.

Единственное что лишние &to=1 в строчке
Allow: /id*?to=1
Можно написать так Allow: /id* и все ссылки начинающиеся с /id будут индексироваться, если конечно не требуются запретить какие то ссылки начинающиеся так же с /id, но имеющие другие параметры типа /id238764?from=panel

Добавлено через 00:56 сек.
1. FaZaHaK, почитать про robots.txt можно здесь
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Изменил: Антон (31.08.2015 / 13:56)

Оранжевые штаны
0
1. FaZaHaK, а так все верно у тебя.
Автор
Землянин
0
2. WmLiM, это хорошо, спасибо
а насчет Allow: /id* - нет, все ссылки начинающиеся с /id не надо индексировать, а только /id* и /id*?to=1, т.е все другие get параметры - не индексировать

Оранжевые штаны
0
4. FaZaHaK, для очистки параметров посмотри директиву Clean-param, там все просто описано.
Стикеры / Теги / Правила / Топ тем / Топ постов / Поиск