Нужна консультация по валидности robots.txt

Нужна консультация по валидности robots.txt - Visavi.net https://visavi.net/ RSS - Visavi.net https://visavi.net/assets/img/images/logo_small.png RSS - Visavi.net https://visavi.net/ [email protected] (admin) [email protected] (admin) Sat, 20 Apr 2024 13:11:54 +0300 4. FaZaHaK, для очистки параметров посмотри директиву Clean-param, там все просто описано. https://visavi.net/topics/42613/685882 Нужна консультация по валидности robots.txt Антон Mon, 31 Aug 2015 16:14:57 +0300 Сообщения https://visavi.net/topics/42613/685882 2. WmLiM, это хорошо, спасибо а насчет Allow: /id* - нет, все ссылки начинающиеся с /id не надо индексировать, а только /id* и /id*?to=1, т.е все другие get параметры - не индексировать https://visavi.net/topics/42613/685881 Нужна консультация по валидности robots.txt Алексей Mon, 31 Aug 2015 14:40:09 +0300 Сообщения https://visavi.net/topics/42613/685881 1. FaZaHaK, а так все верно у тебя. https://visavi.net/topics/42613/685878 Нужна консультация по валидности robots.txt Антон Mon, 31 Aug 2015 14:01:46 +0300 Сообщения https://visavi.net/topics/42613/685878 1. FaZaHaK, сори, поторопился, удалено. Единственное что лишние &to=1 в строчке Allow: /id*?to=1 Можно написать так Allow: /id* и все ссылки начинающиеся с /id будут индексироваться, если конечно не требуются запретить какие то ссылки начинающиеся так же с /id, но имеющие другие параметры типа /id238764?from=panel Добавлено через 00:56 сек. 1. FaZaHaK, почитать про robots.txt можно здесь <a href="https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml" target="_blank" rel="nofollow">https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml</a> https://visavi.net/topics/42613/685877 Нужна консультация по валидности robots.txt Антон Mon, 31 Aug 2015 13:49:02 +0300 Сообщения https://visavi.net/topics/42613/685877 В общем тема такая: нужно разрешить индексировать только главную страницу и ссылки: /auth, /reg так-же нужно разрешить индексировать ссылки (вместо 123 - любое число): /id123 и /id123?to=1 а все остальное запретить индексировать я собственно написал условия для робота, но не уверен что все в нем верно... собственно само условие выглядит так: User-agent: * Allow: /$ Allow: /auth$ Allow: /reg$ Allow: /id$ Allow: /id*?to=1 Disallow: / подскажите, верно ли я его составил для своего условия? и если есть ошибки, то прошу поправить меня https://visavi.net/topics/42613/685875 Нужна консультация по валидности robots.txt Алексей Mon, 31 Aug 2015 13:32:21 +0300 Сообщения https://visavi.net/topics/42613/685875