User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
#которые начинаются с /news
User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng
User-agent: Yandex
Disallow:
#Яндексу разрешить все.
----
Это пример как заполнять роботс