id1 (11 Июля 2012 / 17:33)
4. dima.london, я згенерировал сайт мап на сервисе, из етого чтото получиться?
Боты в первую очередь индексируют те страницы, которые находятся в сайтмап. Параллельно они пробегаются по всем внутренним ссыдкам, что находятся на этих страницах и индексируют их тоже.
id1 (11 Июля 2012 / 17:33)
5.вообщем отдавать заголовок 404 по старым урл?
Я тебе тоже об этом говорил. Тебе обязательно нужно сделать серверную ошибку 404 для несуществующих адресов. То есть не делать редирект, а именно отдать ошибку. На страницу с ошибками боты заходят несколько раз, и если каждый раз отдается 404, бот с уверенностью, что это не временная ошибка сервера, а страницы на самом деле не существует, банит ее. А это тебе и надо, т.к. забаненые страницы выпадают из индекса бота, и, соответственно, из выдачи. При этом у тебя пропадут дубли.