Убираем дубликаты страниц

Дубликаты страниц не нужны в индексах поисковых систем, они вредят сайту и от них нужно избавляться полностью. Но на многих сайтах могут быть ссылки с идентификаторами сессий и обойтись без них нельзя. Как быть с ними?

Код должен быть установлен на всех страницах сайта (Реализован на PHP):

$se_mask = "(Yandex|Googlebot|StackRambler|Yahoo Slurp|WebAlta|msnbot)";
if (preg_match($se_mask,$_SERVER['HTTP_USER_AGENT'])) {
  if (!empty($_GET['PHPSESSID'])) {
    header($_SERVER['SERVER_PROTOCOL']." 404 Not Found");
    exit();
  }
} else {
  session_start();
}

Почему нельзя обойтись без идентификаторов сессий? Я обхожусь..
Те у кого куки не работают - обламываются.. Но таких не больше 2х процентов. Зато никаких дубликатов страниц.

Мне кажеться вы голову ломаете.
Не уже ли гугл и яша не позаботились зная что миллионы сайтов в той или иной степени работают с сессиями?

Добавлено через 01:06 сек.
Да и намногих страницах есть такие ссылки как назад, вперед и т.д.

StingerIce (22 Февраля 2011 / 20:56)
Мне кажеться вы голову ломаете.
Не уже ли гугл и яша не позаботились зная что миллионы сайтов в той или иной степени работают с сессиями?

Добавлено через 01:06 сек.
Да и намногих страницах есть такие ссылки как назад, вперед и т.д.

При каждом новом заходе поискового бота он видет что-то еа подобии

1.php?PHPSESSID=123
1.php?PHPSESSID=456

Хоть контент на этих страницах одинаковый, страницы воспринимаются именно как РАЗНЫЕ страницы. Таких страниц с одним и тем же контентом, как вы поняли, может быть куча.

Добавлено через 01:38 сек.

valerik (22 Февраля 2011 / 20:50)
Почему нельзя обойтись без идентификаторов сессий? Я обхожусь..
Те у кого куки не работают - обламываются.. Но таких не больше 2х процентов. Зато никаких дубликатов страниц.

При первом заходе cookies не помогут убрать идентификатор с url.

Спасибо + 1

Fantik (22 Февраля 2011 / 22:09)
Спасибо + 1

Пжлст.

Добавлено через 01:14 сек.
2. valerik, вы когда нибудь замечали, например на wap-motor, что при первом заходе, независимо от того, что вы авторизовались по кукам, есть приставки PHPSESSID?

Хуже всего не незание, хуже всего илющия знания, понимайте как хотитете, кто захочет тот найдет

Извращение. Это всё делается строкой

Clean-param: PHPSESSID

в robots.txt для яндекса и в центре веб мастеров у гугла

anton.vanin (22 Февраля 2011 / 22:39)
Извращение. Это всё делается строкой

Clean-param: PHPSESSID

в robots.txt для яндекса и в центре веб мастеров у гугла

Извращение, когда нужно по-разному подстраиваться под разные поисковики... Разместить код в header гораздо проще предложенного варианта. SE не заканчивается на гугле с яндексом. Вот так вот...