Вопрос по robots.txt

Vova.yar

Вообщем дело такое. Есть сайт. На нем раньше была структура такого вида:
www.site.ru/shop/item.html Вынуждены были из-за модернизации сайта сделать структуру такого вида: www.site.ru/katalog/shop/item.html

Теперь вопрос: как в файле роботс запретить www.site.ru/shop/item??? Раздел shop удалили.
В панели вебмастера пишет что на сайте 1500 ошибок и все эти ошибки всвязи с тем, что он не смог попасть на www.site.ru/shop/ То есть 404 ошибка.

Тему http://mastertalk.ru/topic6726.html читал, но если сделать так

User-agent: Yandex
Disallow: /shop/

не запретит ли этот способ и индексирование www.site.ru/katalog/shop/ ???

fagediba

короче у яндекса у самого где то есть правила как создавать роботс тхт

там же можно проверить что яндекс видит на конкретном сайте, а что нет - найдите эту страницу поиском

Playman

...
не запретит ли этот способ и индексирование www.site.ru/katalog/shop/ ???

нет

Panteleev

Вообщем дело такое. Есть сайт. На нем раньше была структура такого вида:
www.site.ru/shop/item.html Вынуждены были из-за модернизации сайта сделать структуру такого вида: www.site.ru/katalog/shop/item.html

Теперь вопрос: как в файле роботс запретить www.site.ru/shop/item??? Раздел shop удалили.
В панели вебмастера пишет что на сайте 1500 ошибок и все эти ошибки всвязи с тем, что он не смог попасть на www.site.ru/shop/ То есть 404 ошибка.

Тему http://mastertalk.ru/topic6726.html  читал, но если сделать так

User-agent: Yandex
Disallow: /shop/

не запретит ли этот способ и индексирование www.site.ru/katalog/shop/ ???

если не уверен, то спроси у Жорика http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

Привет, незнакомец!

Категории

В этой теме: