Вопрос по robots.txt
  • Вообщем дело такое. Есть сайт. На нем раньше была структура такого вида:
    www.site.ru/shop/item.html Вынуждены были из-за модернизации сайта сделать структуру такого вида: www.site.ru/katalog/shop/item.html

    Теперь вопрос: как в файле роботс запретить www.site.ru/shop/item??? Раздел shop удалили.
    В панели вебмастера пишет что на сайте 1500 ошибок и все эти ошибки всвязи с тем, что он не смог попасть на www.site.ru/shop/ То есть 404 ошибка.

    Тему http://mastertalk.ru/topic6726.html читал, но если сделать так

    User-agent: Yandex
    Disallow: /shop/

    не запретит ли этот способ и индексирование www.site.ru/katalog/shop/ ???
  • короче у яндекса у самого где то есть правила как создавать роботс тхт

    там же можно проверить что яндекс видит на конкретном сайте, а что нет - найдите эту страницу поиском
  • ...
    не запретит ли этот способ и индексирование www.site.ru/katalog/shop/ ???
    нет
  • Вообщем дело такое. Есть сайт. На нем раньше была структура такого вида:
    www.site.ru/shop/item.html Вынуждены были из-за модернизации сайта сделать структуру такого вида: www.site.ru/katalog/shop/item.html

    Теперь вопрос: как в файле роботс запретить www.site.ru/shop/item??? Раздел shop удалили.
    В панели вебмастера пишет что на сайте 1500 ошибок и все эти ошибки всвязи с тем, что он не смог попасть на www.site.ru/shop/ То есть 404 ошибка.

    Тему http://mastertalk.ru/topic6726.html  читал, но если сделать так

    User-agent: Yandex
    Disallow: /shop/

    не запретит ли этот способ и индексирование www.site.ru/katalog/shop/ ???


    если не уверен, то спроси у Жорика http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: