Файл robots.txt
  • Лучше вот так Disallow: /*?page=1&
    Disallow: /*?*page=1$ - запретит страницы с параметром page=1 в конце URL
    Disallow: /*?*page=1& - ну а здесь все остальные варианты нахождения параметра


    Спасибо!

    Действительно есть еще страницы с дублями такого вида
    ***.aspx?page=1
    ***.aspx
    Значит для них подойдет такой параметр:
    Disallow: /*?page=1$

    И в итоге будут такие строчки в robots:

    Disallow: /*?page=1& - запретит страницы с параметром page=1 в URL после знака ? и до знака &
    Disallow: /*?page=1$ - запретит страницы с параметром page=1 в конце URL

    Все так?
  • Мой вопрос:

    При смене структуры 2х каталогов интернет магазина (всего девять каталогов, семь из которых не зависимы от главного каталога) (Более 2х тысяч позиций товаров)
    Из за того, что 2 каталога напрямую зависели от главного каталога - и еще массу недочетов, мы изменили структуру сайта и сделали 301 редиректы всех товаров, в итоге: мы сделали триста 301 редиректов из старого каталога на новые страницы 2х каталогов.

    Имеем новые страницы каталога, которые не зависят от главного каталога, в то же время в Главном каталоге находятся дубликаты всех(2х тысяч страниц карточек товаров) В индексе Яндекса пока только 250 карточек товаров из дубликатов.

    Необходимо как можно скорее дать Яндексу понять что все страницы переехали, из структуры и карты сайта он это поймет, но что бы не делать 2 тысячи редиректов, мы хотели закрыть Главный каталог от индексации.

    Единственный вопрос:

    Будет ли Яндекс индексировать страницу если она закрыта в robots.txt, но сама страница переехала через 301 редирект, добавит ли он новый адрес страницы в Индекс, если старый закрыт от индексации?

    Предположим:

    /catalog/ - это как раз разносчик дублей.

    /catalog2/ - новый независимый каталог

    /catalog/satya.html переехала на новый адрес /catalog2/staya.html (301 редирект)

    robots.txt:

    Disallow: /catalog/satya.html


    Проиндексируется ли новый адрес /catalog2/staya.html или нет? И будет ли счастливо жить в индексе?
  • Здравствуйте!

    Есть urlы:
    www.site.ru/catalog/razdel/podrazde/
    www.site.ru/catalog/razdel/podrazde/sort/up/

    Какое правило нужно прописать в robots.txt, чтобы запретить индексацию адресов с /sort/ ?

    В голову пришло вот такое решение:
    Disallow: /*sort/*

  • Здравствуйте!
    есть основной раздел и в нем есть страницы типа http://сайт.ru/раздел/?action=show&itemid=17
    а есть еще подраздел... и из него идут такиеже страницы только с другими тайтлами и заголовками (там еще указывается название подраздела). Пишется как: http://сайт.ru/раздел/подраздел/?action=show&itemid=17. Так устроен движок да и удобно впринципе.
    Но вот незадача.. контент получается таким же. Поэтому требуется страницы подраздела закрыть в роботсе, но что бы сам подраздел http://сайт.ru/раздел/подраздел/ индексировался...

    если сделать так :
    Disallow: /подраздел/?action=show&itemid=*
    так можно? не запретится ли тогда сам раздел? если да то как правильно сделать всетки?
  • Роботс уже даже в мультики попал

    http://video.yandex.ru/users/yacinema/view/93.

    Так, видимо, до владельцев секс-шопов и админов Мегафона лучше дойдет :)
  • Не совсем понимаю для чего нужна Директива Crawl-delay . Обьясните пожалуйста
  • Обьясните еще что такое динамические страницы php . Что они из себя представляют. Там есть деректива которая управляет индексацией таких страниц
  • Запретил в роботсе две страницы:

    Disallow: /discount
    Disallow: /page/skidki

    В вебместере яндекса в разделе "исключено роботом" (Документ запрещен в файле robots.txt) показывает только одну запрещенную /discount Почему ?
  • Еще не увидел новый роботс


    Уже месяц как прошел. Должен был увидеть
  • Как указывать хост в файле robots.txt
    www.termotronik.ru или просто termotronik.ru ? Спасибо
  • www.termotronik.ru или просто termotronik.ru ? Спасибо


    От самого Yandexa:

    Важно: параметр директивы Host обязан состоять из одного корректного имени хоста (то есть соответствующего RFC 952 и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки 'Host:' игнорируются.

    # Примеры игнорируемых директив Host
    Host: www.myhost-.ru
    Host: www.-myhost.ru
    Host: www.myhost.ru:100000
    Host: www.my_host.ru
    Host: .my-host.ru:8000
    Host: my-host.ru.
    Host: my..host.ru
    Host: www.myhost.ru/
    Host: www.myhost.ru:8080/
    Host: http://www.myhost.ru
    Host: 213.180.194.129
    Host: www.firsthost.ru,www.secondhost.ru
    Host: www.firsthost.ru www.secondhost.ru
  • У меня возникла проблема с индексацией последних статей Яндексом на блоге http://iddeas.ru. Яндекс указывает на запрет индексации статей в robots. Не могу найти ошибку.

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: