Вопрос мастерам ...
  • Расскажите как яндекс относится к <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> ??

    Про robots.txt не спрашиваю. Этот вариант не рассматривается.
  • Через htaccess по юзер агенту можно забанить.

    Типа такого:

    Код
    SetEnvIfNoCase User-Agent "^Yandex/" go_away
    SetEnvIfNoCase User-Agent "^Googlebot/2.1" go_away
    SetEnvIfNoCase User-Agent "^StackRambler/" go_away
    <Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=go_away
    </Limit>


    Добавляйте юзер агенты неугодных ботов по аналогии.
  • Расскажите как яндекс относится к <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> ??

    Про robots.txt  не спрашиваю. Этот вариант не рассматривается.


    NOINDEX - слушается
    NOFOLLOW - ему кажись по барабану.
  • робот яндекса не индексирует содержимое сайт внутри тега <noindex> </noindex>
    кроме того, вы можете запретить индексирование отдельных страниц в файле robots.txt
  • Как закрыть сайт для индексации?
    Disalow: /
    в robots.txt
  • Как закрыть сайт для индексации?
    Disalow: /
    в robots.txt

    это не полностью спасает. Мало того, такой сайт легко выводится в топ ссылками.
  • это не полностью спасает. Мало того, такой сайт легко выводится в топ ссылками.


    покажите мне сайт, который вывели в топ ссылками, и у которого такая конструкция в роботс.
    Если он легко выводится, значит вы легко покажете пример :)
  • покажите мне сайт, который вывели в топ ссылками, и у которого такая конструкция в роботс.
    Если он легко выводится, значит вы легко покажете пример :)


    Самое смешное, что именно так, robots.txt игнорируется и очень часто, знать бы почему...

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: