Что запретил человек в своем роботсе ?
  • User-agent: *
    Disallow: action.php?

    Что запрещено данной записью в файле robots.txt ?
  • User-agent: *
    Disallow: action.php?

    Что запрещено данной записью в файле robots.txt ?

    это кривой роботс.
    http://mastertalk.ru/topic6726.html
    + новое от яндекса http://help.yandex.ru/webmaster/?id=996567
  • По спецификации он запретил action.php с параметрами после ? но не сам action.php

    Т.е. action.php будет проиндексирован, а action.php?a=1 и подобные нет.
  • мол типа хитрые думают закрою ка я от индексации дубли :)))
  • мол типа хитрые думают закрою ка я от индексации дубли :)))


    ну а так и есть
  • User-agent: *
    Disallow: action.php?

    Что запрещено данной записью в файле robots.txt ?


    Ничего.
    Роботс криво написан (слеша нет после disallow), ПС его никак не учитывают. По крайней мере не должны.
  • Слеша после Disallow быть не должно.
    Если весь сайт не запрещать конечно)))
  • Слеша после Disallow быть не должно.
    Если весь сайт не запрещать конечно)))

    Я имел в виду, что любая запись после disallow должна начинаться со слеша (кроме случая, когда ничего запрещать не надо).
    т.е. не
    Код
    Disallow: action.php?

    a
    Код
    Disallow: /action.php?

    или
    Код
    Disallow: /folder/action.php?

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: