Файл robots.txt
  • Занимаюсь форумами phpBB3, и по частым просьбам владельцев форумов на этом замечательном движке написал инструкцию по составлению robots.txt для phpBB. Буду рад, если кому-то это поможет.
  • Здравствуйте,
    на сайте есть несколько разделов
    /а/1/
    /а/2/
    /а/3/
    Как будет правильно закрыть от индексации раздел /2/ ?

    User-agent: *
    Disallow: /а/2/

    или

    User-agent: *
    Disallow: /2/
  • Disallow: /a/2/*
  • Добрый день. Не удаётся найти решение:
    Подскажите пожалуйста, как должна выглядеть запись в файле для того, чтобы указать поисковику в качестве заглавной индексируемой страницы (site.ru/index.html) адрес любой другой страницы?
    Спасибо.
  • Никак. Это делается с помощью настроек сервера. Например через файл .htaccess. Но это уже разговор на другую тему :)
  • У нас на сайте он таков

    # NetCat 3 Robots file
    User-agent: *
    Disallow: /install/

    Кто поможет советом что изменить пожалуйста очень прошу
  • У нас на сайте он таков

    # NetCat 3 Robots file
    User-agent: *
    Disallow: /install/

    Кто поможет советом что изменить пожалуйста очень прошу

    директиву host пропишите
  • Файл robots.txt размещается в корневой директории сайта ИЗвеняюсь за вопрос . ГДЕ ЭТА директория блин???????
  • Файл robots.txt размещается в корневой директории сайта ИЗвеняюсь за вопрос . ГДЕ ЭТА директория блин???????

    Это папка, каторая находится на самом верхнем уровне иерархии всех папок.


    site.ru/robots.txt
  • Это папка, каторая находится на самом верхнем уровне иерархии всех папок.


    site.ru/robots.txt

    <html xmlns="http://www.w3.org/1999/xhtml"&gt;
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />

    ЗДЕСЬ ГДЕ-ТО ИЛи это вообще на серсвере находится? ГДЕ эти папки ? Извеняюсь еще раз.
  • <html xmlns="http://www.w3.org/1999/xhtml"&gt;
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />

    ЗДЕСЬ ГДЕ-ТО ИЛи это вообще на серсвере находится? ГДЕ эти папки ? Извеняюсь еще раз.

    Причём тут это? Вы index.html куда заливали, туда и роботс в корневую папку
  • спасибо буду разбираться
  • Хочу запретить индексацию папки media для всех поисковиков , для этого создал такой роботс:

    User-agent: *
    Disallow: /media/

    Всё ли я правильно прописал?
    Ещё есть карта сайта xml, могут ли и robots.txt и эта карта уживаться вместе?
  • Хочу запретить индексацию папки media для всех поисковиков , для этого создал такой роботс:

    User-agent: *
    Disallow: /media/

    Всё ли я правильно прописал?
    Ещё есть карта сайта xml, могут ли и robots.txt и эта карта уживаться вместе?


    Желательно еще и директиву Host прописать с нужным вам зеркалом.
    пример с префиксом www

    Код
    User-agent: *
    Disallow: /media/
    Host: www.mysite.ru
    Sitemap: http://www.mysite.ru/sitemap.xml

  • А если у меня основная ссылка выглядит вот так http://by-chgu.ru? Нужно ли в robots.txt прописывать www перед адресом, или такой же адрес оставлять?
  • А если у меня основная ссылка выглядит вот так http://by-chgu.ru? Нужно ли в robots.txt прописывать www перед адресом, или такой же адрес оставлять?


    Я же привел вам пример с префиксом.
    В вашем случаи прописывать без www
  • Шаблон сайта генерирует дубли страниц. Кроме основной еще по две страницы на каждую. Правильно ли я запрещаю их индексацию?
    User-agent: *

    Disallow: /?fontstyle=f-smaller
    Disallow: /?fontstyle=f-larger

  • на другом несеошном сайте, не стали со мной спорить дальше, просто сославшись что я ничего не понимаю.. решила обратиться к спецам тогда :)
    Код
    User-agent: *
    Disallow: /rss
    Disallow: /uploads
    Disallow: /logs
    Disallow: /registration
    Disallow: /login
    Disallow: /profile
    Disallow: /my
    Disallow: /*?*
    Disallow: /*?

    User-agent: yandex
    Disallow: /rss
    Disallow: /uploads
    Disallow: /logs
    Disallow: /registration
    Disallow: /login
    Disallow: /profile
    Disallow: /my
    Disallow: /*?*
    Disallow: /*?
    Host: вашсайт.ru
      
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*


    User-agent: YandexBlog
    Disallow:
    Allow: /*

    насколько правильный код?
    почему я копирую для яшы - на практике в панели вебмастера, робот яша не видит то что для всех — а только ту секцию что именно для него.
    почему я задаю правила для Googlebot-Image -лишь конкретные правила для добавления всех картинок в гугл-картинки. а это допрафик… иногда и в /uploads который вы закрыли от поисковиков, находятся картинки…
    Ну так что, в чем я права, не права? хотелось бы узнать мнение у специалистов, чтобы хотябы знать для себя что менять, а то когда разговоры заканчиваются "ничеготы не понимаешь" - это не приносит никакой пользы :))
  • Я почитал и написал норобот вот так это правильно? Я попытался указать основной сайт и запретить к индексации всеми роботами картинки, скины и стили.

    User-agent: Yandex
    Disallow:
    Host: www.site.ru

    User-agent: *
    Disallow: /images/
    Disallow: /style/
    Disallow: /skins/

    или так?

    User-agent: Yandex
    Disallow: /images/
    Disallow: /style/
    Disallow: /skins/
    Host: www.site.ru

    User-agent: *
    Disallow: /images/
    Disallow: /style/
    Disallow: /skins/

    Подскажите !?!

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: