Questions tagged with 'robots.txt'
  • Panteleev
    Отзывы0
    Визитов8
    Рейтинг0
    Disallow и *
    Привет всем! Вопрос к академикам -) Давненько я не сталкивался  с ошибками сделанными чужими руками, да и не сеошничаю давно уже , но вопрос по теме однако появился -)Проблема: гугл ругается - Пример страницы которая получила данный статус www.domain.ru/katalog/products/stroitelstvo-i-remont/stroitelnoe-oborudovanie-i-inventar/lestnicy-stremjanki-i-vyshki-tury/stremjanki/stremyanka-sibrteh-843908?city=SPBURL дан в фиде загруженном через мерчант (ссылку менять мы не хотим, она правильная)Ознакомился ...
    1 сообщение Опубликовал Panteleev11 сен 2018Основные форумы
  • alexvolkov
    Отзывы1
    Визитов878
    Рейтинг3
    Проиндексированный robots.txt
    Недавно в результате, видимо, ошибки Google включил в свой поисковый индекс файлы robots.txt от различных сайтов. robots.txt – служебный файл, который содержит в себе инструкции для поисковых машин о том, как правильно индексировать сайт, по мнению владельца сайта. Данный файл является рекомендательным. Хороший поисковик должен слушаться таких инструкций. Вредный поисковик ...
    2 сообщения Последнее сообщение от KengaRu29 сен 2012Google
  • alexvolkov
    Отзывы0
    Визитов176
    Рейтинг3
    sitemap из robots.txt обрабатывается быстрее
    Через webmaster.yandex.ru указывал карту сайта как sitemap.xml. При этом на сервере есть также вторая копия карты сайта в сжатом виде в файле   sitemap.xml.gz и именно она указана в robots.txt как карта сайта. Что интересно: Яндекс до сих пор "обрабатывает" карту сайта, которую я указал вручную, но уже корректно обработал ту, которую ...
    1 сообщение Опубликовал alexvolkov12 май 2012Yandex