FAQ "Почему моего сайта нет в Яндексе"
  • Последняя редакция 24.10.2010. Исправлены устаревшие факты, ссылки и имена :-)

    07.04.2010
    Просьба к новеньким.
    Не разводите пустопорожний флуд в этом топике. Он создан для справки и время от времени корректируется – какие-то сведения могут устареть. В ходе корректировки заодно будут удалены и сообщения, не несущие справочной информации. В общем, читайте, прежде чем писать – это всегда полезно. И, как ни странно, экономит время.

    Для ваших вопросов о проблемах с отдельно взятым сайтом есть ветка «Личные трудности», обращайтесь туда. Там вам помогут, а в ветке «Яндекс» скорее всего высмеют.


    ------------------------

    Q: Почему моего сайта нет в Яндексе?

    A: Сайты разные и причины бывают разные. Поэтому точного ответа на вопрос нет и не будет.
    Тем не менее, возможны варианты:

    1. Все могут ошибаться.
    - Убедитесь, что правильно проверяете наличие сайта в поисковой базе.
    Введите Ваш домен в форму на http://webmaster.yandex.ru/check.xml - если Яндекс выдаст ссылку на одну из список страниц сайта, значит, сайт в индексе. Вы проверяли не тем инструментом.
    Если в ответ получаете "Ничего не найдено" ту же страницу с формой, но без списка, сайта в индексе действительно нет.

    - Проверьте, не поставлен ли в robots.txt запрет для бота Яндекса.
    - Проверьте, какой код статуса отдает сервер в заголовках. Бот считывает страницы, если получает статус "200 OK". В индекс попадают страницы со статусом "200 OK" или "304 Not Modified" (при повторном обращении бота). Проверить заголовки можно на http://be1.ru/services/stat/
    - Возможно, Ваш сервер блокирует запросы поисковых систем. Если на том же аккаунте хостинга у Вас есть другие сайты и они тоже не индексируются Яндексом, узнайте у хостера, нет ли запрета по IP или юзер-агенту.


    2. Еще не время.
    - Добавили ли Вы URL сайта в форму регистрации на http://webmaster.yandex.ru/addurl.xml (ее обычно называют "аддурлом")? Попробуйте это сделать. Внимательно прочтите ответ Яндекса.
    - Много ли времени прошло с момента добавления? Если не больше 2-3 недель, проверьте серверные логи - появлялся ли посетитель "Yandex/1.01.001 (compatible; Win16; I)" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)". Это бот-индексатор Яндекса. Если он там уже был и просмотрел не только главную страницу, просто ждите. Сайты попадают в индекс не сразу. Иногда (при изменениях алгоритма и отладке) работа индексатора приостанавливается и новые сайты долго не могут попасть в индекс. Добавляйте URL в форму регистрации повторно. Возможно, поможет ссылка на сайт со страницы, часто посещаемой ботом. Прогон по каталогам не рекомендуется - прогоны бывают разные, так что результат непредсказуем.

    Типичная картина индексации нового сайта в Яндексе:
    - после добавления в аддурл через 1-3 недели (как повезет) в индексе всплывает главная страница.
    - примерно через неделю после главной (может быть дольше) начинают появляться остальные страницы.
    - потом первая партия проиндексированных страниц может выпасть, а главная останется. Не паникуйте, выпавшие страницы обычно возвращаются примерно через неделю.

    3. Бан на взлете.
    В последнее время участились такие случаи - сайт впервые добавляется в аддурл, а Яндекс отвечает, что его индексация запрещена.
    - Попробуйте узнать историю домена. Возможно, Вы приобрели домен, уже попавший в бан ранее. Например, там раньше был каталог с большим количеством обратных ссылок с линкопомоек 1ps или линкаторов.
    - Доменные зоны "второго уровня" - net.ru, org.ru и т.п. не в почете у Яндекса. Слишком много доменов в них в свое время бесплатно набирали под дорвеи. Хотя техподдержка Яндекса отрицает "особое отношение" к таким доменам, есть факты, которые оспорить трудно.
    В этих случаях полезно сделать запрос техподдержке Яндекса через форму обратной связи - http://feedback.yandex.ru/. Но лучше обращаться из панели вебмастера, Платону Щукину больше по душе авторизованные пользователи, хотя сам он предпочитает жить под псевдонимом.
    Постарайтесь кратко, ясно и вежливо изложить свою проблему. Дайте понять, что уже проверили отсутствие технических ошибок - это помогает.
    Если получили шаблонный ответ "...возможно, алгоритм решил, что сайт предназначен не для людей..." - скорее всего, на Ваш сайт даже не взглянули. Пишите ответ с опровержением этих "возможно" (но если сайт действительно не для людей, то опровергать тут нечего).

    - Если сайт представляет собой дорвей или каталог ссылок (доску объявлений) на заезженных скриптах - помните, что такие сайты Яндексу не нужны изначально и попадание их в индекс - только вопрос Вашего везения. Не создавайте топик "Как скормить это Яндексу". По-человечески прошу Вас.
    - Если Ваш сайт от рождения набит текстами, "позаимствованными" с других сайтов - см. предыдущий совет.
    Это не значит, что Яндекс непременно забанит сайт с текстом (текстами), уже имеющимися на других сайтах. Это значит, что новый сайт, не несущий нового контента, с большой вероятностью может уйти в бан. Или даже не попасть в индекс.


    08.04.2009
    Продолжение, которое пока еще не успели украсть копипастеры. :)

    4. Задержка и потеря заявок на индексацию
    Начиная с 2007 года участились изменения алгоритмов ранжирования. И новые версии и поправки внедряют на рабочем индексе, – база данных Яндекса уникальная, распределенная, для «локальной» отладки нужен дубликат всего программно-аппаратного комплекса.

    Программисты Яндекса тоже люди и могут ошибаться. Ошибка может привести к порче индекса, потребуется откат (полное или частичное восстановление базы данных с резервной копии).
    В период внедрения нового алгоритма ссылка, которую вы вводите в AddURL, может быть:
    - отложена (пока не пройдет отладка, индекс стараются менять минимально)
    - попросту потеряна (после ввода прошел откат базы)
    - вообще не принята
    Поскольку об изменениях алгоритма не сообщают, пока он не внедрен полностью, весь период внедрения эти «потери» остаются без комментариев. Форма AddURL продолжает работать, но гарантии приема ссылки нет.

    Наблюдались случаи, когда после ввода ссылки буквально через одну секунду приходил ответ "время ожидания превышено". Можно предположить, что на время подготовки резервной копии прием прекращается под предлогом тайм-аута или ограничивается – например, может проскочить только сайт с очень малым временем отклика. Быстрый отклик свидетельствует, что у сайта достаточно качественный хостинг и быстродействующий движок – а значит, мала вероятность, что это очередная дешевая поделка.
  • Часть II - «Был, да весь выпал.»
    Q: Вы тут все про новые сайты, а мой уже весь был в индексе, имел трафик с Яндекса, а теперь исчез.

    A: Такие случаи тоже достаточно часты, для начала проверьте причину.
    Введите Ваш домен в форму добавления URL на http://webmaster.yandex.ru/addurl.xml и прочтите ответ.

    1. Сообщение "Адрес yoursite.ru не был внесен в базу Яндекса, так как его индексация запрещена."
    Сайт попал в бан (англ. ban - запрет, в данном случае это запрет индексации). Внимательно читайте FAQ Яндекса, начиная с http://help.yandex.ru/webmaster/?id=995294#995311
    Причин бана может быть множество. По отдельным публичным высказываниям сотрудников Яндекса, бан "за какое-то одно нарушение" бывает редко. Гарантированно приводит в бан при обнаружении клоакинг (от англ. cloak - скрывать, показ разного контента поисковому роботу и посетителям). Гарантированно банят дорвеи (принудительное перенаправление посетителя на другие сайты). Остальные нарушения могут привести к бану "по совокупности признаков".

    2. Сообщение "Добавленный вами сайт является зеркалом www.yoursite.ru
    Вы проверяете yoursite.ru, а Яндекс считает главным зеркалом www.yoursite.ru.
    Если до сих пор сайт индексировался без www, то с момента, когда зеркальщик Яндекса переопределил главное зеркало, его индексация начинается заново, уже как www.yoursite.ru.
    Случай досадный, но не фатальный. Чтобы избежать такого, нужно еще до добавления сайта в аддурл прописать строку в секции для Яндекса robots.txt:
    Код
    Host: yoursite.ru

    При расстановке ссылок на сайт старайтесь указывать выбранный хост. Если половина ссылок будет с www, а другая половина без www, риск "смены зеркала" сильно увеличивается. Это касается и других поисковых систем.

    3. Сообщение "Ваш сайт ... будет проиндексирован в ближайшее время".
    Здесь есть масса вариантов. Раньше выпадение сайта из индекса без запрета индексации объясняли исключительно техническими сбоями ("выпал кластер из базы"). Сейчас такие случаи участились, но техподдержка Яндекса уже не пишет о сбоях. Обычно в ответ Вас поблагодарят за внимание и пообещают разобраться в причинах.
    Есть предположение, что кроме всем привычного бана появился "мягкий бан", когда сайт из индекса исчезает, бот-индексатор продолжает его регулярно посещать, запрета нет и сайт может через какое-то время так же внезапно вернуться в индекс.
    Предположительно такая мера применяется к сайтам, которые по ряду признаков сочтены "не имеющими ценности" для поиска. Иногда может помочь всестороннее улучшение технических характеристик сайта, замена текстов на главной и близлежащих страницах, добавление контента, удаление пустых и слабо различающихся страниц. Речь, естественно, идет об уникальном контенте.

    Поскольку явление это относительно новое, достоверной статистики "что лучше помогает" пока нет.
  • Часть II - «Был, да весь выпал.»
    Q: Вы тут все про новые сайты, а мой уже весь был в индексе, имел трафик с Яндекса, а теперь исчез.

    B:
    1. Возможно, сайт перегружен исходящими ссылками и/или ссылается на "плохие" сайты..
    2. Во время обхода роботом сайт был недоступен (проблемы у хостера)
  • забыли указать копипаст.

    сайт был забанен и исключен из поиска за копипаст, которого там процентов этак 30-40 не более остальное уник(((
  • Если уже касаться причин бана, то нужно перечислить все известные.

    Q: А за что могли забанить мой сайт?
    A: Причины бана могут быть разными. И сразу запомните: бан – это не "наказание за что-то". Поисковая система – не воспитатель и не судья, наказывать она не может. Бан – это удаление из индекса сайтов, которые мешают нормальному ранжированию выдачи. Еще точнее, тех, что совсем не вписываются в характеристики "нормальных" сайтов, для которых и сделан алгоритм ранжирования.

    Что на эту тему говорит Яндекс: http://help.yandex.ru/webmaster/?id=995298#995342

    О причинах:
    Если в этом разделе не описан какой-то прием, помогающий искусственно повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и духу описанных выше принципов.

    Мы стараемся не индексировать или не ранжировать высоко:

    - автоматически сгенерированный (бессмысленный) текст,
    - сайты, копирующие информацию с других ресурсов и не создающие оригинального контента или сервиса,
    - сайты, представляющие товары или информацию по партнерским программам, но не представляющие никакой ценности для пользователя,
    - страницы с невидимым или слабовидимым текстом или ссылками,
    - сайты, отдающие разный контент пользователям и роботам поисковых систем («клоакинг»),
    - страницы и сайты, единственной целью которых является перенаправление пользователя на другой ресурс, автоматически («редирект») или добровольно (реклама без контента),
    - сайты, на которых из-за обилия навигационных меню, новостей, вспомогательной информации, рекламы трудно найти их основное содержание,
    - страницы и сайты, ставящие ссылки исключительно для обмана поисковых систем и «накачивания» релевантности,
    - сайты или группы сайтов, интенсивно ссылающиеся друг на друга («линкфармы»),
    - ссылки, не являющиеся рекомендацией автора посетить ресурс.


    Клоакинг и автоматическое перенаправление на другие сайты приводят к бану обязательно, как только будут обнаружены.
    Остальное может привести в бан, если его окажется "достаточно много". Не спрашивайте, сколько именно – этого никто здесь не может точно знать. Все точные критерии Яндекса – его секрет. Вдобавок, они постоянно изменяются.

    Нельзя точно сказать, сколько должно быть неуникального текста или ссылок на странице, чтобы сайт попал в бан. Насколько известно, при фильтрации учитываются все "дефекты" сайта. Например, один сайт с половиной неуникального контента может остаться в индексе, а другой будет забанен, потому что кроме неуникального контента на нем еще и избыток ссылок.

    07.04.2010
    Сама по себе "уникальность" контента не дает гарантии нормального индексирования. Уникализация текста с помощью автозамены слов, перестановки абзацев и тому подобных приемов может навредить сайту даже больше, чем неуникальный текст. Яндекс учится анализировать тексты более глубоко. Учится с трудом, но многое у него начало получаться.

    Разумеется, кроме избытка ссылок и "малоценного" текста, есть и другие факторы. Удаление сайта из индекса – результат комплексной оценки по ряду критериев. Полный список критериев и степень их влияния точно известны только Яндексу. Из этого следует вывод: хотите, чтобы сайт оставался в индексе и рос в выдаче – уделите внимание всем показателям качества сайта.
  • spinne, по поводу проверки сайта в индексе, http://webmaster.yandex.ru/check.xml подпиши с www и без, Яша имеет свойство путать зеркала не с того н с сего, если роботс не прописан image/wink.gif' border='0' style='vertical-align:middle' alt='wink.gif' />

    И в инструментах ВМ иногда может показывать 0, но страницы есть, (от погоды что ли зависит image/smile.gif' border='0' style='vertical-align:middle' alt='smile.gif' /> )
  • cd-info, это устарело. image/smile.gif' border='0' style='vertical-align:middle' alt='smile.gif' /> Сейчас он проверяет по обратным, запрос в виде строки для поисковой формы выглядит так:

    rhost="ru.site"|rhost="ru.site.*"

    А с www получится так:
    rhost="ru.site.*"|rhost="ru.site.www.*"

    Значит, при вводе только домена охватывается и www и имеющиеся поддомены. Потому и советую вводить голое доменное имя. А проверка c www даст "Ничего не найдено", если сайт индексируется без www.
    Несложно проверить. image/wink.gif' border='0' style='vertical-align:middle' alt='wink.gif' />
  • добавлю, что часто сайты на "заезженных" спамерских скриптах в бан попадают "а приори" при этом роботу наплевать - будь там хоть 100% уник контент. перепсика с гастребайтерами из такжикистана под именем Джавшан Шукин-Ага- ничего не дает - те тупо копипестят стандартные ответы
  • Скажите пожалуйста, а как, в какой форме и куда нужно писать Платону? Заранее благодарна. :)


    только нашёл и сам написал.надеюсь выбрал нужный емаил.


    Email адреса Яндекса


    Общий email службы поддержки: support@yandex.ru
    Каталог Яндекса: support@catalog.yandex.ru
    Работа с сайтами: addurl@yandex-team.ru
    Отдел маркетинга: pr@yandex-team.ru
  • Часть III – «Синдром десяти страниц или АГС-17 (20; 30; 48 – может, больше...)»

    Алгоритм фильтрации под названием АГС-17 был анонсирован гораздо позднее, чем запущен. Лень искать в старых топиках, когда впервые было обнаружено, что у некоторых сайтов Яндекс показывает в индексе 10 страниц (независимо от того, сколько их было накануне). Сейчас в результате блокировки АГС в индексе может отображаться разное число страниц (от одной и более). Почему в первоначальном варианте оставалось ровно 10, никому не известно, да и не интересно.

    Что на сегодняшний день известно об этом алгоритме:

    Он работает отдельно от механизма индексирования. Занят проверкой уже проиндексированных сайтов. Задача алгоритма – выявление и блокирование страниц, «не имеющих поисковой ценности».

    Блокируется вывод этих страниц во всех видах поиска. В том числе и по запросам, показывающим проиндексированные страницы. Это создает у пользователя впечатление, что страницы полностью удалены из поисковой базы. На самом деле они просто "закрыты для показа" (проверить это не представляло большого труда).

    Что блокирует АГС?
    По заявлениям сотрудников Яндекса алгоритм призван выявить страницы, не представляющие ценности. То есть, те, показ которых в поиске нежелателен.
    По данным экспериментальных проверок это не обязательно неуникальный контент. Под блокировку легко могут попасть страницы с явно бессвязным сгенерированным "псевдотекстом".
    Точно так же туда может попасть и безграмотно "оптимизированный" текст, потерявший связность из-за чрезмерной накачки поисковыми запросами.
    Нередко туда попадают синонимизированные (или размноженные "вариаторами") тексты.
    Также часто блокируются страницы, представляющие собой нечеткие дубликаты других страниц сайта или содержащие очень мало текста.
    Если вы косноязычно и с кучей ошибок изложили материал, то есть вероятность, что ваш оригинально-уникально-авторский контент тоже попадет под блокировку. Несмотря на высокий "процент уникальности".
    Если в дополнение к этим недостаткам на страницах размещены так называемые SEO-ссылки, вероятность блокировки существенно возрастает.

    Так же, как и в вопросе бана, не следует рассматривать каждый фактор по отдельности – страницы блокируются на основании общей оценки по разным факторам, а не по одному из них. Поэтому, например, удаления ссылок Sape может оказаться недостаточно для снятия блокировки.

    Так же, как и в вопросах ранжирования, бессмысленно спрашивать "сколько и чего надо, чтобы не попасть под АГС". Значимость факторов периодически меняется. Есть впечатление, что действует своего рода автоматическая подстройка алгоритма, список попавших под блокировку и вышедших из-под нее постоянно меняется. Страницы, находящиеся по каким-то факторам "на грани", могут периодически появляться в поиске и исчезать.

    Как вывести страницы из-под блокировки?
    Наиболее значимый фактор – качество контента. Прежде всего уделите внимание наполнению страниц. При этом "процент уникальности" вам не помощник. Образцы текстов, наиболее подверженных блокировке, вы легко найдете на биржах контента – сделайте тексты непохожими на это словесное месиво.

    Исправьте ошибки – орфографические и синтаксические.
    Уберите длинноты – по ним безошибочно опознается статья, написанная за посимвольную оплату.
    Уберите избыток слов, которые кажутся вам ключевыми. В избытке они ключевыми уже не являются.
    Сделайте текст максимально естественным – ваш опус будут сравнивать с действительно качественными текстами. Вернее, со статистической "вытяжкой" из них.

    Если вы в состоянии справиться с такой задачей – вам скорее всего повезет. Если не в состоянии – кто вам сказал, что можно публиковаться, не умея писать?

    Влияние ссылочного фактора здесь не рассматривается – влияние есть, его не может не быть, но оно не перевесит качество контента. То есть, внешними ссылками можно "исправить тройку по русскому", но не кол.

    О правилах и исключениях
    Как уже известно, все алгоритмы Яндекса работают статистически более-менее корректно. Это в большинстве случаев. А в некотором множестве частных случаев они пропускают полный бред – или наоборот, блокируют то, что никак этого не заслуживает. АГС – не исключение. Машина не может (и не сможет) понимать смысл текста и оценивать его информативность. Это и люди могут не все и не всегда, чего ж от алгоритма ждать?..
  • пожалуй добавлю про АГС
    их два вида
    1 агс-17 до 10 страниц (обычно 1-2 )
    2 агс модернизированный до 28-32 страниц оставляет

    1 стреляет обычно по говоносайтам
    2 как правило по блогам с продажным содержимым

    Повторю просьбу.
    не пишите в ветке яндекса про свои проблемы с ним, утомляет переносить темы и лепить баны
    читайте правила ветки яндекс

    А как тогда объяснить, что сайт, укравший первый пост из этой темы, в выдаче у Яндекса сейчас выше?
    My Webpage
    Какой-то форум скопипастил контент (причем спустя несколько месяцев), и дубль не только не выкинут из индекса, но в серпе еще и выше первоисточника.

    Ps
    Потом все исправилось по справедливости :)

    фигвам.
    теперь выше блог васи пупкина
    вот она, справедливость по яндексовски. Задвинули салоны и оторвали иконку :)

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: