Простои с индексацией ссылок - почему?
  • Вчера в теме про поползновения на сапе перед апом тиц я затронул темку из сабжа (таймауты до снятия ссылок в сапе), но никто кроме donc-а не высказал никакого мнения по этому вопросу. Хотелось бы послушать мнения какие-нибудь и соображения по этому вопросу.

    Если точнее, вопрос сводится к следующим суб-вопросам:
    1. Почему некоторые ссылки в сапе при наличествующих в индексе страницах фиг индексируются (или же индексируются так долго, что запаришься ждать)? По 2 месяца выжидал - и бестолку.
    2. Если все же кто-то выжидал очень долго (более 2 мес) и они все же попадали в индекс - то сколько же времени это занимает?
    3. Какой процент ссылок с такими проблемами из общей массы и они как-то отличимы по каким-либо признакам, чтобы избежать их покупки? Иначе говоря - если одну ссылку с этого сайта не индексит, то не говорит это о том, что с этого сайта вообще не стоит брать ссылки или же совсем не говорит и черный список тут не помощник?


    Мои наблюдения такие:
    а. Никаких четких кретериев выявить не удалось...
    б. Точно не клоакинг под сапу (НО возможен хитрый клоакинг под Яндекс)
    в. С залеганием хостинга тоже взаимосвязи найти не удалось (во всяком случае сапа не фиксирует точной взаимосвязи с неиндексными ссылками по протоколу проверок)
    г. отсутствуют не только ссылки в индексе по YAL, но и реально нет этих бэков в панели (исключена погрешность в этом факторе)

    И что же тому виной? Яндекс имеет какую-то фичу, чтобы не индексить сео-ссылки? Вебмастера умудряются химичить с сапо-ссылками с помощью бубна? Часть страниц сайтов или сайты целиком умышленно или ошибочно не индексируются Яном?
    Еще какие варианты?

    P.S.: Думаю тема интересна многим. Давайте разберемся!
  • я лично замечал вот что- по блогуну правда. Ссылки в уже проиндексированных постах, проставленых позже - крайне долго индексируются, или вовсе не индексируются. Видимо связно со структурой индексацией блогов. На большинстве шарит ББ - в индекс они попадают почти сразу, а вот основной робот бывает на уже проиндексированных страницах крейне редко - и тоже самое касается сайтов всяких газет, новстников

    есть смысл глянуть логи блогов, у кого их много
  • По блогуну тоже замечал такое.
    k-soft, пора доставать из арихивов скрипты для наполнения народных сайтов для ускорения индексации сапо-ссылок :)
  • По блогуну тоже замечал такое.
    k-soft, пора доставать из арихивов скрипты для наполнения народных сайтов для ускорения индексации сапо-ссылок :)

    не факт что поможет. может по ним он и шляется, вот только..
  • Да просто в последнее время Яндекс стал офигенно плохо кушать новую инфу - например я в последнее время запарился ждать пока он добавит новые страницы в индекс. Ну и отсюда вывод - какая разница в индексе страница или нет, если в следующий раз он её съест фиг знает когда. Ссылки, сапа и т.д. как таковые здесь, имхо, не при чём вообще.
  • Может быть страничка была проиндексирована до добавления сайта в сапу и больше на неё бот не заходит. Если сайт сделан чисто под сапу. Тупо накидали текста и никакого движения на сайте нет. Чего там боту делать-то?


    Вот я тоже думаю, что связано может быть с динамикой контента на страницах сайта. Яша каким то образом понимает, что на сайте (или кластере страниц) меняются только блочные ссылки и просто не индексит контент более. Надо будет по свободе заняться логами на сателлитах и поглядеть, заходит ли бот и как часто.
    Чую что заходит, но не добавляет в индекс. Если гипотеза подтвердится, то сайты-тормоза можно в бэклист кидать.
  • Да просто в последнее время Яндекс стал офигенно плохо кушать новую инфу - например я в последнее время запарился ждать пока он добавит новые страницы в индекс. Ну и отсюда вывод - какая разница в индексе страница или нет, если в следующий раз он её съест фиг знает когда. Ссылки, сапа и т.д. как таковые здесь, имхо, не при чём вообще.


    Тема спорная - я не замечал у себя того же. У меня индексится и переиндексится на ура всё как и всегда.
  • Ссылки в уже проиндексированных постах, проставленых позже - крайне долго индексируются, или вовсе не индексируются. Видимо связно со структурой индексацией блогов.


    С блогуном я плотно не работал, но думаю в плоскости блоговых структур и ее индексации (чем отличается то от обычной ?) у меня проблем особых не было. В уже проиндексированных всегда индексируется большинство, но я стараюсь брать только в новых.
    Может стоить смотреть на сам сайт в целом ? В блогуне много блогов с контентом типа копипаст, "парсер работал 5 суток" :))
    Если там 100 страниц и 300 ссылок исходящих....

    Обычно жду сейчас 20-25 дней. Если не в индексе - снимаю. Сегодня проверял ссылки, которые ради интереса оставил (больше 1 месяца не в индексе). В итоге прошло 2.5 месяца - ни одна ссылка не была проиндексирована.


    3. Какой процент ссылок с такими проблемами из общей массы и они как-то отличимы по каким-либо признакам, чтобы избежать их покупки? Иначе говоря - если одну ссылку с этого сайта не индексит, то не говорит это о том, что с этого сайта вообще не стоит брать ссылки или же совсем не говорит и черный список тут не помощник?


    Если инетересно, то у меня много таких сайтов в ЯК, вполне приличного качества и без мега-пуза. Ссылки практически за 3 месяца провисели в пустую. Найти критерии каких-то показателей характеризующие такие сайты мне кажется очень затратным мероприятием.
  • ...
    k-soft, пора доставать из арихивов скрипты для наполнения народных сайтов для ускорения индексации сапо-ссылок :)


    Сказать по правде, я в эти чудо-технологии не очень то верю и не верил никогда. Однажды ради интереса попробовал ускорять индексацию через ЖЖ - как то не особо узрел разницы.
    Я не понимаю сути явления. Ладно бы речь шла об ускорении индексации страниц - тут все было бы понятно без лишних слов. Но как это может отражаться на индексации ссылок с этих страниц, которые и без того в индексе? Что робот видя ссылку новопоявившуюся на страницу донора моего тут же кидается переиндексить ее поскорее, не изменилось ли там с последнего визита не дай бог??? :)
    Это чё правда работает? b-(
  • Это чё правда работает? b-(

    Неправильно поставлен вопрос. :)
    В это и правда верят. Вернее, верили. В последнее время как-то успокоились, растеряли религиозный фанатизм и попрятали в чулан инструменты.

    Так можно ускорить индексирование нового сайта. Еще, пожалуй, новых страниц на сайте, если они как-то глубоко зарыты в навигации. Но изменения на известных страницах... с какого бодуна ПС будет считать появление внешних ссылок признаком, что на страницах что-то изменилось?

    Активнее всего такие полудорвеи употребляли для XSS. :) И, вероятно, чтобы не палить тему, плели про ускорение - когда кто-то интересовался, зачем такое делают.
  • Активнее всего такие полудорвеи употребляли для XSS. :) И, вероятно, чтобы не палить тему, плели про ускорение - когда кто-то интересовался, зачем такое делают.

    Да, было такое давненько…

    А сейчас Яндекс вообще отвратительно медленно справляется с индексацией ссылок. Причины собственно следует искать в недрах MatrixNet, и не иначе как - самообучился он уже, да и начал совсем медленно работать :)) Как это теперь происходит, достоверно точно тут никто не знает, но - результаты чувствуют все, кто их ещё ждёт :-?
  • Вот я тоже думаю, что связано может быть с динамикой контента на страницах сайта. Яша каким то образом понимает, что на сайте (или кластере страниц) меняются только блочные ссылки и просто не индексит контент более.

    Скорее всего просто не изменяет ранее сохранённую копию у себя в базе.
    "Если сайт долго не обновляется, робот начинает заходить на него реже, но он все равно помнит про него."
  • Чую что заходит, но не добавляет в индекс. Если гипотеза подтвердится, то сайты-тормоза можно в бэклист кидать.

    да возможно дело и не в сайте- очень часто на одном и том же сайте ссылка попала в индес(штуки 2 а одна нет) я такое очень часто замечал, когда они цены повышают я первым делом снимаю непроиндексированы, а с остальными уже думаю или сразу в блек лист или в блокнот для наблюдения

    кстати по поводу повышения цен, есть некоторые ОЖФ, например lexa.ru - которые сначала ставят низкие цены, а вот потом, как только ссылка попала в индекс (скрипт у него наверное хитрый) он задирает цену в 10 раз. И вроде все равно она ниже, и снимать жалко. Он и ему подобные давно у меня в ГБЛ, чего и вам советую
  • А такая тема если. Проставленные ссылки с новых проектов через 2 недели проверять и проиндексированные добавлять в белый список? А на последующих проектах брать из белого листа, что по идее должно увеличить скорость индексации. Или бредовая технология это? В принципе, если скорость индексации как то увязана конкретно к сайтам (или хотя бы в большинстве случаев), то у кого много сателов могут довольно быстро набрать список по своим типичным фильтрам быстроиндексных сайтов.

    Я вот вообще вайтлистом не пользовался на сапе, как то считаю сапо-доноров быстропортящимся товаром. Щас просто стал очень жестко фильтровать экспериментально, по идее под моими фильтрами портиться сайты не должны. В последнее время заинтересовала тема сателлитов, наработок много появилось... Поэтому скорость индексации стала волновать куда больше чем раньше. Когда клиентский сайт тянешь, то как правило скорость весчь малополезная, я всегда растягивал график простановки. А вот для сатов удобнее маневрировать с быстроиндексными ссылками, хотя простановка тоже растянута и в сателах у меня. Снижает издержки и более прогнозируемый рост бэков под тиц.

    Кроме того, есть у меня предположение (непроверенное, может тоже бредовое), что на серп скорость индексации донора тоже сказывается как позитивный фактов. Коллеги в топике высказали мои собственные умозаключения по поводу определения текучки блочных ссылок на нединамичных сайтах класса сатов и игнорирования этих ссылок без санкций на сам сайт. Что медленные ссылки, которые ждешь месяцами и которые в большинстве случаев так и не дождешься и вес не дадут (в общем случае конечно, мало ли что в частных случаях может влиять на индексацию).

    P.S.: Буду проводить опыты с вайтлистом по скорости и надежным фильтрам... Благо отработал схему по выкачиванию с дешевых сатов кучу бабла. Как крупные компании буду вкладывать часть вырученных средств на исследования и улучшение схемы в дальнейшем :)
  • k-soft, пора доставать из арихивов скрипты для наполнения народных сайтов для ускорения индексации сапо-ссылок :)



    а если не народных ?

    а я до сих пор верю, что если бот видит ссылку то в этот или следующий раз перейдет по ней, даже если страница и так в индексе и отметит изменения и раньше это действительно, как мне казалось ускоряло индексацию, хотя и так яндекс площадки уж за 3 недели точно в индекс включал процентов 95, но вот теперь наверно действительно долго не обновляет страницу, если на ней кроме блока ссылок ничего не изменилось.
  • закладки и никаких проблем
    если не помогло - гбл
  • Скорее всего просто не изменяет ранее сохранённую копию у себя в базе.
    "Если сайт долго не обновляется, робот начинает заходить на него реже, но он все равно помнит про него."


    А если подойти с обратной стороны к этому явлению?
    Есть страница с n проиндексированных ссылок. Через какое-то время после индексации появляются ссылки n+1, n+2 и т.д. Они в индекс не попадают. Допустим, это означает, что Яндекс запомнил и "не меняет сохраненную копию страницы в базе". Значит, можно снять старые ссылки (первые n штук), а они все равно будут проиндексированы?! Это же экономия. Купил, снял или в Sleep.
  • А если подойти с обратной стороны к этому явлению?
    Есть страница с n проиндексированных ссылок. Через какое-то время после индексации появляются ссылки n+1, n+2 и т.д. Они в индекс не попадают. Допустим, это означает, что Яндекс запомнил и "не меняет сохраненную копию страницы в базе". Значит, можно снять старые ссылки (первые n штук), а они все равно будут проиндексированы?! Это же экономия. Купил, снял или в Sleep.


    Не, это слишком громоздкая технология... Может это явление действительно справедливо по сути (а может и нет), но мониторинг и фильтрация тормозных ссылок - дело нетривиальное. Затратное в плане мозговой деятельности и времени при сомнительном результате и общей шаткости схемы заведомо.

    Если точнее, то ответьте на вопрос: чем отличается опытный сеоша от ньюба?
    Основное отличие в экономии, а точнее - в способе экономии :) . У мастера основная затратная статья, как правило - это время и мозговая активность, на чем пытаются в основном и экономить. У ньюба идея фикс - это экономия бюджетов на продвижение в каждом конкретном случае.
    Для опытного лучше переплатить реальными бабками, чем юзать какую то изощренную сомнительную технологию, позволяющую сократить ссылочный бюджет. даже если существенно...
    В моем понимании во всяком случае это так. Экономия бюджетов происходит не путем точечного отсева под конкретный проект, а проведение посторонних исследований и выработке стратегии изначально, которая не экономит предельно бюджеты, а позволяет с высоким качеством выполнить запланированную работу. А такого рода корректировки сломают предсказуемость поведения выдачи или же прочих абстрактных материй, таких как тиц тот же.
  • В моем понимании во всяком случае это так. Экономия бюджетов происходит не путем точечного отсева под конкретный проект, а проведение посторонних исследований и выработке стратегии изначально, которая не экономит предельно бюджеты, а позволяет с высоким качеством выполнить запланированную работу. А такого рода корректировки сломают предсказуемость поведения выдачи или же прочих абстрактных материй, таких как тиц тот же.


    С этой точки зрения после прошествия 25 дней, если ссылка не проиндексировалась, сайт нужно отправлять в ГБЛ и не тратить время не вопрос "почему?"
    С другой стороны существуют "слиперы". Значит это экономически оправдано?
    Ну, и наконец, если на вопрос "почему" все-таки хочется получить ответ, нужно проводить эксперименты на некоммерческих проектах.
    И еще... Если я все правильно понимаю, мы же не индексацию ссылки проверем, а индексацию текста ссылки. А вот насколько и как проиндексировалась ссылка, проверить невозможно. Ссылки, которые отображаются в Вебмастере - не очень я верю, что там все учтенные есть.
    По поводу "почему". Замечал, что часто неучтенные ссылки находятся в конце блока ссылок, но не всегда.
  • По поводу "почему". Замечал, что часто неучтенные ссылки находятся в конце блока ссылок, но не всегда.


    Нет, это кажется. Нет такого явного правила, во всяком случае я пока не заметил. Тоже было предположение уже давно, но не оправдалось. даже если заведомо отфильтровываешь футеры по винку (а он практически точно сечёт, с редкими ошибками), то в нефутерных ссылках оказывается такой же большой процент тормозов, те же 25-30 процентов примерно... так что не в точку.

    А по поводу бэков в панели проверялось тоже по тормозам-донорам, чтобы отсечь тут погрешность. Если текста ссылки нет, то и бэка в панели нет 100 пудов. Во всяком случае в моих проверках по существенному массиву ссылок я ни разу не поймал погрешность. Все синхронно - текста нет и бэка нет.

    ------
    А, понял о чем Вы. " неучтенные ссылки находятся в конце блока ссылок" - может быть, надо проверить будет тоже...
  • короче все пипец как мудрено. и сапа тут не причем.

    суть эксперимента совсем раскрывать не буду, но похоже на правду то, что при повторном( не знаю как сказать) изменении ссылок на страничке, моргании возможно, она начинает очень странно себя вести. показывая в яндексе по уник фразе одну из десяти ссылок. причем меняя е даже без апов через непопределенные промежутки времени. в то время как раньше при тех же условиях по уник фразе показываались все 10 сайтов. сейчас только один. но он меняется.

    надеюсь всех запутал )


    короче я к тому что туфта в современных условиях, проверка работы ссылки по кешу

    т.е либо ссылки работают по бредовому алгоритму, либо яндекс чето скрывает. одно из двух

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: