ДОС атаки яши на сервер
  • Сайт сделан на друпаловском движке и висит на хостинге, специально под него заточенном.
    Месячная переписка с яндексом ничего не дала.
    Ниже привожу переписку со службой поддержки хостинга, благо ребята очень адекватные, оперативные и вежливые....

    Здравствуйте!
    Сайт www.h-t-f.ru работает нормально, но полностью вылетел из яндекса, из-за "HTTP-статус: Служба не доступна (503)". Проверки были 1.04.2011, 4.04.2011, 9.04.2011, 23.04.2011. Объясните причины и сроки исправления ситуации.
    Анализ robots.txt на яндексе показал доступность всех необходимых страниц.
    Проверка ответа сервера, также была пройденна.

    У сервера на котором Вы находитесь(aurochs) проблемы с яндексом. Поэтому в скором времени мы переведем Вас на другой сервере в Голландии.
    С уважением, Анна

    Ясно, прошу вас предупредить о переносе, хотя бы за час, т.к. сайт меняется и восстановление делается по самым актуальным копиям.
    Также мне лично как программисту и сеошнику интересно, что за проблемы у aurochs с яндексом, если это не закрытая информация.
    С уважением Денис.

    Здравствуйте Денис.
    Проблема с яндексом в том, что они пытаются очень усиленно сканировать сервер, тем самым вызывая усиленную нагрузку на него, превышая лимит защиты от ДОС атак.
    В результате блокируются некоторые запросы к серверу, со всеми последствиями.

    Вот так получается.... бился месяц, ответов не находил, а чисто случайно спросил у поддержки, заодно с другими вопросами...
    Надеюсь кому то поможет.
    Срадостью выслушаю мнения... былоли так у вас..
  • нефиг с друпалом связываться
    чет какая-то лажа написана в топике
  • Ну тема не о друпале, к тому же он тут не причём...
    Тема поднималась про бан яндекса серверами из за частого сканирования роботами...
  • Ну тема не о друпале, к тому же он тут не причём...
    Тема поднималась про бан яндекса серверами из за частого сканирования роботами...


    :D в опу таких хостеров незамедлительно и переезд
  • если честно, то на первый взляд не уверен в корректности robots
    напишите отдельный роботс для яндекс
  • я все страницы проверял на доступность в вэбмастере...
    роботс был корректен..
  • А в чём проблема? Вставьте в robots.txt

    Crawl-delay: 5

    Число - это задержка запросов поисковых роботов к секундах. Хотите для всех, хотите - для яши отдельно установите.
    Задержку выберите сами. У меня при десятках тысяч страниц на сайте 5 секунд работает удовлетворительно. Сканированию сайта не мешает. Ни яше, не гуглу.
  • Crawl-delay был установлен в 10 ))
    Возможно не все буржуйские серваки знают роботов яши...
    А вообще согласен с MIX, дело с хостером..
  • Была така хрень..
    Из-за нагрузки на шаред-сервер, похожей на ддос, ипы ботов периодически попадали в автобан на два часа.
    Самое интересное, для внесения в вайтлист - ТП яндекса ипы ботов не дал, мол тайна.


    ЗЫ С гуглем никогда таких проблем не было. Только с дурным, по пояс деревянным яндексом.
  • А что за хостер такой? Имхо яндекс не виноват.
  • Уж прям и не знаю, могу ль в прямом эфире озвучить.. ))) Довольно крупный хостер..
  • Crawl-delay был установлен в 10 ))
    Возможно не все буржуйские серваки знают роботов яши...
    А вообще согласен с MIX, дело с хостером..

    Ну, 5 секунд, это я у себя скопировал как есть, а не рекомендовал именно 5.

    Роботс не для сервака, а для робота поисковика. Значит робот яши раз в 10 секунд грузил страницу. Если ваш сайт не может выдержать нагрузку раз в 10 секунд (посещаемость вы не огласили), то проблема в хостинге или в движке, который подружает с одной страницей ещё несколько, что есть плохо.

    Если продаёте ссылки через биржи автоматом, то может нагрузку создаёт робот биржи.

    Это я к тому, что иногда проблема не в том, что кажется.
  • Кстати, ходили слухи, что аналогично бесцеремонно ведут себя китайские поисковики.
    Эти буквально валили серваки..
  • Раньше было у меня на 1gb, но уже года полтора спокойно.
  • Кстати, ходили слухи, что аналогично бесцеремонно ведут себя китайские поисковики.
    Эти буквально валили серваки..

    Китайские поисковики сразу в бан, умудряются за раз столько страниц окучивать - ужас, еще mail.ru ведет себя тоже не очень прилично, немного от китайцев отстает.
  • Значит робот яши раз в 10 секунд грузил страницу. Если ваш сайт не может выдержать нагрузку раз в 10 секунд (посещаемость вы не огласили), то проблема в хостинге или в движке, который подружает с одной страницей ещё несколько, что есть плохо.

    Если продаёте ссылки через биржи автоматом, то может нагрузку создаёт робот биржи.

    Посещаемость не более 150 уников в сутки и рекламы и подгрузок нету, кроме того на серваке не один мой сайт висит, а десятки.... так что сервачёк то "засланный"...
  • DanisRu - вы реально улыбнули :)
    Срадостью выслушаю мнения... былоли так у вас..

    было ли у кого нибудь, что хостер баран? Да сплошь и рядом такое было...
    Посещаемость не более 150 уников в сутки

    я у вас даже 150 хитов не особо то вижу. Уверяею Вас, многие на шаредах в друпале имеют до нескольких тысяч хитов.
    У сервера на котором Вы находитесь(aurochs) проблемы с яндексом.

    я не спорю, многих хлебом не покорми, дай поболтать о том, что яша плохой. И сайты он банит, и серваки нагружает и т.п. Я спорить не буду, у яши бывают проблемы, но надо поверить в одну мысль, если веб сервак имеет проблемы с яшей - то в ру сегменте такой сервак нафиг не нужен! Я попадал в ситуации, когда хостер блокировал ботов яши, мне в такие моменты ооочень хотелось хостеру по башке настучать, а то в переписке все такие культурные здравствуйте, с уважением...
  • если подытожить:
    1) не связывайтесь друпалом :) - фуйло неадекватное
    2) с г-но хостингами
  • МIX, если Вы не умеете "готовить" Drupal, это не означает, что он фуфло. Топикстартер, могу у себя на сервере Вас разместить рублей за 500 в месяц. Все сайтики на Drupal трудятся, проблем с индексацией нет и боты не банятся))
  • МIX, если Вы не умеете "готовить" Drupal, это не означает, что он фуфло. Топикстартер, могу у себя на сервере Вас разместить рублей за 500 в месяц. Все сайтики на Drupal трудятся, проблем с индексацией нет и боты не банятся))


    да умею его готовить, работал с ним профессионально - не понравилась цмс
    а если до друппала доберуться кривые руки - пиши пропало
  • У меня подобных проблем не было! :) а по теме: у вашего хостера религия не позволяет добавить IP поисковиков в белый список добавить? Видимо да... сочувствую...
    Кстати я бы там им так и написал! :)

Привет, незнакомец!

Похоже, Вы новенький! Чтобы начать обсуждение, кликните на одну из кнопок ниже ;)

Войти с помощью OpenID

Категории

В этой теме: