Программа Majento SiteAnalyzer предназначена для анализа и аудита сайта (коды ответа сервера, наличие "битых" ссылок, ссылки на внешние ресурсы, проверка наличия title, мета-тегов, заголовков h1-h6, проверка наличия дублей страниц и т.п.). Это бесплатный аналог таких программ, как Screaming Frog SEO Spider и Netpeak Spider.
Анализ производится путем сканирования всех страниц сайта (переобход сайта по ссылкам), после чего, на основе полученных данных, можно проводить аудит интересующих параметров.
Основные возможности
Сканирование (переобход) всех страниц сайта
Определение уровня вложенности страниц относительно главной
Определение наличия атрибута rel="canonical" для каждой страницы сайта
Получение кодов ответа сервера для каждой страницы сайта (200, 301, 302, 404, 500, 503 и т.д.)
Определение наличия и содержимого "title", "keywords", "description"
Проверка наличия заголовков H1-H2
Ссылочный анализ – определение внутренних и внешних ссылок для страницы (в пределах сайта)
Определение количества перенаправлений со страницы (редиректов)
Экспорт отчетов в Excel (полноценный отчет в Excel-формате)
Отличия от аналогов
Низкие требования к ресурсам компьютера, малый расход оперативной памяти
Для хранения данных используется БД PostgreSQL, отличающаяся производительностью и надежностью
Портативный формат (работает без установки на ПК или прямо со сменного носителя)
Бесплатное распространение
Будем рады любым замечаниям и пожеланиям по работе и развитию программы.
Что нового: - исправлено некорректное определение кодировки TITLE - добавлена возможность приостановки сканирования для последующего возобновления (кнопка "Пауза / Резюме") - добавлена вкладка HRAFLANG, отображающая языковую принадлежность страниц (если указана) - добавлено отображение содержимого "alt" и "title" изображений (вкладка "Изображения") - добавлено отображение внешних ссылок с атрибутом NOFOLLOW (вкладка "Внешние ссылки") - добавлено отображение времени сканирования сайта (находится рядом с Прогрессбаром) - исправлено сообщение "ZLibError (-3)" графе "Статус" для некоторых сайтов - исправлены нулевые значения времени в колонке "Время загрузки" - добавлено отображение прогресса сканирования сайта на Таскбар
добавлена возможность фильтрации данных по любым полям при помощи "быстрого" фильтра
для более детальной фильтрации добавлена возможность использования настраиваемого фильтра с расширенными настройками выборки данных
в панели с дополнительными данными добавлена вкладка технической статистики сайта (ссылки, мета-теги, коды ответа страниц, директивы "robots" и т.п.), а также вкладка SEO статистики (дубликаты мета-тегов, пустые заголовки страниц, наличие описаний в тегах "alt") с возможностью автоматической фильтрации по каждому параметру
для блока HEAD добавлен учет краулером атрибутов "Next/Prev" и "Refresh" с возможностью отображения содержимого данных полей в статистике сканирования
дата документа колонки "Последнее изменение" теперь отображается в формате текущей страны
во вкладке "Сниппет выдачи Google" добавлено предупреждение "Snippets are only displayed for HTML format documents" для URI не text/html формата
добавлено отображение иконок для кириллических доменов
максимальное число потоков сканирования увеличено до 100
исправлена выгрузка Sitemap.xml: теперь он проходит валидацию (амперсанд & заменен на его HTML-сущность "&")
исправлена проблема с зависанием при сортировке данных по щелчку на заголовке колонки
Что нового: - добавлен SEO-аудит сайта по длине title, description, h1-h6, числу внешних и внутренних ссылок, объему контента (Настройки -> SEO) - добавлен учет ограничений на максимальное количество редиректов при парсинге сайта (Настройки -> Основные) - добавлено отображение цепочек редиректов до конечной страницы (вкладка Инфо -> Редиректы) - исправлено дублирование страниц при отображении дубликатов в режиме "Все" (через контекстное меню) - исправлена некорректная кодировка при парсинге мета-тегов некоторых типов сайтов - исправлены утечки памяти при загрузке иконок сайтов
Что нового: - добавлена возможность работы со списками прокси (групповое добавление, удаление, проверка на работоспособность) - исправлено возникновение Exception EOutofresourse при групповом сканировании сайтов, когда в списке их больше ~1000 Ссылка на программу: SiteAnalyzer (3 Мб)
Что нового: - добавлена возможность бесплатной проверки индексации страниц в Яндекс XML-лимитами с помощью сервисов Яндекс XML и Majento.ru - добавлена возможность постановки проектов на паузу во время сканирования и продолжения сканирования после перезапуска программы - добавлен парсинг тега rel="alternate" и отображение содержимого тегов "hreflang" и "media" - добавлена возможность парсинга сайтов, отдающих данные в формате Gzip - исправлен не всегда корректный подсчет страниц в фильтрах статистики сканирования сайта
Ссылка на программу и описание версии: SiteAnalyzer (3 Мб)
увеличена скорость сканирования сайтов, уменьшен расход оперативной памяти
осуществлен переход на 64-битную версию (стало доступно сканирование сайтов до 10 млн страниц)
добавлена возможность запуска нескольких копий программы одновременно
добавлено сохранение параметров расширенной фильтрации при переключении между табами активного проекта
добавлено запоминание ширины колонок на вкладках
добавлена возможность постановки на паузу сканирования списка URL, загруженных при помощи импорта
добавлен учет параметра lastmode при формировании Sitemap
добавлена колонка "Сервер", указывающая тип сервера, на котором размещен сайт (пример: nginx/1.16.0)
добавлено отображение состояний <пусто> и <отсутствует> для заголовков H1-H6
добавлена возможность сканирования определенных групп URL, без необходимости сканирования сайта целиком (вкладка "Следовать URL" в общих настройках программы)
добавлена возможность сканирования страниц, не отдающих значение заголовка Content-type
оптимизирован подсчет дублей H1-H6 (отменен учет пустых либо отсутствующих H1-H6)
содержимое вкладки "Исключить URL" общих настроек программы стало общим для всех проектов
улучшено определение кодировок страниц
исправлено некорректное отображение страниц с редиректами 3xx
исправлен баг, связанный с некорректным учетом правил "robots.txt"
исправлен некорректный парсинг страниц, содержащих в URL знак плюс (+)
исправлен учет изображений при сканировании сайта, когда в настройках разрешен парсинг только HTML (если, например, отключенные объекты отдают код ответа 404)
исправлено подвисание, возникавшее при загрузке больших проектов
исправлен баг, возникающий при загрузке больших проектов, когда прогресс в нижнем прогресс-баре становился больше 100%
при расчете SEO-статистики редиректам 301 и 302 присвоен синий значок вместо оранжевого и установлен 1 балл веса вместо 3-х
Примечание: в связи с обновлением структуры базы данных необходимо заново просканировать все проекты. Как добавить проекты из старой версии в новую описано в разделе FAQ.
добавлена визуализация структуры сайта на графе (аналогично Screaming Frog)
добавлена возможность сканирования сайтов по внутренним URL, а не только по главной странице, как было ранее
добавлена возможность сканирования локальных сайтов на Denwer или Live Server по локальным адресам
добавлено автоматическое пересканирование страниц, если их скачивание завершается таймаутом (например, когда сайт блокирует большое количество одновременных запросов и возвращает неопределенные коды ответа)
добавлена возможность автоматического обновления версий программы (при старте программы или через главное меню)
добавлен счетчик оставшегося времени сканирования текущего проекта