Обзор ComparseR – программы для всестороннего анализа индексации сайта

Анализ и поисковая оптимизация сайта, содержащего больше пары десятков страниц, немыслимы без автоматизации. Для моих собственных интернет-проектов и сайтов клиентов по SEO-аудиту требуется инструмент, который:

• во-первых, помогает оперативно находить технические ошибки (дубли страниц, битые ссылки) и устранять недочеты оптимизации;
• во-вторых, дает общую картину в плане структуры сайта как она есть и как воспринимается поисковыми системами;
• в-третьих, позволяет экспортировать результаты анализа в удобном виде для обсуждения их с клиентом или разработчиком.

Сейчас для этих задач использую платную программу ComparseR‬ (см. официальный сайт продукта). Она обладает более широким функционалом, чем Netpeak Spider, которым я успел обработать не одну сотню сайтов. Netpeak Spider – тоже хороший софт, но его функционал куда уже, так что он заменял ручную работу далеко не везде.

Расскажу о ComparseR более подробно.

Первые впечатления

При установке сразу радует, что продукт живет и развивается, регулярно выходят обновления:

Устанавливаем обновления (у меня получилось довольно шустро), переходим к изучению интерфейса. С первого взгляда – одновременно пугает и радует обилие кнопок, функций, настроек. Чтобы полноценно использовать программу, требуется как следует в ней разобраться. С другой стороны, в этом помогает очень удачное интерфейсное решение – выезжающая панель “Статистика и структура”, которая концентрирует внимание пользователя на самых важных параметрах. При нажатии на элемент списка показываются соответствующие проблеме ссылки, не приходиться возиться с сортировками огромного списка url:

Функционал ComparseR-а

Исходных функций три:

1. краулер – получение списка страниц сайта и их значимых характеристик
2. получение сведений об индексации в Google
3. получение сведений об индексации в Яндексе

Краулер позволяет не только спарсить мета-теги, ответ сервера и число заголовков h1, но и:

• высчитывает длину url, title, meta description
• показывает заголовки h2-h3 (можно бегло оценить уровень оптимизации и “спамности” страницы)
• высчитывает длину текста на странице (легко находить бедные информацией тексты)

Едва ли не самое важное – опция сравнительного анализа кластеров url, полученных соответственно из выдачи и с сайта. Имею в виду инструменты “есть на сайте, нет в индексе Яндекса” и наоборот. Эти данные очень ценны для достижения полной индексации и борьбы с техническими ошибками на сайте.

После того, как поработаешь с программой пару дней, обилие функций перестает пугать и продолжает радовать. Предусмотрено много важных мелочей, например:

• Задание user-agent для краулера. Скажем, вы отдаете роботам поисковиков иной контент, чем остальным (ай-ай-ай, клоакинг! ладно, с кем не бывает) и вам нужно посмотреть структуру сайта глазами робота. Или у вас на сайте защита от ddos, а парсить хочется много и интенсивно: можно установить свои настройки для определенного user-agent.
• Несколько сервисов антикапчи.
• Парсинга сайта, закрытого через .htpasswd. Отличная вещь: ведь сайт в разработке оптимально закрывать от поисковых роботов именно так, наглухо.

Немало и доп. функций, например, построение карты сайта (sitemap.xml) или запросы на удаление страниц из поиска.

Общая оценка

В начале статьи я говорил о трех своих актуальных задачах: оптимизации на уровне отдельных страниц, возможности взглянуть на сайт в целом, экспорт результатов для того, чтобы с ними могли работать третьи лица.

О том, что с первыми двумя пунтами все хорошо, должно быть понятно из написанного выше. С отчетами тоже все отлично, поддерживается множество вариантов экспорта:

Кроме того, всегда можно перетащить нужные колонки близко друг к другу, выделить их мышкой и просто скопировать в excel. Я так делаю, например, чтобы создать отчет по битым ссылкам, когда требуется только два поля: url и его источник. Пара кликов – и отчет готов, можно отправлять его разработчику.

То есть: со своей работой программа справляется на “отлично” по всем пунктам.

Есть ли минусы?

Я не обнаружил явных недостатков. При том что уже давно использую в реальной практике – сначала демку, а с недавних пор и полную версию программы. Конечно, всегда можно придраться к тому, что нет каких-нибудь “хотелок” (а что это прога кофе в постель не носит?), но с реально важными проблемами не сталкивался.

Попробовал найти минусы исключительно для полноты отзыва – не нашел. Нашел только еще один плюс: что поддерживается множество способов сортировки и группировки результатов для облегчения анализа. Настройки отображения очень гибки.

Вероятно, начинающим SEO-специалистам было бы полезно иметь больше готовых фильтров типа “проблемы и ошибки”. Теоретически туда можно запихнуть слишком короткие/длинные title, малый объем текста, дату сохраненной копии больше 60 дней (30 это вполне нормально для больших проектов, которые грамотно управляют crawl budget) и так далее. Но мне кажется, что загромождать интерфейс смысла нет, все можно настроить и найти и так. А то вдруг оптимизация сайта с помощью ComparseR станет настолько простой, что у меня заказы на аудиты пропадут – все сами будут делать.

Коротко о главном

ComparseR – действительно стоящий инструмент для оценки внутренней оптимизации сайта. Хорошая скорость и стабильность работы. Богатый функционал – отдельные элементы есть в других сервисах, но здесь очень много можно сделать в одном окне, сэкономив кучу времени, не выполняя лишний раз парсинг. Особенно это актуально для средних и крупных проектов, включающих более 3 – 5 тысяч страниц. Много полезных дополнений, продуманный интерфейс и логика работы. В общем, искренне рекомендую всем, кто хочет тщательно работать над внутренней оптимизацией сайта.

Напоминаю сайт программы: http://parser.alaev.info/

Успехов!