На прошлой неделе опубликовал руководство по борьбе с Google Fred. В центре внимания – повышение качества ресурса в глазах Google. То есть рекомендации актуальны в том числе для проектов, где не наблюдается особых проблем (всегда можно что-то улучшить).
Поэтому собственно диагностике Fred-а в книге уделено мало внимания. Как я понял из комментариев читателей, этот вопрос часто вызывает затруднения и путаницу, нужно с ним разобраться.
Изложенные в статье методики достаточно универсальны. Однако акцент будет в основном на два новых вида проблем, с которыми владельцы сайтов столкнулись в 2017 году. По старым знакомым – Пингвину и Панде – материалов в Сети более чем достаточно.
Первая проблема – это комплекс обновлений, которые особенно ярко проявились в феврале и марте. За ними закрепилось неофициальное название Google Fred. Согласно моим исследованиям, Fred опирается общую оценку качества ресурса. Подробно здесь.
Вторая – это сентябрьский апдейт. Его часто приписывают Fred-у; на мой взгляд – совершенно напрасно. В выборке сайтов, которую я изучил, пострадали отдельные страницы с излишней оптимизацией. Обзорная статья.
Отправная точка: соотносим время просадки и даты новых алгоритмов
Думаю, многим известен Panguin Tool. Это бесплатный инструмент, позволяющий наложить даты обновлений алгоритма Google на график переходов из него. Иногда картина получается очень явная:
Изучив описание апдейта (появляется по клику на вертикальную линию), можно наметить стратегию борьбы.
Увы, ограничиваться только календарной методикой нельзя. Причин много. Например.
- Далеко не всегда у обновления есть внятная интерпретация. Скажем, у сайта со скриншота выше падение совпадает с обеими частями Unnamed Major Update. Инструмент дает скудное описание. Что с этим делать дальше – непонятно, официальных заявлений или единого мнения в среде оптимизаторов по нему нет.
- Просадки часто случаются и в даты между апдейтами. В апдейт меняются правила игры – и страдают сайты, которые в них не вписываются. Но если Google обнаружит, что его правилам не соответствует сайт, с которым в момент апдейта все было в порядке – вряд ли это отведет санкции.
- Уменьшение трафика может быть вызвано банальными техническими проблемами на сайте – даже если просадка совпадает по времени с развертыванием алгоритма.
- Трафик может падать плавно.
Вернемся к диагностике двух описанных в начале статьи проблем 2017 года. Если провал совпадает по времени с одним из апдейтов, которые обозначены “Core Quality” – это указывает на Fred-а.
Если же график обрушился в сентябре 2017, вблизи от одной из “Unnamed” линий – это наводит на подозрения о санкциях за переоптимизацию.
Изучаем характер просадки
Общий график дает взгляд с высоты птичьего полета. Очевидно, что он не слишком информативен и необходимо исследовать детали.
Динамика по разделам
На больших и средних сайтах разделы порой ведут себя по-разному. Скажем, одна категория набирает трафик, а другая теряет. В итоге на графике всего сайта ровная линия.
Открываем Метрику или Analytics, изучаем, как ведут себя разделы. Удобно, когда ваш сайт изначально спроектирован грамотно и в url страниц поддерживается иерархия разделов (/категория1/категория2/страница/). В противном случае придется постараться, чтобы объединить разрозненные страницы в кластеры для анализа.
Если есть выбор, я всегда изучаю разделы в Метрике – в ней гораздо меньше приходится воевать с интерфейсом. Собственно, интересующий нас отчет практически идентичен стандартному “Страницы входа”. Url уже сгруппированы по иерархии:
По каждой группе смотрим график визитов. Разумеется, сначала задаем сегмент, чтобы изучать только визиты с Google:
Что делать с этими графиками? Ситуации бывают самые разные, поэтому можно дать лишь общие рекомендации.
- Если динамика везде схожа – это признак проблем на уровне всего сайта.
- Если какой-то раздел падает быстрее остальных – изучаем в первую очередь его.
В идеале, конечно же, не стоит ограничиваться только просмотром динамики трафика. Много полезной информации даст подключение также статистики по индексации, ссылочной массе, количеству страниц, приносящих трафик. Чтобы учесть все это и не сойти с ума, я еще год назад сделал инструмент для автоматизации анализа разделов.
Соотношение “И/П/У/Р”
Изменение посещаемости из поиска на сайте или разделе может вызываться качественно различающимися событиями:
- Исчезновение трафика на страницах (был – не стало).
- Появление трафика на страницах, где его раньше не было.
- Уменьшение трафика на страницах (например, из-за ухудшения позиций).
- Рост трафика на страницах.
На сайте размером от пары сотен страниц практически всегда одновременно наблюдаются все четыре тенденции. Вопрос только в том, какая из них преобладает. По их соотношению можно с достаточно большой уверенностью судить о характере проблем. Подобный анализ актуален для работы под любую поисковую систему.
Несколько примеров.
| Тенденции | Диагноз |
|---|---|
| Трафик исчез на 1000 страниц, появился на 20. Рост и уменьшение близки. | Подозрение на проблемы с индексацией |
| Трафик исчез на 500 страницах, появился на 100. Уменьшение в 5 раз больше, чем рост. | Подозрение на хостовый фильтр |
| Трафик исчез на 300 страницах, появился на 400. Уменьшение в 5 раз больше, чем рост. | Нужно изучить состав страниц с уменьшением, чтобы различить хостовый фильтр и проблемы отдельных url |
Разумеется, всегда нужно помнить, что проблема может быть комплексной. Например, комбинация вылета документов из индекса и страничных санкций будет похожа на хостовый фильтр. Важно, однако, что подобный анализ помогает нащупать конкретные болевые точки (например, страницы, где посещаемость снизилась особенно сильно).
Вот реальные данные для сайта, над которым поработал Fred:
Анализ выполнен с помощью инструмента в bez-bubna.com (см. анонс с описанием). Как делать аналогичное вручную я рассказывал на вебинаре о Метрике.
Что мы тут видим?
- Страниц, на которых появился трафик, почти два раза меньше чем тех, на которых он исчез.
- Страниц, где посещаемость из Google упала, в 4 с лишним раза больше, чем тех, на которых выросла.
- Общее падение на страницах с частичной потерей дает максимальный вклад в общую просадку.
Картина типична для проблем на уровне всего сайта. Страницам, которые давали трафик по высокочастотным и среднечастотным запросам, сильно срезало позиции. У документов, которые ранжировались по длинному ховосту низкочастотников, уменьшился шанс на попадание в реальную выдачу – поэтому число точек входа тоже упало.
А вот характерный случай санкций на уровне страниц:
Также видим сильное итоговое падение на страницах со снизившимся трафиком. А вот количество точек входа в итоге осталось практически неизменным.
Несложно догадаться, что подобный анализ актуален только на достаточно старых и посещаемых сайтах, где накоплено много статистики.
Собираем дополнительные данные, уточняем диагноз и методы лечения
К этому моменту у нас есть довольно много информации о характере просадки. Наверняка появилась гипотеза о причинах. Теперь нужно отсечь другие возможные объяснения (их бесчисленное множество). Практически всегда полезно:
- Проверить динамику трафика в Яндексе (если она похожа на ту, что в Google – может, дело в сезонности или изменении поискового спроса, а не в санкциях?).
- Изучить историю индексации сайта.
- Проверить, как менялись позиции по наиболее важным ключевым словам (Search Console в помощь).
- Оценить уровень оптимизации под основные запросы на страницах с просевшим трафиком.
Пример рассуждений (для роста трафика, а не падения, но логика аналогична) см. в этой статье.
Резюме
- Проблемы с трафиком из Google могут вызывать самые разные причины. Далеко не всегда оно связано с понижением в ранжировании.
- Программа-минимум для достоверной диагностики: определение даты просадки и динамики трафика по разделам, соотношение исчезновения, появления, роста, уменьшения визитов из Google на конкретных страницах.
- Возникшую гипотезу необходимо испытать на прочность с привлечением дополнительных данных. Много ценной информации даст сравнительный анализ статистики по Яндексу и история доработок.
Fred
- Признаки: просадка в один из апдейтов типа “Core Quality”, уменьшение количества точек входа (дающее сравнительно небольшой вклад в общее падение посещаемости), сильное снижение трафика на большом количестве страниц; трафик теряют даже высококачественные документы.
- Тактика борьбы: повышение числа полезных документов, удаление или доработка “плохих” страниц. Подробно – в руководстве.
Санкции за переоптимизацию
- Признаки: просадка в сентябре, затрагивает переоптимизированные страницы (их число может быть самым разным); стабильное количество точек входа.
- Тактика борьбы: проработка документов с максимальной потерей посещаемости. Снижение количества вхождений, повышение информативности с ориентацией на лучшие документы в топе.
p.s. Перечитал написанное. В теории все выглядит довольно сложным. Упрощал как мог, но причин, которые приводят к проблемам на сайте – бесконечно много. Зато на практике все обычно идет куда легче. Нужно только добросовестно изучить основные симптомы – и станет ясно если не все, то многое. Глаза боятся, а руки делают!
спасибо. Вы ТОПчик!
Да сколько можно использовать сервисы яндекса для определения фильтров гугла?
Почему бы и нет?
Можно обоснование?
Добрый день, Алексей! Вы всем рассказываете как найти причины падения трафика и это замечательно. Только вот зачем смотреть в Яндекс анализируя Google? А что такое хостовый фильтр в Google? Есть об этом что-то в официальной документации?
«Core Quality» – это что?
Сильное снижение – это сколько? А ничего, что по отдельным запросам в определенные периоды времени интрес пользователей может варьироваться в пределах +/-30% Это много или мало?
“Согласно моим исследованиям, Fred опирается общую оценку качества ресурса”. – в целом вывод близкий к правде. Есть пару нюансов. На это опирается весь двигатель ранжирования, который объединяет в себя все алгоритмы, а не некий мифичный Фред.
В общем, написано много и как всегда с попыткой пропиарить свои инструменты. Это похвально. Но, как всегда мало конкретики и много выдумок.
Уже второй комментарий на эту тему. Хоть кто-нибудь мне объяснит по пунктам, почему их нельзя применять? Название не нравится?
Не вступая в споры о том, что нельзя опираться только на документацию, замечу: абсолютно все упоминания хостового фильтра были в контексте анализа под поисковые системы вообще: https://yadi.sk/i/UHYYBRl13QbPT7
Скриншот со стрелочкой из Panguin Tool для кого вставлен?
А ничего, что я пишу о необходимости учета сезонности и других усложняющих моментов?
Надо полагать, вы инженер, занимающийся разработкой алгоритмов Google. И не простой, а руководитель всего отдела разработки. Иначе столь смелые оценки выглядят комично.
Еще раз читаем начало статьи. Есть комплекс изменений, которые получили в определенных кругах короткое удобное название. Все. Вы реально думаете, что подобными заявлениями показываете свою экспертность?
Как всегда – в вашем комментарии много пафоса, уверенности в своих безграничных познаниях и придирок, которые выдают поверхностное предвзятое чтение. Не поленился и прокомментировал подробно, чтобы это продемонстрировать.
p.s. Следующий комментарий с другого ника – отправлю в спам. Не вводите в заблуждение читателей.
Добрый день! Я, честно говоря, думал, что мой комментарий вы не опубликуете.
При анализе данных важна точность. Потому, на мой взгляд логично, что гугловые проблемы нужно диагностировать гугловыми официальными инструментами, а не Яндексом.
Panguin Tool – это кастомный инструмент и его разработчики могут придумывать любые термины, которые не всегда имеют что-то общее с реальностью.
Да,вы правы, я не инженер. Но по мере необходимости почти каждый день напрямую общаюсь с сотрудниками гугла.
По поводу пафоса тут я бы напомнил ваш комментарий о статистике 😉
По поводу другого ника – ваша система комментариев не предполагает регистрации. Т.е. каждый раз можно использовать другой ник.
Что касается названия – нормальное название.
По поводу хостового фильтра. Не вводите людей в заблуждение. Нет такого понятия у гугла, да и термин “фильтр” это для него чужеродное понятие.
Я просто вас призываю к тому, чтобы вы в статье не смешивали с гуглом то, что присуще яндексу. Если пишите о гугл, используйте официальную терминологию и публикации. Всякие кастомные инструменты не точны. Есть конечно хорошие инструменты для Google – Ahrefs, Majestic, SEMrush. Они используют собственный индекс и собственную методологию.
P.S. У меня нет абсолютно никакого желания вас тролить. Я просто советую.
Понимаете, точность, о которой вы говорите, выражается в том чтобы ткнуть в какое-нибудь слово и объявить его вне закона, потому что “гугл о нем не знает”. Эта точность никак не помогает в работе. Вот есть у вас сакральное знание, что у Google нет фильтров и что? Как это поможет на практике? У Гугла своя терминология. У оптимизаторов устоялась своя. Она неидеальна, но облегчает коммуникацию и потому полезна.
Это общие слова. Можно конкретные примеры проблем, которые возникают, если использовать инструменты Яндекса? Если следовать вашей логике, то нельзя использовать и Screaming Frog для работы с Google. Ведь его выпустила сторонняя компания.
Есть хорошая пословица.
Как сладки гусиные лапки! – А ты их едал? – Нет, не едал, а мой дядя видал, как наш барин едал.
Посоветуйте что-нибудь полезное, что поможет мне продвинуть сайт – буду благодарен. Пока теоретические споры о названиях никакой пользы не несут.
По поводу пословицы ничего не понял. К чему это?
Помочь вам продвинуть сайт? Так вы же и без меня все знаете, плюс тузлы свои есть. В тоже время, если вам нужна какая-то помощь по гуглу, то я могу в определенной степени помочь. Но вы должны понимать, что не все мы можем сказать, так как некоторые вещи под NDA.
Все знать невозможно, я открыт к новым идеям.
Ну вот хотя бы к этой статье. Расскажите, как вы на практике работаете с проблемными сайтами. Моя методика вам не нравится – предложите свою, все вам скажут спасибо если от нее будет толк.
Детализировать методику наверно нет особого смысла.
Укажу основные направления (куда копать).
Если падает трафик:
1. Проверка технических причин;
2. Уровень внутренней оптимизации;
3. Состояние внешней оптимизации;
4. Проблемы с безопасностью;
5. DMCA.
Как раз в деталях вся суть.
Довольно странно с вашей стороны писать, что в статье не хватает конкретики – а потом приводить этот очевидный список.
Ничего странного. Это же не моя статья, а ваша. Свою я у себя опубликую.
Что касается того, что фильтры они и в гугле фильтры… Смотрю на Серче человек видим проникся вашим подходом и пишет -“Все больше и больше склоняюсь к тому, что это ручной фильтр (Фред)…”
Учитывая это, прошу пояснить для таких нубов как я Фред это ручной фильтр или хостовый? 🙂
Какое-то уже совсем скучное передергивание пошло.
Ну почему же передёргивание?
Интернет – текст – это такая штука, что часто не понятно, что подразумевается в конечном итоге.
Могие блогеры проникшись духом Яндекса пытаются напялить его терминологию на всё. Раз в Яндексе фильтры, значит они есть и в Google и в Bing. Вы сами примерно так ответили в своем комментарии.
И когда человек спросит – “это фильтр?” Нужно будет голову сломать и понять о чем он спрашивает. Только о Яндекс? Что логично? Об алгоритме Google? О ручных мерах Google? Т.е. при таком подходе изначально формулировка вопроса будет не точна (не ясна). Так и в вашей статье. Хотите обижайтесь, хотите – нет.
Теперь мы видим, что эра фильтров уходит на задний план и веб-мастера не особо вникая заменят его словом “Фред”. И будут Фреды и в Яндексе, и в Google.
P.S. А на предыдущий вопрос вы так и не ответили 😉
Посчитайте, сколько моих вопросов вы проигнорировали. Для начала надо ответить на них (начиная с этого обсуждения).
Вот вы у нас знаток терминологии и ратуете за точность. Пришлите мне ссылку, где представители Яндекса употребляют слово “фильтр” в контексте своих алгоритмов, понижающих в ранжировании.
И чтобы у вас не было возможности проигнорировать вопросы. Пока не ответите – комментарии на другие темы пойдут в спам. Побаловались и хватит.
Отвечаю на ваш вопрос. Ссылки дать не могу, потому, что такие комментарии у вас не публикуются.
Написано в Википедии и в блоге Яндекса.
“Во второй половине 2009 года количество исключаемых из индекса некачественных сайтов стало расти, и мы решили официально объявить о существовании алгоритма АГС-17, предназначенного для их ФИЛЬТРАЦИИ в результатах поиска”.
Источник: Блог Яндекса для вебмастеров, АГС-30,18 декабря 2009.
P.S. Извините, что своими комментариями ранил ваше самолюбие. За сим прощаюсь, а то уже люди пишут, что я вас затролил тут по самое не могу.
На авторитетные источники – публикуются 😉
Я просил найти другое слово – “фильтр”. Где же ваша точность?
Не приписывайте себе несуществующих успехов. Чтобы меня затроллить, нужно несколько больше усилий. А вообще троллинг наоборот тешит мое самолюбие, это показатель признания и популярности. Единственная причина, по которой мне не нравятся ваши комментарии – отсутствие информационной ценности.
Алексей, не тратьте время на этого клоуна. Он явно завидует вашей известности и прекрасным статьям (сам где-то в другом комментарии писал, что у него бомбит, когда вам говорят спасибо), ничего толкового вы от него не дождетесь.
Кстати, спасибо за статью 🙂
Благодарю за поддержку. Я привык внимательно относиться к комментариям – думаю, положение хозяина блога обязывает. Но, похоже, тут действительно не тот случай и привычки пора менять.