Алгоритм поиска и работы над зомби-страницами

Алгоритм поиска и работы над зомби-страницами

Категории
Категории
Екатерина Мартиросян
  • 15 мин
  • 3126

В описании к видео вы найдете список полезных материалов и ссылки на инструменты, которые пригодятся для работы с зомби-страницами

Что такое зомби-страницы

Существуют страницы на сайте, которые мало посещаются, то есть получают мало трафика. Такое происходит из-за технических, либо содержательных причин. Рассмотрим, что входит в  эти группы причин.

Технические причины:

на страницы мало ссылок (внутренних перекрестных и внешних входящих), 
страницы не отображаются в результатах поиска (SERP),
 плохо-оптимизированные страницы.

Содержательные причины: 
контент на страницах устарел 
содержание страницы не заинтересовывает пользователей.

Сначала нужно проверить технические причины, прежде чем  «перекраивать контент», так как проблема может быть именно в них.

Наличие таких страниц имеет отрицательное влияние на общую поисковую видимость сайта в целом. Так как в выдаче SERP поисковые системы стремятся отображать полезные для человека результаты поиска, которые просматривает достаточное количество людей. 

Для этого поисковик периодически подбрасывает в результаты поиска по ключам новые сайты, которые еще не получили много ссылочной массы и не набрали авторитета; в качестве эксперимента полезности их материалов. 

Иначе в топе всегда были бы только старые сайты, набравшие популярность раньше. 

Также предварительно сайты на пользовательское качество оценивают независимые фрилансеры-оценщики Google, также у Яндекса есть такой же механизм оценки под названием Толока.

После этого, если робот видит, что страницы мало-просматриваемые, то для него это знак, что страницы неполезные для пользователя; что они «мертвые»; возможно, они создавались с манипулятивной целью прокачать ключами страницы сайта. 

Так же действует и 404 ошибка (битые ссылки), когда страница недоступна. Поэтому в этом случае так важно делать редиректы на связанные по смыслу страницы. 

Чтобы понять, какие ссылки битые и, соответственно, где нужно создавать редиректы, мы пользуемся нашей системой управления сайтом adxCMS.

Если у вас в CMS нет такой встроенной функции, вам придется действовать сложнее — сначала выгрузить список этих битых страниц из стороннего сервиса (часто встречается, что выгрузить весь список бесплатно нельзя).

Однако делать редиректы на пустом месте не стоит, так как это добавит вам сложностей в дальнейшем при поиске зомби-страниц за определенный период. 

Например, вы сделали выборку за два месяца (теоретически), при этом успели переадресовать некоторые страницы на другие URL-ы. В итоге те URL-ы, которые вы сразу переадресовали, естественно, получат мало просмотров. Но это не значит, что виноват контент, так как по сути страницу смотрят, только уже по другому адресу. 

Как разобраться, почему вы получаете мало просмотров, и где посмотреть, какие страницы мало просматривают на вашем сайте, расскажем в этой статье-инструкции.

Почему возникают зомби-страницы, и какие они бывают

Технические причины 

Из-за вас или «по вине» индексации:

1. Из-за вас: 

1.1 Вы не сделали внутренних (перекрестных) ссылок. Оставили свои страницы «сиротами». Кстати, именно так они и стали называться в западной терминологии — orphan pages. В плане веба это означает, что на вашу страницу не ведут ссылки (или их очень мало). 

То есть, вы как будто бы не связали главу в вашей книге с оглавлением, и она стала  «болтаться» по отдельности. Но в отличие от художественной книги, в которой информация излагается последовательно; сайт больше похож на справочник: он имеет связи между разделами и страницами, выраженные с помощью ссылок, располагающихся на разных уровнях. 

Поэтому так важно проектировать структуру сайта, связывать разделы между собой. Самые важные для сайта страницы должны находится не дальше 2-3 уровня вложенности. Это делается для того, чтобы поисковики индексировали эти страницы в первую очередь, и люди находили информацию не далее чем как за пару кликов.

Поэтому так важно поддерживать страницу (особенно, лонгриды) ссылками, в т.ч. естественным образом, ставя анкоры на ключевики в статье, релевантные другой  (анкорные тексты на ссылки). 

Как делать ссылки между разделами и отдельными страницами сайта мы рассмотрели в большом гайде «Как делать SEO: ссылки и структура сайта».

1.2. Вы плохо оптимизировали статью, пропуская сигналы для робота. Например, не поставили title, description, alt, H, ключи. 

1.3. В статье меньше 300 слов. Статья очень короткая, а значит, общего характера, неэкспертная. 

Google ценит экспертность авторов контента, об этом также говорится в руководстве для ассесоров и в их замене E-A-T на E-E-A-T (как фактор был включен Опыт-Experience в дополнение к Expertise-Экспертности). 

Предпочтение отдается не контент-менеджерам, а профильным специалистам. Система рейтинга Agent Rank таких специалистов действует наподобие рейтинга сайта. 

Сейчас это используется не только поисковыми системами, но и обычными интернет-маркетологами: в платной версии Ahrefs можно осуществить поиск по блогерам, и увидеть, для каких изданий (доменов) они пишут. Это делается для того, чтобы искать экспертов в определенной тематике, и с помощью приглашений таких специалистов «прокачивать экспертностью»  сайт.

На конференции Optimization-2023 Михаил рассказывал, как актуализировалось авторство, и, теперь уже, проверка контента как заверение его полезности и подлинности, в медицинской сфере за рубежом.

Так как алгоритмы «для всех одинаковые», следует ожидать постепенное наблюдение данной тенденции и в рунете. 

Это особенно актуально, в ситуации, когда появилось множество семантических инструментов, генерирующих последовательный смысловой контент. Хотя почти сразу с их появлением начали проводить «контр-работы» по выявлению содержимого, созданного ИИ; к сожалению, сейчас не существует способа 100%-но правильно определить, принадлежит ли авторство человеку или модели ИИ.

«Сейчас эта вероятность составляет 50 на 50, и проще будет подбросить монетку», — так сказал Ашманов на открытой лекции в Томске

К тому же, сейчас можно самостоятельно создать шаблон (prompt), «скормив» ему контент одного автора с указанием определить тональность и стиль речи. То есть, например, официальная, неформальная, и пр. Вы, наверное, видели такой вариант генерации ответа у ИИ.

Так, модель «пишет стихи», уподобляясь мэтрам. Это делает почти неотличимой работу прозаика или журналиста от работы ИИ.

Но все-таки, инструменты по определению личности по цифровому следу  будут совершенствоваться.

В Телеграм-канале «Цифровой актив» в комментариях мы рассуждали на тему использования в будущем идентификации автора без упоминания его имени

1.4 Страница отображается в результатах выдачи для десктопа, но не мобильных устройств. Причина — страница не оптимизирована для мобильных. Так как в целом контент потребляется больше с телефона, это очень важный фактор. 

Проверку можно сделать опять в Google Search Console или в Вебмастере, в зависимости от того, что уже настроили. 

Мы рекомендуем создавать сервисы аналитики сайта, как в Google, так и в Яндексе, так как у них есть разные опции, отличающиеся удобством и экономящие время для выполнения задач. 

Как это сделать: в Google Search Console переходите на вкладку «Удобство для мобильных».

Либо в Вебмастере –> Инструменты –> Проверка мобильных страниц.

2. Из-за проблем с индексацией. Нужно понять, какие страницы не индексируются и почему. Если это преднамеренно с вашей стороны, то все нормально, а если нет,  нужно выявить это через Яндекс Вебмастер. 

Переходим в Индексирование — страницы в поиске — страницы в поиске.

Либо в Google Search Console на главной странице.

Именно это и не дает вашим страницам быть видимыми в результатах поисковой системы. Но если вы настроили редиректы, и они рабочие, то все нормально. 

Причины можно разобрать отдельно по ссылкам в отчете.

Содержательные причины

1. Страницы давно не обновлялись, поисковик считает, что они заброшены, неактуальны, потеряли свою релевантность.

2. Ваша страница действительно не очень интересная и/или полезная. 

Фактором выступает наличие картинок, видео, а уже cколько их ставить — это вопрос содержательно-технический. 

Попробуйте переписать статью, вставить ее кусочки уже на уже хорошо-ранжируемые страницы, или в крайнем случае — удалить. 

Мы писали об этом в статье «Топ-7 трендов SEO в 2023 году»

Инструкция как найти зомби-страницы

Мы рассмотрим способы поиска и оптимизации вашей информационной зомби-статьи.

Для этого удобнее использовать Google Analytics. Это занимает намного меньше времени, Яндекс Метрика требует проверки вручную, так как по выгрузке из автоматического отчета он учитывает не все страницы, и приходится смотреть данные в ручном режиме по каждой интересующей ссылке, например, из определенного раздела — блога. 

Если название страницы отличается от title в Яндекс Метрике, то будет сложнее их найти, так как система подгружает страницы по title. То есть, если вы будете искать по названию страницы, то можете не увидеть результат соответствующей страницы, но она при этом она будет.

Также в Яндекс Метрике наблюдаются баги типа того, что нужно искать по части ключевого слова, — при вводе полностью того же слова, не всегда выходят результаты. Но об этом способе мы поговорим далее. Так как мы обязаны его рассмотреть, в случае, если у вас не была установлена Аналитика (Analytics), а уже была Метрика.

Как найти зомби-страницы, инструкция: через Google Analytics

1-ый способ: Переходим на Google Analytics — источники трафика — весь трафик — каналы; 

Либо 2-ой способ: источник/канал дополнительный параметр — выбираем Страница.

Дальнейшие действия одинаковые.

Выбираем период, нажимаем применить. Лучше смотреть за полгода или год.

Выбираем внизу таблицы максимальное значение строк, чтобы все ссылки показались нам на одном развороте таблицы.

В таблице во вкладке «Пользователи» нажимаем на стрелочку, чтобы сортировка была от меньших просмотров к большим.

Дальше нажимаем на «Добавить параметр» и вбиваем в строке поиска «Целевая страница». Вставляем все нужные значения.

Удаляем ссылки, содержащие динамические параметры: 

  • «мусорные», «рекламные», технические ссылки; 

  • ссылки, на которые мы в настройках нашего сайта поставили ограниченный доступ, и не связали с другими страницами специально (это может быть индивидуальное предложение — тут мы и не ожидали, чтобы было больше посетителей, чем 1 или несколько). 

Последние рекомендуются выносить в отдельный раздел и искать их по части названия ссылки этого раздела.

Это делается так. Нажимаете «Еще». Нажмите на «Включить», статус меняется на «Исключить», он-то нам и нужен.

Далее выбираем «Поиск соответствующего регулярного выражения». И вставляете значения. Мы применяем такие.

Какие нужно исключать:

  • От рекламных сервисов Яндекса

    • /?yclid
    • /?yadclid
    • /?ysclid
  • /?fbclid — это от старых реклам на соц.площадке.

  • Страницы нумерации (пагинации) — также, только опция «Содержит» ?page 

  • Страницы с поиском по тегу (например, поиск с выбором определенной кнопки, напр. Сайты — Лендинги, то есть, возможно, человек посмотрел все результаты, но при этом не нажал на опцию узкой выборки). Они вида /?category=Видео, то есть задаем для исключения опцию «Содержит» ?category 

  • Другие:

    • /search

    • /openstat

    • /?etext

Дальше нажимаем на «Добавить» параметр и вбиваем в строке поиска «Целевая страница». Выбираем, и вставляем все нужные значения.

Если вам нужно что-то изменить в настройках включения/исключения ссылок, нажмите около «Расширенный поиск включен» — «Изменить».

Экспортируем файл. Рекомендуем выбирать формат XLSX, чтобы потом работать в Excel, чтобы строки «не слетали». В дальнейшем вы сможете, при необходимости, загрузить его на Google Drive (Диск) и переформатировать для редакции в режиме Google Spreadsheets (Таблиц).

Далее начинаем работу непосредственно над скачанным файлом. В таблице он экспортируется как Набор данных 1. 

Набор 2 содержит данные о количестве просмотров всех страниц на определенную дату за выбранный период. Во вкладке «Сводка» будут данные по периоду. 

Переходим на вкладку «Набор данных». Делаем выравнивание. По данным таблицы (применили сортировку от наименьшего до наибольшего количества просмотров страницы в Google Analytics) можно увидеть страницы-зомби — на которые мало переходов (= они получают мало трафика). Дальше, по возрастанию, просто идет статистика посещений вашей страницы. 

Судим по столбцу Уникальные просмотры страниц. Если у страницы меньше 10 просмотров за год, ее можно считать страницей зомби, или, в том же расчете, менее 5 за полгода.

Анализ данных для дальнейшей оптимизации страниц

Набор данных

Столбик А.

Возможно, некоторые мало-просматриваемые страницы не являются страницами зомби. Как так? Возможно, URL, которые вы получили по данным, уже успели переадресовать на другие страницы. 

Что сделать? Вручную берем, вбиваем в адресную строку браузера полученный результат и смотрим, происходит ли редирект на страницу по другому адресу. Если все редиректы рабочие, и ведут на тематическую страницу, то все ок. 

То есть, контент на странице все еще смотрят, просто поменялся адрес URL-a.

Чтобы понять, к каким страницам это относится, делаем столбец, «Старые редиректы, перенесли». В нашем документе это столбик А.

Можем выгрузить отчет по страницам, которые были переадресованы на другой URL (редирект), например, с помощью сервисов SEO-аналитики типа Ahrefs (если сайт ваш или есть доступ к нему) или Screaming Frog (к любому сайту на платном тарифе), бесплатный Awstats или Webalizer. 

Раньше был доступен отчет в Google Search Console, но он обнаруживал не все редиректы.

Либо в вашей cms доступны для выгрузки данные по сделанным редиректам. 

Это нужно, чтобы понимать, какие адреса были перенаправлены на новые. Так как могли быть сделаны редиректы в какое-то время, за которое вы выгружаете данные.

Столбик B.

В ходе проверки полученных ссылок рекомендуем написать числовой код статуса страницы, и что предлагается с ней сделать.

Тут можно написать, какие страницы не найдены (404), где нужно сделать редирект, потому что теперь страница доступна по другому адресу.

Столбик С.

Сюда вы можете занести сами полученные и отсортированные вами ссылки-зомби, в результате «чистки». 

По списку цветом можно выявить тенденции — какие из ваших страниц несут информационную нагрузку и нужно их переделать; другим — группы страниц, например, тут плохо читают отзывы, возможно, нужно продумать другую схему их публикации.

Группы плохо-просматриваемых страниц

Выносим столбцы на новый лист.

  • Информационные группы страниц — как раз те, ради которых мы и делали все, чтобы в дальнейшем их оптимизировать.

  • Редиректы настроенные — вы уже зашли в вашу cms и поменяли на нужные), либо проверили настройки переадресации (у нас в документе столбик D).

  • Скрытые страницы — на них и не предполагалось вести много трафика, поэтому нормально, что они так его получают (у нас в документе столбик E).

  • Другие группы страниц (при необходимости).

Как найти зомби-страницы, инструкция: через Яндекс Метрику 

Переходим Отчеты — содержание — заголовки страниц.

Выбираем нужный период.

Выбираем в разделе группировки URL- адрес страницы, чтобы заголовкам страницы соответствовали URL.

Дальше вводим интересующие заголовки страниц (по факту, H-и) списка страниц сайта по title.

Title можно посмотреть с помощью расширения на Chrome SEO Meta in 1 Click или других — Alaev SEO Tools, Conductor SEO Extension.

А можно просто выгрузить весь список, настройку просмотров выставить по убыванию. 

Далее работаем над данными. Как мы помним, меньше 10 просмотров за год — это страницы-зомби.

При выгрузке из Метрики выгружается список URL с названием домена. Можно отделить с помощью функции «Отщепить» в Excel, при необходимости. 

Можно сделать столбик с Title, когда они отличаются от названия H (заголовка страницы).

Далее фиксировать в той же таблице динамику изменений в статистике, после того, как вы сделали изменения в статье.

Но помним, что мы говорили вначале, — не все ссылки выгружаются Яндексом.

Что делать с «зомбиками»

Оптимизировать с точки зрения SEO-структуры и контента; отслеживать динамику в изменениях, так как давно открытая страница для поисковика лучше, то лучше не создавать заново то же самое.

В случае, если с течением времени не помогает, вставить отрывки информации в хорошо-ранжируемые страницы. 

В статье «Топ-7 трендов SEO в 2023» году мы приводили прикладную инструкцию по оптимизации страниц сайта в сравнении с конкурентами.

Материалы к видео


Презентация 
Вебинар по этой теме у Михаила Шакина 

Обновлено 30 ноября 2023