В 2020–2021 гг. просторы интернета неоднократно взрывались возмущением владельцев сайтов по поводу массового вылета их страниц из индекса. Буквально каждое обновление Google и Яндекса сопровождалось каким-нибудь эксцессом. Учитывая, что активный переход поисковых систем на новые технологии и протоколы не замедляется, в будущем такая практика продолжится. А  значит, веб-разработчикам и частным владельцам сайта полезно уже сегодня составить четкий план действий на случай вылета страницы или нескольких страниц из индекса. Но сначала надо научиться диагностировать и обнаруживать проблему такого вылета.

Как понять, что страница вылетела из индекса поисковой системы

Если это популярная страница веб-ресурса, то обнаружить, что она пропала из показов в выборке топа поисковика несложно: существенно снизится трафик, уменьшатся переходы на рекламу (если сайт информационный) или продажи (интернет-магазин). В таком случае проверка может быть точечной.

  • В Яндексе:
    • Используем инструменты Вебмастера (меню «Индексирование», пункт «Проверить статус URL»). Если по результатам проверки страница находится в поиске, значит, все хорошо с индексом, проблема сниженного трафика вызвана другими обстоятельствами.
    • Если нет доступа в Вебмастер, но есть интернет, можно использовать другой способ: ввести команду url перед адресом сайта в поисковой строке и посмотреть, что выдаст система. В выборке появилась нужная страница – все хорошо. Ничего не нашлось по запросу – страница не в индексе.
  • В Google проверка осуществляется через Google Search Console. Все хорошо, если в результатах напротив «URL есть в индексе Google» стоит галочка.

При условии, что вылет страниц массовый, и они не самые популярные (то есть владелец не следит за их посещаемостью особо пристально), контроль можно проводить через исключения из индекса. Для этого тоже есть инструменты в Яндекс.Вебмастере (индексация – страницы в поиске) и Google Search Consol (вкладка «Покрытие»).

Почему страницы пропали из индекса?

Причин может быть много. Если строить их рейтинг по убыванию частоты (распространенности), он будет выглядеть так:

  • сайт оказался под фильтрами;
  • вебмастер сам запретил индексацию через метатег Robots или файл robots.txt;
  • некорректно оформлены редиректы;
  • страницы удалены по ошибке (404-е убираются из индекса);
  • поисковик удалил из индекса повторяющиеся страницы.

Как вернуть страницу в индекс

Чтобы решить проблему, нужно понять ее причину. Первым делом, проверить наличие фильтров через пункт меню «Безопасность и нарушения» в Вебмастере или «Проблемы безопасности» в Google Search Console. Как правило, причинами санкций от поисковиков является большое количество дублей, нерелевантность страниц, откровенно переспамленный контент, переоптимизация и искусственная накрутка поведенческих факторов.

Если с фильтрами все хорошо (в том смысле, что их нет), проверяем robots.txt и Robots. Возможно, мастер сам запретил поисковикам индексировать страницы во время последних технических правок.

Контроль дублей  нужно проводить постоянно. Там, где можно, их надо убирать. Где нельзя, – использовать тег rel=canonical.

Очень похожие страницы (такие, как карточки одного товара в разных цветах) нужно уникализировать. Иначе часть из них обязательно окажутся вне индекса.