В норме материалы сайта, который постоянно обновляет контент, «залетают» в индекс Яндекса за 1–3 часа. У сканера Google на индексацию статей такого ресурса может уйти от 2–3 часов до 1 дня. Видеть публикации нового сайта, который не успел заслужить доверие поисковиков и пока обновляется редко, пользователи начинают через 1–4 недели. А почему статьи так и не появляются в выдаче по прошествии и этого времени? Причин может быть много, и среди них есть неочевидные. Но начнем не с них.

Топ-5 самых распространенных причин отсутствия материалов сайта в индексе

Так, чаще всего дело:

  • в очереди (она просто не дошла до сайта, решается вопрос через регистрацию в Яндекс.Вебмастере и Google Webmasters и принудительный запрос на индексацию в личном кабинете);
  • неправильной настройке метатегов (тогда в коде будут метатеги noindex и nofollow, их надо поменять на index и follow);
  • забывчивости веб-мастера, который на время правок материала закрыл его от поисковых сервисов через файл robots.txt (исправляется добавлением в файл команды Disallow);
  • неправильных настройках в файле .htaccess (он нужен для описания правила редиректа 301, но в нем можно и закрыть страницу от индексации, если остальные причины вам не подошли, проверьте этот файл);
  • не для всех, но для некоторых ресурсов, которые используют инструменты JawaScript или AJAX, индексация становится проблемой просто потому, что сканерам с ними сложнее работать (как правило, дело в их оптимизации, которая и отменяет возможность сканирования страниц или даже всего ресурса).

Sitemap

Довольно редко мастера, ищущие причины, по которым индексация затянулась, грешат именно на эту особенность. Но на деле почти в 5% случаев проблема оказывается именно в отсутствии нормальной карты сайта. Если ее нет, с индексацией могут быть постоянные сбои. Да и в целом с продвижением будет не все так гладко, как хотелось бы. Потому не игнорируйте этот важный инструмент навигации. И не забудьте добавить его в сервисы Яндекса и Google.

Домен с баном

Проблема актуальна для тех, кто решил развиваться на купленном сайте. Не проверив его перед покупкой, можно столкнуться с проблемой неиндексации из-за санкций, которые получил прошлый владелец. Решить ее довольно сложно: нужно связаться с администрацией поискового сервиса и доказать, что владелец домена сменился, нарушать правил публикаций более не будет, и вообще, пришел сюда, дабы нести пользователю исключительно полезный, честный и интересный контент. Правда, на рассмотрение дела такого сайта могут уйти недели, если не месяцы.

Технические сбои

Если сканер обратится к новой странице, но не сможет ее проиндексировать из-за перегрузок на стороне хостера, он отложит проверку до лучших времен. Когда его вторая и третья попытки тоже (и по тем же причинам) не увенчаются успехом, бот, скорее всего, попросту перестанет и пробовать. Сегодня, когда рынок хостинговых услуг огромен, а активность пользователей сети многократно возросла (в том числе, все из-за той же пандемии), вопрос стабильности провайдера приобретает большое значение.

Ошибки сканирования

Это могут быть проблемы с кодом, сбои серверов, неправильно загруженные изображения или иные причины, которые мешают просканировать страницу. Ситуация по аналогии с предыдущей проблемой: бот попробует – не получается – уходит (и может не вернуться). Исправить ситуацию можно через принудительную проверку материала на предмет ошибок сканирования (проще всего это сделать через кабинет Google Webmaster в блоке «Сканирование»).

Настройки CMS

Классическая проблема сайтов на WordPress: по умолчанию у них выставлены настройки, запрещающие индексацию. Если ресурс недавно приобретен, стоит сразу проверить его не только на предмет бана, но и на видимость в поисковых системах (в блоке настроек админки). Проблема решается снятием одной галочки.