В последнее время в Вебмастере мы создали много инструментов для аналитиков, маркетологов и владельцев бизнесов. Даже первый сегодняшний анонс был связан именно с этой темой — обновлённые Тренды. Однако для нас всегда было очень важно поддерживать расширенную функциональность для тех, кто занимается технической стороной оптимизации сайта. Поэтому сегодня мы запустили:
Обновлённое API Вебмастера версии 4.0
В нём поддержаны:
- данные об обходе;
- данные о страницах в поиске и исключённых страницах;
- события в диагностике;
- инструмент переобхода страниц;
- доставка данных для Турбо-страниц
Мониторинг изменений в robots.txt
Одна из самых частых и крайне неприятных проблем при индексировании сайта — это непреднамеренные изменения в robots.txt. Этот файл и затирают, и выкатывают тестовую версию с полностью закрытым для индексирования сайтом, и, наоборот, открывают для поиска разделы, находящиеся в разработке или содержащие техническую информацию. Для того чтобы отслеживать все подобные изменения, мы запустили мониторинг изменений в robots.txt. Теперь мы храним последние 100 версий robots.txt за полгода в разделе «Анализ robots.txt» и предупреждаем об изменениях в файле всех, кто захотел подписаться на данный тип уведомлений.
Мониторинг поддоменов
Другой пример проблемы, очень близкой к описанной в предыдущем пункте: попадание в поиск служебных поддоменов или тестовых версий сайтов. Иногда это происходит из-за некорректных обновлений robots.txt, а иногда — из-за сбоя в настройках сайта или необдуманных действий разработчика. Теперь мы оповещаем и о таких случаях, они также были добавлены в уведомления, на которые мы рекомендуем подписаться.
Источник: Блог Яндекса для вебмастеров