Обзор Netpeak Spider платформы для комплексного аудита сайта на примере реального проекта

Как часто вы делаете аудит сайтов для ваших клиентов для первичной оценки стоимости работ и состояния сайта? Какими различными сервисами вы пользуетесь для сбора всей необходимой информации? Лично я использую порядка 4 онлайн сервисов для сбора нужной мне информации и это не всегда удобно, и отнимает приличное количество времени. Сегодня я сделаю обзор на программу Netpeak Spider по проведению комплексного аудита сайтов на примере одного из своих проектов, который мы взяли пару дней назад под свое крыло и начали активно продвигать к вершинам поисковой выдачи.

Описание проекта для комплексного аудита

Расскажу немного про сам проект. Это сайт одной из динамично развивающихся АЙТИ компаний, которая оказывает услуги по АЙТИ Аутсорсингу, подбору оборудования и еще много чему интересному в этой области. Когда мы их забрали, сайт у них был, мягко говоря, не дружелюбен к пользователю и весь бюджет, который они заливали на контекстную рекламу фактически сливался в никуда, про СЕО в данном случае и говорить не хочется.  В общем проект был проблемный, но при должном внимании перспективный и мы решили его взять.

Для начала мы полностью пересобрали дизайн сайта и переделали его структуру, что сделало его более удобным и понятным для пользователей, что снизило процент отказа с 70% до 15% и увеличило время пребывания пользователей на сайте до 2 минут. Совместно с изменением дизайна и структуры были изменены часть текстов, добавлено УТП (уникальное торговое предложение), тарифы, понятное описание, формы для связи, отзывы и прочее для создания имиджа компании и увеличения ее показателей монетизации. Сразу после этих изменений позиции сайта пошли вверх и клиент стал получать заявки на свои услуги.

Вот небольшой кусок из ядра запросов, которые нам удалось вывести в топ после 2х месяцев работы:

Далее я хочу провести полной комплексный аудит сайта для оценки своей работы над ним и заодно протестировать новый сервис, который, как я надеюсь, сможет мне заменить все то, чем я пользуюсь на данный момент.

Установка Netpeak Spider

Что сразу бросилось в глаза и выглядит несколько дико для меня, так это то, что эту штуку необходимо установить на ПК и использовать ее онлайн не получиться, хотя есть возможность использования программы на разных устройствах (но не одновременно). Это, я вам скажу, крайне неудобно для большинства вебмастеров, так как иногда необходимо оперативно что-то посмотреть или дать ответ клиенту, а к компьютеру доступа нет, но есть мобильный телефон и можно было бы что-то сделать, но увы не с «Пауком».

Есть у разработчиков данного сервиса один конкурент, которым я также пользуюсь – это Serpstat, который дает возможность использовать все свои инструменты онлайн с любого устройства, но стоит ощутимо дороже и имеет ограничения на количество запросов. Для справки Netpeak Spider использует небольшой кусок их сервиса и у себя в том числе (правда в другом продукте Netpeak Checker, которому мы выделим отдельный обзор и обязательно все про него расскажем). Я, конечно, надеюсь на то, что будет сделать мобильное приложение или все-таки вся система переедет на вэб, но пока имеем то, что имеем. В любом случае, если функционал уникален, то это не будет проблемой.

Рассказывать долго про установку exe файлов я не буду, в ней разберется абсолютно любой, и сразу перейду к делу, а именно ее функционал.

Запускаем аудит сайта в Netpeak Spider

После установки перед вами появится большое окно с огромным количеством кнопок. Также  с правой стороны есть список того, что система будет анализировать и этот список просто огромен и покрывает 100% моих потребностей.

Но нас с вами интересует анализ, который мы и запустим: вставляем адрес сайта и жмем «старт».

После окончания анализа система выдает достаточно подробный отчет по ошибкам с графиками и диаграммами.

Посмотрим второй из графиков, который выдает нам критичность ошибок, их выдано целых две с кодом ошибки 405.

В данном случае это оказались php файлы отвечающие за формирование xml карты сайта и они же отдают только Post запросы и видимо поэтому система определила их как ошибку, хотя это не так. Данную ошибку исправим закрытием данных файлов для индексации поисковыми системами в robots.txt.

С графиками все очень интересно (к ним мы еще вернемся и разберем подробнее), но я хочу посмотреть список ошибок и попробовать их исправить. Переходим на панель справа, на который и расположен основной список  всех ошибок в зависимости от их критичности.

Битые ссылки в количестве 2 штук оказались ничем иным как теми же php файлами из списка критических ошибок на графике, поэтому мы их просто игнорируем и идем дальше.

Дубликаты текста в количестве 2 штук. Это особенность построения страниц на WordPress, которая исправляется плагином Clearfy. На выбранном проекте его не оказалось, но мы это исправим и сейчас же его установим. Если кому-то интересна информация по его настройке, то я уже о нем писал ранее, просто забейте в поиске сайта название плагина и перейдите по ссылке.

Плагин установлен на сайт и исправления внесены, после очистки серверного кэша и внесения остальных правок я обновлю аудит сайта и выложу результат в конце обзора для сравнения внесенных изменений, а через пару месяцев дополню статью результатами изменений позиций сайта.

Дубликаты мета-тега Title в количестве 6 штук. Как я заметил после добавления версий страниц на английском языке, мы их еще не оптимизировали, что и вызвало ошибки. Самое время их исправить и внести изменения. Для этого подойдет плагин Yoast SEO (по его работе и настройке я так же писал ранее, поэтому поиск по сайту вам в помощь), который добавит дополнительные поля для каждой из страниц.

Исправления внесены, и мы идем дальше.

Переходим к ошибкам мета-тега Description, как пишет система комплексного аудита сайта – этого мета-тега просто нет на страницах. Как вы видите, большая часть страниц не влияет на рост позиций сайта, либо это вновь созданные страницы, которые мы еще не успели оптимизировать. Но не буду оттягивать неизбежно и исправлю все ошибки прямо сейчас.

На WordPress есть ряд своих особенностей, которые просто невозможно исправить, например страницы категорий или рубрик, к которым невозможно сделать мета-теги и ошибки так и будут висеть в аудитах. Исправить их можно только закрыв от индексации данные разделы в файле robots.txt, что я сейчас и сделаю.

Четырехсотые ошибки сайта, Netpeak Spider говорит, что их 2. И это опять те же самые php файлы, которые преследуют нас с самого начала.

Переходим к проблемам средней критичности и начинаем их исправление. Отсутствует или пустой заголовок H1, всего найдено 3 страницы с данной проблемой.

Это все те же страницы категорий и одна новая страница, но, когда я правил Title я поправил и все остальное на них, поэтому при следующем сканировании проблемы уже быть не должно.

Проблема с редиректами на сайте, всего найдено 19 проблем и связаны они с особенностями WordPress, которые делает дубли ваших страниц с адресом ID. Исправить это невозможно, поэтому 301 редирект так и останется в ошибках.

Почему-то Netpeak Spider выдает как ошибку заблокированные через robots файлы, хотя они являются в большинстве своем скриптами, которые для поисковых систем не несут никакой ценности и не влияют на оценку. Вот это вот очень странно и не понятно. Хотелось бы, чтобы этот параметр был доработан и показывал только скрытые страницы сайта, а не скрипты-обработчики и страницы административной панели сайта.

Следующая ошибка – это изображения без  тега Alt, видимо разработчик не стал заморачиваться и прописывать описания к картинкам, благо их не так много – всего 17. Исправить данного типа ошибки в WordPress можно пройдя в консоле в раздел «медиафайлы» и там по каждой из картинок прописать тег или же можно воспользоваться СЕО-плагинами, которые автоматически пропишут названия картинкам.

Проблема с максимальным размером изображений – всего 9 штук. С данной проблемой можно бороться в ручном режиме, т.е. скачивать каждую картинку и менять ее размер программно или же скачать специализированный плагин, например Smush, который оптимизирует все изображения на сайте в автоматическом режиме.

Кстати посредством комплексного аудита сайта было найдено всего 9 изображений, которые необходимо было оптимизировать, но плагин нашел 536 изображений.

С основными ошибками мы закончили и давайте посмотрим, что из ошибок не нашел Netpeak Spider на сайте, но мог бы найти если бы они были:

• PageRank: висячий URL – это страницы сайта, на которые есть ссылки, но с самих этих страниц ссылок нет, что нарушает равномерное распределение ссылочного веса по всему сайту. Очень крутая вещь, так как чем больше проект, тем сложнее уследить за этим, что приводит к недоптимизации и потере позиций. Данного критерия для анализа я не видел еще ни в одной, используемой мной, программе по аудиту сайта.
• Дубликаты страниц – важный параметр для анализа и поиска ошибок. Очень важно своевременно избавляться от дублей страниц на вашем сайте, иначе вес этих страниц будет распределен между собой равномерно и понизит позиции страницы кратно количеству дублей.
• Отсутствующий или пустой мета-тег Title – также важный параметр для анализа, который непосредственно влияет на оценку поисковыми системами релевантности вашей страницы.
• Дубликаты Description — как вы знаете, поисковые системы любят уникальность, и мета-тег Описания страницы к этому также относится и существенно влияет на оценку релевантности страницы.
• Битый редирект – оценку данного параметра также вижу впервые, и в целом она является важным моментом, особенно если ваш сайт переехал c http на https или же вы сменили адрес посадочной страницы.
• Бесконечный редирект – аналогично битому редиректу, данный параметр вижу в оценке впервые. Для тех, кто не знает, что такое бесконечный редирект – это, когда страница сайта бесконечно переадресовывается и не загружается полностью.
• Максимальное количество редиректов – показывает страницы с более чем 4 редиректами. Параметр в чем-то схож с бесконечным редиректом, но в конечном итоге страница все таки загрузится, но время ее загрузки будет значительно больше нормального.
• Редирект, заблокированный в robots.txt — показывает страниц, возвращающие перенаправление на URL, которые заблокированы в robots.txt. То есть, если говорить проще, то система ищет переадресации на страницы, которые закрыты от индексации. Данного параметра не встречал ранее, приходилось искать проблемы самостоятельно, что приводило к значительным временным затратам.
• Редиректы с неправильным форматом URL – показывает страницы, которые возвращают перенаправление с неверным форматом URL, фактически это переадресация на битую ссылку, что очень не хорошо. Все что коснулось редиректов в комплексном аудите, я вижу впервые и это очень удобно, что такие вещи автоматизированы, ведь искать такие ошибки вручную – это целая история не всегда с хорошим концом.
• Неправильный формат тега Base – показывает страницы, содержащие тег Base с неправильным форматом. Вот этот параметр для меня вообще открытие, так как в работе с данным тегом я не встречался ни разу.
• Максимальная длина URL – ошибка будет показана, если в вашем адресе страниц более 2000 знаков. Ни разу не видел URL такой длинны, и, в принципе, это важно только для пользователей, которые будут копировать ссылки.
• Страницы без внутренних ссылок – по сути это страницы, которые созданы на голом html при наличии клиента, так как создать страницу на клиенте, используя инструменты клиента, практически невозможно.
• Ссылки с неправильным форматом URL – например, точка не там или слэш в другую сторону и прочие проблемы, которые приведут к ошибке.
• Битые изображения – показывает недоступные изображения, которые возвращают код 4хх.
• Canonical, заблокированный в robots.txt – показывает страницы, которые содержат тег <link rel=”canonical” />, который указывает на URL, заблокированный в robots.txt.

С критичными проблемами разобрались и у нас остались еще проблемы среднего уровня и проблемы с низким приоритетом. Их я покажу на скриншоте ниже, так как все, что там есть совершенно типично для программ для аудита сайтов и особого внимания не требует.

Со всеми проблемами и описанием этих проблем разобрались, пора нам сделать повторный аудит нашего сайта. Должен сказать, что Netpeak Spider учла все исправления при повторном сканировании.

Стоит ли использовать Netpeak Spider для работы?

В качестве вывода по использования программы для комплексного аудита сайта могу сказать, что пользоваться ей было удобно и приятно, есть масса удобных моментов лично для меня (например, переход по ссылке, на которой обнаружена ошибка) или экспорт отчетов в Эксель с разбивкой по проблемам, что существенно облегчает распределение задач между сотрудниками для их исправления.

А теперь о самом главном, о цене продукта Netpeak Spider. Стоит годовая подписка порядка 117 долларов США, что при работе с массой проектов не так дорого за набор удобных и нужных инструментов. Важный момент, покупаете вы только 1 лицензию для 1 устройства и если нужно поставить ее еще на один ПК, то нужно будет купить еще 1 лицензию. Но есть небольшая поблажка, назовем это так, лицензией можно пользоваться на разных устройствах, но не одновременно, что для меня подходит идеально.

И для самых терпеливых читателей моего блога действует скидка 10%  на Netpeak Spider и Netpeak Checker. Для ее получения вам достаточно перейти по ссылке, либо же на этапе оплаты любого из продуктов ввести промокод d38ce785.