В моей новой статье мне хотелось бы рассказать о таком понятии как первичная оптимизация сайта и собрать для начинающих вебмастеров все первичные средства оптимизации, которые просто необходимо сделать сразу после написания сайта и не только для того, чтобы облегчить работу будущему сео-оптимизатору, но и поднять свой статус как сайтостроителя или вебмастера в лице окружающих. Итак, начнем с самого начала с файла robots.txt.
Создание и наполнение файла инструкции для роботов поисковых систем robots.txt
Файл robots.txt представляет собой некое руководство для прохода вашего сайта поисковыми ботами. В нем мы так же выстраиваем и защиту от ненужных нам ботов, так как они могут существо нагружать наш хостинг, что приведет к отключению услуги. В качестве примера на одном из моих проектов боты ходили с разницей в секунду в количестве порядка 30 штук, что существенно нагружало хостинг (нагрузка выдавалась порядка 60%, при штатной в 10%).
Расшифровка данных файла robots.txt:
- User-agent – наименование конкретного бота, к примеру Googlebot или Mail.Ru.Для каждого из видов ботов пишется свой кусок в файле.
- Crawl-delay – промежуток времени между обращениями бота к вашему сайту. Нормальным считается промежуток равный 3, но для того, чтобы снять нагрузку на сервер нужно выставить параметр от 5 до 10.
- Disallow – запрет на посещение конкретного раздела или страницы. Каждый раздел или страница прописываются отдельно.
Стандартный вид файла robot.txt:
User-agent: *
Disallow: админка или еще какие-либо страницы вашего сайта
Crawl-delay: 3
Host: адрес вашего сайта
Sitemap: ссылка на карту вашего сайта
Данный формат файла робот.тхт подойдет сайтам имеющим трафик менее 100 уникальных посетителей в сутки и количество страниц менее 1000.
Расширенный вид файла robot.txt:
User-agent: *
Disallow: админка или еще какие-либо страницы вашего сайта
Crawl-delay: 3
Host: адрес вашего сайта
Sitemap: ссылка на карту вашего сайта
Все тоже самое, но только добавляются дополнительные блоки для каждого из видов ботов. Я рекомендую сразу же заблокировать следующих ботов (блокировка прописывается вот так Disallow:/):
- User-agent: sentibot
- User-agent: MegaIndex.ru/2.0
- User-agent: MegaIndex.ru
- User-agent: AdvBot
- User-agent: XoviBot
- User-agent: publiclibraryarchive.org
- User-agent: memoryBot
- User-agent: SMTBot
- User-agent: XoviBot
- User-agent: Abonti
- User-agent: meanpathbot
- User-agent: SearchmetricsBot
- User-agent: panscient.com
- User-agent: IstellaBot
- User-agent: EasouSpider
- User-agent: Aboundexbot
- User-agent: MixBot
- User-agent: EasouSpider
- User-agent: sogou spider
- User-agent: BUbiNG
- User-agent: LinkpadBot
- User-agent: Aboundexbot
- User-agent: heritrix
- User-agent: SEOkicks-Robot
- User-agent: WBSearchBot
- User-agent: ScreenerBot
- User-Agent: UnisterBot
- User-agent: SeznamBot
- User-agent: SemrushBot
- User-agent: BPImageWalker/2.0
- User-agent: lipperhey
- User-agent: BLEXBot
- User-agent: wotbox
- User-agent: SiteExplorer
- User-agent: turnitinbot
- User-agent: netEstate NE Crawler
- User-agent: FeedBooster
- User-agent: Nutch
- User-agent: Ezooms
- User-agent: spbot
- User-Agent: sistrix
- User-Agent: ExB Language Crawler
- User-agent: MJ12bot
Если вы не закроете доступ для выше перечисленных ботов сразу, то будете иметь проблемы в будущем с большой нагрузкой на ваш хостинг или сервер. Боты, которых я заблокировал никак не скажутся на скорости индексации и не повлияют на продвижение сайта, поэтому бояться закрывать свой сайт от них не стоит. Данный, расширенный файл робот.тхт подойдет для сайтов с посещаемостью от 100 человек в сутки и с объемом страниц более 1000 страниц.
Для сайтов, написанных на WordPress можно использовать плагин Multipart robots.txt editor – он имеет достаточно много настроек, с помощью которых можно исключить слишком активных ботов, а так же прописать разделы и страницы, доступ к которых вам нужно запретить.
Создание карты сайта (sitemap.xml)
Для чего нам нужна карта нашего сайта? Ответ очень прост – для того, чтобы роботы поисковых систем не заблудились и могли найти разделы вашего сайта достаточно быстро и сразу определить какие из них чаще обновляются, а кике не очень. С помощью карты сайта можно существенно сократить скорость индексации страниц ресурса, что положительно сыграет на динамике продвижения и увеличении трафика на сайт.
Создать карту сайта можно, как с использованием сторонних сайтов, так и с помощью плагинов. Но помните, что большинство сторонних сайтов бесплатно создают sitemap только на определенный объем страниц (от 100 до 500, больше я не встречал), а так же не всегда понятно, что вам могут положить в код (если вам лень проверять его полностью). Лично я использую на своем сайте (он построен на WP (wordpress)) плагин Yoast SEO, который помимо различных удобств в СЕО части, включает и создание карты сайта.
Установка социальных кнопок
На сегодняшний день очень важная часть оптимизации сайта, так как каждый репост записи дает вам 1 халявную, да еще и вечную ссылку с жирнейших ресурсов (vk.com, одноклассники, google+ и пр.). Плюс ко всему любой репост, если его сделал человек, имеющий хотя бы 100 человек в друзьях или подписчиках, может привести вам от 1 до 10 новых посетителей, а те в свою очередь могут сделать другие репосты и привести еще.
Лично я использовал и использую по сегодняшний день 3 варианта установки социальных кнопок на свои сайты и сайты своих клиентов:
- С помощью плагина Jetpack от WordPress.com – это не просто плагин с социальными кнопками, а полноценный помощник, имеющий в своем арсенале не только раздел «поделиться», но и многое другое. Очень рекомендую сразу же при написании сайта ставить плагин и подключать модули, которые помогут вам в продвижении: оптимизация под мобильные устройства, поделиться, оптимизация картинок и многое другое.
- Блок «поделиться» от Яндекса (https:// tech.yandex.ru/share/?3?3) – блок достаточно обширен и включается в себя как нужные, так не очень нужные соцсети и прочие ресурсы.
- Плагин от UpToLike – на мой взгляд, лучший вариант интеграции социальных кнопок на сайт. Помимо того, что можно выбрать сами соцсети, вы можете выбирать, куда и в каком виде эти кнопки сам же плагин вам разместит на сайте (можно использовать и шорт код для самостоятельного размещения кнопок). На моем сайте именно с помощью этого плагина реализована возможность поделиться записью в вашем аккаунте социальной сети.
Перелинковка: похожее, новое, популярное и классические ссылки
Самый простой и действенный способ настройки качественной перелинковки включает в себя 2 варианта установки ссылок:
- При написании страниц, направленных на поднятие главных посадочных страниц необходимо установить с них от 1 до 10 ссылок, в зависимости от объема текста и количества нужных нам тематических ключевых слов. Данным подходом мы будем передавать вес второстепенной страницы на основную, которую мы будем усиленно продвигать, что, несомненно, сыграет свою роль в росте позиций.
- Установка блоков: похожее, новое, популярное на страницах вашего сайта:
- Блок «похожее» можно подключить в настройках сайта при включенном плагине Jetpack от WordPress.com: панель администратора – настройки – чтение – выбрать «Показывать заголовок «Похожее», чтобы визуально отделить похожее содержимое от записей». В каждой из ваших записей (не страниц) в самом низу текста появится блок «похожее» (аналдогичный блок вы увидите и внизу этой статьи).
- Блок «новое» можно подключить в настройках вашего сайта: панель администратора – внешний вид – виджеты – выбираем область виджета, куда хотим разметить блок (в моем случае это правый сайдбар) – выбираем виджет «Свежие записи». Никаких дополнительных плагинов для установки этого блока устанавливать не нужно.
- Блок «популярное» можно подключить в настройках вашего сайта: панель администратора – внешний вид – виджеты – выбираем область виджета, куда хотим разметить блок (в моем случае это правый сайдбар) – выбираем виджет «Popular Posts» или «популярные записи» ( в моем случае я установил плагин WordPress Popular Posts). Пример размещения данного блока вы можете видеть на моем сайте.
Классические ссылки и установка блоков помогут вам не только качественно настроить перелинковку страниц, но и обеспечат удобное использование вашего сайта его посетителями, что отразится на поведенческих факторах. А как мы знаем они играют далеко не последнюю роль в определении качества вашего сайта.
Правильно прописываем метатеги
Итак, мы подошли к еще одному интересному моменту поисковой оптимизации сайта – это метатеги. Их мы разделим на 3 части и о каждой я кратко расскажу:
- Title или название страницы, ее видит только поисковый робот и поэтому постарайтесь без воды максимально четко назвать вашу страницу. Иногда (почти всегда) название страницы полностью совпадает с ее заголовком и поэтому помните, что как название так и заголовок должны полностью отражать содержание дальнейшего текста в противном случае страница никогда не выйдет в топ. В заголовке в обязательном порядке должно присутствовать фокусное ключевое слово, можно в другом падеже.
- Description или описание страницы, его, как и название страницы, так же видит только робот поисковой системы, но из него так же формируется сниппет (небольшой кусок текста сформированной поисковой системой автоматически под заголовком вашего сайта и ссылкой на его страницу, выданной в при введении поискового запроса). Описание не должно быть большим и так же не должно быть маленьким – это всего 1-2 предложения не более 150 знаков описывающее суть текста. В описании в обязательном порядке должно присутствовать фокусное ключевое слово, можно в другом падеже.
- Keywords или ключевые слова – и этот параметр будет доступен только роботам поисковых систем. Минимум, что должно быть прописано, это хотя бы одно фокусное ключевое слово или фокусное слово и производные от него. Например: оптимизация сайта, сео оптимизация сайта, оптимизировать сайт, оптимизация сайта для продвижения. Плотность ключевых слов по отношению к тексту не должна быть более 1 к 300 (1 ключевое слово на 300 знаков текста). Если плотность будет выше, то можете получите фильтр за спам ключами. Если плотность будет ниже, то у вас просто будет меньше ключевых слов на конкретной странице. В данном поле не обязательно прописывать все имеющиеся в тексте ключи, можно указать только фокусное.
Немного подведу итог правильности написания метатегов:
- Фокусное ключевое слово (или фраза) должно быть одно, например «продвижение сайтов».
- Фокусное ключевое слово должно присутствовать в названии, описании, ключевых словах, хотя бы в одном заголовке странице и встречаться 1 раз в тексте. Можно использовать разные словоформы (употреблять в различных падежах).
- Дополнительные ключевые слова подбираться по принципу фокусное слово (или фраза) плюс еще одно слово, например продвижение сайтов в яндексе.
- На 300 знаков текста должно быть не более 1 ключевого слова или фразы.
В качестве совета рекомендую тем, кто использует Google Chrome установить плагин на браузер под названием RDS bar. С его помощью вы сможете просматривать не только метатеги сайтов конкурентов, но и проанализировать их качество.
Настройка RSS ленты
Если сайт написан на WordPress, то практически во всех темах, используемых для создания сайта, уже есть встроенная РСС-лента, найти ее можно так: ваш сайт/rss.xml, ваш сайт/feed.xml или как в моем случае ваш сайт/feed/ . Зачем нужна RSS-лента? Все очень просто. Существуют ресурсы, которые так или иначе будут парсить (забирать ее к себе на сайт) вашу ленту записей и для упрощения такого мероприятия прекрасно подойдет наша РСС-лента. Это нужно нам для того, чтобы совершенно бесплатно получать ссылки на наш сайт, при этом данного рода ссылки считаются естественными, что положительно скажется на продвижении интернет сайта и поможет хоть немного, но поднять его позиции.
Помимо положительных моментов в RSS-ленте, есть и отрицательные:
- Невозможно изначально отследить качество сайтов, размещающих ваши статьи у себя. Это могут быть как плохие, так и хорошие ресурсы, но в любом случае общий итог будет положительным, особенно если удастся транслировать свои записи в крупных ПС или на крупных порталах.
- Невозможно самостоятельно отсеивать не желательные для вас сайты. Единственное, что можно сделать в таком случае – это самостоятельно прогнать свой сайт через качественный агрегаторы, потому как они это вряд ли сделают за вас (описывать их в данной статье не буду, да и не зачем, так как они постоянно меняются, кто попадает под АГС, а кто-то нет).
- О том, что с вашего сайта кто-то парсит статьи вы узнаете только в момент обновления (апдейта) текстовой базы поисковой системы.
- Удаление ваших текстов с чужих сайтов – это самое проблематичное и трудоемкое занятие, так как вам нужно будет выйти на вебмастера того сайта и уже просить его удалить ваш текст.
Может показаться, что RSS-лента подойдет больше для продвижения сайтов блогов или новостных порталов, но это не так. На сегодняшний день большую роль играет контент и большинство сайтов продающих товары или услуги или еще что-либо не относящиеся к информационной тематике создают разделы, которые наполняются различными тематическими текстами. А чем больше будет естественных ссылок на эти разделы, тем больше пользы они принесут основным продвигаемым страницам, отдавая им свой честно заработанный вес.
Настройка трансляции записей и страниц сайта в социальных сетях
Трансляция записей вашего сайта – это один из способов не только ускорить индексацию и продвижение, но и получить массу бесплатных ссылок с одних из самых трастовых сайтов не только Рунета, но и мира. Рассмотрим варианты настройки таких трансляций:
- Самый трудоемкий способ – набивать анонсы статей в каждом из аккаунтов социальной сети вручную. Не самый лучший вариант провести свое время с пользой, поэтому заострять внимание на нем я не буду.
- Самый простой способ – настройка RSS-ленты через сайт rsstranslator.net (есть платная регистрация и бесплатная) с выводом трансляции в социальную сеть, а конкретно сразу в нужную вам группу. Способ очень прост и не требует настройки API для каждой из социальной сети. Регистрируетесь, вносите свои РСС-ленты в свой каталог, далее настраиваете с них трансляцию на вашу группу в соцсети (группу, аккаунт) и получаете ежедневное наполнение вашей группы в контакте. Для того, что бы аккаунт на РССтрансляторе не заблокировали нужно 1 раз в 6 месяцев заходить в свой личный кабинет на сайте, о чем система сама напоминает (очень удобно). Этот способ хорош еще и тем, что у вас не будет стоять плагина на сайте, который грузил бы ваш хостинг или сервер.
- Средний по сложности – установка специализированных плагинов на ваш сайт с тонкой настройкой API поисковых система для трансляции статей. Скажу честно, что лично я использую второй способ и не имею никаких проблем, поэтому описывать тонкости настроек приложений в данной статье описывать я не буду, но постараюсь уделить время написанию о, них в другой статье посвященной продвижению сайта через социальные сети.
Итак, в качестве примера настройки трансляции записей приведу свой сайт. Как вы видите в шапке у меня есть всего 2 иконки социальных сетей: vk.com и twitter. Вы спросите, а почему так мало? Лично мне этого хватает.
В РССтрансляторе я настроил 1 канал RSS-ленты со своего сайта (он же общий канал всех рубрик), далее я направил трансляцию с него в свою группу в контакте, а уже из группы в контакте настроил трансляцию в твиттер. Настройка из вконтакте в твиттер делается практически в 1 нажатие и не вызвало лично у меня никаких вопросов.
В итоге я получил ежесуточное автоматическое наполнение группы в контакте и аккаунта в твиттере, что положительно сказывается на продвижении позиций моего сайта с самого начала его написания. Дополнительно скорость индексации моих страниц снизилась со стандартных 4-5 недель в Яндексе до 1-2 недель, по Google страницы попадают в индекс уже в течение 1 суток.
Для начала работы по продвижению сайта, на мой взгляд, приведенной информации будет вполне достаточно, а об остальном вы сможете прочитать на страницах моего блога.