В моей новой статье мне хотелось бы рассказать о таком понятии как первичная оптимизация сайта и собрать для начинающих вебмастеров все первичные средства оптимизации, которые просто необходимо сделать сразу после написания сайта и не только для того, чтобы облегчить работу будущему сео-оптимизатору, но и поднять свой статус как сайтостроителя или вебмастера в лице окружающих. Итак, начнем с самого начала с файла robots.txt.

робот.тхт

Создание и наполнение файла инструкции для роботов поисковых систем robots.txt

Файл robots.txt представляет собой некое руководство для прохода вашего сайта поисковыми ботами. В нем мы так же выстраиваем и защиту от ненужных нам ботов, так как они могут существо нагружать наш хостинг, что приведет к отключению услуги. В качестве примера на одном из моих проектов боты ходили с разницей в секунду в количестве порядка 30 штук, что существенно нагружало хостинг (нагрузка выдавалась порядка 60%, при штатной в 10%).

Расшифровка данных файла robots.txt:

  1. User-agent – наименование конкретного бота, к примеру Googlebot или Mail.Ru.Для каждого из видов ботов пишется свой кусок в файле.
  2. Crawl-delay – промежуток времени между обращениями бота к вашему сайту. Нормальным считается промежуток равный 3, но для того, чтобы снять нагрузку на сервер нужно выставить параметр от 5 до 10.
  3. Disallow – запрет на посещение конкретного раздела или страницы. Каждый раздел или страница прописываются отдельно.

Стандартный вид файла robot.txt:

User-agent: *
Disallow: админка или еще какие-либо страницы вашего сайта
Crawl-delay: 3
Host: адрес вашего сайта
Sitemap: ссылка на карту вашего сайта

Данный формат файла робот.тхт подойдет сайтам имеющим трафик менее 100 уникальных посетителей в сутки и количество страниц менее 1000.

Расширенный вид файла robot.txt:

User-agent: *
Disallow: админка или еще какие-либо страницы вашего сайта
Crawl-delay: 3
Host: адрес вашего сайта
Sitemap: ссылка на карту вашего сайта

Все тоже самое, но только добавляются дополнительные блоки для каждого из видов ботов. Я рекомендую сразу же заблокировать следующих ботов (блокировка прописывается вот так Disallow:/):

  • User-agent: sentibot
  • User-agent: MegaIndex.ru/2.0
  • User-agent: MegaIndex.ru
  • User-agent: AdvBot
  • User-agent: XoviBot
  • User-agent: publiclibraryarchive.org
  • User-agent: memoryBot
  • User-agent: SMTBot
  • User-agent: XoviBot
  • User-agent: Abonti
  • User-agent: meanpathbot
  • User-agent: SearchmetricsBot
  • User-agent: panscient.com
  • User-agent: IstellaBot
  • User-agent: EasouSpider
  • User-agent: Aboundexbot
  • User-agent: MixBot
  • User-agent: EasouSpider
  • User-agent: sogou spider
  • User-agent: BUbiNG
  • User-agent: LinkpadBot
  • User-agent: Aboundexbot
  • User-agent: heritrix
  • User-agent: SEOkicks-Robot
  • User-agent: WBSearchBot
  • User-agent: ScreenerBot
  • User-Agent: UnisterBot
  • User-agent: SeznamBot
  • User-agent: SemrushBot
  • User-agent: BPImageWalker/2.0
  • User-agent: lipperhey
  • User-agent: BLEXBot
  • User-agent: wotbox
  • User-agent: SiteExplorer
  • User-agent: turnitinbot
  • User-agent: netEstate NE Crawler
  • User-agent: FeedBooster
  • User-agent: Nutch
  • User-agent: Ezooms
  • User-agent: spbot
  • User-Agent: sistrix
  • User-Agent: ExB Language Crawler
  • User-agent: MJ12bot

Если вы не закроете доступ для выше перечисленных ботов сразу, то будете иметь проблемы в будущем с большой нагрузкой на ваш хостинг или сервер. Боты, которых я заблокировал никак не скажутся на скорости индексации и не повлияют на продвижение сайта, поэтому бояться закрывать свой сайт от них не стоит. Данный, расширенный файл робот.тхт подойдет для сайтов с посещаемостью от 100 человек в сутки и с объемом страниц более 1000 страниц.
Для сайтов, написанных на WordPress можно использовать плагин Multipart robots.txt editor – он имеет достаточно много настроек, с помощью которых можно исключить слишком активных ботов, а так же прописать разделы и страницы, доступ к которых вам нужно запретить.
карта сайта

Создание карты сайта (sitemap.xml)

Для чего нам нужна карта нашего сайта? Ответ очень прост – для того, чтобы роботы поисковых систем не заблудились и могли найти разделы вашего сайта достаточно быстро и сразу определить какие из них чаще обновляются, а кике не очень. С помощью карты сайта можно существенно сократить скорость индексации страниц ресурса, что положительно сыграет на динамике продвижения и увеличении трафика на сайт.

Создать карту сайта можно, как с использованием сторонних сайтов, так и с помощью плагинов. Но помните, что большинство сторонних сайтов бесплатно создают sitemap только на определенный объем страниц (от 100 до 500, больше я не встречал), а так же не всегда понятно, что вам могут положить в код (если вам лень проверять его полностью). Лично я использую на своем сайте (он построен на WP (wordpress)) плагин Yoast SEO, который помимо различных удобств в СЕО части, включает и создание карты сайта.

продвижение сайта социальными кнопками

Установка социальных кнопок

На сегодняшний день очень важная часть оптимизации сайта, так как каждый репост записи дает вам 1 халявную, да еще и вечную ссылку с жирнейших ресурсов (vk.com, одноклассники, google+ и пр.). Плюс ко всему любой репост, если его сделал человек, имеющий хотя бы 100 человек в друзьях или подписчиках, может привести вам от 1 до 10 новых посетителей, а те в свою очередь могут сделать другие репосты и привести еще.
Лично я использовал и использую по сегодняшний день 3 варианта установки социальных кнопок на свои сайты и сайты своих клиентов:

  1. С помощью плагина Jetpack от WordPress.com – это не просто плагин с социальными кнопками, а полноценный помощник, имеющий в своем арсенале не только раздел «поделиться», но и многое другое. Очень рекомендую сразу же при написании сайта ставить плагин и подключать модули, которые помогут вам в продвижении: оптимизация под мобильные устройства, поделиться, оптимизация картинок и многое другое.
  2. Блок «поделиться» от Яндекса (https:// tech.yandex.ru/share/?3?3) – блок достаточно обширен и включается в себя как нужные, так не очень нужные соцсети и прочие ресурсы.
  3. Плагин от UpToLike – на мой взгляд, лучший вариант интеграции социальных кнопок на сайт. Помимо того, что можно выбрать сами соцсети, вы можете выбирать, куда и в каком виде эти кнопки сам же плагин вам разместит на сайте (можно использовать и шорт код для самостоятельного размещения кнопок). На моем сайте именно с помощью этого плагина реализована возможность поделиться записью в вашем аккаунте социальной сети.

продвижение сайта перелинковкой

Перелинковка: похожее, новое, популярное и классические ссылки

Самый простой и действенный способ настройки качественной перелинковки включает в себя 2 варианта установки ссылок:

  1. При написании страниц, направленных на поднятие главных посадочных страниц необходимо установить с них от 1 до 10 ссылок, в зависимости от объема текста и количества нужных нам тематических ключевых слов. Данным подходом мы будем передавать вес второстепенной страницы на основную, которую мы будем усиленно продвигать, что, несомненно, сыграет свою роль в росте позиций.
  2. Установка блоков: похожее, новое, популярное на страницах вашего сайта:
  • Блок «похожее» можно подключить в настройках сайта при включенном плагине Jetpack от WordPress.com: панель администратора – настройки – чтение – выбрать «Показывать заголовок «Похожее», чтобы визуально отделить похожее содержимое от записей». В каждой из ваших записей (не страниц) в самом низу текста появится блок «похожее» (аналдогичный блок вы увидите и внизу этой статьи).
  • Блок «новое» можно подключить в настройках вашего сайта: панель администратора – внешний вид – виджеты – выбираем область виджета, куда хотим разметить блок (в моем случае это правый сайдбар) – выбираем виджет «Свежие записи». Никаких дополнительных плагинов для установки этого блока устанавливать не нужно.
  • Блок «популярное» можно подключить в настройках вашего сайта: панель администратора – внешний вид – виджеты – выбираем область виджета, куда хотим разметить блок (в моем случае это правый сайдбар) – выбираем виджет «Popular Posts» или «популярные записи» ( в моем случае я установил плагин WordPress Popular Posts). Пример размещения данного блока вы можете видеть на моем сайте.

Классические ссылки и установка блоков помогут вам не только качественно настроить перелинковку страниц, но и обеспечат удобное использование вашего сайта его посетителями, что отразится на поведенческих факторах. А как мы знаем они играют далеко не последнюю роль в определении качества вашего сайта.

продвижение сайта метатегами

Правильно прописываем метатеги

Итак, мы подошли к еще одному интересному моменту поисковой оптимизации сайта – это метатеги. Их мы разделим на 3 части и о каждой я кратко расскажу:

  1. Title или название страницы, ее видит только поисковый робот и поэтому постарайтесь без воды максимально четко назвать вашу страницу. Иногда (почти всегда) название страницы полностью совпадает с ее заголовком и поэтому помните, что как название так и заголовок должны полностью отражать содержание дальнейшего текста в противном случае страница никогда не выйдет в топ. В заголовке в обязательном порядке должно присутствовать фокусное ключевое слово, можно в другом падеже.
  2. Description или описание страницы, его, как и название страницы, так же видит только робот поисковой системы, но из него так же формируется сниппет (небольшой кусок текста сформированной поисковой системой автоматически под заголовком вашего сайта и ссылкой на его страницу, выданной в при введении поискового запроса). Описание не должно быть большим и так же не должно быть маленьким – это всего 1-2 предложения не более 150 знаков описывающее суть текста. В описании в обязательном порядке должно присутствовать фокусное ключевое слово, можно в другом падеже.
  3. Keywords или ключевые слова – и этот параметр будет доступен только роботам поисковых систем. Минимум, что должно быть прописано, это хотя бы одно фокусное ключевое слово или фокусное слово и производные от него. Например: оптимизация сайта, сео оптимизация сайта, оптимизировать сайт, оптимизация сайта для продвижения. Плотность ключевых слов по отношению к тексту не должна быть более 1 к 300 (1 ключевое слово на 300 знаков текста). Если плотность будет выше, то можете получите фильтр за спам ключами. Если плотность будет ниже, то у вас просто будет меньше ключевых слов на конкретной странице. В данном поле не обязательно прописывать все имеющиеся в тексте ключи, можно указать только фокусное.

Немного подведу итог правильности написания метатегов:

  1. Фокусное ключевое слово (или фраза) должно быть одно, например «продвижение сайтов».
  2. Фокусное ключевое слово должно присутствовать в названии, описании, ключевых словах, хотя бы в одном заголовке странице и встречаться 1 раз в тексте. Можно использовать разные словоформы (употреблять в различных падежах).
  3. Дополнительные ключевые слова подбираться по принципу фокусное слово (или фраза) плюс еще одно слово, например продвижение сайтов в яндексе.
  4. На 300 знаков текста должно быть не более 1 ключевого слова или фразы.

В качестве совета рекомендую тем, кто использует Google Chrome установить плагин на браузер под названием RDS bar. С его помощью вы сможете просматривать не только метатеги сайтов конкурентов, но и проанализировать их качество.

продвижение сайта с помощью rss ленты

Настройка RSS ленты

Если сайт написан на WordPress, то практически во всех темах, используемых для создания сайта, уже есть встроенная РСС-лента, найти ее можно так: ваш сайт/rss.xml, ваш сайт/feed.xml или как в моем случае ваш сайт/feed/ . Зачем нужна RSS-лента? Все очень просто. Существуют ресурсы, которые так или иначе будут парсить (забирать ее к себе на сайт) вашу ленту записей и для упрощения такого мероприятия прекрасно подойдет наша РСС-лента. Это нужно нам для того, чтобы совершенно бесплатно получать ссылки на наш сайт, при этом данного рода ссылки считаются естественными, что положительно скажется на продвижении интернет сайта и поможет хоть немного, но поднять его позиции.
Помимо положительных моментов в RSS-ленте, есть и отрицательные:

  1. Невозможно изначально отследить качество сайтов, размещающих ваши статьи у себя. Это могут быть как плохие, так и хорошие ресурсы, но в любом случае общий итог будет положительным, особенно если удастся транслировать свои записи в крупных ПС или на крупных порталах.
  2. Невозможно самостоятельно отсеивать не желательные для вас сайты. Единственное, что можно сделать в таком случае – это самостоятельно прогнать свой сайт через качественный агрегаторы, потому как они это вряд ли сделают за вас (описывать их в данной статье не буду, да и не зачем, так как они постоянно меняются, кто попадает под АГС, а кто-то нет).
  3. О том, что с вашего сайта кто-то парсит статьи вы узнаете только в момент обновления (апдейта) текстовой базы поисковой системы.
  4. Удаление ваших текстов с чужих сайтов – это самое проблематичное и трудоемкое занятие, так как вам нужно будет выйти на вебмастера того сайта и уже просить его удалить ваш текст.

Может показаться, что RSS-лента подойдет больше для продвижения сайтов блогов или новостных порталов, но это не так. На сегодняшний день большую роль играет контент и большинство сайтов продающих товары или услуги или еще что-либо не относящиеся к информационной тематике создают разделы, которые наполняются различными тематическими текстами. А чем больше будет естественных ссылок на эти разделы, тем больше пользы они принесут основным продвигаемым страницам, отдавая им свой честно заработанный вес.

продвижение сайта через настройку рсс ленты

Настройка трансляции записей и страниц сайта в социальных сетях

Трансляция записей вашего сайта – это один из способов не только ускорить индексацию и продвижение, но и получить массу бесплатных ссылок с одних из самых трастовых сайтов не только Рунета, но и мира. Рассмотрим варианты настройки таких трансляций:

  1. Самый трудоемкий способ – набивать анонсы статей в каждом из аккаунтов социальной сети вручную. Не самый лучший вариант провести свое время с пользой, поэтому заострять внимание на нем я не буду.
  2. Самый простой способ – настройка RSS-ленты через сайт rsstranslator.net (есть платная регистрация и бесплатная) с выводом трансляции в социальную сеть, а конкретно сразу в нужную вам группу. Способ очень прост и не требует настройки API для каждой из социальной сети. Регистрируетесь, вносите свои РСС-ленты в свой каталог, далее настраиваете с них трансляцию на вашу группу в соцсети (группу, аккаунт) и получаете ежедневное наполнение вашей группы в контакте. Для того, что бы аккаунт на РССтрансляторе не заблокировали нужно 1 раз в 6 месяцев заходить в свой личный кабинет на сайте, о чем система сама напоминает (очень удобно). Этот способ хорош еще и тем, что у вас не будет стоять плагина на сайте, который грузил бы ваш хостинг или сервер.
  3. Средний по сложности – установка специализированных плагинов на ваш сайт с тонкой настройкой API поисковых система для трансляции статей. Скажу честно, что лично я использую второй способ и не имею никаких проблем, поэтому описывать тонкости настроек приложений в данной статье описывать я не буду, но постараюсь уделить время написанию о, них в другой статье посвященной продвижению сайта через социальные сети.

Итак, в качестве примера настройки трансляции записей приведу свой сайт. Как вы видите в шапке у меня есть всего 2 иконки социальных сетей: vk.com и twitter. Вы спросите, а почему так мало? Лично мне этого хватает.
В РССтрансляторе я настроил 1 канал RSS-ленты со своего сайта (он же общий канал всех рубрик), далее я направил трансляцию с него в свою группу в контакте, а уже из группы в контакте настроил трансляцию в твиттер. Настройка из вконтакте в твиттер делается практически в 1 нажатие и не вызвало лично у меня никаких вопросов.
В итоге я получил ежесуточное автоматическое наполнение группы в контакте и аккаунта в твиттере, что положительно сказывается на продвижении позиций моего сайта с самого начала его написания. Дополнительно скорость индексации моих страниц снизилась со стандартных 4-5 недель в Яндексе до 1-2 недель, по Google страницы попадают в индекс уже в течение 1 суток.
Для начала работы по продвижению сайта, на мой взгляд, приведенной информации будет вполне достаточно, а об остальном вы сможете прочитать на страницах моего блога.