Важнейший фактор, по которому поисковик оценивает сайт — это уникальность его содержания. Однако, очень многие владельцы сайтов, по незнанию, нагружают на свой собственный сайт балласт, который сильно просаживает его в поисковой выдаче, а заодно делает бесполезным большой труд по написанию уникальных и оригинальных текстов. Ведь если разместить текст дважды даже на одном сайте, то его ценность резко сократиться, более чем в два раза. Рассмотрим дублирующие страницы и их влияние на ранжирование сайта.

www

Адрес с www — хорошо это или плохо?

Наверное все уже привыкли к традиционному префиксу www в адресах сайтов. Для многих это является непременным атрибутом домена, хотя это уже давно не так. Ведь можно заметить, что многие сайты благополучно обходятся и без www. То есть фактически — этот префикс не обязателен, а в некоторых случая даже вредит. Дело в том, что поисковые системы подобные сайты воспринимают как разные. В результате, если не налажено перенаправление или объединение, то поисковая система обнаруживает два сайта: www.777.ru и 777.ru. Причем оба этих сайта имеют абсолютную идентичность. Так и получается, что два сайта копируют друг у друга контент и нет возможности установить кто же из них создал свои тексты первым, а кто просто стянул у соседа. Поэтому поисковик исходит и принципа презумпции виновности и штрафует сразу «оба» сайта. Мы-то понимаем, что речь идет об одном сайте, но для поисковой машины необходимо пояснение, чтобы он воспринимал адреса с www и без них как один и тот же адрес, а еще лучше сделать так, чтобы выводился только один тип адреса.

убрать www

Как убрать www из адреса сайта?

Для того чтобы избавиться от нежелательного клонирования, необходимо либо объединить два адреса, либо убрать один из вариантов из поисковых систем. Делаться это может различными средствами. Например можно запретить индексирование страниц с www в файле robots.txt. Но это решение слишком грубое. Поисковик далеко не всегда может прислушаться к совету вебмастера, а сам вебмастер будет всегда путаться в адресах с www и без них.
Отредактировав файл .htaccess можно наладить перенаправление на один из вариантов адреса. Тогда независимо от того, какой тип адреса вписан в адресную строку www.777.ru и 777.ru, пользователь всегда окажется только на одном. В моем случае это 777.ru, и реализовано перенаправление именно силами .htaccess. Более консервативным заказчикам нравится www и они просят оставить себе такой вариант.
Сегодня большинство хостингов предлагают возможности серверов по объединению адресов с www и без оных. Кому-то может понравиться и такой вариант. Это гораздо проще, чем вручную править служебные файлы, но разные хостеры реализуют это объединение разными средствами, так что результат может оказаться не совсем удачным.

index php

Убрать index.php(html)

Такая же ситуация и с конечным суффиксом index.php или index.html. Если страницу можно открыть с таким окончанием или без него, то можно быть уверенным, что поисковик видит две страницы. Во многих системах управления сайтом предусмотрена функция скрытия этого суффикса, но даже там где она есть, разработчики не всегда уделяют время на ее активацию. В результате сайт получает «клона» по мнению поисковой системы и выдача в рейтинге понижается.
Для того, чтобы избавиться от этого клонирования можно так же прибегнуть к помощи robots.txt и .htaccess. Второй способ мне нравится больше, поскольку он эффективен не только для восприятия поисковой машины, но и человеком. Когда адреса у сайта понятные и лаконичные — это положительно влияет на авторитет его владельца, как человека, который стремиться не допускать лишнего мусора вокруг себя.