В рамках изучения структуры (рис. 2.5 а, б) вы должны определить:
□ структуру метатегов.
Пример схемы перелинковки (рис. 2.6).
Вовсе не обязательно слепо копировать все приемы, используемые конкурентом, но взять на вооружение наиболее эффективные из них необходимо. Кроме того, совокупное изучение структуры сайта и статистики позволит получить информацию о том, что именно нужно пользователю и как именно он решает свои проблемы при помощи сайта. Вполне возможно, что у лидера есть серьезные ошибки в навигации: они вряд ли отпугнут старых пользователей, но вот новые вполне могут предпочесть ваш портал просто потому, что он удобнее.
Сравнение индексов
Изучая поисковые индексы «Яндекс» и Google с помощью операторов inurl: и site, мы можем найти разницу в количестве проиндексированных страниц по сайту в целом и по каждому кластеру в частности. Это самая простая и эффективная проверка сайта на ошибки, дубликаты, мусор, проблемы индексации, и она позволит нам составить перечень проблем. Например, такой.
□ Одна и та же страница расположена по разным URL (дублирование). Причины разнообразны – это и смена системы URL без установки кода ответа 301 (страница перемещена навсегда), и использование кода ответа 302 (страница перемещена временно) вместо 301, просто создание нескольких страниц с одинаковым контентом, неправильное использование тегирования, отсутствие закрывающих инструкций в robots.txt и многое другое.
□ В индексе отражены версии страниц для печати.
□ Страница выглядит как сообщение об ошибке, но на уровне сервера отдает код ответа 200 (все в порядке).
□ Страницы с практически идентичным контентом.
□ Страницы с ошибкой базы данных (страница отдает код ответа 200, но весь контент на ней – ошибка базы данных (БД)).
□ Дубли, связанные с индексацией страниц с www и без.
□ Дубли, связанные с возможностью зайти на сайт по IP.
□ Дубли, связанные с Session ID.
□ Дубли, связанные с сортировкой элементов в каталогах.
□ Дубли, связанные с пагинацией и календарем событий.
□ Индексация страниц внутренней поисковой выдачи (тут следует отметить, что «Яндекс» не желает индексировать такие страницы, но грань между страницей внутренней поисковой выдачи и страницей каталога довольно зыбка).
□ Страницы с поддоменов – зеркальных, тестовых и т. п.
Веселая история про тестовый поддомен. Забавная история из практики связана с тестовыми поддоменами. Клиент звонит в ужасе и говорит: «Мы попали под фильтр». – «Почему?» – «У нас одна страница в выдаче». Смотрим – правда, одна страница в выдаче. Непонятно, как так получилось. Вчера было несколько тысяч страниц, сегодня одна. Оказалось, программист, перенося сайт с тестового домена на основной, поскольку на тестовом все продумано, перенес и robots.txt со строчкой «disallow/». Все.
