Введение в обычные проблемы
Есть несколько причин, которые могут помешать поисковым системам корректно проиндексировать ваш веб сайт. Данная глава посвящена наиболее частым проблемам подобного плана.
Фреймы
Фреймы – это всегда проблема для поисковых систем, когда они просматривают сайт. Некоторые исследования показывают, что пользователи также испытывают трудности при навигации по сайтам, в которых применены фреймы.
Якоб Нильсен, признанный эксперт по эргономике, обращает внимание на проблемы с фреймами в важной статье озаглавленной «Почему фреймы – провал (в большинстве своем)». Одна из раздражающих проблем с фреймами проявляется, когда пользователь хочет добавить ссылку на страницу в «Избранное». Если пользователь сохранил ссылку на веб страницу, которая находится во фрейме, то при последующем переходе по данной ссылке пользователь попадет на головную страницу сайта, даже если ссылка была на внутреннюю страницу.
Поисковые системы точно также не могут сохранить ссылки на внутренние страницы веб сайта для последующего использования в списке результатов. Поисковые системы начинают просматривать все страницы такого сайта в поисках индивидуальных страниц, на которые они могли бы сослаться. Однако пользователи при последующем переходе по таким ссылкам оказываются без возможностей навигации! Поэтому поисковые системы избегают ранжировать сайты основанные на фреймах. Сайты использующие фреймы могут хорошо обрабатываться поисковыми системами только при наличии других факторов, например, невероятной популярности сайтов.
Мы рекомендуем избегать фреймов, если вы хотите получить высокую видимость в поисковых системах. Работы по совершенствованию фреймов ведутся давно, но воз и ныне там. Хитрые разработчики могут использовать Javascript, чтобы заново запросить содержимое индивидуальных страниц в тот момент, когда поисковая система индексирует страницы. Это решает часть проблем. Но, тем не менее, индексация и присвоение рейтинга остается проблематичным.
Некоторые поисковые системы сохраняют содержимое в альтернативный контейнер NOFRAMES. NOFRAMES предполагался для браузеров, которые не поддерживали фреймы. Текст и ссылки в NOFRAMES могут помочь поисковым системам проиндексировать документы с фреймами.
HTML код выглядит тогда в таком виде:
<noframes>Разместите содержимое здесь</noframes>
Браузеры и поисковые системы, которые не поддерживают фреймы могут отображать содержимое помещенное в пределах контейнеров NOFRAMES.
При использовании данного метода рекомендуется:
• Заполнять секцию NOFRAMES тем же текстом, которым заполнена видимая часть страницы. Используйте только текст без картинок. Не используйте текст, который невидим на основной странице.
• Не забудьте в тексте, в NOFRAMES области, разместить ссылки, по которым могут переходить поисковые системы. Используйте точно те же ссылки, которые вы показываете пользователям в видимой части страницы, при этом делайте их текстовыми.
Использование данных рекомендаций не гарантирует, что ваши страницы будут проиндексированы и ранжированы, поскольку многие поисковые системы не читают содержимое NOFRAMES области и не следуют по ссылкам в этой области.
Динамические веб страницы
Динамические веб страницы обычно имеют содержание (картинки, текст, поля ввода и т.д.), которое может изменяться без перезагрузки веб страницы. Эти страницы обычно генерируются серверными программами «на лету».
Традиционный статический веб сайт состоит из набора индивидуальных файлов обычно с расширением “.html”. Например, index.html, products.html и т.д. Каждая страница – уникальный файл и обычно имеет уникальное, постоянное содержимое.
Напротив, динамический веб сайт, как правило, имеет один или несколько файлов, которые называются «шаблоны». Шаблон содержит указания о том, каким образом отображать данные, но не содержит самой информации. Вся информация содержится в базе данных. При этом шаблон знает, какую информацию следует загружать из базы данных. Технически это реализуется посредством передачи параметров в адресной строке при просмотре страницы.
Например, если шаблон называется pages.asp, и вы хотите загрузить содержимое с идентификатором ID равным 54, то URL будет выглядеть примерно так:
www.domen.com/pages.asp?ID=54
Это выглядит довольно просто, но вызывает затруднения при большом количестве параметров, которые используются для навигации. Тот же URL с несколькими параметрами может выглядеть следующим образом:
www.domain.com/pages.asp?ID=54?manufcturer_id=acmeco?color_code=brown?style_code=modern?size_code=xxl?upc=12345678
Такие комплексные URL (веб адреса) затрудняют обработку для поисковых систем. Просто нет метода для того, чтобы определить какой параметр определяет новую страницу, а какой просто сортировку содержимого, навигационную опцию или что-то еще, что не рассматривается как уникальная страница.
Есть другие факторы связанные с динамическими веб сайтами и сайтами на основе систем управления информацией (CMS) при индексации поисковыми системами. В данном пособии невозможно раскрыть все из них.
Появляется много программных средств, технологий и сервисов, которые помогают при индексации поисковыми системами. Для получения более детальной информации о том, каким образом оптимизировать тот или иной динамический сайт мы рекомендуем обратиться к экспертам в области оптимизации. Как правило, это требует более детального ознакомления с вашей системой.
Flash и Macromedia
Поисковые системы не читают Flash файлы, следовательно, содержимое и ссылки, размещенные в файлах данных форматов, не будут доступны для поисковых систем.
Вы можете прочесть больше о файлах Flash, Macromedia и Java апплетах в главе посвященной навигации.
Java апплеты и прочие клиентские приложения
Поисковые системы обычно читают текстовую информацию на веб странице. Они не читают текст и не переходят по ссылкам размещенным в Java апплетах и файлах других форматов, которые требуют дополнительных программ для их запуска.
Вы можете прочесть больше о файлах Flash, Macromedia и Java апплетах в главе посвященной навигации.
Определение IP, агентов и персонализация
Становится все более популярным для веб сайтов реализовывать различного рода персонализацию страниц. Такие веб сайты собирают различную информацию, которая может быть использована для подгонки веб страниц для определенного пользователя.
Например, серверные программы могут определять тип браузера пользователя, его версию, используемые плагины и при помощи данной информации предоставлять ту версию страницы, которая будет наилучшим образом работать на браузере пользователя.
Более продвинутое использование предполагает определение страны с целью предоставить локализованную версию страницы. Некоторые порталы и поисковые сервера уже используют данную технологию. Есть множество разумных причин, чтобы делать это, включая бизнес планирование, маркетинг, выпуск продукции разрешенной только в определенных странах.
Растущее усложнение в персонализации можно наблюдать на некоторых сайтах электронной коммерции, которые отслеживают такую информацию о покупателе, как история покупок, поведение при покупке, использование шаблонов и т.п.
Клоакинг
Та же технология для отслеживания информации о пользователе веб сайта может быть применена к роботам поисковых систем. Веб сайт может определить визит робота и подсунуть ему другое содержание. Данная технология называется «клоакинг».
Может быть несколько причин для применения данной технологии. Однако в большинстве случаев поисковые системы не любят использование таких технологий и считают их спамерской тактикой. Мы рекомендуем вам не использовать данную технологию, если для этого нет особых причин, и только если вы мастер в данной технологии и понимаете все возможные последствия.
Куки
Куки – это маленькие текстовые файлы, которые веб сервер может сохранить в браузере пользователя для последующего запроса, когда тот же пользователь зайдет на тот же самый сайт.
Куки безопасны для использования, поскольку не могут быть прочитаны другими пользователями или веб сайтами. Если Куки записан в браузер, то только тот сайт, который записал его, сможет его прочесть. Другие пользователи веб сайта не смогут получить доступ к информации в этом Куки.
Важно помнить, что роботы не принимают Куки. Следовательно, если ваш веб сайт использует Куки, то необходимо убедиться, что все страницы, которые нужно проиндексировать должны работать и без Куки.
Подсказка
Для тестирования работы веб страницы без Куки можно отключить прием Куки в браузере. Посмотрите в руководстве на браузер о том, как это можно сделать. Эта информация обычно находится в разделе «расширенных опций».
