суббота, 29 декабря 2007 г.

Глава 7. Индексация веб страниц

Введение

Поисковые системы не всегда включают все страницы с веб сайтов. Обычно поисковые системы включают только образцы ваших страниц – тех страниц, которые будут сочтены наиболее ценными.

Некоторые из ваших страниц будут важнее для индексов, чем другие. Страница с информацией о продукте гораздо более важна для индексов, чем форма контракта, поскольку больше вероятность того, что кто-то будет искать информацию о продукте.

Поисковые системы не всегда могут найти нужные веб страницы самостоятельно. Иногда они нуждаются в небольшой помощи. В этой главе вы узнаете, как предлагать ваши веб страницы поисковым системам для индексации.

Введение в представление к рассмотрению

Большинство поисковых систем имеют бесплатный сервис по представлению ваших веб сайтов при помощи указания URL. Представление сайта поисковой системе не гарантирует, что сайт будет включен в индекс. К сожалению, большинство нежелательных сайтов представляются именно таким образом. Поэтому поисковая система предварительно оценивает веб сайт, прежде чем включать его в индекс.

Как представлять сайт поисковой системе

Большинство поисковых систем имеют форму, которую необходимо заполнить, чтобы представить веб сайт. Обычно можно найти ссылку внизу главной страницы помеченную как «Добавить URL».

Обычно требуется представить только главную страницу, поскольку поисковая система последует по ссылкам на ней к остальной части веб сайта.

Однако если вы имеете важные разделы, которые недоступны через обычную навигационную систему, то можно также представить и их. Если у вас имеется карта сайта (страница со ссылками на все остальные страницы сайта), то можно представить ее, чтобы помочь роботам поисковых систем найти всю информацию.

Подсказки

Самый простой способ довести ваш сайт до поисковых систем – это добавить его в главные каталоги, такие как Yahoo или ODP. Многие каталоги обеспечивают ввод данных в поисковые системы. Многие поисковые системы полагают, что если веб сайт зарегистрирован в каталоге, то он более ценен.

Не переусердствуйте

Не следует представлять сайт поисковой системе, в которой он уже проиндексирован. Некоторые специалисты по SEO рекомендуют делать это на регулярной основе для поддержки рейтинга. Это просто неправда и это может привести к нежелательным результатам.

Вы можете купить программу или сервис для представления вашего сайта в сотнях поисковых систем так часто, как вы этого пожелаете. БУДЬТЕ ОСТОРОЖНЫ, не используйте программы и сервисы подобного рода!

Правда в том, что используются только несколько главных поисковых систем и каталогов, которые обслуживают подавляющее большинство пользователей либо напрямую, через свои сайты, либо через предоставление своих индексов партнерам.

Платное включение в индексы

Некоторые поисковые системы, например, Yahoo и их партнеры предлагают коммерческие сервисы по представлению веб страниц. Это проверенный временем сервис и у него есть свои преимущества. Вы можете выбрать именно те страницы вашего сайта, которые необходимо проиндексировать, включая динамические страницы. Если у страницы есть URL, то она может быть добавлена в индекс при помощи данного метода. Платное представление страниц обычно включает в себя дополнительные выгоды, такие как регулярное обновление, отчет об активности и т.п. Yahoo Search Submit Basic является именно таким сервисом.

вторник, 25 декабря 2007 г.

Глава 6. Обычные проблемы

Введение в обычные проблемы

Есть несколько причин, которые могут помешать поисковым системам корректно проиндексировать ваш веб сайт. Данная глава посвящена наиболее частым проблемам подобного плана.

Фреймы

Фреймы – это всегда проблема для поисковых систем, когда они просматривают сайт. Некоторые исследования показывают, что пользователи также испытывают трудности при навигации по сайтам, в которых применены фреймы.

Якоб Нильсен, признанный эксперт по эргономике, обращает внимание на проблемы с фреймами в важной статье озаглавленной «Почему фреймы – провал (в большинстве своем)». Одна из раздражающих проблем с фреймами проявляется, когда пользователь хочет добавить ссылку на страницу в «Избранное». Если пользователь сохранил ссылку на веб страницу, которая находится во фрейме, то при последующем переходе по данной ссылке пользователь попадет на головную страницу сайта, даже если ссылка была на внутреннюю страницу.

Поисковые системы точно также не могут сохранить ссылки на внутренние страницы веб сайта для последующего использования в списке результатов. Поисковые системы начинают просматривать все страницы такого сайта в поисках индивидуальных страниц, на которые они могли бы сослаться. Однако пользователи при последующем переходе по таким ссылкам оказываются без возможностей навигации! Поэтому поисковые системы избегают ранжировать сайты основанные на фреймах. Сайты использующие фреймы могут хорошо обрабатываться поисковыми системами только при наличии других факторов, например, невероятной популярности сайтов.

Мы рекомендуем избегать фреймов, если вы хотите получить высокую видимость в поисковых системах. Работы по совершенствованию фреймов ведутся давно, но воз и ныне там. Хитрые разработчики могут использовать Javascript, чтобы заново запросить содержимое индивидуальных страниц в тот момент, когда поисковая система индексирует страницы. Это решает часть проблем. Но, тем не менее, индексация и присвоение рейтинга остается проблематичным.

Некоторые поисковые системы сохраняют содержимое в альтернативный контейнер NOFRAMES. NOFRAMES предполагался для браузеров, которые не поддерживали фреймы. Текст и ссылки в NOFRAMES могут помочь поисковым системам проиндексировать документы с фреймами.

HTML код выглядит тогда в таком виде:
<noframes>Разместите содержимое здесь</noframes>

Браузеры и поисковые системы, которые не поддерживают фреймы могут отображать содержимое помещенное в пределах контейнеров NOFRAMES.

При использовании данного метода рекомендуется:
• Заполнять секцию NOFRAMES тем же текстом, которым заполнена видимая часть страницы. Используйте только текст без картинок. Не используйте текст, который невидим на основной странице.
• Не забудьте в тексте, в NOFRAMES области, разместить ссылки, по которым могут переходить поисковые системы. Используйте точно те же ссылки, которые вы показываете пользователям в видимой части страницы, при этом делайте их текстовыми.

Использование данных рекомендаций не гарантирует, что ваши страницы будут проиндексированы и ранжированы, поскольку многие поисковые системы не читают содержимое NOFRAMES области и не следуют по ссылкам в этой области.

Динамические веб страницы

Динамические веб страницы обычно имеют содержание (картинки, текст, поля ввода и т.д.), которое может изменяться без перезагрузки веб страницы. Эти страницы обычно генерируются серверными программами «на лету».

Традиционный статический веб сайт состоит из набора индивидуальных файлов обычно с расширением “.html”. Например, index.html, products.html и т.д. Каждая страница – уникальный файл и обычно имеет уникальное, постоянное содержимое.

Напротив, динамический веб сайт, как правило, имеет один или несколько файлов, которые называются «шаблоны». Шаблон содержит указания о том, каким образом отображать данные, но не содержит самой информации. Вся информация содержится в базе данных. При этом шаблон знает, какую информацию следует загружать из базы данных. Технически это реализуется посредством передачи параметров в адресной строке при просмотре страницы.

Например, если шаблон называется pages.asp, и вы хотите загрузить содержимое с идентификатором ID равным 54, то URL будет выглядеть примерно так:

www.domen.com/pages.asp?ID=54

Это выглядит довольно просто, но вызывает затруднения при большом количестве параметров, которые используются для навигации. Тот же URL с несколькими параметрами может выглядеть следующим образом:

www.domain.com/pages.asp?ID=54?manufcturer_id=acmeco?color_code=brown?style_code=modern?size_code=xxl?upc=12345678

Такие комплексные URL (веб адреса) затрудняют обработку для поисковых систем. Просто нет метода для того, чтобы определить какой параметр определяет новую страницу, а какой просто сортировку содержимого, навигационную опцию или что-то еще, что не рассматривается как уникальная страница.

Есть другие факторы связанные с динамическими веб сайтами и сайтами на основе систем управления информацией (CMS) при индексации поисковыми системами. В данном пособии невозможно раскрыть все из них.

Появляется много программных средств, технологий и сервисов, которые помогают при индексации поисковыми системами. Для получения более детальной информации о том, каким образом оптимизировать тот или иной динамический сайт мы рекомендуем обратиться к экспертам в области оптимизации. Как правило, это требует более детального ознакомления с вашей системой.

Flash и Macromedia

Поисковые системы не читают Flash файлы, следовательно, содержимое и ссылки, размещенные в файлах данных форматов, не будут доступны для поисковых систем.

Вы можете прочесть больше о файлах Flash, Macromedia и Java апплетах в главе посвященной навигации.

Java апплеты и прочие клиентские приложения

Поисковые системы обычно читают текстовую информацию на веб странице. Они не читают текст и не переходят по ссылкам размещенным в Java апплетах и файлах других форматов, которые требуют дополнительных программ для их запуска.

Вы можете прочесть больше о файлах Flash, Macromedia и Java апплетах в главе посвященной навигации.

Определение IP, агентов и персонализация

Становится все более популярным для веб сайтов реализовывать различного рода персонализацию страниц. Такие веб сайты собирают различную информацию, которая может быть использована для подгонки веб страниц для определенного пользователя.

Например, серверные программы могут определять тип браузера пользователя, его версию, используемые плагины и при помощи данной информации предоставлять ту версию страницы, которая будет наилучшим образом работать на браузере пользователя.

Более продвинутое использование предполагает определение страны с целью предоставить локализованную версию страницы. Некоторые порталы и поисковые сервера уже используют данную технологию. Есть множество разумных причин, чтобы делать это, включая бизнес планирование, маркетинг, выпуск продукции разрешенной только в определенных странах.

Растущее усложнение в персонализации можно наблюдать на некоторых сайтах электронной коммерции, которые отслеживают такую информацию о покупателе, как история покупок, поведение при покупке, использование шаблонов и т.п.

Клоакинг

Та же технология для отслеживания информации о пользователе веб сайта может быть применена к роботам поисковых систем. Веб сайт может определить визит робота и подсунуть ему другое содержание. Данная технология называется «клоакинг».

Может быть несколько причин для применения данной технологии. Однако в большинстве случаев поисковые системы не любят использование таких технологий и считают их спамерской тактикой. Мы рекомендуем вам не использовать данную технологию, если для этого нет особых причин, и только если вы мастер в данной технологии и понимаете все возможные последствия.

Куки

Куки – это маленькие текстовые файлы, которые веб сервер может сохранить в браузере пользователя для последующего запроса, когда тот же пользователь зайдет на тот же самый сайт.

Куки безопасны для использования, поскольку не могут быть прочитаны другими пользователями или веб сайтами. Если Куки записан в браузер, то только тот сайт, который записал его, сможет его прочесть. Другие пользователи веб сайта не смогут получить доступ к информации в этом Куки.

Важно помнить, что роботы не принимают Куки. Следовательно, если ваш веб сайт использует Куки, то необходимо убедиться, что все страницы, которые нужно проиндексировать должны работать и без Куки.

Подсказка

Для тестирования работы веб страницы без Куки можно отключить прием Куки в браузере. Посмотрите в руководстве на браузер о том, как это можно сделать. Эта информация обычно находится в разделе «расширенных опций».

воскресенье, 23 декабря 2007 г.

Глава 5. Измерение популярности

Введение в популярность

Когда поисковая система пытается определить, какие из страниц Интернета больше всего подходят для сделанного запроса, то она должна учитывать гораздо больше факторов, чем просто содержимое каждой страницы. Поисковые системы пытаются учитывать меру популярности. Подытоживая написанное, большинство современных поисковых систем анализируют структуру ссылок и поток переходов в Интернете для определения подходящих веб страниц для включения их в результат поиска.

Процесс получения качественных ссылок с релевантных сайтов - это не дело одного дня. Это требует времени и усилий. Реализуя прекрасную стратегию популяризации ссылок на ваш сайт, вы можете получить положительные результаты в долгосрочном плане, но это не самый быстрый путь для увеличения рейтинга. Это как создание хорошей репутации. Надежная марка – дело времени. Но если вы пошли по данному пути, то успехи в повышении рейтинга очень важны.

Получение ссылок с правильных и релевантных веб сайтов не только повысит вашу популярность среди поисковых систем, но и приведет к увеличению посетителей прямо со ссылающихся веб сайтов.

Подсказка

Следующий список – краткий справочник по тому, где искать релевантные ссылки:
• Все главные и локальные каталоги, подобные Yahoo или ODP;
• Все торговые, экономические или индустриальные каталоги;
• Поставщики, удовлетворенные покупатели, дочерние компании, партнеры;
• Подобные, но не конкурирующие сайты.

Ссылочная популярность

Под ссылочной популярностью понимается количество ссылок между веб страницами в Интернете. Есть два вида ссылок заслуживающих внимание: входящие и исходящие – ссылки на ваш сайт и ссылки с вашего сайта.

О ссылках можно думать как о некоторой форме одобрения. Когда вы делаете ссылку на веб сайт, то одобряете его и рекомендуете вашим посетителям. Точно также, когда другой сайт делает ссылку на ваш веб сайт, то он рекомендует ваш сайт своим посетителям. Такая форма одобрения увеличивает ссылочную популярность веб сайта. Чем больше качественных ссылок с других сайтов, тем более подходящим считается сайт. Некоторые поисковые системы считают данный метод самым важным в определении релевантности.

Подсказка

Не все ссылки одинаковы! Например, ссылки от признанных авторитетов в вашей индустрии значат больше, чем ссылки от маленьких веб сайтов на бесплатных хостингах.

Не используйте программы для бесплатной регистрации на тысячах бесплатных каталогов и поисковых системах только для того, чтобы получить больше входящих ссылок. Ссылки от большинства таких мест не принесут много пользы, но увеличат риск нанести вред рейтингу вашего сайта.

Не участвуйте в обмене ссылками с нерелевантными сайтами для увеличения ссылочной популярности вашего сайта. Большинство поисковых систем считают, что это наносит вред рейтингу. Наоборот, фокусируйтесь на получении входящих ссылок с главных каталогов и важных релевантных сайтов в вашей области деятельности. Поскольку только они будут в действительности учитываться.

Популярность внутренних ссылок

Ссылки на и с внешних сайтов важны, но не являются единственными при определении ссылочной популярности. Структура ссылок вашего собственного сайта играет большую роль в определении важности каждой вашей страницы.

Ваши веб страницы, на которые ссылаются больше всего, получат и большую популярность. Если одна из ваших страниц имеет 500 внутренних ссылок указывающих на нее, а другая страница только 10, то первая страница, вероятно, будет более ценной для пользователей, так как за нее «голосуют» больше страниц.

Подсказка

Обычно навигационная система веб сайта указывает на 5-8 наиболее важных разделов вашего сайта. Эта навигационная система находится на всех страницах веб сайта и, следовательно, повышает ссылочную популярность данных разделов. Убедитесь, что вы разместили ссылки на те страницы, которым вы хотите дать более высокий рейтинг. А также в том, что на страницах имеется качественное содержание. Страницы, на которые имеются ссылки в навигационной системе, гораздо легче получат высокий рейтинг. Для больших сайтов динамическая навигация может оказаться хорошим решением. Та, которая изменяется в зависимости от просматриваемой страницы, та, которая предлагает смежные области для последующей навигации.