Тема веб-оптимизации, к сожалению еще недостаточно разработана в отечественных средствах массовой информации, в отличие от зарубежных, где давно ведутся жаркие дискуссии на эту тему. Поэтому в данной статье мы постараемся раскрыть основные принципы и подходы к оптимизации веб-сайтов для поисковых машин.

Успех веб-сайта начинается не с поисковой машины, а с наполнения вашего сайта и правильно выбранной оптимизационной стратегии. Не много пользы принесет засевание поисковиков линками сайта, если на сайте не совсем четко описано то, что вы предлагаете и кому вы это предлагаете. Как только вы определитесь с вашими заданиями и целевой аудиторией, можно начинать.

Подберите правильные ключевые слова

Тщательно подобранные ключевые слова являются осевой частью любой интернет-кампании. Главная цель тут - правильно предвидеть поисковые фразы, которые будут использованы потенциальными посетителями сайта. Основная причина того, что некоторые хорошо сделанные и продуманные сайты не добиваются популярности - неправильное использование ключевых слов.

Подумайте о том, что наиболее точно описывает ваш вид деятельности и что отличает вашу деятельность от ваших конкурентов; какие слова описывают ваши услуги, месторасположение, касаются потенциальных клиентов и их интересов.

Составьте список слов, которые описывают ваш сервис. Задайте по ним поиск на известных поисковиках и внимательно изучите полученные результаты. Просмотрите сайты ваших главных конкурентов в данной области и подсмотрите в коде их страниц, как это реализовано у них.

Overture ( http://inventory.overture.com/d/searchinventory/suggestion/ ) предоставляет очень ценную бесплатную услугу по поиску ключевых слов, которые встречаются чаще всего в комбинации с заданным, и сколько раз это слово искали на протяжении минувшего месяца. Компания Wordtracker предлагает аналогичную услугу, с несколько расширенными возможностями, но уже за умеренную плату. Программа Page Promoter производства компании NetPromoter содержит модуль, который строит список ключевых слов по результатам анализа поиска на основных поисковых сайтах.

1. Overture Inventory - чрезвычайно удобная и простая служба подбора ключевых слов.

Стройте ваш сайт вокруг ключевых слов

Разбейте содержание вашего сайта на ясно очерченные страницы и секции, которые представляют наиважнейшие тематики. Разработайте карту сайта. Каждая страница должна называться соответственно ключевому слову, на которое она направлена. Отталкивайтесь от составленной карты при создании сайта. Не прячьте основные страницы очень глубоко. Разместите навигационные ссылки так, чтобы минимизировать количество кликов при переходе от одной страницы на другую. Для сайта, содержащего, например, сто страниц, нетрудно сделать так, чтобы одна страница была не дальше, чем в двух кликах от другой. Дело в том, что некоторые поисковики индексируют только несколько первых страниц сайта, таким образом, если вы сделаете навигацию как можно проще, вы облегчите им поиск и индексацию остальных страниц. Хорошо продумав политику и структуру сайта, можно браться за регистрацию сайта на поисковых машинах.

Регистрация на поисковых сайтах и директориях

Давайте сразу же выведем различия между тремя понятиями, которые постоянно путают, но которые, тем не менее, все же следует различать.

Поисковая машина. Это база данных, которая использует поискового робота для исследования Всемирной паутины. При оценивании релевантности сайта робот пользуется алгоритмом, известным только его создателям. Этот алгоритм, к тому же, постоянно меняется, поэтому некоторые компании специально занимаются отслеживанием алгоритма поисковиков, в особенности же "Гугла". Поисковая машина может обслуживать несколько поисковых сайтов.

Поисковый сайт. Это веб-сайт, который пользуется результатами поиска поисковой машины. Он не обязательно имеет своего поискового робота и может пользоваться данными нескольких поисковых машин и каталогов.

2. Word Tracker иногда выдает "на гора" очень странные результаты.

Веб-каталоги. Это базы данных сайтов, составляемые и редактируемые людьми, работниками компании или добровольцами, как в случае Open Directory (DMOZ). Основная цель в существовании каталогов - дать людям непредвзятую объективную информацию и оградить от спама. Недостаток - очень долгий период времени, который проходит между тем, как вы подали сайт на регистрацию, и появлением сайта в индексе каталога. Остановимся на нескольких наиболее достойных внимания поисковых машинах и каталогах.

Согласно статистике компании OpenStat, по состоянию на ноябрь 2003 года, рейтинг наиболее популярных поисковых машин представлял собой следующее:

1. Google 56.1%
2. Yahoo 21.5%
3. MSN Search 9.4%
4. AOL Search 3.7%
5. Terra Lycos 2.3%
6. Altavista 1.9%
7. AskJeeves 1.6%

3. Google прочно закрепил за собой право называться лидером мирового поиска благодаря тщательно и удачно разработанному алгоритму.

О том, что Google прочно укрепился на первом месте по популярности, вряд ли стоит говорить. Эта компания, основанная двумя студентами Стенфордского университета, которая лишь в сентябре 1999 сняла знак бета-версии со своего веб-сайта, сейчас осуществляет поиск по трем миллиардам веб-страниц и делает более 50 процентов всего трафика любого веб-сайта. Поисковая машина в своей работе пользуется технологией PageRank, основные принципы работы которой кратко изложены на веб-сайте "Гугла". Каждая ссылка на сайт считается "голосом" за этот сайт и, соответственно, помогает ему поднять рейтинг. При этом оценивается не только сайт, к которому ведет ссылка, но и сайт, на котором находится ссылка, то есть оценивается релевантность сайта данной тематике. Под релевантностью следует понимать соответствие содержания сайта объявленной тематике. То есть поисковая машина считает оглавление страницы, содержимое мета-тэга DESCRIPTION и несколько абзацев текста. Тэг KEYWORDS будет проигнорирован, она сама решит, какие слова для данной страницы являются ключевыми, проанализировав частоту повторений определенной фразы в тексте. Тем не менее, мы настойчиво рекомендуем не отказываться от этого тэга, поскольку другие машины все еще пользуются им при оценивании релевантности страниц. Также следует обратить внимание на "заметность, или броскость" ключевых слов (keyword prominence). Особую важность будут иметь заголовки, заключенные в тэги <H1>-<H3>, слова, выделенные полужирным шрифтом, а также текст гиперссылок. Также предполагается, что определенный вес будут иметь слова в альтернативном тексте изображений (атрибут ALT). В Интернете существует множество публикаций, посвященных разгадыванию алгоритма. В последнее время много говорится о том, что "Гугл" оценивает не только количество ссылок, но и качество. Определив тематику страницы или сайта по своим собственным правилам, "Гугл" будет оценивать сходство тематики вашего сайта и сайтов, которые содержат ссылки на ваш. Ссылки с сайтов со сходной тематикой будут оцениваться выше, чем случайные ссылки. Поэтому, когда-то эффективный метод публикации ссылок на так называемых "фермах" линков (FFA farms), где ваш сайт, пребывая некоторое время в базе данных, мог быть замечен роботом и проиндексирован, сейчас практически не приносит желаемых результатов. Для этого есть несколько причин. Во-первых, в последнее время появилось много программ автоматической регистрации, которые забросят вашу ссылку на тысячи ферм одновременно. Поскольку тысячи людей во всем мире пользуются такими программами, время пребывания вашей ссылки в базе данных значительно сокращается. Ваша ссылка просто "вытесняется" новыми регистрациями. Во-вторых, даже если GoogleBot и наткнется на вашу ссылку, то ее ценность будет очень невысока, поскольку тематику таких ферм невозможно определить. Но и тут бывают казусы. При том, что "Гугл" делает ударение на релевантности страниц, содержащих ссылки, его все же можно провести. Я имею в виду нашумевший в прошлом году феномен Google Bomb. Американские блоггеры (веб-мастера, содержащие на своих веб-сайтах блоги, или онлайновые дневники) договорились "забомбить" официальную страничку Джорджа Буша на сайте Белого дома. Целью бомбардирования было добиться первого места для этой страницы по фразе "miserable failure", то есть "жалкий неудачник". Результат превзошел все ожидания. Теперь официальный сайт хозяина Белого дома выводится на первом месте результатов поисков даже по одному из слов - либо "miserable", либо "failure". Проверьте сами. Теперь о том, как это было сделано. Каждый из вышеупомянутых блоггеров поместил у себя на сайте ссылку, ведущую на сайт Буша и содержащую текст "miserable failure". В коде HTML это выглядит следующим образом: <a href=" http://www.whitehouse.gov/president/gwbbio.html ">miserable failure</a>. "Гугл", соответственно, "думает", что за ссылкой с определенным словом или словами он найдет страницу, содержащую более детальную информацию о предмете, заявленном в тексте ссылки. При этом, практически не учитывается тот факт, что НА СТРАНИЦЕ НЕТ НИ ОДНОГО ИЗ ЭТИХ СЛОВ! Об этом прямо говорится, если посмотреть на верхнюю часть в сохраненной на сервере "Гугла" версии страницы. Точно таким же образом пострадали Джимми Картер и Хилари Клинтон - соответственно, вторая и четвертая позиции. Как видите, "и на старуху бывает проруха"!

Yahoo! является самым старым поисковым порталом и находится на втором месте после Google по популярности, хотя еще несколько лет назад казалось, что этот поисковый портал прочно занял первое место в поисковом рейтинге популярности. Он имеет свою директорию, регистрация в которой вам будет стоить 299 долларов, причем оплата еще не гарантирует вам занесения в каталог. Если вы согласны заплатить данную сумму, то вам гарантируют, что сайт будет рассмотрен в течение семи бизнес-дней. На протяжении семи дней редактор директории посетит ваш сайт и решит, достаточно ли ваш сайт актуален и интересен для того, чтобы быть зарегистрированным. Если вы не готовы заплатить, то вы все же можете подать свой сайт на рассмотрение, но это займет намного больше времени - от нескольких недель до полугода. Единственное, что мы можем посоветовать - сделайте свой сайт как можно более информационно насыщенным и тщательно выберите категорию, в которой вы хотите зарегистрировать сайт. И последнее: не пытайтесь регистрировать сайт на порнографическую тематику - Yahoo! просто не принимает на бесплатную регистрацию сайты такой категории. Кроме своей директории, Yahoo! пользуется результатами поиска, предоставляемыми "Гуглом". До 2000 года поисковая машина Inktomi обслуживала Yahoo!, но потом, очевидно, признав преимущество поисковой технологии "Гугла", они перешли на его сервис. В июле 2003 года компания выкупила поисковую машину Inktomi. Скорее всего, корпорация осознала, что из партнера Google постепенно превратился в серьезного конкурента, вытеснив ее на второе место.

У MSN есть как собственная директория, так и поисковый робот - компания Microsoft известна своим стремлением объять как можно большую часть рынка интернет-технологий. Когда осуществляется поиск по ключевому слову, команда специалистов компании отслеживает наиболее релевантные на их взгляд сайты, вручную отбирает и классифицирует их и вносит в определенные рубрики директории. При выведении результатов поиска вы можете видеть некоторые результаты, обозначенные как Popular Topics. Это также работа редакторов, которые пытаются вывести более точные и релевантные результаты. Очень часто среди первых номеров в результатах поиска появляются ссылки на статьи из майкрософтовской энциклопедии Encarta. Конечно, одним только людским коллективом тут не обойтись, каким бы многочисленным он ни был, поэтому MSN черпает данные для своих поисков еще и в каталоге Look Smart, который, в свою очередь, также редактируется людьми. Для обслуживания самых "сложных" запросов MSN пользуется услугами вышеупомянутой машины Inktomi. Для того чтобы гарантировать себе присутствие в результатах поиска данной машины, следует зарегистрироваться в каталоге Look Smart и на сайте Inktomi.

Из каталогов, кроме вышеупомянутых Yahoo! и MSN, особо следует вспомнить проект Open Directory Project, он же DMOZ. В отличие от многочисленных самопровозглашенных каталогов и так называемых "ферм линков", каталог DMOZ является действительно авторитетным источником информации. Регистрация в нем бесплатна, но для того чтобы ваш сайт начал появляться в результатах поиска, вам придется подождать от двух недель до 6 месяцев. Объясняются такие продолжительные задержки недостатком редакторов для некоторых категорий. На домашней странице сайта вы увидите что на DMOZе работает около 60 тысяч редакторов, но это не текущее число редакторов, а количество людей, работавших там за всю историю существования проекта. Но даже когда ваш сайт появится в каталоге, не ожидайте сразу резкого повышения наплыва посетителей - мало кто пользуется этим каталогом для осуществления поиска. Тем не менее, польза от регистрации есть, и значительная, хотя и не прямая. Дело в том, что Google пользуется каталогом DMOZ таким же образом, как Yahoo! или MSN пользуются своими - по сути, каталог Google - это копия каталога DMOZ. Так что, несмотря на то, что у вас не будет посетителей непосредственно с каталога, присутствие в нем может просто-таки взвинтить ваш рейтинг к верхушке результатов поиска. Кроме того, другие поисковые машины, кроме Google, сканируют каталог DMOZ, а это опять-таки значит увеличение трафика.

Если ваш сайт представляет тематику, в которой идет напряженная борьба за первые места, и предложение очень высоко, бывает очень трудно, иногда даже невозможно пробиться к вершине поиска. В таком случае лучшим решением проблемы может быть покупка места в результатах поиска. Наиболее известными схемами платных включений в результаты поиска являются Overture, Google AdWords и каталог Look Smart.

Overture - наверное, самый известный из мировых PPC (Pay Per Click) аукционов. Она предоставляет платные результаты на таких поисковых платформах, как Yahoo!, MSN, AltaVista, AllTheWeb и других. Система покупки рекламы следующая: вы выбираете поисковые слова, по которым хотите чтобы вас находили, и сами назначаете цену за каждое прохождение по ссылке. Три самые большие ставки появляются на сайтах-партнерах Overture в рубрике Sponsored Links. Преимущества данной системы в том, что вы сами можете определять цену, которую готовы заплатить за каждое вхождение. Кроме того, публика, которая проходит по вашей спонсорской ссылке, - целевая, люди знают, что они там найдут. Overture также содержит штат сотрудников, которые проверяют релевантность представленного на аукцион сайта заявленной теме, поэтому практически исключается возможность того, что это - спам. Главный же недостаток в том, что вы в любой момент можете вылететь из результатов, если кто-то заявит ставку, большую чем ваша. В России главным и единственным аналогом Overture является "Бегун" ( http://www.begun.ru/ ), предоставляющий платные результаты на Mail.ru, "Апорт", и русский Lycos.

4. DMOZ - самый большой и авторитетный в мире каталог, отбираемый вручную волонтерами.

LookSmart являет собой комбинацию платной директории и PPC аукциона. Он предоставляет рекламное место на MSN, Lycos и Road Runner. Для российского Интернета этот каталог представляет мало интереса, поскольку большая часть его аудитории - Соединенные Штаты и Канада, где он занимает довольно-таки высокие позиции.

Хотя машинная регистрация и протоколирование рейтинга и считается незаконным приемом, о чем прямо заявляют специалисты поисковых сайтов, существует много программ, способных облегчить веб-мастеру работу, особенно если он должен вести постоянный надзор за несколькими сайтами. Рассмотрим некоторые из программ, облегчающих веб-мастерам оптимизацию и сабмит сайтов на поисковые машины.

Признанным мировым лидером среди программ регистрации является Web Position Gold ( http://www.webposition.com ). Программа содержит такие полезные модули, как протоколирование рейтинга по заданным ключевым словам, генератор дорвеев - специальных, оптимизированных под отдельные поисковики страниц, - а также анализатор существующих страниц. Кроме того, программа автоматически подает сайт на регистрацию на всех основных международных и национальных поисковых машинах. Главная проблема при пользовании данной программой состоит в том, что Google засекает использование этой программы, и ваш IP может быть заблокирован на некоторое время.

5. Web Position Gold - самая "раскрученная" программа по раскрутке сайтов.

Единственный на российском рынке русифицированный пакет программ NetPromoter (http://net-promoter.com/ru) исполняет практически все функции, хоть как-нибудь связанные с интернет-промоцией. Все функции пакета можно разделить на следующие три группы:

- Модуль Domain Name Checker позволяет производить поиск свободных доменов по протоколу WHOIS

- Анализатор лог-файлов отслеживает визиты поисковых роботов и позволяет создавать файл robots.txt

- Модуль Page Promoter помогает производить автоматическую регистрацию сайта на основных мировых поисковых машинах и сайтах FFA. Кроме того, программа детально анализирует отдельные страницы веб-сайта и выводит отчеты с рекомендациями по оптимизации, в том числе по частоте ключевых слов и количеству внешних ссылок на сайт.

Менее популярная программа для автоматической регистрации Search Engine Commando ( http://www.searchenginecommando.com ) все же стоит того, чтобы о ней упомянуть. Она, помимо функций автоматического сабмита на 123 основных мировых поисковых машинах и отслеживания рейтинга по заданным ключевым фразам, еще и следит за изменениями регистрационного статуса вашего доменного имени.

SubmitWolf Enterprise ( http://www.trellian.com/swolf/ ) - очень серьезная программа для автоматического сабмита, которая к тому же "умеет" редактировать мета-тэги и отслеживать рейтинг. Положительным моментом в программе является то, что она позволяет добавлять собственные адреса поисковых машин и FFA-сайтов.

6. Net-Promoter - Единственный в Рунете пакет программ, помогающий провести работы по созданию и раскрутке сайта "от А до Я".

Перед тем как начать процесс регистрации на наиболее известных поисковых машинах и директориях, еще раз просмотрите, хорошо ли содержание тэгов TITLE и DESCRIPTION отображает цель и вид деятельности вашего сайта - вам потом будет очень трудно переубедить тех же Yahoo! в необходимости изменения начальных данных. Именно содержимое этих тэгов будет создавать первое впечатление о сайте. Желательно, чтобы они совпадали с той информацией, которую вы будете подавать при регистрации. Если вы серьезно решили взяться за продвижение и раскрутку сайта, к этому делу надо подойти со всей серьезностью и ответственностью, поскольку этот процесс иногда может значительно растягиваться во времени, и пройдет много времени, прежде чем вы обнаружите свои ошибки. И еще больше времени займет их исправление.

Желаю вам успеха и высоких рейтингов!