PageRank

Введение

Этот документ раскрывает мое понимание и точку зрения на алгоритм PageRank в Google. Для тех, кто не знает меня: я разрабатываю поисковые системы на заказ. Поэтому мне присуще программистское понимание алгоритмов поисковых систем, как они работают, что они могут делать, а что нет. Из-за этого я способен сделать немало выводов о том, как работает PageRank. Я верю, что информация в данном документе настолько точна, насколько возможно. Никто не знает наверняка детали PageRank, исключая саму Google¹.

Достаточно предисловий, приступим к тому, чему посвящен этот документ - к PageRank!

Что такое PageRank?

PageRank - это метод Google для измерения "важности" страницы. Когда все другие факторы, такие как тэг Title и ключевые слова учтены, Google использует PageRank, чтобы откорректировать результаты так, что более "важные" сайты поднимутся соответственно вверх на странице результатов поиска пользователя.

То есть, порядок ранжирования в Google работает следующим образом:

1. Найти все страницы, соответствующие ключевым словам поиска.
2. Отранжировать соответственно "страничным факторам", таким, как ключевые слова.
3. Учесть текст ссылок на страницы.
4. Откорректировать результаты данными PageRank.

Как определяется PageRank?

Теория Google гласит, что если страница A ссылается на страницу B, то страница А считает, что страница B - важная страница. Текст ссылки не используется в PageRank. PageRank также влияет на важность ссылок на страницу. Если на страницу указывают много важных ссылок, то ее ссылки на другие страницы также становятся более важными.

Насколько важен PageRank?

Значимость каждого отдельного фактора в алгоритмах поисковой системы зависит от качества информации, которое он обеспечивает. Поэтому имеет смысл вначале взглянуть на это качество.

Когда Гугл был лишь крохотным Гугленком в подгузниках, можно было с уверенностью сказать, что ссылка была точным признаком рекомендации. Однако, в настоящее время это больше не так по двум очень важным причинам:

1. Интернет существенно изменился. Ссылка сегодня это, скорее, лишь связанный сайт, лицензионное требование или ответная услуга (как перекрестные ссылки), чем истинная рекомендация².
2. Как только вы создадите поисковую машину, которая рассматривает ссылки как рекомендации, люди начнут пытаться воздействовать на ссылки. Как только они станут воздействовать на них, ссылки перестанут быть рекомендациями.

Поэтому надежность информации, обеспечиваемой ссылками, не обязательно хороша, и она постоянно уменьшается. Это является причиной низкой и все время уменьшающейся важности PageRank в алгоритме ранжирования Google.

Тем не менее, у PageRank есть одно реабилитирующие его свойство. На него трудней влиять, чем на любой другой фактор ранжирования. Это означает, что у PageRank есть возможность дать вам преимущество перед конкурентами, когда он использован в комбинации с другими приемами оптимизации для поисковых машин. Однако, я предупреждаю вас: тут нет коротких путей. Для эффективного использования PageRank вам нужно будет понять его полностью, иначе есть шансы, что вы будете тратить ваше время зря.

Основные факты о PageRank

Для понимания оставшейся части этого документа, вам нужно знать несколько фактов о PageRank.

1. PageRank - это число³, характеризующее исключительно голосующую способность⁴ всех входящих ссылок на страницу и то, как сильно они рекомендуют эту страницу.
2. Каждая уникальная страница сайта, проиндексированная Google, имеет вес PageRank. Люди часто ошибаются, думая о весе сайта, который на самом деле является весом главной страницы этого сайта⁵.
3. Внутренние ссылки сайта учитываются при расчете веса PageRank для других страниц сайта.
4. PageRank независим, он не принимает во внимание текст ссылок и т.д. Конечно, они связаны, но говорить, что это одно и то же, это все равно что говорить, будто тэг Title то же самое, что ключевые слова в тексте.

Как вы можете обнаружить, какой у страницы вес?

Вы можете скачать тулбар для Internet Explorer со страницы toolbar.google.com⁶. После инсталляции в верхней части Internet Explorer появится столбцовая диаграмма, дающая интерпретацию веса PageRank для страницы, которую вы в данный момент смотрите. Если вы задержите курсор мыши над диаграммой, то увидите число от нуля до десяти. (Если вы не видите числа, возможно, у вас установлена старая версия тулбара. Как только вы полностью его деинсталлируете, перезагрузите компьютер и установите последнюю версию, вы сможете видеть число.)

Насколько точен тулбар Google?

Тулбар Google показывает вес сайта не очень точно, но это единственный инструмент, который может дать вам прямо сейчас хоть какое-то представление. Поскольку вы знаете ограничения тулбара, вы, по меньшей мере, знаете, что вы видите. Есть 2 ограничения у тулбара Google:

1. Временами тулбар определяет вес приблизительно. Если вы откроете страницу, которой нет в индексе Google, но есть страница, очень близкая к ней в индексе, то тулбар отобразит свое предположение о весе PageRank. Эта догадка бесполезна для наших целей, потому что она не представлена ни в каких вычислениях PageRank. Единственный способ выяснить, использует ли тулбар догадку, это ввести URL в поисковую форму Google и увидеть, появится ли страница. Если нет, значит, он предполагает!
2. Тулбар дает только представление реального веса PageRank! В то время как вес PageRank линеен, они решили показывать его на нелинейной диаграмме. Так, для тулбара, изменение веса PageRank от 2 до 3 занимает меньше увеличения веса PageRank от 3 до 4. Это лучше всего иллюстрируется сравнительной таблицей; настоящие числа хранятся в тайне, поэтому мы будем использовать просто любые числа для иллюстрации⁷:

Надо надеяться, что вы можете увидеть из этой иллюстрации, сколь ограничена информация, которую вы получаете из тулбара.

С этого момента я собираюсь использовать термин "Настоящий PR" для обозначения подлинного веса PageRank, хранимого Google, и Тулбаровский PR для обозначения довольно скупого представления того, что тулбар Google позволяет нам видеть.

Расчет PageRank

Объяснив, что такое вес PageRank, т.е., что вы узнаете, когда получаете информацию о нем, и насколько он важен… в этом разделе я расскажу вам примерно как он вычисляется. Знать это не обязательно, однако, если вы поймете это, вы будете лучше понимать, как следует его применять.

Когда Google был только исследовательским проектом, они написали статью, подробно описывающую формулу, которая определяет вес PageRank для страницы. Хотя они, возможно, уже не используют в точности эту формулу, она представляется достаточно корректной для сегодняшних целей. Вот она:

PR(A)=(1-d)+d(PR(T₁)/C(T₁)+…+PR(T_n)/C(T_n)),

где PR(A) - это вес PageRank страницы A (тот вес, который мы хотим вычислить),

D - это коэффициент затухания, который обычно устанавливают равным 0,85,

PR(T₁) - вес PageRank страницы, указывающей на страницу A,

C(T₁) - число ссылок с этой страницы,

PR(T_n)/C(T_n) означает, что мы делаем это для каждой страницы, указывающей на страницу A

Жуть! Для тех из вас, кто не является математиком, здесь есть полная информация по этой формуле - вы не можете просто вычислить вес PageRank за один прием, как показано тут. Чтобы вычислить вес PageRank страницы A вам понадобится знать веса PageRank всех страниц, указывающих на страницу A. Их веса PageRank будут частично зависеть от страницы A, указывающей на них, либо каких-то других страниц, ссылающихся на них. Какая глупая формула. Что она нам говорит, так это одну очень важную вещь о весе PageRank любой страницы.

Вес PageRank, передаваемый на страницу A со страницы B, которая указывает на нее, уменьшается с каждой ссылкой куда-нибудь, которая находится на странице B. Это означает, что вес страницы, по существу, это мера ее голоса; страница может разделить этот голос между одной, двумя или многими ссылками, но общая голосующая сила будет всегда той же самой.

Сейчас забудьте формулу на некоторое время, потому что легче рассмотреть пример реализации, который очень похож на PageRank. Он должен помочь нам лучше понять PageRank. Назовем его MiniRank.

Вначале мы не знаем, какие веса MiniRank у этих страниц, поэтому мы их просто присвоим. Для простоты, мы выберем число один. В результате диаграмма становится.

Все еще легко! Сейчас вспомните правила передачи веса. Вначале мы применяем коэффициент затухания. (Коэффициент затухания, в основном, говорит о том, что страница не может голосовать так, чтобы другая страница была столь же важна, как она сама. Это означает, что страницы, к которым труднее добраться в Web, менее важны.) Затем мы делим сохранившийся вес на число ссылок. Мы подсчитываем итоговый вес, который должен быть добавлен ко всем до единой страницам, перед тем как мы окончательно его прибавим⁸.

Итак, глядя вначале на страницу A, видим, что значение веса MiniRank, доступное для передачи, после затухания равно 1*.85=.85. Со страницы ведут две ссылки, поэтому, по окончании итерации, мы добавим .425 к весу MiniRank страницы B и .425 к весу MiniRank страницы C. Мы не можем сделать это до тех пор, пока мы не рассчитали все ссылки страницы, потому что это повлияет на результаты.

Перейдем к странице B. Она содержит только одну ссылку. Поэтому, она передаст 1*.85=.85 странице C, когда мы сделаем все вычисления для ссылок.

Страница C также имеет одну ссылку. Поэтому она передаст вес 1*.85=.85 странице A.

Страница D имеет одну ссылку, поэтому она передает .85 странице C.

Сейчас мы можем добавить все суммы ко всем весам страниц.

Новые значения весов MiniRank показывают, сколь важна страница C. Но мы еще не завершили. Поскольку все страницы начали с 1 значения, по правде говоря, мы вычислили только популярность в ссылках (link popularity). Суть PageRank и MiniRank такова, что страницам, на которые чаще ссылаются, следует получить больше голосов; поэтому мы должны проделать то же самое еще раз! На этот раз страница C имеет большее влияние, потому что ее текущий вес MiniRank выше.

Так, посмотрим на страницу A вначале. Ее текущий вес MiniRank равен 1,85. Величина MiniRank, доступная для передачи, после применения затухания составляет 1,85*.85=1,5725. Есть две ссылки со страницы, поэтому по завершению итерации мы добавим .78625 к весу MiniRank страницы B и весу MiniRank страницы C.

Перейдем к странице B. У нее есть только одна ссылка. Следовательно, она передаст 1,425*.85=1,21125 странице C, когда мы завершим все вычисления со ссылками.

Страница C также имеет одну ссылку, но при этом обладает огромным весом 3,125 MiniRank. Поэтому она передаст 3,125*.85=2,65625 странице A.

Страница D имеет одну ссылку, поэтому она передает .85 странице C.

Мы получаем:

Мы уже можем видеть то, что следовало ожидать: страница C имеет наибольший вес MiniRank, страница A - следующий по величине. На практике нам нужно было бы повторить эти действия от 50 до 100 раз, чтобы гарантировать, что низкая точность предыдущих итераций сведена на нет. Просто!

Обратная связь PageRank

Но подождите минутку! Что-то происходит между страницами A и C, поэтому взглянем еще раз.

Во время одной итерации вычислений страница C дает странице A повышение в весе MiniRank (PageRank). Во время следующей итерации она сама получает увеличение веса, пропорциональное новому улучшившемуся весу MiniRank страницы A (она получает назад часть своего веса MiniRank!).

Это обратная связь PageRank. Можно подумать, что Google обязан игнорировать ссылки такого рода, особенно, если страница A и страница C расположены на одном сайте. Действительно, я слышал мнение нескольких человек, которые считают, что Google обязан. Истина в том, что Google не может сделать это. Представьте проделывание вычислений над миллионами страниц вместо четырех… представьте только как вам определять, когда встречается обратная связь, и как избавляться от нее. И даже если вы справитесь, как вы сведете на нет влияние, которое это окажет на оставшуюся часть системы? Обратная связь PageRank - неотъемлемая часть системы! Фактически, она нужна для правильного функционирования PageRank и является частью алгоритма.

Воздействие на результаты

Зная, как это работает, и что Google в некоторых случаях воздействует на результаты PageRank, мы в состоянии решить, что именно Google может делать.

Перед тем как начинаем вычислять PageRank, предположим, что ссылки некоторого сайта особенно хорошие. Скажем, страница B - это страница на Yahoo или DMOZ (каждый из которых демонстрирует этот вид воздействия); вместо установки их начальных значений в 1 мы можем установить их в 100 или большее число⁹. Делая это, мы предполагаем, что Google незначительно изменяет веса PageRank, зависящие от этой страницы.

Мы можем проделать обратное, только в меньшей степени. Предположим, что страница B признана спамом. Если мы установим начальное значение веса PageRank в ноль, то ее вес вначале не будет иметь никакого влияния, но станет вскоре получать влияние, пока будут существовать сайты, ссылающиеся на нее.

Имейте это в виду: в PageRank мы можем легко увеличить важность ссылок страницы, сделав их настолько важнее, насколько мы хотим, однако, обратное не верно - PageRank значительно препятствует возможности уменьшить важность ссылок страницы¹⁰.

Это, как раз то, что происходит с сайтами, зарегистрированными в Yahoo и DMOZ. Каждая страница Yahoo и DMOZ, кажется, имеет увеличенный вес, поэтому сайты, зарегистрированные в этих 2 каталогах получают славное небольшое увеличение веса PageRank.

Так вот, разве не могли они корректировать вес PageRank страницы B после каждой итерации вычислений? Да, они могли, но Google работает с миллионами страниц, и должен был бы корректировать вес всех подобных страниц каждый раз. Это сделало бы алгоритм очень медленным.

А как насчет установки веса PageRank после всех вычисления и получения конечных весов страниц? Да, они могут и, несомненно, делают это. Однако, это имеет большее отношение не к обработке ссылок, а к изменению индивидуальных результатов. Предположим, что главная страница Google недостаточно высока для Google. Они могут просто изменить это. Или если страницы результатов поиска Google имеют PageRank, они могут просто это убрать. Это шаг после обработки данных.

Заметьте, однако, что есть небольшая особенность в применении Гуглом этого метода для исключения спамеров из индекса. Не полагайте, что если ваш вес PageRank внезапно стал равен нулю, то Google использовал данный метод для обнуления веса. Намного легче всего лишь запретить страницу целиком. Запрещение также более логично, потому что оно убирает влияние, которое, в противном случае, ваша страница получит в процессе вычисления PageRank. Нулевой вес PageRank, в большинстве случаев, появляется из-за других факторов, таких как проблема временных вычислений.

Что это все означает?

Вес PageRank - самый трудный для манипулирования фактор при оптимизации страниц. Хотя его влияние не так велико, как верят некоторые, если вы можете понять его правильно, то вы имеете достаточно хорошее преимущество перед вашими конкурентами. Вес PageRank трудно как получить, так и удержать. Нижеприведенная информация действительно доводит это до крайней степени. На практике вы могли использовать все или часть, в зависимости от того, насколько конкурентоспособным вы себя чувствуете, и того, насколько сильна конкуренция.

Есть 3 основных области, которые стоит осмотреть и, возможно, изменить, когда вы пытаетесь оптимизировать ваш вес PageRank:

1. Страницы, которые вы выбираете для получения ссылок на вас, т.е. какие из них вы отбираете и как много усилий тратите на получение ссылок.
2. Те, кого вы выбираете, чтобы сослаться на них со своего сайта, и на какой странице вашего сайта вы помещаете их ссылку.
3. Внутренняя навигационная структура и связи ваших страниц - с целью создания максимальной обратной связи PageRank.

Ссылки на ваш сайт

Когда вы ищете ссылки на ваш сайт, с точки зрения исключительно PageRank можно подумать, что следует просто искать страницы с самым высоким Тулбаровским весом PageRank. (В то же время держа в уме, что каждая страница сайта имеет свой собственный вес PageRank, поэтому вы должны рассмотреть вес "страницы ссылок", или какой бы то ни было страницы, где будет расположена фактическая ссылка.) Однако, эта точка зрения некорректна. Если вы не перепрыгнули прямо в этот раздел, то вы, вероятно, определите, почему это так. Вес PageRank, получаемый с ссылкой, намного сложнее, чем это упрощение. Мог быть случай, когда это было приемлемым приближением… но не больше. По мере того как все больше и больше людей пытаются и получают ссылки только с сайтов с высоким значением веса, это становится все менее и менее выигрышным предложением.

Настоящий вес PageRank отдельной страницы делится среди ссылок на этой странице (помните расчеты MiniRank?) Поэтому, ссылки со страниц, которые имеют одинаковый вес PageRank, не всегда созданы равными. Это зависит от того, со сколькими ссылками делит ссылающуюся страницу ваша ссылка. Например, ссылка со страницы с весом PageRank 4 может быть лучше, чем ссылка со страницы с весом PageRank 6, если на странице с PR 4 меньше общее число ссылок. Возможно, что страница с PR 2 может даже быть лучше для просьбы о ссылке, чем страница с PR 7. В данный момент недостаточно доступной информации, чтобы узнать, до какой степени это простирается. Однако, это достаточно значимо, чтобы было бессмысленно просто выбирать сайты с большим весом в качестве основной стратегии получения ссылок. Есть также другая, более прозаичная причина, почему эта стратегия получения ссылок может быть не лучшей; сайты с высоким весом PageRank часто разборчивы в том, на какие сайты ставить ссылку, что делает получение ссылки с них более трудным, чем с сайтов с низким весом. Однако, сайтам, сражающимся со своими числами весов PageRank, следует быть более восприимчивыми к обмену взаимными ссылками с другими сайтами.

Сейчас давайте рассмотрим обратную связь. Предположим, например, что есть две самостоятельных страницы на сайтах других людей, каждая из которых имеет вес PageRank 4. Обе страницы имеют по 10 ссылок на другие страницы. Но ваша страница, на которую вы хотите получить с них ссылки, уже имеет ссылку на страницу на втором сайте. Получая ссылку со второго сайта, вы порождаете обратную связь, и получаете больший вес PageRank, чем если бы получили ссылку с первого сайта! Это чрезмерное упрощение; фактически, циклы обратной связи могут стать даже более сложными. Помните, что число ссылок на странице, ссылающейся на вас, будет менять величину обратной связи, и т.д.

Можете ли вы вычислить все это для заданной страницы? Нет - и я не могу. Мой совет, поэтому, таков - получайте ссылки с сайтов, которые кажутся подходящими и имеют хорошее качество, независимо от их текущего веса PageRank. Если они релевантны вашему сайту, и сами высококачественные сайты, они либо помогут вашему весу PageRank сейчас, либо сделают это в будущем. Чтобы на самом деле сделать ваш вес PageRank классным, зарегистрируйтесь в DMOZ и Yahoo с целью воспользоваться искусственно увеличенным весом, который они обеспечивают.

Ссылки с вашего сайта

Чтобы рассмотреть наилучшую стратегию простановки ссылок с сайта, вначале нам нужно рассмотреть ссылки, указывающие на ваш сайт. Под этим я подразумеваю, что нам надо предположить, что у вас есть ссылки, указывающие на ваш сайт из каталогов, подобных DMOZ и Yahoo, которые дают ему небольшое славное приращение веса PageRank. Используя внутренние страницы сайта, вы можете управлять обратной связью значительно лучше, чем используя ссылки на внешние страницы. Это приводит к правилу…

В общем случае, вам будет нужно сохранить вес PageRank внутри вашего сайта.

Это означает, что вам нужно будет ссылаться наружу только со страницы вашего сайта, которая имеет низкий вес PageRank, и которая также содержит значительное число внутренних ссылок (т.е. ссылок, указывающих на другие страницы вашего сайта).

Итак, когда вы ставите ссылку наружу, вы отдаете предпочтение тем страницам, которые либо ссылаются на ту страницу вашего сайта, которая находится страницей выше ссылочной страницы [например, если внешняя страница A ссылается на вашу страницу B1, которая, в свою очередь, ссылается на вашу страницу B2, на которой и расположена ссылка на внешнюю A], либо которые ссылаются на ту страницу, которая ссылается на страницу, ссылающуюся на вашу ссылочную страницу [A -> B1, B1 -> B2, B2 -> B3, B3 -> A] (т.е. вы получите большее увеличение веса PageRank, если ссылки со внешних сайтов не указывают на вашу ссылочную страницу).

Как мы можем осуществить это? Одним способом будет написание обзоров сайтов, на которые мы ссылаемся, на отдельной странице нашего сайта, и обеспечение ссылки на эти обзоры вместе с каждой гиперссылкой на внешний сайт. Необязательно, но будет неплохо, если эти страницы будут открываться в другом окне но НЕ ДЕЛАЙТЕ это на JavaScript, потому что роботы поисковых систем не могут следовать по ссылкам на JavaScript.

Например, мы можем сделать что-то подобное с каждой ссылкой на внешний сайт:

<a href=//searchenginesystems.net>

Search Engine Systems - это лучшие в мире поисково-машинные существа.

Проверьте, что страница обзоров ссылается назад на страницу, которая находится выше в структуре вашего сайта. (Лучше всего, если это будет ваша главная страница, но любая важная страница также подойдет). Сделав это, мы значительно сократили количество веса PageRank, которому вы позволяете покинуть сайт, и обеспечили, что большая часть веса PageRank, которая остается, также увеличивается эффектом обратной связи! Мы нацелили эту обратную связь на главную страницу, чтобы гарантировать, что меньше веса передается назад вашей ссылочной странице (что было бы упущенной возможностью), и больше остается где-либо на вашем сайте. На вашей ссылочной странице также нужно поставить ссылки на главную страницу и другие значимые страницы сайта. Однако, не ставьте других ссылок на странице с обзором (кроме ссылки на главную страницу). Очень хорошо, если кто-то ставит ссылку на вашу страницу с обзором, поэтому, вдобавок, вы можете дать знать сайту, что вы рецензировали его - вполне возможно, что вы получите две ссылки с этого сайта (одну на ваш сайт и одну на обзор чужого сайта). Все очень трудно для понимания в текстовой форме, поэтому давайте займемся упрощенным примером, чтобы показать принцип и продемонстрировать его действие.

Наша простая структура с начальными значениями весов MiniRank:

После первой итерации вычислений мы получаем:

В конце 2-й итерации мы имеем:

И в конце третьей итерации мы имеем:

Суммарный вес MiniRank внутри сайта равен 19,959.

Сейчас, если мы установим ссылки, чтобы включить обзоры, указывающие на главную страницу, мы получаем:

После первого этапа вычислений мы получаем:

После второго этапа вычислений мы получаем:

После третьего этапа вычислений мы получаем:

Суммарный MiniRank сайта равен 47,31 (а мы начали с весом, большим на четыре). Немного в этом проявляется сила дополнительных страниц и немного - сила обратной связи. Но в целом:

Это отлично демонстрирует силу обратной связи¹¹. Мы отдаем часть голосов наших ссылочных страниц назад в систему наших сайтов, не позволяя им уйти по внешним ссылкам. Вот почему большие сайты в общем случае имеют лучший вес PageRank, чем меньшие сайты. В самом деле, почему вы это еще не делаете?!! Начинайте сейчас же написание обзоров сайтов, перечисленных на ваших ссылочных страницах! (Заметьте, числа приведены только для демонстрационных целей в качестве общего показателя силы этого метода, действительные числа будут отличаться).

Внутренняя структура и связи

Поговорив о ссылках на внешние сайты, имеет смысл поговорить о том, как внутренняя ссылочная структура вашего сайта влияет на его собственный вес PageRank. Давайте освежим в памяти пару фактов:

Чем больше страниц конкретный сайт имеет в индексе Google, тем выше у него начальный суммарный вес PageRank, и тем больше вес PageRank, с которым он должен работать. Так как каждой странице задано одно и то же начальное значение до того, как начинает вычисляться PageRank, большее число страниц может быть только лучше. Будет логично заключить, что если у нас есть больше для начала, то эффект обратной связи будет также более значительным. Когда-нибудь обратите внимание, как же большим сайтам удается иметь более хороший вес PageRank? Эффект обратной связи объясняет, почему. Конечно, ваши страницы должны иметь смысл и хорошее содержание, чтобы для начала попасть в индекс. (Обзоры в последнем разделе могут быть хорошим примером).

Обратная связь - это естественный процесс для PageRank. Он имеет место среди внутренних ссылок сайта и является критическим для оценок Google о том, какие страницы сайта важны. Если у сайта не будет входящих или исходящих ссылок [ссылок со внешних сайтов и на внешние сайты, соответственно], структура сайта обеспечит то же самое количество обратной связи. Однако, когда мы учитываем входящие и исходящие ссылки, внутренняя структура сайта важна. Например, если сайт имеет исходящие ссылки на страницу, то мы захотим оставить вес PageRank этой страницы минимальным.

Есть разные способы, которыми можно связать страницы внутри сайта. На практике, веб-сайты могут использовать их комбинацию. Использование комбинации это нормально и прекрасно до тех пор, пока вы понимаете различные части структуры сайта и то, как они влияют на ваш вес PageRank. Для целей данной статьи мы рассмотрим различные структуры связей как отдельные объекты. У нас есть:

Иерархическая

Циклическая

Обширное связывание

Помните, что мы не обязательно хотим, чтобы вес PageRank был равномерно распределен по всему сайту. Мы хотим добиться максимальной обратной связи в системе и мы хотим, чтобы ее можно было ее фокусировать на особых страницах (т.е. тех, в которых мы оптимизировали текст с ключевыми словами и т.д.). Так как я уже довольно много демонстрировал вам вычисления MiniRank, я просто покажу результаты каждого вида ссылочной структуры после 10 проходов вычислений:

Иерархическая

Циклическая

Обширное связывание

Обратите внимание, как суммарный вес MiniRank внутри сайта оказывается одним и тем же (1878,353). Это потому что тут еще нет никаких входящих или исходящих ссылок. Что важно, так это распределение веса. Иерархическая структура проталкивает больший вес MiniRank на главную страницу (другие сайты, наиболее вероятно, будут ссылаться на главную страницу и эта страница, менее вероятно, будет иметь исходящие ссылки). Нет видимого различия между циклической структурой и структурой с обширными связями. Давайте посмотрим, что случится, когда мы усложним структуру добавлением внешних исходящих и входящих ссылок…

Иерархическая

Циклическая

Обширное связывание

Хотя в этих примерах сделано всего несколько итераций для вычисляемой формулы, они уже начинают показывать правила связывания внутри сайта:

Обширное связывание обеспечивает незначительно лучшую обратную связь PageRank, чем иерархическая структура, и обе структуры обеспечивают немного лучшую обратную связь PageRank, чем циклическая.

При множестве иерархических связей страницы, стоящие выше в структуре, получают намного больший вес PageRank. Это означает, что мы отдаем меньше веса PageRank нашим исходящим ссылкам.

На практике это означает, что вам следует сочетать данные методы связывания страниц. Правила таковы:

1. Там, где группа страниц может содержать внешние ссылки, используйте иерархическую структуру.

2. Там, где группа страниц не содержит внешних ссылок, используйте структуру с обширными связями, расширив ее добавлением ссылки на главную страницу.

3. Если конкретная страница особенно важна, помещайте ее выше в иерархической структуре.

Как использовать вашу карту сайта для целей PageRank

Многие люди верят, что карта сайта помогает роботам поисковых машин обходить страницы. Я не уверен в этом, но из-за их популярности и факта, что они включают некоторые хорошие ссылки с нужным текстом, давайте посмотрим, как лучше всего их реализовать с точки зрения PageRank.

Вначале, ссылайтесь на вашу карту сайта с главной страницы, как вы обычно это делали.

Помните, что наличие карты сайта эффективно понижает вес PageRank других ваших страниц (особенно если на нее ссылается страница вашего сайта с самым высоким весом PageRank). Поэтому мы хотим проверить, что карта сайта делает две вещи:

1. Максимизирует ваш начальный суммарный вес (добавляя новые страницы).
2. Возвращает обратными связями так много веса PageRank, насколько это возможно.

Первое немного противоречиво. Чтобы заставить карту сайта максимизировать ваш начальный суммарный вес, мы должны разбить ее на несколько страниц. Вы можете подумать: "Итак, это делает ее обход сложнее для робота, верно?" Ответ и "да", и "нет". Иногда действительно индексирующему роботу сложнее извлечь сотни ссылок из одной страницы. Однако, в настоящее время любой хорошо работающий робот индексирует достаточно глубоко, чтобы справиться с картой сайта, разнесенной на несколько страниц.

Сейчас давайте займемся максимизацией вашей обратной связи PageRank. Каждой карте сайта следует иметь ссылку на главную страницу и другие значимые страницы вашего сайта. Если ваша карта сайта содержит ссылки на страницы, которые включают ссылки на внешние сайты, то вам обязательно следует минимизировать количество веса PageRank, которому эти страницы позволят исчезнуть из вашего сайта.

Поэтому, вот что вы можете сделать…

Разбейте вашу карту сайта на категории и выделите каждой категории отдельную страницу. Ваша карта сайта сейчас становится списком этих страниц категорий (вместо карты всего сайта). В каждую категорию вы можете поместить примерно до 30 ссылок. Вам следует также давать рядом со ссылкой описание содержания каждой страницы. Когда вы размещаете среди ваших категорий страницу, на которой есть ссылки на внешние сайты, выбирайте категорию, в которую входит большое число ссылок.

Далее, вы должны связать каждую из страниц категорий вместе, а также со списком категорий (бывшая страница с картой сайта). Чтобы сделать это, просто поместите навигационное меню, которое ссылается прямо на страницу со списком категорий или любую другую страницу категорий, на каждую из них. Конечно, включайте ссылки на главную страницу и другие значимые страницы на каждую из страниц категорий.

Это максимизирует обратную связь и сохраняет низким вес PageRank страниц карты сайта. Идея в том, чтобы уменьшить вес PageRank всей карты сайта, отдав его сайту в целом.

Заключительное слово

PageRank - это очень трудная тема, которая часто неправильно понимается. Думаю, стоит повторить некоторые моменты, касающиеся данной статьи и PageRank. Этот документ - еще незавершенная работа и, вероятно, будет оставаться таковой еще долгое время. В данный момент здесь недостаточно информации для нас, чтобы быть на 100% уверенным в чем-либо. Я просто показываю предположения, основанные на лучшей из доступной информации, которая кажется в значительной степени верной. Когда Google решает позволить нам увидеть информацию о весе PageRank, он делает это через тулбар Google. Когда вы будете смотреть на тулбар Google, я надеюсь, что вы вспомните как минимум одну строчку из предыдущего обсуждения: "Тулбар Google показывает вес сайта не очень точно, но это единственный инструмент, который может дать вам прямо сейчас хоть какое-то представление".

У PageRank есть свое место в процессе ранжирования. Это место не столь заметное, как многие могут полагать. Его значимость в алгоритме ранжирования меньше, чем у многих других факторов, таких как тэг Title или текст ссылок. Оптимизация сайта только для PageRank не даст вам хороших мест. Сущность PageRank такова, что им трудно манипулировать. Поэтому, если вы получите хороший вес PageRank, вашим конкурентам будет трудно сравняться с вами. Стоит ли ваше время того, чтобы серьезно сосредотачиваться на PageRank, это личное решение, которое зависит от уровня вашей конкуренции. Я безусловно верю, что как минимум всегда стоит понять, как PageRank работает, и помнить это всякий раз, когда вносятся изменения или создаются новые сайты - помнить всего лишь как другие факторы, такие как текст ссылок и ключевые слова, которые всегда у нас в мыслях.

Послесловие

Как лучше понять PageRank?

Народная мудрость гласит, что лучше сто раз пощупать, чем один раз увидеть. Поэтому только работа с моделями PageRank позволяет прочувствовать этот алгоритм до конца. "А если тут добавить ссылку? Или поставить ссылку на внешний сайт? Может, лучше сделать кольцо из ссылок?…" Все это реально опробовать на модели. Я предлагаю вам для изучения две модели.

Первая модель сделана в Excel (скачать модель) и дает возможность работать с 12 страницами (этого достаточно для всех примеров из данной статьи). Формулы не скрываются, поэтому, при необходимости, число страниц довольно легко расширить до необходимого количества. Если у вас есть Excel, это, пожалуй, лучший вариант, так как вы можете полностью контролировать вычисления и изменять структуру моделируемого сайта так, как вам угодно.

Вторая модель написана Марком Хоррэлом и работает только в онлайне, но она также стоит внимания. Модель позволяет задать связи до 50 страниц, выбрать для них имена, начальный вес PageRank и просчитать веса PageRank с количеством итераций вплоть до 100.

Как удержать вес PageRank внутри сайта?

Рассказывая о сложных структурах, помогающих сохранить вес PageRank внутри сайта, Крис не упоминает о 2 простых методах.

1-й - использование JavaScript. Поисковики не индексируют его (причина довольно очевидна - интерпретация JS для каждой страницы потребует гигантские вычислительные ресурсы). Следовательно, любая внешняя ссылка, оформленная на JS будет нормально восприниматься пользователями (99% работают со включенным JS), но при этом не учитываться поисковиками, а, значит, и не принимать участие в расчетах PageRank. Таким образом, для поисковой машины ваш сайт будет без единой внешней ссылки, и проблема удержания веса исчезает полностью.

2-й метод не менее изящен и предложен Крисом. Если все внешние ссылки сосредоточены на нескольких страницах, то достаточно всего лишь запретить их индексацию с помощью файла robots.txt, и поисковая машина не будет знать, что у вас на сайте есть внешние ссылки.

Безусловно, такое поведение будет нечестным, если вы договариваетесь об обмене ссылками с каким-либо сайтом. Однако, во всех остальных случаях, когда вы ставите ссылки добровольно, чтобы сделать работу пользователей удобней, никто не мешает вам сохранить вес PageRank внутри сайта.

Как выбирать сайты для получения ссылок?

Рекомендация Криса была такой: "…получайте ссылки с сайтов, которые кажутся подходящими и имеют хорошее качество, независимо от их текущего веса PageRank". Это верно, но как оптимизировать соотношение качества ссылок и затрат времени на их получение? Решение есть. Качеством ссылок, как показал Крис, управлять практически невозможно, значит, необходимо сократить затраты времени на их добывание. Вспомните для начала, что временные потери складываются из 2 факторов: во-первых, времени на написание просьбы о ссылке, и, во-вторых, числа положительных результатов (какой процент ссылок реально добавлен). Написание просьбы о ссылке существенно оптимизировать нельзя, так как рисковать сайтом, рассылая спам, зачастую неоправданно. Следовательно, ускорить добывание ссылки можно только в том случае, когда процент положительных результатов будет максимальным.

И для этого я пользуюсь своим методом, который называю "делай, как все". Суть его проста: вначале нужно получить относительно большой список конкурирующих сайтов - хотя бы 50-100 конкурентов - это можно сделать, например, задав целевой запрос в поисковике или заглянув в соответствующий раздел каталога. На основе этих данных легко получить через поисковик список страниц, ссылающихся на каждого из конкурентов. Отсортировав его в порядке убывания числа упоминаний и исключив страницы, которые уже ссылаются на ваш сайт, получаем перечень страниц, которые согласились дать ссылку большому числу конкурентов. Так почему же они откажутся дать ссылку вам? Скорее всего, это будут тематические каталоги, обзоры, сайты ассоциаций и объединений, где вы быстро и без труда получите ссылку. Если при этом учесть, что через Google вы можете узнать только ссылки, у которых Тулбаровский PageRank больше или равен 3, то в вашу выборку автоматически попадают страницы только с высоким весом. Неплохо, правда?!

Не забывайте о цели!

После того как ссылки получены, не забывайте о цели своей работы - получить высокий вес PageRank для сайта. Следовательно, поисковик должен знать про страницу, которая добавила вашу ссылку. Конечно, можно надеяться, что рано или поздно он ее сам найдет, но не лучше ли добавить эту страницу в базу сразу же? Если ссылок получается очень много, имеет смысл создать страницу, на которой перечислить все ссылающиеся на ваш сайт страницы, и вносить в поисковик именно страницу-список.

Не забывайте также регулярно изучать логи и смотреть, откуда к вам ходят. Почти треть незнакомых мне ссылок, по которым пришли на мой сайт, оказывались незарегистрированными в поисковике.

¹Детали реализации действительно скрыты, но сам алгоритм PageRank не является секретом и прекрасно описан в статьях "The PageRank Citation Ranking: Bringing Order to the Web", а также "The Anatomy of a Large-Scale Hypertextual Web Search Engine", написанных создателями Google - Сергеем Брином и Лоренсом Пэйджем (какая подходящая фамилия).

²Крис не упомянул партнерские программы магазинов, а также широко распространенные в русскоязычном инете баннерные сети и счетчики, сайты которых за счет обратных ссылок могут "незаслуженно" иметь большой вес.

³Крис употребляет термин "PageRank" в 2 разных смыслах. 1-й - это алгоритм PageRank. 2-й - это собственно вес страницы, вычисленный на основании данного алгоритма. Это связано с тем, что "page rank" означает "ранг страницы", то есть вес, и в английском тексте нет смысла повторять слово дважды. Но в русском переводе это не очевидно, поэтому, чтобы избежать путаницы, в дальнейшем, где это будет необходимо, во втором смысле будет использоваться термин "вес страницы" или "вес PageRank".

⁴Автор подразумевает, что каждая страница, ссылаясь на другую страницу, "голосует" за нее. Голосующая способность тем больше, чем больше вес PageRank у ссылающейся страницы.

⁵Поисковая система Апорт вычисляет вес PageRank для каждой страницы, но учитывает только одну ссылку с каждого домена второго уровня. То есть даже если на ваш сайт указывают 100 ссылок с разных сайтов на хостинге narod.ru (site1.narod.ru, site2.narod.ru и т.д.), то Апорт все равно зачтет их как одну ссылку.

⁶Аналогичную возможность для русскоязычного интернета предоставляет Yandex.Bar. Яндекс.Бар показывает "взвешенный индекс цитирования" гораздо точнее, чем это делает Google - данные отображаются с точностью до сотых. В то же время, показываемое число касается только главной страницы сайта, и не зависит от веса его конкретной страницы, которая в данный момент загружена в окне браузера.

Еще один источник информации про вес PageRank для русскоязычных сайтов - каталог поисковой системы Апорт. Если сайт присутствует в каталоге, то рядом с его описанием указывается ИЦ главной страницы сайта.

⁷Еще раз подчеркну, эти числа просто придуманы Крисом, для того, чтобы показать, что такое нелинейное представление тем, кто о нем не знает. Никакого отношения к реальным весам PageRank они не имеют.

⁸Одно из основных отличий демонстрационного MiniRank от настоящего PageRank в том, что вычисленный на новой итерации вес добавляется к весу страницы, полученному во время предыдущей итерации, в то время как в PageRank новый вес заменяют старый. Еще одно отличие - в MiniRank к новому весу не прибавляется (1-d). Из-за этого эффект "обратной связи", столь привлекательный в примерах с MiniRank, на практике (где используется PageRank) во многих случаях может иметь заметно меньшее значение.

⁹Как уже было сказано в примечании 8, оригинальный алгоритм PageRank не добавляет новый вес, вычисленный на предыдущей итерации, к старому, а заменяет им старый вес. Следовательно, какой бы начальный вес мы ни задавали страницам, это лишь увеличит время работы алгоритма на несколько итераций, но результат будет тем же самым. Утверждение Криса верно лишь для его упрощенного алгоритма MiniRank, который неприменим в поисковиках. Дело в том, что у MiniRank отсутствует сходимость, т.е. в работе алгоритма нет такой точки, когда можно сказать, что значения весов страниц на данной итерации вычислены с нужной точностью. Он будет работать вечно. Поэтому, воздействие на вес сайта невозможно до начала работы алгоритма PageRank.

Если коррекция все-таки происходит, есть 2 очевидных способа ее осуществления. 1-й - корректировать веса нужных страниц на каждой итерации. Но как? Устанавливать в фиксированное значение? Какое? Или увеличивать пропорционально реальному весу? Мало того, что такие действия замедлят работу алгоритма, так еще неизвестно, как это повлияет на его сходимость. 2-й способ - корректировать вес нужных страниц после окончания работы алгоритма - тоже не подходит, потому что тогда теряется суть идеи - увеличение веса хороших сайтов, которые, в данном случае, являются сайтами, вручную проверенными командами Yahoo и DMOZ, за счет поднятия веса самих каталогов.

Однако, есть еще менее очевидный способ, который позволяет не только поднять вес Yahoo и DMOZ, но и сохранить идеологию PageRank (вес страницы - это вероятность посещения ее пользователем). Его предложил Марк Хоррэл (Mark Horrell). Существует понятие висящих ссылок (dangling links) - это такие ссылки, которые указывают на страницы, не содержащие ни одной ссылки. Они мешают работе алгоритма, потому что неясно, как должен распределяться вес таких страниц. Согласно оригинальному PageRank, эти ссылки просто убираются до начала вычислений, и возвращаются после их окончания. Так вот, Марк предположил, что, вероятно, ссылки могут не убираться, а просто их вес направляется на хорошие сайты (Yahoo, DMOZ). Например, таким образом, как если бы на тупиковых страницах было лишь две ссылки - на эти каталоги. Если вдуматься, то это очень логично. Логично с точки зрения пользователя - попав на страницу, где нет ни одной ссылки, куда он перейдет? Скорее всего, наберет в браузере адрес какого-либо хорошего сайта. А ведь именно таким сайтам оказывается поддержка за счет увеличения веса каталогов! Логично с точки зрения поисковика - мы избегаем нескольких лишних итераций алгоритма (на убирание висящих ссылок и их восстановление). Вполне может быть, что Марк набрел на истину.

¹⁰Под словами "мы можем" автор имеет в виду "Google может", точнее, это по силам тому, кто способен воздействовать на реализацию алгоритма PageRank в конкретном поисковике.

¹¹Во-первых, Крис смешивает эффект обратной связи с техникой удержания веса внутри сайта. Ранее он определил обратную связь как эффект возрастания веса страницы во время очередной итерации на значение, тем большее, чем больше был вес данной страницы на одной из предыдущих итераций. В основе эффекта лежит передача веса рассматриваемой страницы одной или нескольким страницам, которые с помощью ссылок составляют с данной страницей кольцо. Удержание веса внутри сайта - это всего лишь техника, заключающаяся в простановке максимального числа ссылок на страницы своего сайта на тех страницах сайта, где встречаются ссылки на чужие (внешние) сайты, а также избегание простановки ссылок на те страницы сайта, где встречаются внешние ссылки. В основе техники лежит факт, что вес страницы распределяется равномерно между всеми ссылками, следовательно, чем больше ссылок будут указывать на свои страницы, тем больше веса останется внутри сайта.

Каков же вклад каждого из эффектов? Нетрудно проверить, что если четыре добавленных страницы будут указывать на главную страницу, но страница "Ссылки" останется прежней (т.е. обратной связи не будет), то после третьей итерации суммарный MiniRank вес сайта станет равным 44,63. Значит, 90% разницы в весе сайта обеспечивается не за счет обратной связи, а за счет новых страниц. При этом вес главной страницы будет равным 21,19 (95% разницы в весе дают новые страницы), а вес основных страниц - 6,48 (99% разницы в весе за счет новых страниц). Аналогично можно проверить вклад техники удержания веса - сравнив веса для разных структур сайта, я получил, что ее доля в увеличении веса сайта равна 6%, следовательно, на долю обратной связи остается лишь 4%.

Казалось бы, отсюда можно сделать вывод, что основное внимание следует уделять лишь созданию новых страниц, указывающих на самые важные страницы сайта. Не спешите! Помните, что MiniRank во многом отличается от PageRank, да и конкретная структура сайта очень сильно влияет на показатели. При тех же исходных данных для PageRank получается, что новые страницы дают только 64% разницы в весе, техника удержания веса - 1%, и 35% увеличения веса дает эффект обратной связи. Причем не меняя число страниц сайта и внешние ссылки, лишь проставляя внутренние ссылки, за счет эффекта обратной связи можно добиться увеличения веса данного сайта еще на 30%.

Выводы следующие: так как точные расчеты зачастую провести невозможно, следует использовать все 3 приема сохранения веса внутри сайта в следующей очередности: 1 - добавление максимального числа страниц, 2 - создание эффекта обратной связи, 3 - применение техники удержания веса. Думая о структуре сайта, следует помнить, что теория только тогда воплощается на практике, когда все страницы сайта известны поисковику. Поскольку ручная регистрация всех страниц сайта в поисковике слишком хлопотна, следует обратить внимание, чтобы в сайте не было страниц, к которым нельзя пройти от главной страницы по ссылкам.