Ссылочное ранжирование в Рунете, часть 4: тематический трафик

Содержание

1. Введение в проблему
2. Постановка задачи
3. Предпосылки, предположения и проблемы
4. Данные и их обработка
5. Результаты
6. Обсуждение результатов
7. Заключение

Введение в проблему

При обсуждении предыдущей статьи, посвященной распределению ссылочных бюджетов по тематикам и уточнений к ней, стало понятно, что ни суммарный бюджет тематической рубрики, ни количество сайтов в ней, ни максимальный бюджет, расходуемый на продвижение, не являются хорошей метрикой конкуренции среди сайтов данной тематики.

Конечно, определить конкуренциюодним значением скорее всего невозможно. В то же время, имея данные по частотам запросов в поисковых системах можно добавить еще одно измерение — «стоимость привлечения посетителя SEO-методами», нужно всего лишь разделить все расходы на продвижение сайтов данной тематики на поисковый трафик в данной теме.

Такой подход может позволить, например, сравнивать SEO-методы с другими способами получения целевых посетителей, такими как контекстная реклама

Постановка задачи

Допустим, мы имеем достаточно полные данные о текстах запросов в российские поисковики и их частотах (а мы их имеем). Тексты запросов мы можем отклассифицировать по тематикам тем же способом, которым классифицировали тексты ссылок (см. чуть более подробное описание в обсуждении статьи).

В результате суммирования результатов тематической классификации мы получим:

• ориентировочный трафик с поисковых систем для каждой из тематик;
• оценку количества разных поисковых запросов для каждой из тематик;

Эти данные интересны и сами по себе, кроме того их можно сопоставить с бюджетами на продвижение сайтов той же тематики и таким образом оценить стоимость получения пользователя из поисковой машины.

Предпосылки, предположения и проблемы

Трафик с поисковой системы на данный сайт по конкретному поисковому запросу зависит от

• частоты запроса
• «коэффициента позиции» — чем выше сайт в выдаче, тем больше будет трафик
• «коэффициента качества сниппета» - чем больше сниппет соответствует ожиданиям пользователя (задавшего конкретный запрос), тем больше шанс перехода на сайт.

Как показывают работы, по массовому изучению переходов с поисковиков, произведение двух последних параметра имеет разброс на порядки, поэтому прогнозировать трафик по конкретному запросу на конкретный сайт — черезвычайно сложно (чем выше сайт в выдаче, тем больше трафик, но количественный прогноз дать черезвычайно сложно). В то же время, для множества сайтов на странице выдачи дать прогноз значительно проще, ибо на какой-то (один или несколько) пользователь почти обязательно перейдет.

Основная идея нашего исследования основана на следующих предположениях:

• пользователь задает запрос поисковой машине, тематику этого запроса мы можем распознать (запросы с нераспознанной тематикой мы не учитываем);
• поисковая машина выдает ему страницу результатов (ссылки на 10 сайтов), пользователь уходит на один или несколько из найденных сайтов;
• мы предполагаем, что тематика запроса и тематика найденных сайтов совпадают;
• мы предполагаем, что поисковый трафик получают сайты, которые продвигаются по запросам той же тематики, что и тематика запроса пользователя.

Все эти предположения — достаточно сомнительные, поэтому следует их обсудить (в том же порядке, в каком они перечислены).

Качество определения тематик запросов

Для текстов поисковых запросов достигнута существенно меньшая полнота распознавания (см. ниже), чем для текстов ссылок. Это может связано как с содержанием самих запросов (пользователи часто ищут очень странные вещи), так и с неполнотой базы данных распознавания.

Мы подразумеваем, что распознанные запросы достаточно представительны относительно всего множества запросов. Результаты просмотра качества распознавания для самых высокочастотных запросов показывают что это так, в то же время могут существовать отдельные узкие рубрики, где качество распознавания будет весьма низким.

«Конверсия» в поисковиковых машинах

Под конверсией (долей конверсии) понимают отношение аудитории, совершившей целевое действие (покупка,заказ, подписка) ко всей аудитории сайта. Для поисковых машин целевое действие — это переход пользователя на найденный сайт. В зависимости от типа поискового запроса и качества результатов поиска , количество открываемых пользователем сайтов будет отличаться. Достаточно очевидно, что коэффициент конверсии не будет сильно меньше, чем 1 (хотя бы один результат обычно бывает открыт) и не будет больше, чем число результатов на странице поиска (как правило, 10). Попытки детального исследования упираются в огромный разброс результатов. В данном исследовании коэффициент конверсии принят равным 2.0, хотя это сильное упрощение картины.

Таким образом, на каждый пользовательский поисковый запрос мы ожидаем два перехода на сайты.

Несовпадение тематики запроса и тематики сайта

Достаточно легко придумать пример, когда тематика запроса является существенно более общей, чем продвигаемые по этому запросу сайты. Например, навязший в зубах «дизайн» — темы у этого запроса вообще нет (слишком общий), а SEO-специалисты продвигают по этому запросу преимущественно Web-дизайн.

Мы предполагаем, что запросы такого типа не исказят общей картины

Распределение трафика по сайтам

Достаточно очевидно, что распределение поискового трафика по сайтам будет очень разным для разных случаев (это подверждается и исследованиями поведения аудитории поисковых машин):

• Навигационные запросы (названия конкретных компаний и т.п.) приведут в хорошем случае к одному переходу (искомый сайт найден и показан на первой странице).
• Информационные запросы в идеальном случае дадут один переход, если пользователь не нашел удовлетворяющей его информации по этому переходу — будут другие переходы, а затем переформулировка запроса.
• Транзакционные запросы могут дать множество переходов (пользователь открыл все найденные прайс-листы и сравнивает цены и условия).

У автора нет данных по распределению типов запросов по тематикам. Быстрая оценка размеров проблемы для тематики «банк» показала, что навигационных запросов порядка трети (доля взвешена на частоты) — спрашивают названия конкретного банка, часто с уточнениями («курсы валют сбербанк»), но отличать автоматически типы запросов автор пока не умеет.

Продвижение сайтов в поисковых машинах — это работа с транзакционными запросами (когда пользователю нет разницы, откуда получить информацию). Конечно, забывать о первых двух типах запросов нельзя, поэтому будем их игнорировать.

Но и для транзакционных запросов все не слишком просто. Очевидно, что существует широкий спектр вариантов между двумя крайними позициями:

• Число значимых запросов невелико (пресловутые «пластиковые окна»). В предельном случае одного целевого запроса, первая десятка сайтов из поисковой выдачи забирает весь трафик.
• Число значимых запросов велико, по каждому запросу находятся разные сайты. В предельном случае все сайты тематики делят поисковый трафик между собой поровну.

Так как нет никакой возможности проанализировать всю выдачу по десяткам миллионов запросов (да и выдача каждую неделю меняется), будем исходить из такого предположения: поисковый трафик пропорционален бюджету на продвижение. Конечно, это предположение неверно, какие-то SEO-специалисты работают лучше, какие-то — зря сжигают бюджеты, но лучшего у нас нет.

Помимо этого, мы предполагаем, что сайты не потратившие ни цента на продвижение тематического трафика не получают. На сегодняшний день это верно только для весьма коммерческих тематик, но именно в них и происходят основные битвы за пользователя.

Данные и их обработка

В качестве исходных данных были взяты:

• Достаточно свежие данные о частоте более чем 10 млн. запросов к поисковым системам с суммарной частотой в сотни миллионов.
• Программа «Семантическое Зеркало» с базой данных для распознавания сверхкоротких текстов).
• Данные о распределении ссылочных бюджетов (ссылки с 55 тысяч главных страниц) по тематикам (см. предыдущую статью и дополнение к ней).

Нормировка данных

Как знают все оптимизаторы, соотношение частот запросов сильно различается для разных поисковых систем (например, Rambler ищут в Яндексе сотни тысяч раз в месяц и практически не ищут в Рамблере). У автора нет данных для проведения корректной коррекции имеющихся данных, поэтому предполагается, что относительные частоты по тематикам отличаться не будут.

Имеющиеся данные нормированы на общий поисковый трафик Рунета в мае 2007 года: приблизительно 400 млн поисковых запросов и 800 млн. переходов на сайты за месяц. Больше чем на полпорядка мы не ошибемся: по данным liveinternet (сцылко) количество переходов было от 400 млн.(если считать только российских пользователей) до 540 млн (если считать всех пользователей), а охват LiveInternet далеко не 100%.

Полнота и точность

Полнота распознавания тематик запросов составила

• 56% без учета частот запросов (запросы «реферат» и «0x2485743» имеют одинаковый вес);
• 60% с учетом частот.

После удаления неинтересных в данном исследовании географических рубрик, полнота снизилась до 55% (с учетом частот запросов).

При этом, для 8% запросов (с учетом частоты) распозналось более одной тематики. Частоты таких запросов распределялись по тематикам поровну.

Всего было распознано чуть более 1600 тематик, что несколько больше, чем распознанных тематик у сайтов (1500).

Результаты

Посмотрим сначала на распределение частот запросов, для которых удалось распознать тематику, по рубрикам верхнего уровня.

Табличка достаточно неожиданная. Например, тема Экономика является лидером по бюджетам на продвижение (около четверти бюджетов) и лишь на 4-м месте по пользовательскому интересу. Автомобильная тема несколько популярнее «Дома и офиса» у пользователей, но в 4 раза отстает по бюджетам на продвижение у владельцев сайтов.

Среди перечисленных рубрик нам особенно интересна тема «Спорт» — это относительно узкая тематика, объединяющая и новостные сайты и интернет-магазины и фан-клубы и много всего еще. По данным LiveInternet, тематика Спорт получила в мае 2007 года чуть менее 8 млн. переходов с поисковых машин. Наша табличка дает 5.5 млн. запросов, т.е. мы можем ожидать около 11 млн. переходов. С учетом не стопроцентного охвата LiveInternet, мы можем считать, что наши данные похожи на реальную жизнь (с точностью в полпорядка)

Стоимость посетителя по тематикам

Приведенные ниже данные имеют одинаковый формат, но отсортированы по разным параметрам. Рассматриваются только рубрики 3-4 уровня (отдельно), которые достаточно точно определяют тематику сайта/запроса. Все параметры нижележащих рубрик приписаны к рубрике, показанной в таблице.

Остальные параметры, включенные в таблицы таковы:

• Количество переходов с поисковых машин — месячный трафик с поисковых систем Рунета, оцененый исходя из коэффициента конверсии 2. Указывается для рубрики и всех подрубрик в сумме.
• Количество запросов — количество разных поисковых запросов для тематики и всех подтематик.
• Количество сайтов — количество сайтов данной тематики (данные взяты из предыдущей статьи (сцылко)).
• Ссылочный бюджет — общий ссылочный бюджет для сайтов тематики (данные оттуда же).
• Оценка стоимости посетителя — получена путем деления общего ссылочного бюджета на поисковый трафик.

Тематики с максимальным поисковым трафиком

В таблице ниже приведены Топ-25 тематик 3-го уровня с максимальным трафиком с поисковых машин.

Таблица довольно интересная для SEO-специалистов и их клиентов. Естественно, Секс-Порно-Рефераты-MP3 на первых местах, ничего в этом мире не меняется. Помимо этих очевидных тематик, интересно то, что только в четырех тематиках из Топ-25 по трафику, она превышает 1 цент за посетителя, а даже в таких темах как «Аудио-Видео», «Работа», «Автомобили» посетитель поисковика в-среднем обходится дешевле одного цента. Но мы же знаем, что реальная конкуренция в этих темах гораздо выше! Есть две причины расхождений:

1. При оценке бюджетов на продвижение мы учитывали только (дорогие) ссылки с главных страниц. Реальные бюджеты — выше, возможно в 2-3 раза (но не больше, иначе рынок ссылок получится много больше рынка контекстной рекламы, что противоречит ощущениям.).
2. SEO-специалисты и их клиенты игнорируют низкочастотные запросы. Скажем по теме Аудио-Видео с главных страниц поставлено около 6 тысяч ссылок (на все продвигаемые сайты), а различных формулировок запросов — на порядок больше.

На взгляд автора, основной является вторая причина — реальное продвижение идет по очень небольшому семантическому ядру, а про низкочастотные запросы забывают.

Лидеры бюджетов

Посмотрим , что происходит в рубриках с самыми большими ссылочными бюджетами.

Все строчки в таблице — старые знакомые SEOшника. Но опять, во многих темах формальная цена за пользователя безобразно мала, что свидетельствует о низкой конкуренции по большинству запросов. В качестве очередного примера рассмотрим тематику Автомобили: 120 тысяч формулировок запросов и в 10 раз меньше формулировок запросов на главных страницах.

Тематики с самым дорогим поисковым трафиком

Рассмотрим теперь тематики, где стоимость за посетителя максимальна (т.е. либо маленький трафик, либо очень большие ссылочные бюджеты).

Прекрасно знакомая SEO-специалистам картинка : узкотематические рубрики, небольшой трафик, цены уже напоминающие минимальную цену клика в контекстной рекламе.

Но давайте посмотрим, как интернет-специалисты продвигают сами себя:

• 22 тысячи формулировок запросов по теме «создание и продвижение сайтов»;
• 21.7 тысяча запросов с частотами менее 300 ответственна за половину поискового трафика;
• 4740 ссылок с главных страниц по этой теме;
• 1880 уникальных формулировок.

Господа SEO-шники и Web-разработчики, если вы себя так продвигаете, то что вы предлагаете клиентам ? Да в совсем узких тематиках все несколько лучше (скажем для темы "Дайвинг" — на 777 формулировок запросов есть 225 разных формулировок текстов ссылок, но часть из них разная только за счет включения названия продвигаемого сайта).

Самые дорогие тематики: еще подробнее

Посмотрим теперь, в качестве исключения, на 4-й уровень рубрикации, опять отсортировав по убыванию цены за посетителя.

Все достаточно понятно: узкие рубрики (и даже сверх-узкие, вроде «Кофе-В зернах») с небольшим трафиком, очевидная коммерческая направленность, достаточно высокая для SEO цена за посетителя. В то же время, для многих тематик деление до рубрик 4-го уровня дает слишком много подробностей, в частности «Окна» распались на алюминевые, пластиковые, перегородки и т.п., что излишне усложняет картину.

Обсуждение результатов

Результаты получились достаточно неожиданными и нуждаются в обсуждении:

1. Автор ожидал увидеть цену за пользователя до единиц долларов (сравнимые с тем, что мы видим в контекстной рекламе), а в реальности подавляющее большинство тематик сильно дешевле. В то же время, места для ошибки в пару порядков вроде бы нет: данные по трафику неплохо сходятся, данные по суммарным SEO-бюджетам не могут иметь ошибки на порядок, полнота определения тематик тоже достаточно хорошая. Даже если все ошибки в одну сторону, ошибиться больше чем в 5-10 раз негде. Другими словами, в случае продвижения по достаточно широкой теме, поисковое продвижение значительно выгоднее контекстной рекламы. Конечно, контекст дает гарантированный результат по заранее известной цене и мгновенно, что принципиально отличает его от поискового продвижения.
2. Не следует забывать, что «бюджеты» в этой и предыдущих статьях — это расходы на ссылки на главных страницах сайтов. Реальные расходы клиентов оптимизаторов, конечно, выше - оптимизаторы платят себе зарплаты, да и ссылочные бюджеты не ограничиваются главными страницами.
3. По всей видимости, SEO-специалисты и их клиенты недооценивают количество низкочастотных запросов и трафик, который можно получить с таких запросов. Да, это труднее объяснить клиенту в первый раз, но результат достижим легче.
4. С учетом предыдущего пункта, достаточно заманчивой выглядит бизнес-модель оптимизатора по продаже клиенту целевого трафика (по тематике сайта клиента). Запросов хватит на всех, цена продвижения будет небольшой. Осталось уговорить клиентов.
5. Очень много рубрик вообще недооценено - трафик большой, а SEO-бюджеты маленькие. В качестве примера хочется привести «Автомобили» и «Финансы».
6. Вообще, если присмотреться к наиболее дорогим тематикам (две последние таблицы), мы увидим там средний и малый бизнес, а крупный бизнес представлен очень слабо. Оптимизаторам остается надеяться, что это — временное явление.

Заключение

В заключение хочется напомнить, что к вышеприведенным данным следует относиться крайне сдержанно. Ошибки в два порядка там скорее всего нет, общей ошибки в разы — тоже не должно быть, а вот получить ошибку 3-5-10 раз в какой-то отдельной узкой тематике — достаточно легко. Напомню еще раз: все бюджеты посчитаны по ссылкам с главных страниц, зарплаты оптимизаторов, ссылки с внутренних страниц и т.п. не учтены и учтены быть не могут. Несмотря на это, сравнение результатов SEO-продвижения для проектов с известными бюджетами с приведенными в статье данными показало, что если учитывать только бюджеты на ссылки с главных страниц, то согласие достаточно хорошее (разница менее двух раз). Естественно, все остальные расходы на оптимизацию стоимость посетителя с поисковиков только увеличивают.

Обсудить прочитанное, похвалить или поругать автора можно в комментариях к анонсу данной статьи в блоге автора.