Сервис распределяет трафик так, что половина посетителей страницы видят старую её версию, а половина — новую, с синей кнопкой «Купить». Конверсия старой версии страницы — 5%, а новой — 7,5%. Разберём, как работает A/B-тестирование, на примере. Маркетолог предполагает, что, если изменить цвет кнопки «Купить» с зелёного на синий, конверсия вырастет до 7%. Это может быть какая-то кнопка или форма для регистрации, картинка в статье, видеоролик в боковой панели, который идет фоном, или же вовсе количество символов в статье. Решите, с чего нужно начать, чтобы не распыляться и не проводить тестирование на большом количестве элементов.
- Например, при CTR 3% три человека из ста перешли по ссылке.
- Позволяет определять степень и характер влияния внесенных изменений на целевые показатели.
- Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%.
- Существует несколько инструментов, упрощающих работу исследователей.
Это может привести к росту показателей в одной группе клиентов, но к снижению в другой. Сервис позволяет сравнивать разные креативы, аудитории или места размещения и определять наиболее результативные из них. Для достоверности рекомендуем одновременно тестировать не более одного элемента рекламы. Например, проверять только разные тексты или только разные иллюстрации. Если все элементы объявлений в группе различаются, вам, скорее всего, будет сложно оценивать, какой из них повлиял на эффективность. Данные из Яндекс Метрики можно использовать при подготовке гипотезы для А/В-тестирования.
Количество регистраций или подписок
К примеру, изменение одного слова в тексте email-рассылки, вероятно, не окажет большого влияния на конверсию или кликабельность ваших ссылок в письмах (CTR). По окончании А/В-тестирования вы либо получаете нового фаворита, либо делаете вывод, что действующий фаворит не сдал позиций. Затем вы создаете новые вариации, чтобы снова проверить ими своего фаворита. Рано или поздно вам будет важно узнать, насколько хорошо работает ваш сайт, email-рассылка или реклама.
Тестировали две одинаковые версии, смотрели за разницей конверсии в течение 2–4-х недель. Разницы не обнаружили, всё прошло ровно, поэтому перешли к следующему этапу. Перед А/В-тестом проводят А/А-тест — для проверки однородности групп пользователей, настроек самого теста и замера исходной конверсии.
Как провести A/B-тестирование с помощью сервиса Google Optimize?
При A/B тестировании основная нулевая гипотеза будет заключаться в том, что новая версия не лучше или даже хуже старой. Для нашего примера это утверждение, что новый коэффициент кликабельности (CTR) меньше или равен старому. То есть надо решить, какое изменение будет тестироваться и по какой причине. А для этого сначала надо собрать статистику о текущем состоянии страницы, от чего отталкиваться и к чему стремиться. Ведь при создания страницы Б нужно решить, какого именно результата мы хотим достичь. Это не абстрактные хотелки, а реальные задачи, требующие анализа.
A/B-тестирование позволяет узнать, какие слова, фразы, изображения, видео, отзывы и прочие элементы работают лучше всего. И как показывает практика, даже самые простые изменения могут повлиять на коэффициент конверсии, повысить количество продаж и тем самым увеличить вашу прибыль. Для оценки достоверности теста существуют специальные калькуляторы. Один из них — все тот же DriveBack, но уже другой его раздел — «Определение статистической значимости».
Выберите инструменты для А/В-тестирования
Например, мы рассмотрели пример с четырьмя вариантами, и всего при тысяче итераций сэмплирование Томпсона смогло получить на 7% больше кликов, чем A/B-тестирование. Как и ранее, мы воспользуемся бета-распределением, но нам необходимо внести небольшое изменение. Так как параметры беты (a и b) должны быть строго больше нуля, в случае, если a или b будут равны нулю, мы будем прибавлять к каждому из них 1. Иными словами, A/B-тестирование неэффективно, потому что слишком статично. В идеале нам необходима умная система, способная динамически учиться с получением новых данных. Мы интуитивно понимаем, что после изучения 20 пользователей результаты недостаточно надёжны для того, чтобы показывать всем пользователям вариант с наилучшей характеристикой.
Тоже есть визуальный редактор, чтобы создавать версии без изменения кода, доступна оптимизация для мобильных приложений. Изменения, которые предлагается тестировать параллельно, находятся внутри одного варианта ответа. Использовать их не стоит — то, что сработало в одном проекте, не обязательно сработает в другом. Если бездумно копировать чужие гипотезы, можно потерять много времени и не улучшить показатели. Лучше анализировать ситуацию и выдвигать свои гипотезы. Дальше нужно указать цель, достижение которой вы будете отслеживать, — например, конверсию в отправку формы.
Настраиваем утилиту для тестирования и запускаем ее
Доверительное А/Б-тестирование позволяет получить объективную статистику, которая повлияет на принятое решение специалиста. Тогда удастся сделать вывод, стоит ли всё-таки вносить изменения. a/b тестирование A/B тесты — отличный инструмент для проверки новых идей и гипотез. Он подразумевает под собой «выкат» обновлений на определенную часть аудитории и отслеживание изменений ключевых метрик.
Я регулярно его применяю на собственных сайтах и на сайтах своих клиентов. К примеру, вам, возможно, понадобиться указать длительность тестирования, устройства, с которых хотите собирать данные, местоположение пользователей и тому подобное. Но не все сервисы предлагают такой уровень кастомизации тестов, поэтому это не всегда можно настроить.
Выберите, что будете тестировать
Для упрощения работы маркетологов, аналитиков и других исследователей предназначены специальные программы. Их можно использовать, не только чтобы работать с тестами, но, и чтобы разделять пользователей на фокус-группы, отслеживать эффективность различных тестируемых вариантов. Предположения по улучшению существующего сайта или приложения могут касаться различных его элементов, и A/B-тест позволяет проверить абсолютно любые гипотезы. Еще одна важная функция аналитики – расчет статистической значимости, которая показывает, есть ли связь результатов исследования с изменениями продукта. A/B-тестирование не требует специальных знаний и навыков, поэтому использовать этот инструмент для решения своих задач может любой специалист, который работает над продуктом. Основная цель, ради которой используют A/B-тестирование – повышение прибыльности сайта.
Можно запустить собственный проект — личный блог или трекер привычек — и провести A/B-тест какой-нибудь фичи. Это хороший способ потренироваться настраивать тестирование. Потренируемся определять, в каких случаях можно проводить параллельные A/B-тесты, а в каких — нет. Допустим, кнопка красного цвета с текстом «Купить со скидкой» соберет больше всего кликов. Но может оказаться, что конверсия в покупку у этой комбинации в два раза ниже, чем у менее кликабельной кнопки зеленого цвета с текстом «Посмотреть каталог». Победителем не всегда оказывается самая очевидная комбинация.