Если вы впервые слышите об А/Б-тестах, это не значит, что вы никогда с ними не сталкивались. Оказывается мы, как потребители, ежедневно участвуем в А/Б-тестировании.
В данной статье специалист отдела тестирования по гибким методологиям компании «Точка качества» рассказывает об основных принципах А/Б-тестирования сайта и роли тестировщика при проведении таких тестов.
A/Б-тестирование — это маркетинговый инструмент, использующийся для оценки и повышения эффективности работы интернет-ресурса. Для того чтобы лучше разобраться в определении, нужно ответить на два главных вопроса:
с какой целью и каким образом проводятся А/Б-тесты?
Представим ситуацию: у нас есть интернет-магазин, который запущен и активно работает. И в один прекрасный день мы захотели внести изменения в интерфейс, чтобы увеличить число покупок на сайте.
Например, мы решили выделить кнопку «КУПИТЬ» ярким цветом, увеличить ее и сделать более заметной для пользователя. Однако наше решение — это лишь интуитивное предположение, не подкрепленное цифрами. А ведь аудитория нашего ресурса может с нами не согласиться. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез и проводятся А/Б-тесты.
Цель а/б-тестирования
Основная цель А/Б-тестов – привлечь пользователей к продукту и улучшить основные показатели проекта.
Достигается эта цель следующим образом: создаются варианты экспериментальных страниц, т.е. берется оригинальная страница сайта А, на ней меняются какие-то элементы и получаются варианты страницы Б (отсюда и название А/Б-тестирование). Затем проводится скрытое голосование среди пользователей. Почему скрытое? Да потому что пользователи не знают о том, что они голосуют.
А/Б-тесты могут быть
одновариантными (split testing) – варианты тестируемой страницы отличаются одним элементом (разные цвета кнопки, разные заголовки выбранного раздела, разный шрифт), но, в целом, страницы остаются идентичными.
Есть также
многовариантное тестирование (multivariate testing) – варианты тестируемой страницы отличаются по многим элементам. При этом может быть создано до четырех вариантов одной и той же страницы.
Алгоритм проведения a/б-тестирования
А/Б-тестирование проходит следующим образом:
- Все начинается с гипотезы. Мы предполагаем, что какое-то изменение увеличит конверсию. Конверсия – это отношение числа посетителей сайта, выполнивших на нем какие-либо целевые действия, к общему числу посетителей сайта.
- На основе гипотезы создаются варианты экспериментальных страниц сайта. Это можно сделать при помощи сторонних сервисов для А/Б-тестирования, в которых есть редакторы для подготовки страниц.
- Все посетители сайта случайным образом делятся на группы: одной группе показывается исходный вариант А, второй — альтернативный вариант Б и так далее. Распределение трафика пользователей также настраивается через сервисы для А/Б- тестирования. Трафик распределяется случайным образом. Конечно же, один и тот же пользователь не должен увидеть разные варианты страницы, для этого пользователи идентифицируются (напр., по куки). Иногда тест запускается только для определенной категории пользователей, это так называемая сегментация. Так, тест может быть запущен только для новых пользователей, незарегистрированных пользователей, или же тест может быть разделен по гендерному признаку. Затем запускается А/Б-тест, который обычно длится несколько недель.
- Во время проведения теста собираются все метрики тестирования и измеряется конверсия для каждого варианта страницы. Для каждого проекта целевые действия будут свои. Так, целевым действием для интернет-магазина будет совершение покупки, для других проектов это может быть регистрация, подписка на новости, переход по рекламной ссылке и т.д. Конверсия является основным показателем, по которому определяется вариант-победитель.
- По итогам собранных метрик определяется статистически победивший вариант. После этого происходит чистка кода, остается только один вариант-победитель, который и запускается в продакшн.
На каком же этапе задействованы тестировщики?
Непосредственно после создания готовых вариантов тестовых страниц. А/Б-тест заливают на тестовое окружение, и
команда по тестированию полностью проверяет функциональность новых вариантов, их соответствие дизайну, функциональным требованиям, а также корректность сбора необходимых метрик.
Существует множество инструментов для проведения А/Б-тестов и сбора метрик, необходимых для принятия итогового решения. Наиболее популярные среди них:
- Google Analytics Content Experiments
- BestABtest
- Visual Website Optimizer
- Unbounce
- Evergage
- Optimizely
Суть у этих инструментов одна и та же: они предоставляют возможность создания тестовых страниц через свои редакторы, настройки тестов, распределения трафика пользователей и сбора метрик тестов.
Рассмотрим в качестве примера сервис Optimizely. Optimizely — это программа, которая позволяет настраивать одно- и многовариантные A/Б-тесты, предоставляет возможности для сегментации и удобное отслеживание целей тестов.
На главной странице Optimizely отображается список всех активных А/Б-тестов, количество пользователей, которые увидели этот тест, количество целей теста и дата его изменения/запуска.
В описании теста мы видим, сколько вариаций теста запущено, распределение трафика пользователей, цели теста, аудитория, т.е. кому будет показываться тест. Цели для каждого теста различны: это может быть совершение определенного действия (добавление товара в корзину), средняя длина сессии пользователя, суммарное количество совершенных покупок или просто клик на определенную ссылку. Во время проверки А/Б-тестов мы, тестировщики, должны убедиться, что все метрики собираются правильно.
Для того чтобы проверить все вариации А/Б-теста, мы можем редактировать распределение трафика. Просто выставляем 100% сначала для одного варианта, таким образом, всем пользователям будет показываться выбранный вариант, тестируем, выставляем 100% следующему варианту и т.д.
Так выглядит страница с результатами тестов, на которой отображается сбор метрик и вывод о выигрышности или проигрышности того или иного варианта. Здесь же подсчитывается и конверсия.
Напоследок хотелось бы добавить, не всегда так просто развивать веб-проект, предугадывая поведение пользователя. В этом случае и приходит на помощь А/Б-тестирование сайта: любое предложение по улучшению можно проверить с помощью цифр. Нет необходимости спорить о различных вариантах.
Запустите тест, замерьте результаты, определите выигрышный вариант и воплотите его в жизнь. Можете постараться сделать это самостоятельно, а можете
обратиться к специалистам, которые проведут качественное тестирование и предоставят вам объективные результаты.
