Самый популярный инструмент для проведения А/Б тестов. Он полностью бесплатный и может использоваться как на лендингах, так и на отдельной странице обычного сайта. Выберите программу, с помощью которой будете проводить тестирование.
В ситуации, где ни одна из версий не показала существенного роста, возвращайтесь к студии гипотез — формулируйте новые и проверяйте. A/B-тестирование — универсальный, надежный и проверенный метод маркетингового исследования. При соблюдении условий проведения можно получить объективное понимание, как нужно улучшить продукт. Тем не менее, не нужно рассчитывать только на него. Для получения максимально объективных данных A/B-тестирование нужно комбинировать с другими маркетинговыми исследованиями. Для проведения сплит-теста нужна большая выборка аудитории.
К примеру, по результатам А/В-теста фактический коэффициент конверсии вырос на 1%, как мы и предполагали в гипотезе. В результате выбранных изменений, метрика выросла, гипотеза подтвердилась. Но бывает и обратная ситуация, когда изменение не повлияло на ключевую метрику. Делаем выводы, что гипотеза не подтвердилась и собираем все результаты для дальнейшего анализа тестирования. Также не стоит одновременно тестировать несколько переменных.
Хуже им не будет, зато вы сможете улучшить их конверсионность в несколько раз. В процессе теста может оказаться, что показатели не слишком сильно поменялись. Тогда попробуйте копнуть глубже и найти новые гипотезы, которые будут дополнять текущую, чтобы провести дополнительные тесты. Любое проведение A/B-тестов стоит начинать с построения гипотезы.
Зачем Проводить А/в-тестирование
Если у вас мало пользователей, то, чтобы выборка была репрезентативной, потребуется больше времени для сбора достаточного объема данных. Механизм метода А/В-естов прост – вы разделяете всех посетителей ресурса на группы и направляете на две разные страницы. Половине пользователей показываете контрольную страницу А, а другой – измененную страницу В.
- Например, если мы предполагаем, что метрика увеличится значительно, например, с 50% до 80%, потребуется небольшой размер выборки.
- Если гипотеза сырая, лучше вернуться к поиску проблемы.
- Продолжительность тестирования зависит от размера выборки и объёма трафика.
- В нашем примере мы также запустили два одинаковых сайта в тест Google Optimize.
- В остальных случаях можно использовать вариант A/В тестирование.
Результаты тестирования могут оказаться неожиданными. В конечном итоге, A/B тестирование является экспериментом, а эксперименты могут давать незапланированные результаты. Поэтому, важно проводить тестирование с учетом того, что критерии успешности могут отличаться в зависимости от конкретной ситуации и целевой аудитории. A/B тестирование помогает сэкономить время и деньги, так как не нужно внедрять изменения на всём сайте сразу, а только на той версии, которая была наиболее успешной в тестировании.
В постановке целей добавляют основную метрику, изменения которой будут отслеживаться. Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез. В ходе оценки измеряют, как влияет изменение одного параметра на эффективность — дочитывания, время пользователя на сайте, использование форм обратной связи и так далее.
Учитываем прокси-метрики, то есть показатели, которые тоже изменились вслед за основными метриками. В компании по продаже авто А/В-тестирование проводили в течение месяца. Статистическая значимость — это процент уверенности в том, что данные не оказались простой случайностью.
Если вы работаете с программами, как правило, там есть системы статистики с понятным вердиктом — какая из версий достигла установленной статистической значимости. Сервис работает с мобильными приложениями, но для информационных сайтов вряд ли подойдет. Сервис не умеет проводить подобные тесты в мобильных приложениях методы эффективного тестирования — зато функционал A/B-тестирования бесплатный. Помимо классического A/B-тестирования, когда меняют какой-то небольшой элемент на одной странице, есть еще несколько смежных видов. Размер выборки, который вы выберете, позволяет приблизительно определить, сколько времени займет сбор достаточного количества данных.
Каждый пользователь видит только один вариант дизайна (A или B), даже если обновляет интерфейс. Проверка гипотез в статистике — это способ проверить результаты исследования, чтобы понять, есть ли у вас какие-либо существенные результаты. Наиболее важные и запутанные аспекты проверки гипотез — это определение нулевой и альтернативной гипотез.
A/b Тестирование: Что Это Такое, Этапы И Инструменты
В нашем примере мы также запустили два одинаковых сайта в тест Google Optimize. Тестировали две одинаковые версии, смотрели за разницей конверсии в течение 2–4-х недель. Разницы не обнаружили, всё прошло ровно, поэтому перешли к следующему этапу. Гипотеза — это предположение о том, как может измениться состояние продукта, если изменить один из его элементов.
Такое сегментирование можно провести по географическим параметрам, типу платформы (десктопной или мобильной), полу, возрасту, источнику трафика и т. При написании этой статьи я старалась выражать мысли как можно проще, чтобы люди, не знакомые с A/B тестированием, могли получить общее представление о нем. После завершения исследования мы можем проанализировать результаты. На этом этапе больше всего сконцентрировано внимание аналитиков.
Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант — и результат будет недостоверным. Лучше использовать https://deveducation.com/ специальные сервисы — они распределяют трафик автоматически. Нельзя завершать сплит-тестирование раньше, чем был достигнут размер выборки.
В гипотезе обозначают решение, при котором ситуация изменится, а также показатели, которые улучшатся в результате изменения. Чтобы не упустить важные показатели, в этом случае тестирование нужно проводить несколько месяцев. А это противоречит сути А/В-тестирования — все таки А/В-тесты являются инструментом для быстрого внедрения улучшений.
Как правило, результаты тестов играют важную роль, когда принимают решение изменить дизайн нового продукта или параметры бизнес-стратегии. Инструмент A/B тестирования отмечает конверсии, которые произошли на странице. После достаточного количества посетителей и конверсий вы можете проверить результаты. Брайан хотел проверить, будет ли больше конверсий, если показывать окно позже. После того как запустили тестирование, нужно подождать необходимых результатов. Время проведения теста зависит от объема аудитории.
Метрикой А/В-тестирования квиза и сайта для компании по покупке авто с пробегом выбираем количество оставленных заявок. Дальше вам нужно настроить цель конверсии, то есть указать, что именно считается конверсией на этой странице. К примеру, если вы тестируете кнопку «Зарегистрироваться», целью конверсии будет окно «Спасибо за регистрацию», которое появляется после успешного действия. Вам нужно определить статистическую значимость — при каких условиях вы сможете понять, что один из вариантов — самый эффективный. Большинство оптимизаторов считают результат достоверным при статистической значимости 90-95%.
Гипотеза — ваша идея о том, как можно улучшить сайт или приложение. Если она слишком большая, попробуйте разбить ее на более мелкие. A/B-тестирование, наоборот, проводят небольшими итерациями, постепенно что-то меняя или добавляя. Например, сначала меняем цвет кнопки, оцениваем результат — и только потом меняем другие элементы. A/B-тесты полезны компаниям с уже устоявшейся аудиторией.
Если вы улучшите конверсионность страницы, которая и так получает много трафика, вы сможете получить еще больше конверсий. Вы сможете удостовериться, что изначальный вариант работает по-максимуму, или найдете лучший. Маркетологи и веб-мастеры практикуют такие исследования, чтобы выявить из разных вариантов самый конверсионный заголовок, вид кнопки, цвет и прочие элементы на сайте. Научиться разрабатывать гипотезы, составлять A/B-тесты и правильно интерпретировать их результаты можно на курсе Skypro «Аналитик данных».
Это классический способ, в котором сравниваются два варианта (контрольный и тестовый) исследуемого объекта, различающиеся только одним параметром. Например, страница лендинга с синей и желтой кнопкой призыва к действию (см. скриншот). Эта разновидность теста эффективна в случае точечных изменений, не затрагивающих глобально работу сайта. Наиболее популярным инструментом для А/В-тестирования считается Google Optimize. Этот сервис легко настроить, он бесплатный и легко интегрируется с Google Analytics..
Также нужно оценить, в какую сторону изменилось значение метрики в варианте B — положительную и отрицательную. Магазин теряет своих пользователей по мере того, как они проходят этапы этой воронки. Затем проводится A/B-тестирование, чтобы опробовать изменения, которые, как мы надеемся, повысят коэффициент конверсии от одного этапа к другому. Например, количество посетителей сайта в месяц или число активных пользователей сервиса. Инструменты для оптимизации скорости загрузки страниц, такие как GTmetrix или PageSpeed Insights. Помогают выявить проблемы со скоростью загрузки вариантов страниц, которые могут влиять на результаты A/B тестирования.
Если вы не добавили метрики на промежуточных шагах, нельзя точно сказать, из-за чего конверсия хуже. Если проводить подобные тесты при каждом изменении на сайте или в приложении, можно сильно замедлить развитие продукта. Если что-то пойдет не так — всегда можно исправить или откатить назад.