На основании этого параметра мы можем оценить точность результатов нашего теста, прежде чем делать какие-то выводы или предпринимать какие-то действия. Кроме того, ориентируясь на один показатель, проще принять решение по результатам теста. Выдвигайте гипотезы вашего A/B-теста опираясь на данные.
Если CRO пользователей, направленных на новую страницу, действительно стали выше – эксперимент признают удачным. Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения a/b testing это с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон заголовка главной страницы, как в прошлом примере. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт.
Нагрузочные тесты (позитивные), стресс-тесты (негативные)
В противном случае результаты эксперимента могут не соответствовать действительности. Если в эксперименте есть пользователи, на работу которых изменение не повлияло, вы просто создаёте ненужные помехи и уменьшаете возможность обнаружения эффекта. Например, если вы изменяете макет страницы поиска, добавьте в эксперимент только тех пользователей, которые посещают страницу поиска. Соответственно, начинайте отслеживать свои метрики только после того, как пользователь увидит соответствующую страницу. Представьте, что вы запускаете эксперимент на странице поиска, кто-то посещает ваш сайт и совершает покупки на главной странице, а затем переходит на страницу поиска, входя в эксперимент.
Например, по результатам А/В-теста конверсия выросла, но снизился средний чек. Если с прокси-метриками всё ок, то внедряем изменения. В нашем примере мы также запустили два одинаковых сайта в тест Google Optimize.
Рекомендуемые инструменты
Если какого-либо компонента пока нет, больше подойдут другие инструменты. A/B-тестирование (или сплит-тестирование) — это способ проведения маркетингового исследования разных этапов воронки продаж или интерфейса, дизайна сайта с целью оценки их эффективности. Сервис «Оптимизация» Google Marketing Platform позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, можно проводить A/B/N-тестирование, которое отличается от стандартных A/B-экспериментов проверкой сразу несколько гипотез вместо двух.
По некоторым данным, они использовали A/B тестирование для оценки привлекательности 41 различных оттенков синего. Кроме того, ознакомьтесь с 7 невероятными примерами A/B тестов, проводимых реальными компаниями — примеры A/B тестирования промышленного уровня. Размер выборки, который вы выберете, позволяет приблизительно определить, сколько времени займет сбор достаточного количества данных. Для начала решите, какую информацию вы сможете собирать и анализировать. А/В тестирование используется для определения наиболее эффективной версии продукта на рынке. Также важно помнить, что инновации могут привести к долгосрочным, но медленным изменениям в том, как пользователи взаимодействуют с продуктом.
А/В-тестирование в Google Analytics
Поэтому они вернулись на шаг назад — к тому, почему они решили, что бесконечный скролл будет лучше. Во-первых, действительно ли большее количество элементов на странице лучше? Когда они изменили только количество элементов на странице поиска, то обнаружили, что получили большее количество кликов, но такое же количество покупок.
А это противоречит сути А/В-тестирования — все таки А/В-тесты являются инструментом для быстрого внедрения улучшений. Хороший сайт или приложение устроены так, чтобы клиенту было удобно — играть, оформлять заказы, учиться и много чего ещё. Все эти характеристики влияют на популярность компании и вывести их можно только опытным путем. Так А/В-тестирование помогает делать более дружественные интерфейсы, интуитивно понятные формы обратной связи, интересный читателю контент. Со временем вы начнете видеть все закономерности, которые увеличивают эффективность вашей маркетинговой активности.
Советы для эффективного проведения A/B-теста
А гоняя тест слишком долго, вы напрасно потратите время и ресурсы. Итак, методы можно разделить на три уровня в зависимости от того, сколько денег компания готова потратить на тестирование. Метод «дерева» работает лучше всего, если вариации сайта отличаются друг от друга несильно. Но иногда ребрендинг бывает настолько радикальным, что приходится почти полностью менять навигацию.
- И всё же иногда я проводила большую часть своего времени, работая над экспериментами, даже несмотря на то, что я старалась не работать более чем над тремя-четырьмя сразу.
- Потому что, занимаясь сразу несколькими, вы в результате получите рост ложноположительного результата.
- Если отсутствует ресурс получить адекватные данные, A/B-тесты не покажут результат.
- Также в анализе можно запросить отчет о достоверности результатов из Google Optimize.
- Он также требует регулярного обновления для повышения конверсии.
Если же взять несколько показателей, то они должны быть тесно связаны друг с другом. Поэтому рассмотрим подробнее, как провести А/Б-тест двух сайтов. А когда речь идет о повышении конверсии сайта от 0,5 процентов, то любые колебания плюс-минус 0,1% уже много решают. Достоверный тест возможен только тогда, когда есть достаточно пользователей, информации и времени для накопления статистики. В ином случае не удастся добиться желаемых показателей, а сведения могут оказаться неточными. Это наблюдается из-за высокой чувствительности метрик аналитики.
A/B тест: что это такое и как его провести
Например, на выбор рекламного объявления или функционала мобильного приложения. Становится понятно, что важность тестирования API очевидна. Дэн Маккинли, бывший главный инженер Etsy, приводит отличный пример этой проблемы в своей презентации о непрерывных экспериментах. Его команда провела недели, работая над включением infinite scroll для страницы поиска. Но когда они запустили A/B-тестирование, то обнаружили что infinite scroll показывает плохие результаты. Их первой реакцией было предположение, что это, должно быть, какая-то ошибка, но когда они нашли ошибку и исправили её, результаты остались неизменными.
Коэффициент конверсии
К нему относится глобальная смена всей концепции оформления, либо изменение отдельных небольших компонентов для лучшего пользовательского опыта. При этом важно руководствоваться результатами А/B-тестирования. Корпорация Google осуществила свой первый A/B-тест для определения оптимального количества результатов для отображения на поиске. Первое тестирование оказалось неинформативным из-за медленной загрузки.