54.162.138.98

A/B тестирование в digital маркетинге


22.10.2018

A/B тестирование используется для изучения как небольшие различия в маркетинговой компании могут влиять на поведение клиентов. Идея заключается в том, чтобы запустить 2 версии кампании на контролируемых группах пользователей и оценить более успешную версию. Ранее метод A/B тестирования применялся достаточно редко из-за его стоимости, но с развитием возможностей интернет-исследований стоимость проведения таких исследований значительно снизилась и  есть возможность опытным путем определить эффективность внедрения изменений в маркетинговую кампанию.

 

Примеры коммуникаций, где тестирование A/B окажется полезным:

  • Мейл-рассылка
  • Веб-сайты
  • Приложения
  • Интернет-реклама (баннер / PPC / AdWords)

 

Примеры переменных для проверки:

  • Тематические заголовки
  • Описания товаров
  • Текст (длина, стиль)
  • Предложения
  • Цена
  • Изображения
  • Кнопка призыва к действию (текст, цвет, позиция)
  • Цветовые схемы
  • Макеты страниц

 

До начала исследования следует сформулировать гипотезу (изменение такого параметра повлияет на …) и определить метрику для оценки результата. Конечно, можно оценить полученный результат по нескольким метрикам, но выбор одной, ключевой метрики поможет более корректно сформировать исследуемый кейс.

 

Проводя исследование, не поддавайтесь соблазну изменить сразу несколько показателей, иначе вам так и не удастся точно определить какой из показателей повлиял на результат кампании. Также вам потребуется заранее подготовить 2 тестовые группы пользователей. Позаботьтесь чтобы они были равны по количеству и используйте другие критерии, по которым у вас есть данные: возраст, география, интересы и др.

 

В результате у вас будет подготовлены 2 кейса: с изменением 1 параметра и контрольный, и 2 группы для проведения исследования.

Если вы исследуете мейл-рассылку, то можете выделить группу примерно в 10% пользователей и потом отправить лучший вариант рассылки оставшемуся списку. Если вы исследуете веб сайт, то будет сложнее определить точный объем пользователей и в таком случае лучше руководствоваться временем, достаточным для оценки разницы поведения пользователей.

 

После проведения A/B тестирования переходите к интерпретации полученных результатов, исходя из выбранной метрики. Если ваша гипотеза подтвердилась, и новая версия получила больший отклик пользователей, можете смело вносить изменения. Но может быть и такой вариант, когда оба кейса получили одинаковый отклик без значимых статистических отличий или когда кейс с изменениями показал отрицательный результат. В таком случае вы можете оставить старый вариант или продолжать эксперимент с новыми изменениями параметра до получения удовлетворительного результата. Всегда следите за возможностями увеличения коэффициентов конверсии и потенциальных клиентов.

Oksana Davidchenko Oksana Davidchenko


"Мечты не работают пока не работаешь ты"