Что нужно знать об АБ тестах | Блог ЛБК
открыть доступ

Что нужно знать об АБ тестах

29.06.2017 | [Словарь Маркетолога]

«Те, кто не освоят Agile сегодня, в текущих процессах, лузеры завтра» — знаменитая цитата Германа Грефа.

Ее можно изменять под разные ситуации и инструменты. В случае с этой статьей я предлагаю вместо «Agile» использовать «АБ тесты». Те маркетологи, которые не освоят АБ тесты сегодня, в текущих процессах, лузеры завтра».

Ведь именно небольшие изменения и их объективная аналитика шаг за шагом ведут компанию вперед, и АБ тесты созданы как раз для этой цели. Далее мы расскажем, почему так и что есть нового в этой сфере.

  1. ыфвавыфаывфа
  2. фывафывафыва
  3. фывавыфавыфа

АБ тесты — это самый недооцененный инструмент для маркетологов и руководителей онлайн-бизнеса (которые берут маркетинг на себя). На это работают несколько распространенных мифов:

  • Миф. Чаще всего АБ тесты требуют вмешательства программистов;
  • Миф. Тестировать стоит только кнопки и заголовки на сайте;
  • Миф. Цифры это что-то сложное, ведь маркетолог и без них все понимают.

Кайдзен

Сам подход АБ тестирования очень похож на японскую философию и их подход к бизнесу «Кайдзен». Он фокусируется на непрерывном совершенствовании: каждый день сделать что-то лучше, чем вчера.

АБ тесты также опираются на постоянное улучшение. За каждый шаг протестировать какой-то элемент и выбрать лучший вариант. После чего протестировать новые гипотезы и опять выбрать лучший вариант.

Почему АБ тесты необходимо делать всем и везде.

Достоверность

На конверсию и на поведение пользователя может повлиять что угодно. Начиная с сезонности и особенностей рекламной кампании, до каких-то сложных факторов, которые невозможно спрогнозировать.

В таком случае определить, что именно влияет на поведение пользователя практически невозможно. Нельзя запустить вариант А на неделю, а позже на неделю запустить вариант Б и сравнивать статистику.

АБ тесты запускают в сравнение сразу 2 варианта (иногда 3, с контрольной группой, об этом позже). 50% пользователей видит вариант А, а остальные 50% — вариант B.

Что повлияло на конверсию?

За каждый тест вы сравниваете один какой-то элемент. Например, заголовок письма или кнопку с оффером.
Так вы поймете, какое именно изменение сыграло свою роль. Если вы же вы за раз будете тестировать сразу несколько элементов, то никак не поймете, что именно повлияло на конверсию.

Можно пойти дальше и сравнивать каналы коммуникации с пользователями, интересно? Рассказываем дальше…

Скорость

Это позволяет быстро тестировать разные гипотезы и находить лучшие формулы маркетинга и продаж. Например, очень важно быстро понять, что именно повлияло на конкретный результат и какая формула работает лучше. Иначе никакого качественного роста, все превратится в случайность или бюрократию.

Все индивидуально

Любое ваше решение надо тестировать и анализировать. Даже если вы прочитали какие-то супер-кейсы, нужно тестировать. В каждой сфере решения могут давать разный эффект: где -то дать рост в 2 раза, а где-то наоборот, снизить конверсию.

Что мешает маркетологам использовать АБ тесты?

Если у АБ-тестов столько преимуществ, почему же они не используются повсеместно? Всё упирается во все те же мифы:

  • В большинстве случаев требуется сложная настройка или помощь программиста;
  • Думают, что можно сравнивать только самые простые вещи (заголовки, кнопки и т.д.);
  • Сложность оценки в деньгах, а не стандартных метриках

Решение

В собственном сервисе мы учли все эти сложности, а также все потенциальные возможности АБ тестов и сделали как надо. Вам обязательно понравятся эти способности. Почему я в этом уверен? Потому что тест в сервисе может запустить и подробно проанализировать любой маркетолог без помощи программиста

Чтобы все было просто и понятно, пара слов о самом сервисе.

Carrot Quest — это сервис, который собирает ключевую информацию о каждом посетителе сайта и на ее основе помогает вести каждого к покупке (или целевому действию). Все это как вручную, так и автоматически.

Работа с пользователем может осуществляться в разных каналах:

  • функциональном онлайн-чате;
  • персональных всплывающих окнах;
  • email-рассылках (ручных и триггерных);
  • и другие каналах, типа звонка.

Чтобы наши пользователи понимали, какой канал или конкретный контент (например, дизайн или текст письма), либо сценарий автоматизации работает эффективнее, мы и запустили АБ тесты. Вот какую магию можно делать.

1. Сравнение содержания сообщения

Это как раз то, к чему все привыкли. Можно сравнивать между собой одинаковые сообщения, но с разными заголовками, дизайном, целевые кнопками и др. Например, так вы находите идеальный формат письма с максимальной конверсией.
Можно сравнивать письма, сообщения в чат, всплывающие окна и даже то, что вы захотите запустить с помощью js-скрипт.

2. Оценка эффективности в деньгах

Все привыкли сравнивать поп-апы или email-ы по стандартным метрикам. Это и open rate и click rate, и др. Мы пошли дальше. Сервис покажет, какое из сообщений принесло больший доход.

Под каждое сообщение вы можете создать цель (например, покупка) и анализировать эффективность этого сообщения в полученном доходе. Сколько конкретное письмо принесло а) покупок, б) денег.

Так вы оцениваете вашу работу сразу в доходах, а не в косвенных показателях.

3. Сравнение каналов коммуникации

Это очень важный момент. Вы можете сравнивать один и тот же оффер, просто измерять его эффективность в разных каналах. Например, можно сравнить, что лучше работает: письмо или всплывающее окно.

Если раньше все ограничивалось интуицией и было субъективно, то теперь вы можете сравнивать разные каналы и находить самые эффективные.

4. Контрольная группа

Вы уверены, что созданные вами сообщения не ухудшают конверсию? Чтобы знать наверняка, достаточно сравнить результаты теста с контрольной группой. Этим пользователям вообще не показывается сообщение (ни А, ни Б). По сути вы сравниваете 3 варианта: А, Б и отсутствие сообщения.

Мы рекомендуем включать контрольную группу при создании АБ теста.

5. Аналитика

По всем сообщениям и АБ тестам доступна подробная аналитика, начиная от общих данных до статистики каждого варианта. Например, показатели отправок, открытий, ответов, кликов на ссылку и др.

Самое интересное — это достижение главной цели. Цель вы выставляете сами. Например, покупка. В итоге в статистике вы видите, сколько пользователей дошло до цели и какой доход вам это принесло.

Все эти возможности показывают, что АБ тесты это простой, но невероятно полезный инструмент, который может и должен использовать каждый маркетолог.

Если хотите узнать об АБ тестах больше, то читайте подробно.

Хотите попробовать? Используйте Carrot Quest 14 дней бесплатно.

Если Вас интересует предпринимательство, попробуйте свои силы в 10-дневной бизнес-игре «Твой Старт», в которой Вы начнете зарабатывать на своем деле, используя свои таланты и сильные стороны!