Как провести хорошее сплит-тестирование

Форма поиска

A/B-тестирование или, как его еще называют, сплит-тестирование — это один из лучших способов оптимизировать свои email-рассылки. Для некоторых A/B-тестирование все еще может выглядеть несколько сложным или пугающим, и поэтому они просто решают вообще не связываться. Или просто решают, что оно не стоит потраченного времени и/или усилий.

Но если подумать, без какого-либо тестирования, как вы можете быть уверены, что ваши рассылки работают максимально эффективно? Правильный ответ — нет, вы не можете.

A/B-тестирование — это не только самый верный путь узнать, что работает в ваших письмах а что — нет, но и верный способ улучшить свои показатели. Тестировать можно что угодно — начиная от частоты рассылки и коммерческого предложения, до отдельных элементов письма — темы, длинны текста в письме, картинок, структуры шаблона и т. д. Когда тестируешь с умом, усилия могут окупиться многократно. И как это бывает, одно маленькое изменение может иметь огромное влияние на результаты вашей рассылки.

 

ab-test-what-670-420-2

 

Как провести сплит-тест, что тестировать, с чего начать и, главное, как? Мы подготовили для вас небольшое руководство по сплит-тестированию, а также несколько полезных и практичных советов. Поехали.

 

 

Что из себя представляет A/B-тестирование?

A/B-тестирование — это техника оптимизации, позволяющая выявить и улучшить элементы письма, лендинга, коммерческого предложения, влияющие на исход результатов кампании, путем сравнивания показателей двух или более вариантов.

В случае email-маркетинга, A/B-тестирование — это сравнение показателей 2 вариантов одного и того же письма, при рассылке определенному сегменту подписчиков. По результатам теста определяется самый эффективный вариант, который в итоге и рассылается большинству подписчиков.

 

ab-test-1024-630

 

Что будем тестировать?

Самый первый шаг A/B-тестировании — это определить что мы будем тестировать. Объектов тестирования на самом деле очень много. Можно даже сказать, что если ты можешь это изменить, значит ты можешь это протестировать. Хотя, понятно, не стоит тратить свои силы на тестирование всех элементов письма. Есть вещи давно за нас протестированные и утвержденные, как самые оптимальные для email-писем. Например расположения важной информации в шапке письма, использование глаголов вCTA (call-to-action — призыв к действию), ширина текста, шрифт без засечек для основного текста и т. д.

Стоит также иметь ввиду, что разные элементы письма влияют на различные части процесса конверсии. Поэтому необходимо предварительно проанализировать слабые и сильные стороны вашего письма, чтобы понять для себя — с него надо начинать. Например, если у вас низкая открываемость, необходимо тестировать элемент непосредственно влияющий на открываемость, т. е. заголовок / тему письма. Если у вас низкая конверсия, т. е. низкий клик-рейт, тогда стоит протестировать уже элементы контента, например картинки, копирайт или CTA.

В тестировании очень важно тестировать именно один элемент. Если вы будете тестировать одновременно два элемента, вы впоследствии не сможете определить, какой из них был решающим и какова его доля влияния.

Вот примеры важных (влиятельных) элементов письма, которые обычно тестируются в A/B-тестах.

  • Тема письма (длинная vs короткая тема, другая формулировка)
  • Персонализация (без персонализации или Привет, [first_name]!)
  • Заголовок письма (размер заголовка, цвет, стиль, формулировка)
  • Контент (длинный vs короткий текст)
  • Изображения (больше изображений vs меньше изображений, фото vsиллюстрация)
  • Структура шаблона (1 колонка, 2 колонки текста, 1 колонка слева и 2 ряда справа)
  • Предложение (скидка 20% vs бесплатная доставка)
  • CTA («Заказать сейчас» vs «Посмотреть модели»)

 

Начинаем тестирование

Как уже упоминалось, самое важное в A/B-тесте — это определить, что конкретно будем тестировать, и уже исходя из этого, создать 2 варианта одного и того же письма — A и B (отсюда и название).

Вариант A — это контрольная версия, или контроль, т. е. версия письма которую вы обычно отправляете своим подписчикам, ваш первый или исходный вариант письма.

Вариант B — это тестовая версия, т. е. версия письма, с вариацией элемента который вы хотите протестировать.

Давайте предположим, что мы будем проводить один из самых распространенных типов A/B-теста — тестирование темы письма.

1) Выдвигаем гипотезу

Нам важно определить, что мы будем тестировать и что, по нашему предположению, из этого выйдет. Эта гипотеза определяет, насколько объемным будет наше тестирование, каков размер контрольных групп, сколько должен продлиться тест и будут ли, в итоге, результаты нашего теста достаточно убедительными и статистически релевантными. Иными словами, успех ли это или нет.

Например, ваша гипотеза может состоять в том, что другая тема письма (тема B) увеличит открываемость на 5% по сравнению с первым вариантом темы письма (тема A). Успешность вашего теста, т. е. подтверждение того, что тема B — действительно лучше чем тема A, в том случае, если открываемость письма B будет минимум на 5% выше. Меньший результат будет означать, что другая тема письма вам погоды не сделает.

2) Выбираем подопытных

Это могут быть все ваши подписчики или только определенный сегмент. В данном тесте вы тестируете открываемость в зависимости от темы письма, что предполагает участие более широкого сегмента подписчиков.

 

r66-1136-520

 

Тесты на конверсию должны быть более таргетированными, например — тестировать, какого типа изображения лучше работают на мужчин и какие — на женщин, сколько текста готовы воспринимать новые подписчики и т. д.

3) Определяем размер контрольной и тестовой группы

Следующий шаг — определяем, сколько подписчиков необходимо отобрать для проведения теста.

В Смарте эта опция настроена таким образом, что вам достаточно перетащить движок влево или вправо, для того чтобы изменить процентное соотношение тестируемых групп и оставшейся части.

 

r61-1136-860

 

По умолчанию, данное соотношение стоит на 20% (вариант A), 20% (вариант B) и 60% (победивший вариант), но это, разумеется — усредненный расклад.

Обычно, чем большую девиацию (изменение/отклонение) вы хотите зафиксировать (пара десятков процентов), тем меньший процент тестируемых вам необходим. И наоборот, если ваша гипотеза — изменение всего в нескольких процентах, вам понадобиться большая группа, больший от общего списка процент испытуемых, вплоть до одной трети (33%).

Для более точного определения минимального размера тестируемых групп существуют статистические формулы (привет, универ!). Но без должного экскурса в основы статистики, они мало применимы, особенно для новичков, так как включают в себя такие понятия, как уровень доверия и допустимая погрешность. Мы к этому еще вернемся в следующих статьях.

4) Как будем выбирать победителя

Смарт позволяет настроить то, как будет определяться лучший вариант письма — автоматически (система сама определит наилучший вариант) или вручную, т. е. самостоятельно.

 

r64-1136-384

 

Если вы раньше не проводили сплит-тесты, выберите автоматическое определение и отправку лучшего варианта. Это поможет вам освоиться и, так сказать, обкатать схему. Со временем, вы начнете делать все более тонкие тесты и результаты могут более неоднозначными, где ручной выбор будет более оправдан.

5) Загружаем 2 версии письма и отправляем

В Смарте удобно письма загружать (через редактор), а также есть удобные вкладки для переключения между вариантами письма. Выделение цветом (зеленый — A и синий — B) помогает понять какой вариант письма сейчас активен. Это не даст вам запутаться.

 

r62-1136-872-2

 

Все готово? Можно отправлять!

6) Как долго продолжать тестирование

Это зависит от цели нашего теста. Если вы задались тестировать открываемость или клик-рейт, то это вопрос пары часов максимум, в зависимости от размера тестируемого сегмента.

В других же типах тестирования вам, например, понадобится несколько последовательных тестов для того чтобы определить тренд или влияние определенного фактора. Например, при тестировании частоты рассылок, вам необходимо будет наблюдать за поведением подписчиков в течении нескольких недель, чтобы понять насколько велика разница. Если вы тестируете итоговую конверсию (покупка/заказ товара), это также потребует нескольких поочередных тестов, для выявления общего тренда.

 

Анализируем результаты

Итак, вы отправили тестовые письма и получили результаты. Что дальше?

1) Определяем успешность нашего теста

По завершению отправки контрольного и тестового вариантов письма, мы получаем результаты. Именно сейчас мы определяем, подтвердилась ли наша изначальная гипотеза. В нашем случае, действительно ли открываемость варианта B — выше варианта A на 5%.

Если, например, контрольная тема (письмо A) дала открываемость в 12%, а тестируемая тема (письмо B) дала открываемость 13%, то результаты можно считать незначительными, так как изначально вы поставили себе значимость результата 5% и более. Другими словами, результаты теста оказались неубедительными, даже если один результат оказался лучше другого.

Если взять случай, когда контрольная тема (письмо A) дала открываемость в 12%, а тестируемая (письмо B) — 18%, то в этом случае можно будет утверждать, что тема письма B показала значительно лучшие результаты, чем тема письма A. Можно утверждать, что тест прошел успешно.

Самое главное, исходите из своих реалий (ваш исторический результат) и адекватно сопоставляйте ваши ожидания. Шкалу успешности определяете вы, когда ставите планку ДО начала теста.

2) Выбираем победителя

Вне зависимости от значимости результатов теста, мы должны выбрать победителя. Вы можете доверить это Смарту еще до проведения теста, а можете это сделать вручную. Особенно если дело касается более тонких показателей, таких как клик-рейт или отписка.

 

r63-1136-1184-5

 

3) Делаем выводы и двигаемся дальше

Что значит «успех», «провал» или «неубедительно» — лично для вас?

Например, изменение открываемости значимо и стоит ваших потраченных усилий, только если тест показывает результат как минимум на 5% больше (ваша гипотеза). Если результат меньше 5%, то он для вас является незначительным и не особо влияет на исход вашей email-кампании, в том числе и на общую конверсию.

В то же время, даже если результаты оказались неубедительными и тестовый вариант (письмо B) оказался лишь на чуточку лучше, это уже, пусть и небольшое, но изменение к более лучшему результату. Большой успех строиться из успехов маленьких.

И не забывайте, что однажды найдя свою волшебную формулу успешной рассылки, это вовсе не означает, что она будет служить вам вечно. Приходят новые подписчики, уходят другие, меняются тренды, сезоны и т. д. Захватить и удерживать внимание подписчиков — это постоянный процесс. Пускай и с небольшими, но постоянными улучшениями, вы можете добиться многого.

 

Практика тестирования. Полезные советы

Успешное тестирование, в том числе и A/B-тестирование, зависит от постоянства и контроля. Это статистика в чистом виде. Исходя из результатов проведенных тестов, вы будете принимать важные решения. Поэтому важно быть максимально, с научной точки зрения, корректным. Это требует тщательного планирования и исполнения.

Вот несколько советов, которые помогут вам придерживаться четкой линии и получать надежные результаты.

Начинайте тестировать как можно раньше

В тот момент, когда вы планируете изменения в вашей рассылке, это самое время начать проводить A/B-тесты. Не стоит вводить новый дизайн или новую стратегию рассылки, если вы не уверены, повлияет ли это на ваши итоговые результаты. Тестируйте на контрольных и тестовых группах.

Фокусируйтесь на частоте отправки A/B-писем

A/B-тестирование — это оптимальное решение для оптимизирования email-рассылки на постоянной основе, точно также как и регулярный ньюслеттер, приветственные письма, стандартные промо и прочие напоминалки. Даже небольшие улучшения, через определенное время, шаг за шагом, выведут вас на потрясающие результаты. А если учесть что со временем, ваша база будет расти, то даже небольшие изменения будут давать более заметные результаты.

Всегда отправляйте 2 варианта в одно и то же время

При проведении любого эксперимента, важно соблюдать равные условия для обеих групп, меняя лишь 1 фактор влияния — тестируемый. Это касается в первую очередь время отправки. Даже разница в пару часов может повлиять — представьте себе 11 часов утра (разгар рабочего дня) и 2 часа дня — обеденный перерыв. Обычно, это касается тестов, где отслеживается паттерн поведения, нежели единичный фактор (например, тема письма).

Будьте терпеливыми

Некоторые тесты можно провести за 1 час (тема письма), другие потребуют нескольких дней. Например — частота рассылки потребует нескольких недель, прежде чем можно будет определить модель поведения вашей аудитории. Если вы решите закончить тест раньше, чем надо, вероятность ошибки будет большей.

Доверяйте своим результатам

Старайтесь не поддаваться внутреннему предубеждению, что ваша гипотеза — верная (даже если очень хочется). Вы затеяли тест не просто так, а именно для того, чтобы проверить правильно ли ваше суждение, или нет. Эмпирический, т. е. полученный путем нескольких опытов и тестов, всегда вернее одно, сугубо частного (вашего) мнения. Вас что-то смущает? Проведите тест еще раз.

Продолжайте тестировать

Ваша аудитория постоянно меняется, люди подписываются, люди отписываются, поэтому проверять — насколько и в какую сторону она сдвинулась — надо на постоянной основе. Это особенно важно если у вас широкая аудитория, не ограниченная одной профессией/индустрией или, например, возрастом.

Один тест — это хорошо, но только не останавливайтесь на достигнутом. Вы только что улучшили результаты рассылки одного письма, значит вы можете улучшить результаты и следующих рассылок. Кто знает, как далеко можно зайти, если шаг шагом улучшать свои результаты и наглядно видя, что работает для ваших подписчиков, а что — нет.

На одном тесте вы задались улучшить показатель по открываемости. Вы уловили вашу рабочую фишку и она стабильно показывает вам высокие результаты? Переходите к увеличению клик-рейта, далее — к итоговой конверсии, увеличению лояльности, уменьшению спама-рейта.

Идеала, возможно, и нет, но всегда можно что-то улучшить и одна email-кампания может быть лучше предыдущей, пусть даже на чуть-чуть.

eMail Маркетинг