Get free lesson
Just type your contacts
It's totally free
Контрольная группа — это возможность измерить эффективность рекламных активностей, которые реализуются с помощью Smart Communications: например, кампаний или email-рассылок. В статье расскажем, как настроить тестирование и проанализировать эффективность маркетинга с помощью механизма контрольных групп.
СТАТЬИ
Как контрольные группы
помогают оценить эффективность маркетинга
СТАТЬИ
Как контрольные группы помогают оценить эффективность маркетинга
Контрольная группа — это возможность измерить эффективность рекламных активностей, которые реализуются с помощью Smart Communications: например, кампаний или email-рассылок. В статье расскажем, как настроить тестирование и проанализировать эффективность маркетинга с помощью механизма контрольных групп.
В чем смысл контрольных групп
Контрольная группа — это доля клиентов, которая не получает никаких специальных промопредложений и не участвует в маркетинговых коммуникациях. Для чего ее выделять? Так можно оценить чистый эффект от конкретной акции или рассылки. Если мы видим, что контрольная группа реагирует на наши действия точно так же, как и остальные клиенты, то понимаем, что взаимодействие оказалось неудачным и не привело к росту целевых показателей.

Самый популярный пример — сравнение числа покупок и выручки у основной группы и контрольной. Как правило, в контрольную группу попадает 5-10% от базы клиентов. Несмотря на то, что выборка производится случайным образом, важно, чтобы ключевые параметры (пол, возраст, уровень дохода, частота покупок и т. д.) контрольной группы примерно совпадали с параметрами основной, чтобы результаты не вводили в заблуждение.
В чем смысл контрольных групп
Контрольная группа — это доля клиентов, которая не получает никаких специальных промопредложений и не участвует в маркетинговых коммуникациях. Для чего ее выделять? Так можно оценить чистый эффект от конкретной акции или рассылки. Если мы видим, что контрольная группа реагирует на наши действия точно так же, как и остальные клиенты, то понимаем, что взаимодействие оказалось неудачным и не привело к росту целевых показателей.

Самый популярный пример — сравнение числа покупок и выручки у основной группы и контрольной. Как правило, в контрольную группу попадает 5-10% от базы клиентов. Несмотря на то, что выборка производится случайным образом, важно, чтобы ключевые параметры (пол, возраст, уровень дохода, частота покупок и т. д.) контрольной группы примерно совпадали с параметрами основной, чтобы результаты не вводили в заблуждение.
Почему для оценки результата недостаточно отслеживать атрибуцию по чекам?
Один из самых распространенных способов оценивать эффективность маркетинга (сумму выручки, количество новых клиентов, число продаж) — атрибутировать чеки с проведенной маркетинговой активностью. Атрибуция — это правила, которые позволяют связать чеки с рассылкой или акцией. Например, можно считать, что чек связан с коммуникацией, если клиент получил рассылку (в случае e-mail открыл письмо, а в случае SMS/Viber получил сообщение) и в течение N дней (сколько конкретно, решаем самостоятельно) после этого совершил покупку. Такой метод прост в использовании, но использовать только его не совсем правильно.

Представим ситуацию: клиент зарегистрировался в интернет-магазине, и мы отправили ему welcome‑письмо. Клиент открыл письмо и спустя какое-то время совершил покупку. В отчете мы увидим, что этот чек связан с welcome‑письмом, то есть заслуга за полученную выручку будет отдана email‑каналу.

При этом есть вероятность, что клиент, который сам зарегистрировался на сайте, все равно собирался сделать покупку — без всяких приветственных писем. И как понять, насколько большую роль в его решении сыграло это письмо? Чтобы сделанные выводы были более объективными, и используется механизм контрольной группы. В этом случае часть покупателей получает письмо, а часть не получает. Если показатели в полученных группах отличаются, можно судить о том, что welcome‑письмо на самом деле оказывает влияние на решение о покупке.
Почему для оценки результата недостаточно отслеживать атрибуцию по чекам?
Один из самых распространенных способов оценивать эффективность маркетинга (сумму выручки, количество новых клиентов, число продаж) — атрибутировать чеки с проведенной маркетинговой активностью. Атрибуция — это правила, которые позволяют связать чеки с рассылкой или акцией. Например, можно считать, что чек связан с коммуникацией, если клиент получил рассылку (в случае e-mail открыл письмо, а в случае SMS/Viber получил сообщение) и в течение N дней (сколько конкретно, решаем самостоятельно) после этого совершил покупку. Такой метод прост в использовании, но использовать только его не совсем правильно.

Представим ситуацию: клиент зарегистрировался в интернет-магазине, и мы отправили ему welcome‑письмо. Клиент открыл письмо и спустя какое-то время совершил покупку. В отчете мы увидим, что этот чек связан с welcome‑письмом, то есть заслуга за полученную выручку будет отдана email‑каналу.

При этом есть вероятность, что клиент, который сам зарегистрировался на сайте, все равно собирался сделать покупку — без всяких приветственных писем. И как понять, насколько большую роль в его решении сыграло это письмо? Чтобы сделанные выводы были более объективными, и используется механизм контрольной группы. В этом случае часть покупателей получает письмо, а часть не получает. Если показатели в полученных группах отличаются, можно судить о том, что welcome‑письмо на самом деле оказывает влияние на решение о покупке.
Пример рассылки с использованием контрольной группы
Например, интернет-магазин «Шоколад» планирует отправить дополнительное письмо клиентам, чтобы напомнить об оставленной корзине, которую они сформировали, но не оплатили, чтобы повысить долю выкупленных заказов. Чтобы протестировать идею, настроили контрольную группу, и гипотеза не оправдала ожиданий. Клиенты, которые получали письмо, не стали переходить к этапу оплаты чаще, чем участники контрольной группы.

После этого маркетологи «Шоколада» решили протестировать ту же идею, но в другом канале — Push-рассылках. И на этот раз она сработала: благодаря дополнительным уведомлениям доля оплаченных заказов увеличилась на 5%.

В маркетинговых мероприятиях можно одновременно подключать сразу два вида контрольных групп — глобальные и локальные. В первом случае вы сможете оценить общую эффективность рекламной кампании, а во втором — эффективность конкретной механики. В Smart Communications есть специальные инструменты, которые позволяют выделять клиентов, которые входили в контрольные группы, и это можно использовать при разработке маркетинговых мероприятий.
В построителе сегментов, например, можно использовать фильтры, связанные с контрольными группами: участвовал в контрольной группе e-mail-рассылки, участвовал в контрольной группе SMS-рассылки и так далее.
Пример рассылки с использованием контрольной группы
Например, интернет-магазин «Шоколад» планирует отправить дополнительное письмо клиентам, чтобы напомнить об оставленной корзине, которую они сформировали, но не оплатили, чтобы повысить долю выкупленных заказов. Чтобы протестировать идею, настроили контрольную группу, и гипотеза не оправдала ожиданий. Клиенты, которые получали письмо, не стали переходить к этапу оплаты чаще, чем участники контрольной группы.

После этого маркетологи «Шоколада» решили протестировать ту же идею, но в другом канале — Push-рассылках. И на этот раз она сработала: благодаря дополнительным уведомлениям доля оплаченных заказов увеличилась на 5%.

В маркетинговых мероприятиях можно одновременно подключать сразу два вида контрольных групп — глобальные и локальные. В первом случае вы сможете оценить общую эффективность рекламной кампании, а во втором — эффективность конкретной механики. В Smart Communications есть специальные инструменты, которые позволяют выделять клиентов, которые входили в контрольные группы, и это можно использовать при разработке маркетинговых мероприятий.
В построителе сегментов, например, можно использовать фильтры, связанные с контрольными группами: участвовал в контрольной группе e-mail-рассылки, участвовал в контрольной группе SMS-рассылки и так далее.
В Smart Communications можно настроить контрольные группы как на отдельную рассылку, так и на целую цепочку событий, когда мы создаем кампанию. Чтобы создать контрольную группу при создании кампании, воспользуйтесь ползунком Размер контрольной группы на странице настройки.
Как настроить контрольную группу в Smart Communications
Если это разовая рассылка, то для создания контрольной группы в блоке Объем рассылки воспользуйтесь ползунком Размер контрольной группы. Размер контрольной группы может варьироваться от 0 до 50% целевого сегмента (по умолчанию — 0%). Количество клиентов, входящих в контрольную группу, выводится в блоке:
При этом запускать тестирование можно как массовой рассылке, так и в триггерной цепочке. Кроме того, в любом канале коммуникации можно настроить контрольную группу и AB‑тестирование. Так вы сразу сможете попробовать разные варианты сообщений и оценить эффект относительно контрольной группы.

В идеале эксперименты не должны стать разовой акцией, и процесс должен стать постоянным: когда итогом одного теста становится несколько новых вопросов и идей для проведения следующего. Каждый раз нужно выбирать лучший результат, автоматизировать его и начинать сначала. Только тестировать уже другие вопросы и гипотезы.

Несмотря на то, что это довольно сложный и трудоемкий процесс, его можно считать одним из самых эффективных инструментов для тестирования в маркетинге. При этом вы можете начинать с чего-то более простого — например, просто с классического АB-тестирования в сообщениях или электронных письмах. Но при этом следует понимать, куда вы собираетесь двигаться дальше.
• Email
• SMS
• Viber
• Push

Контрольные группы можно устанавливать для любого канала, которые есть в Smart Communications:
Как настроить контрольную группу в Smart Communications
В Smart Communications можно настроить контрольные группы как на отдельную рассылку, так и на целую цепочку событий, когда мы создаем кампанию. Чтобы создать контрольную группу при создании кампании, воспользуйтесь ползунком Размер контрольной группы на странице настройки.
Если это разовая рассылка, то для создания контрольной группы в блоке Объем рассылки воспользуйтесь ползунком Размер контрольной группы. Размер контрольной группы может варьироваться от 0 до 50% целевого сегмента (по умолчанию — 0%). Количество клиентов, входящих в контрольную группу, выводится в блоке:
Контрольные группы можно устанавливать для любого канала, которые есть в Smart Communications:
• Email
• SMS
• Viber
• Push

При этом запускать тестирование можно как массовой рассылке, так и в триггерной цепочке. Кроме того, в любом канале коммуникации можно настроить контрольную группу и AB‑тестирование. Так вы сразу сможете попробовать разные варианты сообщений и оценить эффект относительно контрольной группы.

В идеале эксперименты не должны стать разовой акцией, и процесс должен стать постоянным: когда итогом одного теста становится несколько новых вопросов и идей для проведения следующего. Каждый раз нужно выбирать лучший результат, автоматизировать его и начинать сначала. Только тестировать уже другие вопросы и гипотезы.

Несмотря на то, что это довольно сложный и трудоемкий процесс, его можно считать одним из самых эффективных инструментов для тестирования в маркетинге. При этом вы можете начинать с чего-то более простого — например, просто с классического АB-тестирования в сообщениях или электронных письмах. Но при этом следует понимать, куда вы собираетесь двигаться дальше.
В Smart Communications можно посмотреть отчет по контрольной группе. Он находится на странице с остальными отчетами по рассылке или кампании.
Отчеты по контрольной группе
Отчет представлен в виде таблицы, где по основной и контрольной группам выводятся данные по числу покупателей, которые получили сообщения или совершили покупку, указана конверсия покупателей, среднее число чеков, сумма покупок и так далее. Здесь же можно посмотреть прогноз дохода при конверсии и среднем чеке контрольной группы — на какую сумму купили бы клиенты, если бы рассылки не было.

Например, в отчете видим, что рассылку получили 99 048 человек. Если бы мы ее не делали, то конверсия в покупателей была бы 8,39%, как в контрольной группе. С такой конверсией покупки совершили бы 99 048 * 0,0839 = 8 310 покупателей. В контрольной группе средний доход на покупателя составил 1 604 рубля. Если не отправлять рассылку, сумма покупок составит 8 310 x 1 604 = 13 329 240 рублей. С помощью отчета анализируем дополнительную выручку — выгоду, которую можно получить благодаря рассылке. Если сумма покупок в основной группе составила 15 814 351 рублей, а прогноз дохода — 13 329 240 рублей, разница составляет 2 485 111 рублей. На основе полученных данных можно принимать решение — стоит ли масштабировать акцию, или это не принесет желаемой выгоды.
Отчеты по контрольной группе
В Smart Communications можно посмотреть отчет по контрольной группе. Он находится на странице с остальными отчетами по рассылке или кампании.
Отчет представлен в виде таблицы, где по основной и контрольной группам выводятся данные по числу покупателей, которые получили сообщения или совершили покупку, указана конверсия покупателей, среднее число чеков, сумма покупок и так далее. Здесь же можно посмотреть прогноз дохода при конверсии и среднем чеке контрольной группы — на какую сумму купили бы клиенты, если бы рассылки не было.

Например, в отчете видим, что рассылку получили 99 048 человек. Если бы мы ее не делали, то конверсия в покупателей была бы 8,39%, как в контрольной группе. С такой конверсией покупки совершили бы 99 048 * 0,0839 = 8 310 покупателей. В контрольной группе средний доход на покупателя составил 1 604 рубля. Если не отправлять рассылку, сумма покупок составит 8 310 x 1 604 = 13 329 240 рублей. С помощью отчета анализируем дополнительную выручку — выгоду, которую можно получить благодаря рассылке. Если сумма покупок в основной группе составила 15 814 351 рублей, а прогноз дохода — 13 329 240 рублей, разница составляет 2 485 111 рублей. На основе полученных данных можно принимать решение — стоит ли масштабировать акцию, или это не принесет желаемой выгоды.
Если у вас возникли вопросы по использованию контрольных групп в модуле Smart Communications, или вы хотите узнать, как автоматизация рассылок поможет конкретно вашей компании, заполните форму ниже. Мы постараемся ответить как можно скорее.
Если у вас возникли вопросы по использованию контрольных групп в модуле Smart Communications, или вы хотите узнать, как автоматизация рассылок поможет конкретно вашей компании, заполните форму ниже. Мы постараемся ответить как можно скорее.