Главная/Блог/Время экспериментов. 10 карточек по A/B тестированию

Блог

Время экспериментов. 10 карточек по A/B тестированию

Рассказываем о методе, который поможет улучшить юзабилити сайта, увеличить трафик и главное – повысить конверсию.

Создание интерфейса по результатам тестирования дает возможность аудитории решать самой, какие элементы ей удобнее использовать. Такой эксперимент похож на исследование для нового лекарства, когда одна контрольная группа получает дозу нового препарата, а другая – плацебо. Причем ни врач, ни больные не знают, кто в какой группе.

Что это за тестирование?

A/B тест применяется для анализа эффективности страницы, например, повысить продажи на сайте. Специалист выдвигает гипотезу, по которой заголовки плохо читаются, поэтому пользователи уходят с сайта, не сделав заказ. А другой шрифт исправил бы ситуацию. Чтобы проверить эту гипотезу, создается второй вариант страницы с другим шрифтом, и с помощью программ для тестирования трафик распределяется равномерно между двумя вариантами. Через некоторое время можно посмотреть, где конверсионный показатель оказался выше, какой вариант дал больше заказов, подписок, обращений.

Зачем проводить A/B тестирование?

Тестирование покажет, что привлечёт пользователей и как оптимизировать сайт. В результате можно работать с подтверждёнными фактами, а не догадками.

Проверенная гипотеза подтвердит, что вы меняете сайт не потому, что кто-то считает это хорошей идеей, пришло время, или кажется, что внешний вид сайта устарел. Настоящие причины для изменений – улучить юзабилити и повысить конверсию. В идеале результаты тестирования помогут улучшить все эти показатели.

По данным на 2017 год 38% западных компаний проводят A/B тесты. Мы рекомендуем проверять свои теории при первой возможности, чтобы получить точные данные. Результат тестирования даст ответ на многие вопросы и поможет определиться, какие средства применить для повышения конверсии и стоит ли делать редизайн сайта.

Откуда брать гипотезы?

Изучите ваш данные с помощью Google Analytics и найдите возможные пробелы, которые могут влиять на конверсию. Смоделируйте гипотезу, основанную на этих данных. Здесь помогут интервью, тепловые карты, разбор кейсов конкурентов.

А как проверять?

Сначала определитесь с целями и KPI для теста, а также показателями сайта, которые хотите измерить. Оцените показатели существующей страницы и способы ее улучшения. Например, вы хотите повысить коэффициент конверсии промостраницы с 10% до 15% и предполагаете, что сейчас текст на кнопке недостаточно привлекает внимание пользователя. На кнопке написано «Подробнее», поскольку это универсальный вариант. Исследования показывают, что этот текст часто непонятен для пользователя. Пользователь не знает наверняка что произойдет после клика: скачивание pdf с подробными условиями, начнется оформление заказа, переход на другую страницу. Лучшие использовать более точные слова, которые будут более информативны и привлекательны для пользователей.

Чтобы проверить гипотезу, создается второй вариант страницы с другим текстом на кнопке, и половина трафика отправляется на нее. Если изменение текста на кнопке увеличило показатель на 3%, но не привело к желаемым 15%, то надо работать над текстом дальше. Но в следующем тесте контрольной версией уже страница с обновленным текстом.

Сформулируйте четкие гипотезы по пунктам, которые хотите проверить. За один раз можно проверять только одну гипотезу, иначе результат будет неточным. Например, если вы меняете кнопку целевого действия, то нужно отдельно тестировать ее цвет, текст, форму и величину, иначе никто не сможет определить, какой именно фактор повлиял на конверсию.

Какую программу выбрать?

Можно воспользоваться бесплатной программой Google Experiments, ее функционала достаточно для тестирования. Также популярна программа Optimizely с функционалом дополнительной персонализации, цена $ 49 за 1к ежемесячных уникальных просмотров. А для тестирования на мобильных устройствах подойдет Apptimize, с помощью которой можно мгновенно обновлять приложение в AppStore.

Что можно тестировать?

Обязательно тестировать Call-to-action элементы, особенно когда вы планируете запуск нового сайта или редизайн, а также большие изменения, такие как:

  • Изменение архитектуры сайта;
  • Добавление нового раздела на сайт;
  • Разработка сервисов, влияющих на функциональности и юзабилити.


А также когда вы хотите проверить небольшие гипотезы, но значимые для общей эффективности страницы: текст призыва к действию на кнопке, цвет шрифта, порядок баннеров с УТП.

А сколько ждать?

Не менее недели. В разные дни и разное время поведение пользователей может отличаться, поэтому тесты должны проходить одновременно на обоих вариантах. Погрешность может возникнуть из-за недостаточного трафика и конверсии. Разница в показателях должна быть ощутима: например, заказы распределяются между старой и новой версией — 100 и 170, тогда результаты эксперимента будут точными с гарантией 95%. Большинство инструментов для тестирования учитывают погрешность, но вы можете перепроверить их на калькуляторе.

Что можно узнать?

Кроме проверки основной гипотезы, вы можете сделать выборку результатов для отдельной группы пользователей, узнать показатели по другим целям на сайте, посмотреть количество отказов, продолжительность сеанса использования сайта, количество посещенных страниц и получить инсайты для новых гипотез.

Как сделать эффективно?

Можно провести АА тест – направить пользователей на страницы с двумя одинаковыми вариантами, чтобы удостовериться, что программное обеспечение работает правильно и узнать нынешнее количество конверсий перед тем, как запустить A/B тест.

Чтобы не показывать 50% аудитории тестовую версию, которая не обязательно будет внедряться, выборку лучше уменьшить. Для АА теста можно выделить 1% аудитории, тогда каждая сотая загрузка страницы выдаст вариант, который тестируется, а для А/B теста настроить выбор из двух версий — каждый сотый раз загружается вариант А, каждый двухсотый вариант В.

Если тестирование происходит на постоянной аудитории, ей лучше показать два новых варианта, т.к. любое изменение на привычном сайте будет восприниматься как «шум».

Сформулируйте четкие гипотезы, которые вы хотите проверить. Они должны обязательно поддаваться сравнению по количественным показателям. Если ваши предположения расплывчатые, тест не сработает. Также не стоит сравнивать два кардинально разных дизайна страницы.

Если вы хотите проверить больше двух гипотез, разделите их на несколько тестов и проверяйте последовательно, иначе результаты получатся необъективными. Преимущество тестов именно в четкости результатов.

Посмотрите, какая из версий дала лучший результат. Если есть четкий победитель, изменения можно смело внедрять на сайте. Если результаты получились неубедительными, вернитесь к гипотезам.

Пара советов

  1. Определитесь, что вы хотите тестировать и почему.
  2. Создайте альтернативы вашему контрольному варианту страницы.
  3. Проведите тест.
  4. Сделайте страницу-победителя новой контрольной версией.
  5. Повторите тест, один эксперимент вряд ли поможет повысить эффективность всего вашего бизнеса в диджитале.

Успех вашего сайта – это не случайность. Перед тем, как менять дизайн и юзабилити, стоит проверить все гипотезы эмпирически и опираться на точные данные.

Другие посты

 

Как нанять робота вместо менеджера проекта

Мы в Далее ищем новые способы оптимизировать распределение ресурсов и тестируем для этого разные технологии. Недавно наша команда разработала...

13 декабря 2018#Business
 

Микромультик для Микролакса

Для продвижения средства Детский Микролакс наш клиент Johnson & Johnson предложил конкурс, который порадовал мам и детей, а также помог в...

6 декабря 2018#кейсы
 

Не заставляйте меня думать: как снизить уровень...

Технологии и стандарты меняются, и дизайн сайта должен им соответствовать. Но даже если новый дизайн эстетически и функционально безупречен,...

19 ноября 2018#UX И дизайн#web
 

В поисках Dream Team для разработки сайта

Найти классную команду для разработки проекта – это челлендж для менеджера. Построить работу можно по-разному: собрать команду у себя в штате,...

6 ноября 2018
 

Релиз или жизнь? Хеллоуин в digital

В самую страшную ночь года на специалистов нашего диджитал-агентства больше ужаса наводят не сверхъестественные силы, а дедлайны, и самые страшные...

30 октября 2018#creative
 

Как данные и эмоции меняют дизайн

Четкий подход при создании нового сайта или его редизайне поможет систематизировать работу: не нужно принимать решение наугад и думать, выстрелит...

23 октября 2018
 

Темная сторона дизайна

Apple сделал темную тему основной по умолчанию для новой Mac iOS, а Youtube начал тестировать темный фон еще год назад. Темные темы в интерфейсах...

17 октября 2018#digital #UX И дизайн
 

Зачем нужно тестирование сайта

До тестирования сайт ведет себя как кот Шредингера. Вы не знаете, работает ли все так, как задумано. Тесты перед запуском или обновлением сайта...

10 октября 2018#web
 

Большой брат: как и зачем использовать...

Сегодня сайт может подстраиваться под пользователя в реальном времени, что помогает укрепить отношения с брендом и соответствовать высоким...

3 октября 2018#digital #UX И дизайн#кейсы
 

Дизайн B2B-портала: найдите отличия

Есть мнение, что в компаниях, которые оказывают услуги для B2C и B2B, необходим разный подход к разработке дизайна для своего сайта, т.к....

27 сентября 2018#UX И дизайн#web
 

Еще раз об эффективности: чек-лист перед...

Чтобы взять все необходимое в поездку, организовать порядок в доме, начать вести здоровый образ жизни, можно воспользоваться чек-листами. Та же...

20 сентября 2018#web
 

Типографика в веб-дизайне

Типографика на сайте – это не просто выбор шрифта, а набор правил оформления текста. Они основаны на том, как пользователь воспринимает текст на...

13 сентября 2018#UX И дизайн
 

Как бренду рассказать свою историю

Психологи-эволюционисты доказали, что притягательность историй обусловлена строением нашего мозга. По данным сайта brainrules услышанную информацию...

16 августа 2018#marketing#UX И дизайн
 

Финансовые сервисы в digital: будущее уже...

Удобство нашей жизни во многом зависит от скорости развития финансового сектора в digital. Многие уже привыкли к оплате коммунальных услуг на сайте...

9 августа 2018#digital #UX И дизайн#web
 

UX-аналитик и другие профессии с приставкой UX

UX-дизайн определяет, каким будет опыт взаимодействия пользователя с продуктом. В процессе проектирования пользовательского опыта участвуют четыре...

27 июля 2018#UX И дизайн
 

Как отличить атомарный дизайн от UI-kit

Невозможно перестараться, оптимизируя работу над дизайном. Можно подойти к вопросу глобально и воспользоваться методологией атомарного дизайна, а...

23 июля 2018#UX И дизайн
 

Преимущество использования отзывчивого веб-дизайна

Как адаптировать дизайн под разные устройства, чтобы он оставался удобным для пользователя? Вместе с контент-продюссером компании InVision Уиллом...

19 июля 2018#UX И дизайн
 

Лучшие диджитал-кампании к Чемпионату Мира 2018

Чемпионат стартовал 14 июня, и острая борьба среди брендов началась задолго до этого. На самом главном спортивном мероприятии в мире мы увидим не...

25 июня 2018#кейсы
 

Как составить контент-план, который работает

От контента зависит максимум эффективности кампании. Что лучше, традиционный подход с подготовкой всего контента на месяц вперед или эксперименты в...

1 июня 2018#smm
 

Правило Хемингуэя: как агентству и заказчику...

В оценке качества креативной концепции есть две проблемы. Первая — как его оценивать агентству, внутри команды, что пропускать дальше, а что...

29 мая 2018#marketing#digital #creative
 

Обзор самых популярных систем для управления...

Система для управления проектами может сильно повлияет на продуктивность компании. Сложно определиться с системой для работы с клиентами, и еще...

15 мая 2018#Business#web
 

Сам себе Youtube: 5 шагов к вирусному контенту

Над видео для компании лучше работать вместе с продакшн-агентством. Вы смотрите портфолио агентств и выбираете подходящее по стилю и по цене. Что...

4 мая 2018#marketing#digital
 

Как агентства представляют свои кейсы

Когда заказчик обращается в агентство, ему нужен не просто сайт или промокампания, а гарантии и решение проблемы. И кейсы показывают, насколько...

24 апреля 2018#кейсы
 

Просто о сложном: agile-разработка

Изначально аджайл был вотчиной программистов. Так они называли методы разработки ПО, принципиально отличавшиеся от традиционного. Но оказалось, что...

17 апреля 2018#web
 

Что такое нативная реклама и как она работает

Несколько лет подряд все говорят о нативной рекламе. Недавно Business Insider заявили, что к 2021 году выручка от нее вырастет до 74% от общих...

12 апреля 2018#marketing#digital #creative
 

Разработка единой дизайн-системы для группы ВТБ

Собственные дизайн-системы – что это? Модный тренд или рабочий инструмент для качественного продвижения бренда? Рассказываем про наш опыт.

10 апреля 2018#UX И дизайн#кейсы
 

Чем дизайнер продукта отличается от просто...

Мы собрали пять отличительных признаков дизайнера продукта от дизайнера, занятого на «потоке» — чтобы окончательно разобраться в вопросе и...

5 апреля 2018
 

Быстрее, выше, сильнее: как использовать видео...

Почему видеоконтента становится всё больше, где стоит размещать ваши видеоролики, и как сделать их ещё лучше.

3 апреля 2018#marketing#digital
 

Микроинфлюенсеры – будущее маркетинга влияния

Одним из трендов инфлюенс-маркетинга стал «подъем микроинфлюенсеров» — блогеров с небольшой, но активной аудиторией. Бренды обращают меньше...

27 марта 2018#marketing
 

Мессенджер-маркетинг как современный способ...

Мы решили сделать обзор самых популярных мессенджеров и выяснить, как бренды могут использовать их для коммуникации с клиентами.

23 марта 2018#marketing#digital
 

Формы оплаты работ за разработку сайта

Мы разберем детально какие бывают формы ценообразования на создание интернет-проекта.

31 января 2018#Business#web
 

Как убрать непонимания при общении с исполнителями

Как и в любом коммуникационном процессе, у вас могут возникнуть недопонимания или даже конфликтные ситуации с вашим подрядчиком. Это норма нашей...

24 января 2018#Business#web
 

В каких конкурсах участвовать, если вы...

Сейчас столько конкурсов, фестивалей и премий, что уследить за всеми невозможно. Расскажем о лучших отечественных и зарубежных мероприятиях, в...

17 января 2018#digital #Business
 

Ищем подрядчика по разработке сайта (2 часть)

Как начать искать подрядчиков? Чем руководствоваться при выборе таких специалистов? Читайте продолжение статьи про особенности подбора...

10 января 2018#Business
 

Как искать подрядчика по разработке сайта (1...

Самый надежный путь — сформулировать свои задачи, критерии поиска и отбора подрядчика и заняться поиском самостоятельно.

27 декабря 2017#Business
 

Поддержка и развитие сайта

Работа над сайтом не прекращается после подписания акта и сдачи проекта. Сайт или интернет-проект — это инструмент, который постоянно...

20 декабря 2017#Business#web
 

PR-менеджер в digital-агентстве: 2017

Бюджеты, зарплата, показатели, достижения и профессиональные трудности.

14 декабря 2017#digital #Business
 

Выбор платформы для создания сайта

Последствия выбора платформы проявляются на финальных стадиях работы над проектом или после его сдачи заказчику.

13 декабря 2017#Business#web
 

Сколько стоит разработка корпоративных сайтов

Мы рассмотрим самый популярный тип проекта — корпоративный веб-сайт. На основе рыночных исследований мы выделили 3 ценовых группы и разобрали...

7 декабря 2017#Business#web
 

Цели проекта: имиджевые, финансовые, смежные.

В первую очередь ответьте на вопрос «Для чего и для кого делается этот интернет-проект?»

29 ноября 2017#marketing#Business
 

На западном фронте: особенности работы с...

О работе с западными заказчиками писали много, но в основном о финансово-юридических моментах. Мы же осветим другую сторону — организационную,...

22 ноября 2017#Business
 

Онлайн-трансляции в соцсетях любят больше, чем...

Live-трансляции могут быть полезны и для продвижения товаров, услуг, бизнес-мероприятий. На примере благотворительной акции банка расскажем как...

15 ноября 2017#smm #кейсы
 

Блогеры решают: Influencer Marketing в действии

Лучше всего работает та реклама, которая не выглядит, как реклама. Поэтому сегодня Influencer Marketing становится всё популярнее. Рассказываем,...

8 ноября 2017#marketing#digital #creative
 

«Мы решили заправить Instagram тем, чего от...

Агентство «Далее» запустило кулинарный Instagram-сериал с комедийной актрисой Мариной Федункив из «Реальных пацанов» в главной роли.

6 ноября 2017#marketing#digital #smm #creative#кейсы
 

UFS.Travel: увеличение количества продаж за...

Команда UFS.Travel и digital-агентство «Далее» о том, какие обновления на сайте поспособствовали повышению конверсии на 16%.

3 ноября 2017#UX И дизайн#creative
 

KPI digital-кампаний: к чему нужно быть готовым

KPI (Key Perfomance Indicators) — ключевые показатели эффективности. Иногда их для краткости называют «метрики». Существование метрик...

1 ноября 2017#marketing#digital
 

Как решать конфликтные ситуации с трудными...

Разбирая проблему возникновения конфликтных ситуаций с так называемыми сложными клиентами, в первую очередь нужно сказать, что любое агентство,...

30 октября 2017#marketing#Business