«Вряд ли с первого раза вы угадаете именно то решение». Как мы тестируем гипотезы и выбираем лучшее для нас

Тестирования гипотез и проведение экспериментов ─ важная часть развития продукта. Их проводят практически все, кто задействован в разработке продукта — от маркетологов и продуктовых менеджеров, до Data Science-команд и разработчиков.

Зачем проводить А/В – тестирование

Делать тестирование стало легко. Есть много инструментов, которые помогают формировать, запускать и анализировать тесты, без участия разработчиков. 

Тестирование показывает результаты, которые очень помогут бизнесу. Ведь эксперименты проводятся не только, чтобы подтвердить или опровергнуть гипотезу, но и чтобы  научиться. Каждый тест дает нам новые и важные знания о продукте.

На что смотреть в тесте, кроме статистической значимости и success-метрики

 Многие упускают тот факт, что каждый новый тест дает нам еще и новые гипотезы для дальнейшей проработки. Часто можно упустить следующие важные моменты:

• За счет чего тест был успешным или нет?
• Для кого он был успешным или неуспешным?
• Какие знания о продукте и пользователях нам принес тот или иной тест?

Для того чтобы ответить на эти вопросы, далеко не всегда нам будем хватать выбранных метрик для теста. Для полной картины А/B-тестирования, нужны следующие пункты.

Health-метрики

Это те метрики, на которые вы обращаете особое внимание.

Например, для Jooble этой метрикой может быть кликабельность позиций в поиске и подаче на вакансию. То есть мы отслеживаем, как ведут себя пользователи, откликаются ли они на вакансию и насколько часто.

Тест может показать себя отлично в рамках гипотезы и вырастить первоначальную метрику, но при этом дать негативный эффект на главные показатели продукта.

Представим, что у нас есть интернет-магазин, и мы хотели бы увеличить просмотры товаров. Мы их увеличили, но при этом количество покупок у пользователя снизилось. Хотя первоочерёдная метрика касалась просмотров.

Дополнительные метрики и мероприятия, которые влияют на выбранный  показатель.

Во время теста учитывайте все детали, которые влияют на  его успешность. Например, у нас был тест с предложением групп вакансий в поисковой выдаче сайта. Мы анализировали не только заинтересованность пользователей, но и то, насколько они откликаются и их общую активность.

Частота использование этой функции была высокой. Но мы разложили все на вспомогательные элементы и поняли, что нам нужно менять систему рекомендаций внутри этих групп вакансий. После этого мы получили позитивный результат.

• Оценить сегмент пользователя. Не всегда нужно сразу запускать тесты на узкие сегменты. Можно делать это и на общую базу пользователей, в зависимости от цели.

Но при анализе сегментация дает много полезной информации. К примеру, если наш тест провальный, при сегментации мы можем увидеть, что он был провальным только для пользователей IOS из Украины. Причиной могла быть ошибка. Если ее убрать, тест покажет адекватный результат.

Сегментировать, то есть разделять,  можно по разным принципам:

•   типу пользователя – новый, вернувшийся, лояльный;
•   операционной системе – IOS/Android;
•   браузеру ─ Chrome, Safari;
•   типу устройства – десктоп, планшет, смартфон;
•   типу трафика ─ органический, платный, пользователь сицсетей;
•   географии;
•   другим критериям, которые важны для вашего продукта.

Гипотеза продукта зависит от сегментации теста, а точнее от того была она изначально или нет.

В моей практике был пример, когда мы проводили тесты на странице вакансий с кнопками откликов. И когда провели сегментацию, поняли, что на IOS-девайсах показатели метрики намного хуже.  Причина ─ наш дизайн не был до конца адаптирован под Safari-браузеры.

Сегментация по устройствам и браузерам помогла нам понять, где у нас была просадка. Мы и запустили тест еще один раз, который показал результат лучше. 

• Посмотреть на Hotjar (онлайн-сервис для аналитики сайта и накопления обратной связи. – Прим. ред.). Полезными, в процессе анализа теста, становятся разные инструменты, которые записывают шаги пользователей. Которые показывают как люди себя вели и взаимодействовали с тестом. Эти инструменты помогают следить за процессом в реальном времени и наблюдать все ли идет как надо. 
• Анализ сезонности. Этот критерий остается ключевым для некоторых типов бизнеса. Например, для е-commers и сайтам по поиску роботы. Сезонность важно учитывать при дизайне теста. В пиковый сезон или период распродажи пользователи могут вести себя вообще по-другому, чем в обычный период времени или низкий сезон.
• Посмотреть пересечение тестов. Полезно для тех, кто делает много тестов одновременно.

Например, мы сделали изменения на странице поиска и на странице подачи на вакансию. Когда делали редизайн, смотрели эти два теста в связке. На пересечении тестов, результат был в два раза лучше, чем в каждом тесте по отдельности.

Мы поняли, что если приметь два теста вместе, то пользователи будут вести себя иначе. Но пересечение может повлиять на результат и негативно.

• Пересмотрите тест. Если есть какие-то просадки метрик в тесте,  просмотрит все потоки еще раз. Возможно есть какой-то баг или условия, которые вы не учли.

Когда нужно запускать новые циклы и проводить эксперимент с новыми знаниями

Мы можем не учесть, как пользователи поведут себя в определенной фазе взаимодействия с продуктом. От этого пострадает тест. Но это не значит, что он неудачный или не полезный. Анализ по пунктам, что указан выше, может помочь нам увидеть, какую конфигурацию тестов улучшить, чтобы получить адекватный результат.

Часто для тестирования гипотезы нужно больше трех попыток. Вряд ли с первого раза вы сможете угадать именно то решение.

Так у нас было с редизайном страницы поиска. Мы делали дизайн, тестировали на пользователях и все было отлично. Но ровно до  того момента, пока мы не выпустили изменения в для всех наших соискателей.

Здесь мы увидели, что ключевая метрика кликабельности – начала проседать. А не могли понять почему. Но после детального анализа выяснили, что вторая важная метрика для наших пользователей – это количество вакансий, которые помещаются на основном экране. А она стала меньше.

Мы предположили, что уменьшив высоту карточек на несколько пикселей, то мы сможем улучшить кликабельность. Так все и произошло.

Как учиться на тестах и работать с новыми гипотезами

Результаты предыдущих тестов могут быть полезными для следующих гипотез. А могут и опровергнуть существующие. После завершения теста и его оценки, хорошо бы вести документ с основными результатами. И не важно, насколько успешным оказался тест.

Чтобы знания с тестов не терять и извлекать из них как можно больше пользы документируйте, сегментируйте и храните в одном месте. Можно это делать в следующем виде:

•   Что это был за тест и его характеристики: почему запускали, где, как и для кого.
•   Факты, данные и наблюдения, которые мы получили в ходе теста и на выходе.
•   Знания и инсайты, которые мы агрегировали в ходе анализа фактов.
•   Дальнейшие шаги по полученному результату.
•   Приоритет на следующие шаги.

Документирование результатов составляет базу для новых гипотез и новых направлений, а также понимание нужности последующих действий.

Этот документ нужен, чтобы члены продуктовых и сторонних команд, новые коллеги учились на результатах проведенных тестов.

Неважно – провалился ваш тест или нет. Главное, что, используя правильный подход и инструменты, вы получите много инсайтов для дальнейшей работы.

Если просуммировать, то не стоит останавливаться на том, что гипотеза подтверждена или опровергнута. Ведь тест ─ это не только способ экспериментировать, а очень крутой инструмент для того, чтобы принимать обратную связь от пользователей и извлекать дополнительные знания.

Также тест может стать дополнительной площадкой для дальнейших исследований. И главное ─ на основе результатов А/В-тестирования, мы можем строить наш продукт качественнее и быстрее, с новыми наборами знаний и информации.

Ресурсы и книги, которые помогут больше понять тестирование и аналитику

Отличный и бесплатный курс – Udacity «Online Experiment Design and Analysis». Но без предварительных знаний статистики  онможет быть трудноватым.

Книги:

•        «The Innovator’s Hypothesis», Майкл Шраге
•        «Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing» Диана Тан, Рон Кохави, Я Ксу
•        «Lean Analytics», Алистер Кролл и Бенджамин Йосковиц
•        «Don’t Make Me Think», Стив Круг