Чек-лист A/B тестирования: до, во время и после эксперимента
Этот чек-лист покрывает полный цикл A/B теста — от выявления того, что тестировать, до анализа результатов и документирования выводов. Используйте его, чтобы не пропустить критические шаги, влияющие на надёжность результатов.
До теста
- Определите страницу или функцию для тестирования на основе аналитических данных, указывающих на проблему (высокий показатель отказов, низкая конверсия, отвал воронки)
- Изучите качественные исследования (юзабилити-тесты, опросы, обращения в поддержку) для понимания причины проблемы
- Запишите гипотезу: «Изменение [элемента] на [новую версию] изменит [метрику], потому что [причина]»
- Выберите основную метрику, которая определяет победителя
- Выберите 1-2 метрики-ограничителя для обнаружения нежелательных последствий
- Рассчитайте необходимый размер выборки с помощью калькулятора (входные данные: базовое значение метрики, минимальный обнаруживаемый эффект, 95% значимость)
- Оцените длительность теста на основе ежедневного трафика и размера выборки (минимум 2 недели, лучше 4)
- Спроектируйте и соберите вариант, изменив только один элемент
- Проведите QA варианта в Chrome, Safari, Firefox, Edge на десктопе, планшете и мобильных
- Убедитесь, что отслеживание срабатывает корректно для контроля и варианта (проверьте события аналитики)
- Проведите короткий внутренний пилот (несколько часов), чтобы подтвердить сбор данных
Во время теста
- Запустите тест с запланированным разделением трафика (обычно 50/50)
- Не проверяйте результаты ежедневно — поставьте дату ревью на конец запланированного срока
- Мониторьте только технические проблемы (сломанное отображение, сбои отслеживания) во время тестового периода
- Отмечайте внешние факторы, возникающие во время теста (промоакции, праздники, упоминания в прессе, сбои)
- При обнаружении критического бага в варианте — приостановите тест, исправьте, сбросьте данные и перезапустите
После теста
- Убедитесь, что тест достиг и необходимого размера выборки, и минимальной длительности
- Проверьте основную метрику: статистически значим ли результат (p < 0,05 или >95% байесовской вероятности)?
- Оцените практическую значимость: достаточно ли велик размер эффекта для бизнеса?
- Сегментируйте результаты по устройствам, источникам трафика, новым и вернувшимся пользователям
- Проверьте метрики-ограничители на непредвиденные негативные эффекты
- Задокументируйте результат: гипотеза, что изменилось, размеры выборок, конверсии, доверительный интервал, сегментные находки
- Примите решение: внедрить вариант, оставить контроль или итерировать с повторным тестом
- Поделитесь документированным результатом с командой (даже если тест проиграл — проигравшие тесты содержат знания)
- Спланируйте следующий тест на основе полученных выводов