AI-эксперименты для 10X роста — выступление Aakash Gupta

О чём видео

Frederic De Todaro, CPO Kameleoon, присоединяется к Aakash Gupta для обстоятельного разговора о том, как AI меняет продуктовое экспериментирование. Эпизод включает живую демонстрацию, в которой De Todaro создаёт и запускает вариант A/B-теста за две минуты с помощью AI, и охватывает полный цикл экспериментирования — от генерации идей и настройки до измерения и анализа. Обсуждение опирается на 12-летний опыт De Todaro, помогавшего тысячам команд проводить эксперименты в масштабе.

Для кого

Продакт-менеджеры и специалисты по росту, которые регулярно проводят эксперименты и хотят понять, как именно AI меняет каждый этап процесса. Также актуально для PM, избегавших экспериментирования из-за слишком долгого цикла разработки — это выступление напрямую обращается к этому барьеру.

Ключевые выводы

1. Узкое место разработки ликвидировано. Большинство продуктовых идей никогда не тестируются, потому что создание вариантов занимает недели. AI-инструменты для кода устранили это ограничение. De Todaro демонстрирует создание варианта A/B-теста с помощью инструкции на естественном языке — «изменить сортировку на “по возрастанию цены”» — и вариант готов за две минуты. Этап разработки, который раньше блокировал экспериментирование, больше не является ограничивающим фактором.

2. Vibe coding меняет экономику экспериментирования. Когда создание варианта стоит две минуты вместо двух недель, расчёт того, что стоит тестировать, меняется полностью. Команды теперь могут проверять идеи, которые раньше отвергались как слишком незначительные для обоснования инженерных затрат. Это означает, что продуктовая интуиция — способность генерировать хорошие гипотезы — становится настоящим узким местом вместо инженерных мощностей.

3. Измерение AI-фич требует других метрик. Стандартные метрики A/B-тестирования не дают полной картины для AI-функций. De Todaro выделяет три ключевые метрики специально для RAG-систем: точность извлечения, релевантность ответов и удовлетворённость пользователей. Он утверждает, что PM должны тесно работать с дата-сайентистами, чтобы фреймворк измерения соответствовал уникальным характеристикам AI-фич.

4. PM по-прежнему определяют стратегию; AI обеспечивает скорость исполнения. De Todaro чётко формулирует: роль PM в экспериментировании не уменьшилась — она сместилась. PM привносят бизнес-контекст, которого у AI нет: ограничения клиентов, стратегические приоритеты, регуляторные требования. Именно сочетание PM-суждения и скорости исполнения AI даёт лучшие результаты, а не автономное проведение экспериментов искусственным интеллектом.

5. Две главные волны в экспериментировании — ML и генеративный AI. Волна машинного обучения принесла персонализацию и автоматическую сегментацию аудитории. Волна генеративного AI теперь позволяет мгновенно создавать тесты и проводить анализ в реальном времени. De Todaro описывает их как накапливающие преимущества: команды, рано освоившие ML-экспериментирование, сейчас в более сильной позиции для извлечения выгоды из возможностей генеративного AI.

Стоит смотреть, если…

Вы проводите эксперименты с продуктом, но считаете цикл «построить-протестировать-узнать» слишком медленным, и хотите увидеть конкретную демонстрацию того, как AI-инструменты сжимают время экспериментирования с недель до минут.