Insights Unlocked: как строить AI-воркфлоу для customer research, не теряя человеческого участия
Подкаст Insights Unlocked (UserTesting) выпустил эпизод с Кейтлин Салливан (Caitlin Sullivan), основателем AI Customer Research. Тема: как выйти за пределы удачных AI-промптов и выстроить воркфлоу, которому можно доверять. Разговор — практический: где начать, как измерить результат, что оставить человеку.
С чего начинать автоматизацию
Салливан называет основную ловушку — оптимизацию ради оптимизации. Команды, которые разочарованы в AI и не понимают, где ROI, как правило, делали слишком много вещей слишком быстро и ни одну из них — по-настоящему хорошо.
Её рекомендация начинающим: не искать, «куда вставить AI», а присмотреться к собственным воркфлоу и найти задачи, которые вызывают наибольшее раздражение. «Если вы — исследователь или продакт-менеджер, который обожает работать с данными, вам не нужны дюжины агентов, которые полностью автоматизируют вашу аналитику. Но, возможно, есть какая-то часть процесса, которая бесит вас каждый раз, когда вы к ней подходите. Возьмите именно её и посмотрите, что можно сделать».
Критерий для отбора задачи под автоматизацию: она должна выполняться достаточно часто, чтобы можно было итерировать и видеть, работает ли подход. Воркфлоу, который используется раз в квартал, не даст достаточного количества повторений для оценки и улучшения.
Разница между хаком и воркфлоу
Хак или удачный промпт работают несколько раз. Воркфлоу, которому можно доверять, требует документации и системы измерений. По словам Салливан, это особенно сложно для качественных исследователей: в отличие от количественных данных, где есть числовые значения и объективные метрики, при работе с интервью или NPS нужно самостоятельно определять, что считать прокси-метрикой и как сравнивать результаты запуска за запуском.
Ключевой вопрос: получаете ли вы примерно одинаковые результаты каждый раз, что приводили бы к одним и тем же решениям? Если воркфлоу при разных запусках на схожих данных выдаёт принципиально разные выводы — ему доверять нельзя.
Этика данных и синтетические данные
Салливан предлагает простой личный тест для оценки рисков: «Если то, что я сейчас делаю, вдруг окажется в открытом доступе — как я к этому отнесусь? Кого это затронет?» Этот вопрос актуален даже для исторических, анонимизированных данных: можно ли с абсолютной уверенностью утверждать, что ни один участник не может быть идентифицирован по совокупности деталей разговора?
Для команд с жёсткими политиками безопасности её стартовая точка — синтетические данные. Подписка на AI-платформу за $20 в месяц плюс синтетические данные дают возможность изучить, что вообще возможно, не нарушая внутренних политик. При тестировании она рекомендует сравнивать два инструмента параллельно на идентичных задачах.
Что оставить людям
Автоматизировать всё — не цель. Салливан описывает разницу между задачами, которые стоит делегировать AI (повторяющиеся, технические, утомительные), и задачами, требующими человеческого суждения. AI хорошо находит паттерны и флагует нечастые события в больших массивах данных — то, на что у человека уходило бы много часов. Но превращать его вывод в окончательный продукт, не проверив суждением, по-прежнему рискованно.
Основной тезис эпизода: ценность исследователя сейчас — не в умении выполнять каждый шаг руками, а в том, чтобы знать, какие шаги важны, как проверять результаты и где человеческое суждение незаменимо. AI заполняет пробелы там, где у специалиста не было полной экспертизы; исследователь обеспечивает качество там, где AI не справляется.