Skip to content
Новость UserTesting Insights Unlocked окт. 2026 г.

UserTesting: как создавать AI-рабочие процессы, которым можно доверять

Подкаст UserTesting Insights Unlocked — эпизод 245 с Кэйтлин Салливан об AI-рабочих процессах в customer research

Как создавать AI-рабочие процессы, не теряя человеческого участия

AI обещает сделать customer research быстрее, дешевле и проще. Однако, пока команды торопятся автоматизировать работу, они упускают из виду более важный вопрос: действительно ли исследования становятся лучше?

Что если главная проблема вашего AI-рабочего процесса не в том, что он не работает, а в том, что вы понятия не имеете — работает он или нет?

Вы настроили несколько умных промптов. Возможно, подключили инструменты, автоматизировали анализ транскриптов или создали AI-агента, который превращает интервью с клиентами в готовые отчёты. Результаты выглядят впечатляюще. Команда в восторге. Руководство хочет знать, сколько времени вы сэкономили — и только одна проблема остаётся в стороне: вы ничего не измеряли.

Для Кэйтлин Салливан, основательницы AI Customer Research, это всё более привычная история. За более чем 15 лет работы в маркетинге, UX-дизайне, управлении продуктом и customer research она помогает командам двигаться от экспериментов с AI к построению надёжных, воспроизводимых процессов. В разговоре с Натаном Айзаксом на подкасте UserTesting Insights Unlocked она поставила под сомнение распространённые представления о производительности AI, автоматизации исследований и ценности customer insights.

Её тезис: перестаньте пытаться автоматизировать всё подряд. Начните разбираться, что действительно важно.

Ловушка AI-производительности

Автоматизировать утомительную задачу приятно: час работы становится пятью минутами, сложный процесс превращается в одну кнопку, и вы начинаете задумываться, что ещё можно передать AI — и именно в этот момент начинаются проблемы.

Кэйтлин считает, что многие команды попадают в то, что она называет «ловушкой оптимизации»: они гонятся за ростом производительности, не задавая вопрос, нужна ли вообще автоматизация именно этой задачи. Она видит организации, которые экспериментируют с AI повсеместно, но не могут продемонстрировать значимых результатов. Проблема не в технологии — в подходе. Команды делают слишком много всего слишком быстро, не давая ни одному процессу стать по-настоящему эффективным.

Её рекомендация неожиданно проста: найдите то, что в вашем рабочем процессе по-настоящему вас раздражает. Может, это редактирование транскриптов интервью, организация исследовательских заметок или поиск клиентов, которые давно не участвовали в опросах. Начните с этого.

«Если вы UX-исследователь или продакт, который просто обожает работать с данными,» — говорит Кэйтлин, — «действительно ли вам нужно создавать дюжину агентов, которые автоматизируют весь ваш датапайплайн?»

Скорее всего, нет. Цель не в том, чтобы убрать работу, а в том, чтобы убрать работу, которая мешает вам делать что-то более ценное.

Умный промпт — это не надёжный рабочий процесс

Между тем, чтобы попросить ChatGPT резюмировать интервью, и тем, чтобы построить AI-рабочие процессы, на которые может положиться вся команда, — огромная разница.

Первое, возможно, сэкономит вам 20 минут. Второе требует процесса, который можно запускать многократно, оценивать объективно и совершенствовать со временем.

Кэйтлин рекомендует начинать с задач, которые выполняются достаточно часто, чтобы обеспечить возможность тестирования. Рассмотрим автоматизированный процесс, который каждый понедельник определяет клиентов, не оставивших обратную связь, и формирует списки для рассылки. После нескольких недель работы можно оценить результаты, выявить проблемы и доработать процесс. Но автоматизация, которую запускают раз в три месяца? Её слабые стороны, возможно, никогда не обнаружатся.

Тот же принцип применим к AI-анализу качественных данных. Рабочий процесс, который один раз дал убедительные результаты, не обязательно надёжен. Ему нужно давать стабильные результаты при повторных запусках — а это требует документирования.

«То, чего большинство команд не делает, — это документирование,» — говорит Кэйтлин. — «Вы ничего не измеряете.»

Без базовой линии нет убедительного способа продемонстрировать улучшение. Это всё равно что ремонтировать кухню, не измерив комнату: результат может оказаться красивым, но холодильник туда не влезет.

Как понять, точны ли AI-инсайты?

Это наиболее важная часть разговора для всех, кто использует AI в UX research.

Большие языковые модели способны производить впечатляюще убедительный анализ: выявлять темы, резюмировать интервью, генерировать рекомендации, звучащие как выводы опытного исследователя. Но убедительность — это не то же самое, что правильность. Красиво написанная находка всё равно может направить продуктовую команду не туда.

Кэйтлин рекомендует тестировать AI-анализ исследований на так называемом «золотом тестовом наборе» (golden test set). Это коллекция ранее проанализированных исследовательских данных с находками, которым вы уже доверяете.

Предположим, ваша команда провела 30 интервью с клиентами и выявила несколько важных проблем с usability, неудовлетворённых потребностей и поведенческих паттернов. Вы изучили доказательства, находки прошли проверку, вы уверены в анализе. Теперь дайте те же исследовательские данные вашему AI-рабочему процессу. Находит ли он те же проблемы? Упускает ли важные темы? Появляются ли в его выводах находки, не подкреплённые данными?

Такое сравнение даёт отправную точку для оценки AI-инсайтов.

Кэйтлин также подчёркивает важность определения измеримых критериев качества — а не просто подсчёта количества находок, которые выдаёт модель.

Для команд, экспериментирующих с AI в customer research, это предполагает практическую схему:

  1. Установите базовую линию. Задокументируйте, сколько времени занимает текущий процесс и как выглядят хорошие результаты.
  2. Тестируйте на проверенных находках. Сравнивайте результаты AI с ранее завершённым человеческим анализом.
  3. Измеряйте стабильность. Запускайте рабочий процесс несколько раз и отслеживайте, где результаты меняются.
  4. Документируйте улучшения. Ведите учёт исправлений, ограничений и показателей эффективности.

Цель не в том, чтобы доказать, что AI блестящ. Цель в том, чтобы определить, достаточно ли надёжны результаты для принятия решений.

Начинайте с малого, особенно когда речь идёт о данных клиентов

Построение AI-автоматизации рабочих процессов создаёт ещё одну проблему: что происходит с данными клиентов?

Исследовательские команды регулярно работают с конфиденциальной информацией: записями интервью, личным опытом и деталями из жизни клиентов. Перенос этой информации во внешние AI-системы требует тщательного обдумывания.

Кэйтлин использует простой личный тест: «Если то, чем я сейчас занимаюсь, утечёт наружу, — как я к этому отнесусь? И кого это затронет?»

Это полезный вопрос, особенно для организаций, которые ещё только разрабатывают политики в области AI-этики и управления.

Её совет для команд, работающих в условиях строгих корпоративных политик: начните с экспериментов на синтетических данных. Создайте репрезентативные, но вымышленные исследовательские датасеты. Протестируйте разные AI-инструменты. Сравните результаты. Изучите поведение рабочих процессов — прежде чем вводить реальную информацию о клиентах.

Затем начните с небольшого, согласованного пилота: вместо автоматизации всей исследовательской операции протестируйте одну чётко определённую задачу с надлежащим образом защищёнными данными. Задокументируйте результаты и используйте эти данные, чтобы обосновать расширение.

Это тот же принцип, которому хорошие продуктовые команды следуют годами: протестируйте идею, прежде чем браться за разработку.

Сделайте AI-рабочие процессы командным делом

Когда надёжный рабочий процесс создан, возникает другая проблема: как им делиться?

AI-процесс, который отлично работает на ноутбуке одного исследователя, не очень ценен, если никто другой не может использовать, понять или улучшить его.

Кэйтлин рекомендует документировать рабочие процессы в общих репозиториях с контролем версий — например, с помощью GitHub. Это может звучать пугающе для исследователей и маркетологов, которые никогда не считали себя техническими специалистами. Но базовая концепция знакома: вместо того чтобы держать свои лучшие процессы в личных заметках, создавайте общие инструкции, журналы исправлений и задокументированные рабочие процессы, которые коллеги могут тестировать и совершенствовать.

Один исследователь обнаружил ошибку — он её документирует. Другой улучшил процесс — команда может принять обновлённую версию. Со временем рабочий процесс становится надёжнее.

Ключевой сдвиг здесь — не от исследователя к программисту. Это сдвиг от индивидуального эксперимента к коллективному обучению.

Не автоматизируйте человека из customer research

При всех разговорах о производительности, измерениях и автоматизации AI-рабочих процессов наиболее показательная часть разговора Натана и Кэйтлин возникла, когда они обсудили, что автоматизировать не стоит.

Первый ответ Кэйтлин оказался неожиданным: не автоматизируйте то, что вам нравится. Она обеспокоена тем, что AI-агенты могут захватить именно те части исследовательской работы, которые изначально делали её интересной.

Есть и более глубокая проблема: что происходит с нашей способностью критически мыслить, когда мы передаём слишком много мышления на аутсорс?

Возьмём видеозаписи интервью с клиентами. AI может резюмировать, что говорят участники, выявлять повторяющиеся темы и извлекать подтверждающие данные. Но наблюдение за тем, как кто-то испытывает затруднения с продуктом, может раскрыть нечто такое, что один лишь транскрипт упустит: паузу, растерянное выражение лица, раздражение, скрытое за, казалось бы, простым комментарием.

Натан вспомнил, как просмотр видеозаписей немодерируемых исследований порой учил его эмпатии больше, чем конкретные вопросы, на которые он пытался ответить. Эти впечатления остались с ним спустя годы — и это сложно уловить в автоматическом резюме.

Это поднимает неудобную возможность: чем эффективнее становятся наши исследовательские процессы, тем меньше времени мы можем тратить на понимание людей, стоящих за данными.

Реальная возможность — не в том, чтобы делать меньше исследований

AI-рабочие процессы в исследованиях обладают огромным потенциалом для того, чтобы помочь командам двигаться быстрее, анализировать больше информации и принимать более обоснованные решения.

Для руководителей в области продукта, UX и customer experience скорость сама по себе не является бизнес-результатом, поэтому более значимые вопросы звучат иначе: помогает ли AI выявлять лучшие инсайты, сокращать избыточные доработки и создавать впечатления, которые действительно нужны клиентам?

Это требует измерений, экспериментов и готовности задавать вопросы технологии — вместо того чтобы просто восхищаться её результатами. Это также требует сохранения человеческого суждения, которое придаёт исследованию его смысл.

Автоматизируйте повторяющуюся работу, тестируйте результаты и делитесь тем, что узнаёте — но не отдавайте любопытство, которое помогает вам распознать важный инсайт, когда вы его видите.

Как сказала Кэйтлин: «Я очень боюсь автоматизировать радость из всего, что делаю, — и вижу, что это происходит».