arXiv: AI-интервью в маркетинговых исследованиях и калибровка цифровых двойников
Аннотация
AI-модерированные интервью появляются как масштабируемый метод маркетинговых исследований для получения потребительских инсайтов и создания «цифровых двойников» потребителей. Однако до сих пор было неясно, сопоставимы ли они с интервью под управлением человека-модератора или превосходят более простые статические методы сбора данных. В предрегистрированном межгрупповом исследовании (N=317) с тремя отраслевыми партнёрами авторы сравнили AI-модерированные (N=139), человеко-модерированные (N=24) и статические интервью (N=154). AI-модерация по глубине соответствует человеческой, охватывает больше тем и при фиксированном бюджете выявляет значительно больше потребностей клиентов по сравнению с человеческой модерацией или статическими интервью. Однако участники звучат эмоционально вовлечённее, когда говорят с живым человеком. Авторы также создали цифровых двойников на основе данных интервью и оценили каждого двойника по удержанным ответам того же участника на шесть реальных маркетинговых стимулов. Цифровые двойники, построенные на данных AI-модерированных интервью, предсказывают поведение потребителей лучше, чем персоны, основанные только на демографии. Однако дополнительная насыщённость данных от AI-модерации не приводит к лучшим количественным прогнозам по сравнению со статическими интервью.
1. Введение
Потребительские исследования занимают центральное место в решениях компаний о позиционировании продуктов, рекламе и клиентском опыте, однако перед ними стоит устойчивое противоречие. Методы на основе опросов работают быстро, стандартизированы и масштабируемы, но часто упускают «почему» за потребительским выбором. Человеко-модерированные интервью способны раскрыть более богатые нарративы и более диагностические инсайты, но они медленные, дорогостоящие и трудно масштабируемые.
Последние достижения в генеративном ИИ обещают ослабить это противоречие: AI-интервьюеры способны вести адаптивные открытые беседы с потребителями при значительно меньших предельных затратах, что позволяет раньше и чаще привносить качественный инсайт в маркетинговые решения. Это обещание привлекло значительное внимание и инвестиции: AI-нативные стартапы в сфере качественных исследований — в частности, Outset, Listen Labs и Simile — привлекли сотни миллионов долларов венчурного финансирования. Крупные компании, разрабатывающие языковые модели, также начинают использовать AI-модерированные интервью в масштабе: например, Anthropic запустил масштабные программы AI-модерированных интервью.
AI-модерированные интервью занимают промежуточное место между традиционными опросами и интервью под управлением человека. По сравнению со статическими опросами, качественные интервью способны уточнять вопросы и адаптивно задавать уточняющие вопросы на основе ответов респондентов. Хотя опросы тоже могут быть адаптивными — например, адаптивный совместный анализ — они сосредоточены прежде всего на оценке заранее определённых функций полезности с использованием структурированных данных. Качественные же интервью требуют от модераторов интерпретации открытых ответов и принятия решения о следующем вопросе. Однако услуги человеческих модераторов дорогостоящи: от 200 до 400 долларов в час.
По сравнению с человеческими интервью, AI-модерированные интервью обещают более низкую стоимость, большую масштабируемость и последовательное следование тематическому руководству. Тем не менее, несмотря на обещанные преимущества, AI-модерация может вносить новые угрозы валидности. Пока неясно, насколько люди комфортно чувствуют себя, общаясь с языковыми моделями. Галлюцинации языковой модели могут заставить AI-модератора задавать неуместные уточняющие вопросы или вводить сфабрикованный контент, что потенциально снижает качество данных и требует валидации и человеческого надзора. Кроме того, интервьюеры на основе языковых моделей могут добавлять задержку ответа в разговор.
Таким образом, несмотря на спешку с внедрением AI-модерированных интервью и вызванный ими энтузиазм в сообществах венчурного капитала и маркетинговых исследований, срочные вопросы остаются без ответа: как AI-модерированные интервью сравниваются с традиционными интервью под управлением человека и другими малозатратными методами? Точнее, пока каждое AI-интервью может стоить около 20% от стоимости интервью с человеком-модератором, могут ли они воспроизвести насыщённость человеко-модерированных интервью при фиксированном бюджете? И насколько польза от AI-модерации определяется адаптацией вопросов к более ранним ответам респондентов, а не использованием интуитивных модальностей — например, голосовых интервью?
Первая цель исследования — оценить AI-модерированные интервью как новый метод сбора данных, сравнив их с человеко-модерированными интервью и со статическими качественными интервью в той же аудиомодальности. Авторы сравнивают три условия по объёму интервью (время речи участников, количество слов, реплики разговора), насыщённости интервью (измеренной через тематическую широту и глубину разработки), а также по набору потребительских потребностей, которые они выявляют. Исследуется также, различаются ли эмоциональные и паралингвистические особенности между условиями — через сравнение аффекта и просодии речи, включая валентность, возбуждение, доминантность, долю озвученных фрагментов, темп речи и долю пауз.
Один из главных сценариев использования AI-модерированных интервью — создание цифровых двойников: LLM-представлений конкретных людей, построенных на их собственных данных, например, качественных интервью или обширных ответах на опросы. Модель затем используется для предсказания того, как конкретный человек ответит на новые вопросы, не включённые в данные, использованные для построения цифрового двойника. Вторая цель исследования — проверить, можно ли использовать качественные данные, собранные через AI-модерированные интервью, для внедистрибуционных прогнозов, связанных с маркетинговыми результатами.
2. Методы
2.1 Дизайн исследования и участники
В исследовании применялся межгрупповой дизайн (N=317; 139 AI-модерированных, 154 статических, 24 человеко-модерированных). Все участники были набраны через платформу Prolific и прошли скрининг как лица, принимающие решения в сфере ремонта жилья (домовладельцы, доход домохозяйства от 75 000 долларов, стоимость жилья от 250 000 долларов, носители английского языка). Эти критерии отбора были согласованы с компанией-партнёром для обеспечения релевантности выборки для крупной северо-американской компании из сегмента premium в категории товаров для дома.
Сначала авторы собрали данные условий статического и AI-модерированного интервью в одной рекрутинговой волне. Для этих двух условий исследователи сотрудничали со стартапом, специализирующимся на AI-модерированных интервью, и использовали его коммерческую платформу. Участники, давшие согласие на участие, случайным образом распределялись по одному из условий.
В условии AI-модерирования интервью проводились с помощью виртуального интервьюера платформы — пошаговой, управляемой целями разговорной системы. После каждой реплики участника захваченная через браузер речь отправлялась в AWS Lambda backend и транскрибировалась с помощью OpenAI gpt-4o-transcribe. Транскрипция добавлялась к истории разговора и передавалась модели GPT-5.1 через API Chat Completions с температурой 0 и лимитом ответа в 300 токенов. На основе тематического руководства и предыдущего диалога модель генерировала либо уточняющий вопрос, либо переход к следующей теме. Ответ виртуального интервьюера преобразовывался в речь с помощью OpenAI tts-1 с голосом alloy. Хотя видео можно было записать, интервьюер адаптировался исключительно к транскрибированному вербальному содержанию и истории разговора; видео, мимика, просодия и другие невербальные сигналы языковой моделью в ходе интервью не анализировались.
В условии статического интервью участники использовали ту же платформу, однако им показывались фиксированные, заранее определённые вопросы без адаптивных уточнений или зондирования. В обоих условиях участники записывали устные ответы на каждый открытый вопрос.
Для условия человеко-модерированного интервью была набрана отдельная выборка. Эти интервью проводились компанией GBK Collective, обеспечившей обученных профессиональных модераторов для администрирования той же программы. Участники были набраны из того же онлайн-пула, однако процедура исследования немного отличалась из-за необходимости планировать живые интервью. Участники сначала заполняли отдельный вступительный опрос через Qualtrics с теми же скрининговыми, демографическими и индивидуальными вопросами, а затем в рамках живого интервью беседовали с человеком-модератором. Интервью во всех трёх условиях длились около 30 минут; компенсация составила 10 долларов в AI- и статическом условии и 12 долларов в условии с человеком.
Из-за высокой стоимости человеко-модерированных интервью авторам не удалось привести их число к числу участников в других условиях. Вместо этого условия были сбалансированы по рыночной стоимости. Рыночная стоимость проведения 150 AI-интервью составляет около 5 000 долларов (10 долларов компенсации участнику за 30-минутное интервью + 3,33 доллара комиссии платформы Prolific + 20 долларов платформы AI-интервью). При рыночной цене профессионального интервьюера около 300 долларов в час (или 150 долларов за 30-минутное интервью плюс компенсация участнику) 5 000 долларов соответствуют примерно 30 интервью с человеком такой же длины — именно такое число было зафиксировано в предрегистрации. Однако неожиданно высокий процент неявок поднял предельную стоимость этого условия, в результате чего итоговая выборка составила 24 человека.
2.2 Структура интервью
Все интервью охватывали одинаковые темы и разделы; условия различались только способом модерации. Тематическое руководство включало: скрининговые вопросы; демографические данные; блоки, специфичные для категории (использование категории, контекст и отношение; путь к покупке); блоки, специфичные для бренда (осведомлённость о бренде; восприятие и удовлетворённость брендом); и блоки маркетинговых стимулов (два рекламных почтовых отправления, два рекламных видеоролика, два набора для ранжирования маркетинговых утверждений).
Основные результаты
Как показывает аннотация исследования, авторы обнаружили, что AI-модерированные интервью вызывают более развёрнутые, широкие и глубокие ответы по сравнению со статическими, не снижая при этом опыт участников; по содержательной глубине они сопоставимы с человеко-модерированными при столь же широком тематическом охвате. При фиксированном исследовательском бюджете AI-модерация также выявляет наибольшее число потребностей клиентов. Вместе с тем человеко-модерированные интервью сохраняют преимущество в вовлечённости: участники звучат более позитивно, активно и уверенно, когда говорят вживую с человеком, а не с AI-модератором. Ответы в AI- и статическом условиях с точки зрения эмоций неразличимы.
Цифровые двойники, построенные на качественных данных, улучшают прогноз по сравнению с двойниками, основанными только на демографии. Однако дополнительная насыщённость AI-модерирования не трансформируется в лучшие количественные прогнозы по сравнению со статическими интервью. Ошибки предсказания связаны как с различиями в самооценке стилей мышления между двойниками и людьми, так и с разрывами между тренировочными и валидационными данными. В частности, двойники склонны к рефлексивному (Система 2) рассуждению, тогда как люди опираются на быстрые, интуитивные (Система 1) реакции — причём этот разрыв наиболее выражен для мультимодальных стимулов, таких как изображения и видео.