User Intuition: синтетические участники в маркетинговых исследованиях

User Intuition провела контролируемое сравнение 117 настоящих голосовых интервью и 90 синтетических интервью, сгенерированных Claude, GPT-5.3 и Gemini. При поверхностном просмотре синтетические ответы выглядели правдоподобно, однако системно не воспроизводили вариативность, характерную для реального участия людей.

Главный вывод исследования: «Синтетические участники отказывают не из-за абсурдных ответов. Они дают ответы, которые оказываются слишком покладистыми, слишком последовательными и слишком близкими к модальному тезису».

Пять основных находок

Нижний порог вовлечённости

Реальные данные: 55% интервью классифицированы как НИЗКОЕ качество (медиана — 36 слов участника). Синтетические данные: 100% эквивалентны транскрипциям ВЫСОКОГО качества.

Реальные выборки фиксируют отстранённость респондентов — синтетические панели незаметно исключают дезориентированных и незаинтересованных ещё до начала анализа. Дезориентированная половина выборки незаметно отсеивается прежде, чем кто-либо успевает её увидеть.

Разрыв в отказах

Реальные данные: 26% предметных интервью содержали высказывания с паттернами отказа. Синтетические данные: 0% демонстрировали паттерны отказа.

Синтетические участники принимали предпосылки вопросов вместо того, чтобы их отвергать. Паттерны отказа идентифицировались автоматическим поиском по ключевым фразам: «steer clear», «creepy», «intrusive», «have it under control», «scared of». Ни одна из 90 синтетических транскрипций не содержала ни одной из них.

Исчезновение выбросов

Реальные данные: среди ответов на вопрос о готовности платить встречались категориально неожиданные — например, один участник назвал «Naruto». Синтетические данные: каждый ответ о готовности платить укладывался в диапазон от $20 до $300.

Стратегически значимые insights концентрируются именно в выбросах. Синтетические данные производят только модальные ответы — те, которые можно предсказать заранее, не проводя никакого исследования.

Разрыв в практическом знании

Реальные данные: 5 из 100 интервью содержали операционные жалобы на конкретные инструменты. Синтетические данные: ни одно из 90 интервью не включало детальных данных о реальных сбоях продукта.

Синтетические ответы воспроизводят правдоподобно звучащие жалобы, лишённые специфики, которая возникает только из реального опыта использования. Жалобы на конкретные инструменты идентифицировались поиском по названиям продуктов, за которыми в пределах 150 символов следовали слова, указывающие на сбой.

Вариативность не по той оси

Усреднение по нескольким моделям создаёт стилистическую вариативность — в ритме предложений и плотности метафор. Однако три модели сходились на идентичных темах и позициях по принятию. Стилистическая вариативность принципиально отличается от вариативности, релевантной для исследований: «Усреднение по нескольким моделям даёт три версии одного и того же модального ответа».

Методология

Основное исследование

117 голосовых интервью проводились в ноябре 2025 года. Участники рекрутировались из базы из четырёх миллионов проверенных респондентов. Средний возраст — 40,2 года, 61% мужчины, 39% женщины. Профессиональный состав: 37% руководителей и менеджеров, 21% независимых специалистов, 19% владельцев малого бизнеса.

Синтетическое сравнение

Десять структурированных персон, соответствующих целевой аудитории. Три итерации каждой персоны в трёх LLM — итого 90 синтетических транскрипций (10 персон × 3 модели × 3 итерации). Моделям давалась инструкция включать колебания, противоречия и эмоциональные моменты.

Пять стратегических рекомендаций

1. Синтетические данные требуют сравнения с реальными. Невозможно оценить надёжность без эталона из реальных данных.
2. Усреднение по нескольким моделям недостаточно. Оно решает стилистические проблемы, но не субстантивные.
3. Использовать LLM как инструмент исследования, а не как участников. Валидные применения: синтез, помощь в кодировании, модерация и стресс-тестирование на этапе пилота.
4. Устранять трение при рекрутменте вместо замены участников. AI-модерируемые голосовые интервью позволили провести исследование с 117 участниками за 48 часов.
5. Искать выбросы как стратегическую ценность. Модальные ответы предсказуемы заранее; именно выбросы определяют значимые стратегические сдвиги.

Выводы

LLM способны генерировать транскрипции, звучащие правдоподобно при изолированном рассмотрении. Однако они системно производят более узкие распределения, чем реальные человеческие популяции, по всем измеренным параметрам. Технология отказывает не через абсурдность, а через однородность — устраняя отстранённость, скептицизм, отказы и неожиданные реакции, которые составляют реальную ценность качественных исследований.