Codexical: ваши AI-участники исследований ни разу вам не возразили — и это проблема

Есть особое ощущение, которое возникает после исследовательской сессии, где каждый участник подтверждает ваши гипотезы. Это не облегчение — скорее нарастающая уверенность, ощущение собственной правоты. Опытные исследователи знают: если все участники соглашаются, что-то не так — с рекрутингом, сценарием или формулировкой задания.

Теперь у этого ощущения появился новый источник: синтетические пользователи. И сигнал, который они производят, сложнее поймать, потому что в комнате никого нет, кто мог бы его заметить.

Что такое синтетические пользователи

Синтетические пользователи — это AI-генерированные участники исследований: персонажи, которых «разворачивают» с помощью больших языковых моделей и побуждают отвечать как представители определённой аудитории. UX-команда, проектирующая форму регистрации пациента в медицинском приложении, просит систему ответить от имени 52-летней пользовательницы с ограниченной цифровой грамотностью, тревогой вокруг передачи персональных данных, низким доходом и английским как вторым языком. ИИ генерирует ответы. Команда их анализирует.

Привлекательность этого подхода очевидна. Рекрутинг и согласование расписания с реальными участниками — процесс медленный, дорогой и логистически ненадёжный. Синтетические пользователи доступны в полночь, не отменяют встречи, не требуют вознаграждения и генерируются под любые демографические характеристики.

Эффективность реальна. Данные за 2026 год по AI-усиленным методам исследования фиксируют ускоренное распространение синтетических пользователей в продуктовых командах: их применяют в поисковых исследованиях, тестировании концепций и даже в воркфлоу оценки юзабилити.

Проблема в том, что теряется вместе с этой эффективностью.

Три смещения, из-за которых синтетические исследования дают ложные результаты

В январско-февральском номере ACM Interactions за 2026 год опубликовано детальное исследование ограничений синтетических пользователей в UX research. Авторы выявили три структурных смещения, которые не устраняются при более точных промптах — они встроены в то, как обучаются большие языковые модели.

Чрезмерная уступчивость. Синтетические пользователи порождаются моделями, обученными на текстах людей и оптимизированными на полезность. Они дают кооперативные, последовательные и конструктивные ответы. Реальные пользователи нередко ведут себя враждебно, пребывают в замешательстве, отстранённости и непоследовательности. Они неверно читают инструкции, привносят посторонние соображения и бросают задачи по причинам, не связанным с дизайном. Синтетические пользователи этого не делают. Они выполняют задание, объясняют ход мысли и находят способ осмыслить всё, что им показывают. В результате исследование отражает более «причёсанную» версию поведения пользователей, чем та, что существует в реальной аудитории.

Западные культурные настройки по умолчанию. Языковые модели обучаются преимущественно на англоязычных текстах из западных контекстов. Когда модель генерирует синтетический персонаж — 45-летнюю женщину из сельского района Индонезии с низкой цифровой грамотностью — поведенческие паттерны по умолчанию отражают распределение обучающей выборки: как она обрабатывает информацию, что считает заслуживающим доверия, как интерпретирует визуальную иерархию. Демографический ярлык не переопределяет культурную базу. Команды, проектирующие продукты для не-западных аудиторий с помощью синтетических пользователей, могут в итоге проектировать под пользователя, который больше похож на обучающую выборку модели, чем на их реальную целевую группу.

Эмоциональная плоскость. У реальных пользователей бывают плохие дни. Они отвлекаются, обеспокоены чем-то, не связанным с исследованием, раздражены ещё до того, как открывают прототип. Синтетические пользователи эмоционально откалиброваны. Их эмоциональные состояния стабильны и соответствуют контексту задания. В результате синтетические исследования систематически недооценивают эмоциональные помехи, которые характеризуют то, как реальные люди на самом деле используют продукты. Любой дизайн, рассчитанный на терпеливых, внимательных и эмоционально нейтральных пользователей, оптимизируется под условия, которые в реальности встречаются редко.

Почему команды этого не замечают

Методология валидации MeasuringU для исследований с синтетическими пользователями — параллельное проведение идентичных исследований с синтетическими и реальными участниками с последующим сравнением расхождений — существует и вполне доступна. Мало кто ею пользуется. Причины структурные.

Во-первых, валидация требует рекрутинга реальных участников — а именно это синтетические пользователи и должны были устранять. Проведение обоих вариантов дороже, чем только реального исследования.

Во-вторых, когда синтетические и реальные результаты совпадают, это воспринимается как подтверждение надёжности метода. Когда они расходятся, инстинктивная реакция — доверять синтетическим результатам: они более читаемые, последовательные и убедительные на вид, а не разбираться, почему реальные участники ответили иначе.

В-третьих, расхождения проявляются именно в тех типах находок, с которыми сложнее всего работать: эмоциональные реакции, сигналы доверия, пограничные случаи и ответы пользователей, которые не завершили задание. «Эффективные» находки — те, что попадают в итоговый отчёт, — чаще всего выглядят одинаково в синтетической и реальной выборках.

Смещение самоскрывающееся. Команды его не замечают, потому что исследование всё равно даёт находки. Просто эти находки относятся не к тем пользователям, о которых команда думает.

Что происходит downstream

Последствия нисходящего эффекта следуют предсказуемому паттерну. Функциональность продукта разрабатывается при сильной поддержке синтетических исследований. Продукт выходит. Adoption в целевой демографической группе ниже прогнозируемого. Исследование пересматривается. При детальном рассмотрении обнаруживается, что все синтетические участники оказались высоко цифрово грамотными, несмотря на демографические дескрипторы, предполагавшее обратное. Продукт был оптимизирован под пользователя, которого в реальности не существует в предполагаемом масштабе.

Это не провал AI-методов исследования в целом. Это провал валидации. Количество находок то же; точность находок — нет.

Команды с наилучшими результатами при работе с синтетическими пользователями относятся к ним как к одному из источников в рамках смешанных методов, а не как к замене исследований с участием реальных людей. Синтетические пользователи полезны для быстрой поисковой работы, генерации гипотез и раннего скрининга концепций. Они не подходят в качестве основной доказательной базы для дизайн-решений, затрагивающих реальных пользователей с реальными культурными контекстами, реальными эмоциональными состояниями и реальными показателями неудачи при выполнении задания.

Минимальная валидация, которая стоит меньше, чем кажется

Минимально жизнеспособный подход к валидации прост: проведите часть исследования с реальными участниками и сравните находки с синтетическими результатами. Добиваться паритета не нужно. Нужно достаточно реальных участников, чтобы откалибровать синтетические данные — понять, где они надёжны, а где расходятся.

Для большинства команд пяти-восьми реальных участников на каждую крупную фазу синтетического исследования достаточно, чтобы выявить расхождения, которые имеют значение. Затраты умеренные. Альтернатива — выпускать продукты, спроектированные на основе систематически смещённых исследований, — обходится существенно дороже, когда это вскрывается.

Вопрос, который стоит встроить в исследовательский процесс до финализации любого синтетического исследования: какие из этих находок были бы опровергнуты, если бы участники были реальными? Если ответ — «не знаем», ответ также — «нам стоит это выяснить до начала разработки».

Синтетические пользователи — подлинно полезный инструмент. Наибольшую ценность из них извлекают команды, которые научились с подозрением относиться к находкам, которые их не удивляют.