Skip to content
Новость Nielsen Norman Group окт. 2026 г.

NN/g: синтетические пользователи vs реальные респонденты — тот же вывод, меньше вариаций

Синтетические пользователи vs реальные респонденты: исследование Nielsen Norman Group

Рэйчел Банава из Nielsen Norman Group опубликовала результаты сравнительного исследования: одна и та же открытая анкетная формулировка была задана 604 живым участникам и 120 синтетическим респондентам. Оба массива данных привели к одному и тому же общему выводу, однако синтетические ответы демонстрировали значительно меньше разнообразия, чем человеческие.

Как были сформированы синтетические респонденты

Для получения синтетических ответов NN/g использовала платформу Synthetic Users — AI-инструмент для симуляции участников исследований — в феврале 2026 года. Авторы создали 120 синтетических респондентов, представляющих специалистов в области технологий и дизайна по всему миру.

Исследователи передали платформе план исследования с вопросами, критериями включения и исключения. Synthetic Users автоматически сформировала профили для каждого респондента: возраст, место жительства, профессия, культурный контекст, тип организации, стаж работы и черты личности по Большой пятёрке. Всем респондентам был задан тот же открытый вопрос, что и в оригинальном исследовании: «Какое профессиональное поле или дисциплина, по вашему мнению, лучше всего описывает следующую работу?» с описанием деятельности UX-специалиста.

При этом платформа давала исследователям ограниченный контроль над форматом: Synthetic Users симулирует интервью, а не опросы, поэтому синтетические ответы были длиннее человеческих. Кроме того, платформа иногда переформулировала вопрос — что само по себе является методологической переменной, которую авторы не могли полностью исключить.

Синтетические и человеческие данные сошлись в общем результате

Оба массива данных подтвердили одно и то же: термин UX остаётся доминирующим названием для этой профессии. 84% синтетических респондентов использовали UX-терминологию против примерно 70% живых участников. Разница в 14 процентных пунктов статистически значима, но не меняет практического вывода исследования.

Авторы отмечают, что это различие стоит рассматривать в контексте выборки. Человеческая аудитория в оригинальном исследовании частично формировалась через собственные каналы NN/g, что, вероятно, создало выборку с повышенной знакомостью с UX-терминологией. При этом 67% живых участников были UX-профессионалами, тогда как в синтетической выборке таких оказалось только 20% — авторы намеренно задали квоты, чтобы получить более широкий диапазон профессий. Тем не менее именно в синтетических данных использование UX-терминологии было выше.

Меньше разнообразия: mode collapse в синтетических данных

Главное различие между двумя наборами данных состояло не в общем результате, а в разнообразии ответов. Живые участники использовали более 50 уникальных обозначений, включая «consumer-behavior research», «digital-experience strategy», «journey management» и «human-factors engineering». Большинство редких терминов встречались лишь один-два раза.

Синтетические респонденты, напротив, дали гораздо более узкий набор ответов. Среди всех использованных ими терминов — UX, user experience, user research, user experience research и несколько non-UX вариантов: customer experience, customer insights, data science, market research, product management, service design. Такие характерные человеческие ответы, как «human factors», «experience design» или «consumer research», в синтетических данных не появились ни разу.

Авторы описывают этот паттерн как mode collapse — термин из машинного обучения, описывающий ситуацию, когда генеративная модель воспроизводит узкий набор типичных ответов вместо полного диапазона. В контексте исследования это означает: синтетические данные точно воспроизводят наиболее распространённый ответ, но теряют «длинный хвост» редких и нетипичных откликов. Примечательно, что несмотря на более длинные ответы синтетических респондентов (формат интервью давал больше возможностей упомянуть дополнительные термины), они всё равно произвели меньше уникальных обозначений.

Влияние профессиональной роли сохраняется, но ослаблено

Профессиональная принадлежность влияла на терминологию в синтетических данных — как и у живых участников. Например, 45% синтетических специалистов по customer insights использовали слово «customer» в ответе, тогда как среди синтетических UX-профессионалов это значение составило 0%. Аналогично, 30% синтетических market-research специалистов использовали «market» — против 0% среди синтетических UX-профессионалов.

Однако в сравнении с реальными людьми синтетические респонденты за пределами UX-профессий гораздо активнее использовали UX-терминологию: 93% синтетических product managers применили UX-терминологию против 44% живых product managers. Это указывает на то, что mode collapse действует не только в целом по выборке, но и внутри каждой профессиональной группы.

Практическое значение для исследователей: синтетические данные могут показать, что разные группы думают или говорят по-разному, но они занижают реальные различия, притягивая ответы к наиболее распространённому варианту. Если цель исследования — понять, как именно разные аудитории формулируют ту или иную концепцию, потеря вариативности может скрыть различия, которые живые участники бы выявили.

Исследование с синтетическими пользователями — всё ещё не пользовательское исследование

Синтетические респонденты воспроизвели главный вывод оригинального исследования — UX остаётся доминирующим термином — но не воспроизвели полного разнообразия человеческих ответов. Они давали меньше нетипичных вариантов и демонстрировали более сильное притяжение к UX-терминологии в разных профессиональных группах.

Авторы приходят к выводу: исследование с синтетическими пользователями по-прежнему не является пользовательским исследованием, поскольку реальные пользователи в нём не изучаются. Правдоподобный результат — даже совпадающий с человеческими данными — не доказывает, что синтетические респонденты надёжно представят редкие точки зрения, различия между подгруппами или естественную вариативность. Авторы рекомендуют использовать синтетических респондентов для генерации гипотез или проверки широких паттернов, а когда важен «хвост» ответов — обращаться к реальным участникам.