Skip to content
Новость Microsoft Design окт. 2026 г.

Microsoft Design: достаточно ли реальны синтетические пользователи?

Синтетические пользователи и пределы симуляции — Microsoft Design

Издание Microsoft Design опубликовало третий выпуск серии «Think First: Perspectives on Research with AI» — разговор с тремя UX-исследователями компании о, пожалуй, самой острой теме в UX-исследованиях прямо сейчас.

Одни видят в синтетических пользователях и AI-модерированных интервью будущее масштабных исследований; другие считают их фундаментальным непониманием того, зачем вообще разговаривать с людьми. Редакция свела трёх исследователей, занимающих принципиально разные позиции, и дала им возможность спорить.

Майк Бжозовски — Principal UX Researcher в группе Core AI — видит риски в полной замене живой эмпатии к пользователю, допуская применение инструментов в узких случаях. Зак Сполар — Senior UX Researcher — скорее оптимист-конструктор: его команда создаёт крупномасштабные синтетические данные на основе реальных пользователей. Коннор Джойс — UX-исследователь и поведенческий учёный, консультировавший стартапы в этой сфере, — прагматик, чей ответ почти на любой вопрос звучит как «это зависит от контекста».

Где они стоят

Редакция задала каждому одинаковый открывающий вопрос: какова ваша позиция по синтетическим пользователям и синтетическим данным?

Майка давно интересует масштабирование качественных исследований — «есть нечто по-настоящему ценное в том, чтобы глубоко узнать немногих людей», и возможность распространить это на «чуть большее число людей». Он считает, что AI-модерированные интервью занимают интригующее промежуточное место «между насыщенными интервью один на один с модератором-человеком и немодерированными опросами». Его энтузиазм, однако, сдержан: «есть огромный потенциал в том, чтобы рассматривать эти инструменты как способ обогатить связь, которую мы выстраиваем с пользователями, — при условии что мы не заменяем ими эту связь».

Зак говорит, что напряжение вокруг этого вопроса «именно то, из-за которого команда, в которой я работаю, взялась за то, за что взялась». Его группа изучила синтетические данные и синтетических пользователей — как внутри Microsoft, так и за её пределами — и обнаружила «недостаточную глубину соответствия реальным пользователям». Тогда они взялись это исправить, объединив инженеров, исследователей, дизайнеров и прикладных учёных для создания синтетических данных «действительно глубоких, обладающих такой точностью, которая ощущается как подлинное понимание пользователя в контексте, его окружающем». Достигни этого — и ты «открываешь будущее масштабирования» для исследований и прототипирования с LLM в основе.

Коннор отказывается принимать ту или иную крайность. «“Это зависит от контекста” — избитая фраза для исследователя, — говорит он, — но я именно это и имею в виду». Тот, кто утверждает, что исследовательскую команду можно заменить агентами, «заблуждается и в конечном счёте будет принимать плохие решения на основе ненадёжных данных». Но и тот, кто отказывается осваивать эти инструменты, «тоже быстро устареет», потому что ожидания стейкхолдеров меняются: «код создаётся быстрее, продукты строятся быстрее… Исследования должны успевать». Это «реальные инструменты, у которых есть реальное место» — иногда правильный выбор, иногда нет.

Код создаётся быстрее, продукты строятся быстрее… Исследования должны успевать.

— Коннор

Два инструмента, которые часто путают

Самый полезный шаг Коннора — разделить две вещи, которые принято смешивать. «AI-модерированные интервью и синтетические пользователи — я очень хочу разграничить их, — говорит он, — потому что это совершенно разные инструменты», и их смешение — часть причины, по которой часть исследователей отвергает всю идею целиком. AI-модерированное интервью предполагает человека в процессе: агент задаёт вопросы, но реальный человек на них отвечает. Это, по его мнению, «куда более продвинуто» и ближе к операционному масштабированию. Такой инструмент хорошо работает для улучшения того, что раньше было немодерированными исследованиями — опроса, который наконец «может задать уточняющий вопрос, как это делает человек», — и не устаёт: «он слушает внимательно, не отвлекается; готов принять звонок в 7 утра». Синтетические пользователи, в которых нет никакого человека в контуре, — «куда сложнее» и, по его мнению, всё ещё экспериментальны.

Майк подходит к тому же промежуточному пространству с позиции скептика. Его привлекает AI-скринер, который «мог бы охватить больше людей с самого начала и собрать больше точек зрения», а затем решить, с кем стоит провести углублённое интервью. Но его внимание снова и снова возвращается к отношениям, которые здесь поставлены на кон. Что происходит, спрашивает он, когда кто-то записывается на исследование через вендора, которому доверяет, «и вместо того, чтобы поговорить с человеком, оказывается отброшен к AI-интервьюеру»? Негласное послание рискует оказаться таким: «нам действительно важно ваше мнение, но недостаточно, чтобы тратить на вас своё время». Его предварительный ответ — честность относительно формата: позиционировать это как «AI-опрос» или скринер для большого исследования, но не как замену интервью. Коннор менее обеспокоен той же проблемой: если участник может почувствовать себя обманутым, «я говорю: вы будете взаимодействовать с AI-модератором», — и даю им выбор. «Это так просто».

Зак проводит параллельное разграничение на стороне данных — между синтетическим пользователем и синтетическими данными. Синтетический пользователь — это похожее на персону изображение человека, от лица которого может говорить модель. Синтетические данные — нечто большее: «крупномасштабные данные, сформированные по образцу реальной организации». Одни персоны, по его словам, не дают модели «полного контекста пользователя» — поэтому его команда добавляет к ним «файлы, переписку, электронные письма, информацию о том, кто этот человек за пределами работы», весь «организационный состав», отражающий то, как LLM на самом деле «встречает» человека. Для масштабных оценок, прототипирования и смоделированных сред именно эта организационная глубина, по его словам, имеет решающее значение.

Проблема предвзятости

Никто не уклонился от вопроса о предвзятости — но каждый ответил на него с разных исходных позиций.

«У синтетических пользователей нет прожитого опыта, на который можно было бы опираться», — говорит Майк. Для наиболее сложных случаев предвзятость почти дисквалифицирует инструмент. LLM обучены на интернет-данных, «в значительной мере смещённых в сторону западных, образованных, промышленно развитых популяций», с гораздо меньшим сигналом о недостаточно представленных группах. Попросите модель сыграть конкретного человека — и она потянется к правдоподобно звучащим стереотипам. Его аналогия — спектакль в стиле импровизации: актёр просит зрителей назвать профессию, кто-то кричит «проктолог», «и у актёра на сцене нет ни малейшего представления, каково это на самом деле» — поэтому он опирается на то, что получает смех. LLM, настроенные производить то, чего от них ожидают, делают то же самое. Поэтому труднодостижимые пользователи, которых команда больше всего хочет понять, оказываются именно теми, кого синтетический заменитель представляет хуже всего.

Зак соглашается, что предвзятость реальна, — и рассматривает её как дизайн-задачу, ради решения которой существует его команда. Проблема, говорит он, в том, что синтетические данные, как правило, «строятся вокруг среднего пользователя или средней организации», тогда как исследованиям на самом деле нужны крайние случаи: «как ваш продукт повлияет на того, кто непохож на среднего пользователя». Поэтому его конвейер намеренно вводит находки из реальных исследований, чтобы добавить эти крайние случаи, — с целью получить данные, «отражающие реальных пользователей в их реальных рабочих процессах и их реальных нюансах», а не усреднённый составной образ. Сделай это хорошо — и такой подход не усиливает предвзятость, а «фактически снижает её и позволяет представить пользователей, не являющихся средними».

Это действительно отражает реальных пользователей в их реальных рабочих процессах и их реальных нюансах.

— Зак

Коннор, поведенческий учёный по образованию, называет механизм: регрессия к среднему. Большая модель — это не один человек, это «всё, на чём она была обучена», поэтому она «тяготеет к стереотипам, а не к индивидуальным нюансам» и ведёт себя «гиперрационально», чего реальные люди не делают. Скажите ей, что вы — 33-летний технологический работник из Сиэтла, «и это не Коннор — у неё нет человека, выросшего в Чикаго, жившего в Филадельфии, переехавшего в Сиэтл и имеющего собаку». Настройте на сотню характеристик — «и каждая другая характеристика будет просто регрессировать к этому среднему». Усредниться может быть полезно; беда в том, что «мы точно не знаем, когда это полезно, а когда именно крайние случаи показывают нам, что нужно делать».

Где синтетика действительно работает

Спросить, где эти инструменты всё же оправдывают себя, — и у каждого найдётся конкретный ответ.

Любимый сценарий Майка — роль «спарринг-партнёра»: берёшь незрелый гайд интервью, набор вопросов или гипотезу и просишь найти слабые места, «чтобы укрепить идею», что «не то же самое, что выйти и провести реальную работу», но полезно для раннего критического осмысления. Он описывает синтетических пользователей как возможный «ранний канарейка» или «шаг закалки» в поэтапной модели управления рисками продукта: покажи идею коллеге, затем группе для внутреннего тестирования, затем реальным пользователям. Синтетическая обратная связь может обнаружить пробелы «до того, как вы пойдёте говорить с реальными людьми». Но он проводит чёткую границу: «я был бы очень обеспокоен, если бы вы вышли на рынок с продуктом, который никогда не видел реальных пользователей».

Я был бы очень обеспокоен, если бы вы вышли на рынок с продуктом, который никогда не видел реальных пользователей.

— Майк

«Для экспериментов нужны субъекты», — говорит Зак, и вместо того, чтобы видеть в синтетике промежуточное положение внутри классических исследований, он видит смещение самого поля. Исследования «будут всё больше вовлечены в более ранние этапы жизненного цикла продукта», привнося пользователей — реальных и синтетических — в эксперименты и прототипирование, где синтетические данные обеспечивают субъектов для «быстрого, крупномасштабного эксперимента», который затем может направить разработку продукта дальше по цепочке. Когда люди называют синтетические данные антитезой исследований, он слышит непонимание того, где те находят своё место. Суть — в привнесении глубокого понимания пользователя и его организационного контекста в процесс разработки продукта, требующий скорости и масштаба из-за недетерминированной природы LLM.

Коннор готов поставить свою репутацию на единственный конкретный сценарий использования синтетических пользователей прямо сейчас: отсев. «Допустим, у меня десять вариантов дизайна; я использую синтетических пользователей, чтобы отсеять пять, и тогда мне придётся A/B-тестировать только пять, а не десять». Чтобы отловить худшие варианты, не нужно улавливать индивидуальные нюансы — «коллектив действительно хорошо справляется с задачей сказать: эти плохи». Он также предварительно тестирует с его помощью исследовательские инструменты так же, как уже укрепляет исследовательский отчёт, пуская его через «пятерых агентов» — персоны руководителя по продукту, руководителя по дизайну, главного критика — чтобы раскритиковали его, а затем через ещё одного агента, ищущего паттерны в их заметках. Ловушка, которую нужно избежать, — «просто слушаться того, что сказал синтетический пользователь», и внедрять изменение без дополнительного анализа.

Что дают только реальные люди

В вопросе о пределах они наконец сходятся — каждый формулирует по-своему. Для Майка это энтропия. «Разговор с реальными людьми вносит энтропию в ваш дизайн-процесс», обнажая неожиданное; LLM же, «настроенные минимизировать сюрприз, производя наиболее вероятный ответ», хорошо подходят для проверки правдоподобной гипотезы, но плохо — для «выявления слабых мест в вашей модели». Он называет цифру: вендор, утверждающий, что синтетические пользователи воспроизводят человеческий ввод с «85-процентной точностью», упускает суть, потому что «именно те последние 15% действительно важны» — момент, когда один человек говорит что-то неожиданное и меняет ваше понимание проблемы. Коннор описывает это как среднее против крайних значений и добавляет более резкое утверждение: критическое и «принципиально новое» мышление — «один из последних оставшихся навыков», которые AI ещё не может воспроизвести, поэтому синтетический пользователь может обнажить повторяющиеся паттерны в вашей прошлой работе, но не «самый большой вызов, с которым сталкивались эти пользователи». Даже Зак соглашается с нижней границей: синтетический пользователь «никогда не воспроизведёт в точности нюанс живого человека», потому что люди развиваются со временем так, как «это незаметно даже самим людям». Цель его команды — предоставить LLM глубокое понимание пользователя и его работы — такое, которое может быть задействовано в процессе создания AI-продуктов.

Разговор с реальными людьми вносит энтропию в ваш дизайн-процесс.

— Майк

Три исследователя, три вывода — обогащай, но не заменяй; делай достаточно глубоко, чтобы доверять; разграничивай инструменты и требуй реальных доказательств, — и одно общее мнение: непредсказуемый, генерирующий энтропию живой человек, которого ни одна симуляция ещё не научилась делать удивительным.