Skip to content
Новость LinkedIn / Jason Fleagle авг. 2026 г.

LinkedIn: исследователи Гарварда и MIT создали миллиарды симулированных ИИ-пользователей для тестирования

Симулированные ИИ-пользователи системы MatrAIx от Гарварда и MIT

Представьте, что перед привлечением первого участника вы тестируете новую цену, чат-бот, сайт или мобильный сценарий на тысячах пользователей. Сравниваете реакции по возрастным группам, уровню дохода, техническим знаниям, профилям доверия и потребностям в доступности. Повторяете то же исследование после каждого изменения продукта. Первые результаты получаете за несколько часов, а не недель.

Именно это обещает MatrAIx — открытая система оценки симулированных пользователей, созданная исследователями Гарварда и MIT при участии широкого академического коллектива.

Главный заголовок звучит заманчиво: 8,3 миллиарда персона-агентов. Однако реальное описание системы значительно скромнее.

Почему это важно

MatrAIx объединяет три компонента:

  1. Persona 8B — набор данных о населении, представленный через 1290 категориальных измерений.
  2. Среда, в которой персона-агенты могут заполнять анкеты, общаться с чат-ботами, просматривать сайты и работать с приложениями.
  3. Библиотека задач, содержащая 1010 оценочных сценариев более чем в 25 областях, включая торговлю, программное обеспечение, финансы и здравоохранение.

Команда исследователей провела 18 189 испытаний по восьми репрезентативным задачам. В большинстве исследований анкет, чат-ботов и сайтов использовались когорты примерно из 1000 персон на одну модель. Тесты нативных приложений были значительно меньше по масштабу — из-за более высокой стоимости их запуска.

Персоны работали под управлением трёх разных языковых моделей: Claude Opus 4.8, GPT 5.5 и Claude Haiku 4.5. Этот последний факт и есть настоящий центр истории, потому что модель не просто проводит эксперимент — она ещё и играет роль пользователя.

Что в действительности означает число 8,3 миллиарда

MatrAIx содержит около 8,3 миллиарда записей персон. Эти записи — не цифровые двойники 8,3 миллиарда конкретных людей, и исследователи не запускали восемь миллиардов агентов одновременно. Запись становится агентом только тогда, когда она соединена с языковой моделью, интерфейсом и задачей. В открытом доступе выпущен качественно отфильтрованный набор примерно из одного миллиона персон.

Это различие важно: MatrAIx — это машина для генерации гипотез о том, как разные типы людей могут реагировать на тот или иной продукт.

Persona 8B использует два метода формирования записей.

Синтетические записи генерируются из графа зависимостей, призванного сохранить взаимосвязи между атрибутами. Регион человека может влиять на вероятный язык. Образование может влиять на профессию. Доход, структура семьи, технический опыт, склонность к риску и другие характеристики могут обусловливать последующие атрибуты.

Записи, основанные на реальных людях, опираются на такие источники, как биографии Wikipedia, история отзывов Amazon, опрос разработчиков Stack Overflow, General Social Survey, профили PRISM и небольшой набор самоотчётов с согласия участников. Команда приводит эти источники к единой схеме, удаляет прямые идентификаторы, проверяет противоречия и дедуплицирует записи.

Выпущенный набор содержит 599 847 записей, основанных на реальных людях, и 400 000 синтетических.

Это всё равно не делает его репрезентативной выборкой человечества. Авторы работы прямо об этом пишут: человекоориентированные источники не являются репрезентативными для населения в целом. Совокупный набор откалиброван по четырём демографическим показателям: возрастной группе, региону, гендерной идентичности и признаку городского/сельского проживания. Совокупное покрытие по всем 1290 измерениям не является репрезентативным.

Таким образом, число 8,3 миллиарда описывает масштаб корпуса. Оно не придаёт системе демократической легитимности, прогностической валидности или покрытия один к одному по всему живому населению планеты. Миллиард симулированных респондентов не превращается в реальных клиентов через умножение.

Система полезна ещё до того, как станет точной

MatrAIx не должна идеально предсказывать поведение человечества, чтобы приносить пользу.

Команда продукта может использовать её для проработки вопросов, которые сейчас легко пропустить:

  • Какие когорты покидают чат-бот после его галлюцинации?
  • Кому трудно найти настройки конфиденциальности?
  • Как разные профили доверия реагируют на финансового ассистента?
  • Какие пользователи становятся более чувствительными к цене после изменения?
  • Где переработанный сценарий создаёт новые точки трения?

Здесь система выглядит наиболее практичной: предварительная проверка перед развёртыванием. Вместо того чтобы просить обобщённую модель «вести себя как пользователь», команды могут определить когорту, зафиксировать продукт и задачу, а затем проследить, как результаты меняются в зависимости от атрибутов персон. Система сохраняет трассировки взаимодействий, состояние продукта, результаты верификации и другие свидетельства каждого испытания.

Это помогает выявить уязвимые допущения ещё до того, как реальный пользователь столкнётся с последствиями. Кроме того, система может помочь командам решить, куда направить ограниченное время на работу с реальными людьми.

Ошибкой было бы воспринимать синтетическую обратную связь как истину о клиентах.

Модель — часть измерительного инструмента

Самый важный результат статьи — не размер Persona 8B. Это нестабильность моделей, играющих роль персон.

В веб-задаче, связанной с тарифами Notion, идентичные когорты видели одну и ту же страницу продукта и принимали решение о выборе платного тарифа. Доля выбравших платный тариф составила:

  • 23,2% при использовании Claude Opus 4.8 в роли пользователей;
  • 75,8% при GPT 5.5;
  • 93,9% при Claude Haiku 4.5.

Это не ошибка округления. Это три кардинально разных прочтения одной и той же страницы продукта.

Базовые записи персон не объясняли этот разброс. Его объясняла модель, выступающая в роли актора.

По 88 сопоставимым полям соответствия персон медианное попарное согласие между тремя моделями составило приблизительно ноль после корректировки на случайность. Авторы статьи описывают модель-персону как «фактор первого порядка, а не деталь реализации».

Это меняет то, как следует интерпретировать результаты синтетического пользовательского исследования.

Результат из MatrAIx — не просто: эта персона выбрала этот вариант. Это скорее: данная языковая модель, настроенная на эту запись персоны, ответила таким образом внутри этой задачи и этого интерфейса.

Результат принадлежит всей конфигурации. Смените модель — и, возможно, получите другой рынок.

Не усредняйте разногласие

Соблазнительный ответ — запустить несколько моделей и усреднить результат.

Это может дать более аккуратную цифру. Но не доказывает, что она ближе к поведению реальных людей.

Расхождение между моделями — это полезная информация. Оно говорит о том, что симулированный вывод чувствителен к модели, выступающей в роли пользователя. Усреднение 23%, 76% и 94% даёт точно выглядящий ответ, скрывая при этом нестабильность измерительного инструмента.

Авторы рекомендуют более обоснованный подход: указывать используемую модель-персону, проверять важные находки с помощью более чем одной модели, использовать хотя бы одну модель, не разделяющую архитектуру с тестируемой системой, изучать базовые взаимодействия и проверять значимые выводы на реальных людях.

Это задача триангуляции, а не усреднения.

Если три симулированные когорты соглашаются в направлении проблемы — это более сильная гипотеза для дальнейшего изучения. Если они резко расходятся, эта неопределённость должна сохраняться в отчёте.

Остерегайтесь синтетического самопредпочтения

Существует ещё один скрытый сбой в базовой архитектуре.

Допустим, модель, играющая роль персоны, разделяет архитектуру с тестируемым продуктом на основе ИИ. В этом случае благоприятный результат становится неоднозначным. Действительно ли симулированный пользователь хорошо отреагировал на продукт, или одна модель просто распознала и предпочла стиль другой версии себя?

Авторы работы не утверждают, что изолировали этот эффект. Они предупреждают: согласие моделей с общей архитектурой следует рассматривать как гипотезу, а не как результат.

Это важно для любой компании, использующей ИИ для оценки ИИ.

Если в роли судьи, пользователя, ассистента и составителя отчёта выступают модели одного семейства, вы создали не независимую систему оценки, а зеркальный зал.

Как минимум следует разделить роли:

  • Использовать разные семейства моделей для тестируемой системы и симулированного пользователя.
  • По возможности держать объективные верификаторы за пределами обеих моделей.
  • Сохранять трассировки испытаний, а не принимать только итоговый балл.
  • Добавлять экспертизу реальных людей, когда вывод влияет на ценообразование, доступ, безопасность, здоровье, занятость или финансовые решения.

Чем ближе решение к реальным последствиям, тем менее приемлемым становится синтетическое согласие как окончательное свидетельство.

Результат валидации обнадёживает, но уже, чем кажется

MatrAIx сообщает о 91,5% соответствия в контролируемом исследовании на 400 испытаниях. Персона-агенты выражали или корректно подавляли десять заданных поведенческих черт в средах опросов, чат-ботов, веб-страниц и приложений в 366 испытаниях.

Это полезный инфраструктурный результат: он указывает, что система способна обусловливать поведение агентов наблюдаемыми способами.

Однако он не устанавливает, что полученные агенты ведут себя как реальные люди в реальных условиях. Авторы прямо говорят об этом в разделе ограничений. Текущая работа не показывает, что персоны утаивают контекст, возражают, исправляют систему или прерывают задачу так, как это делают люди. В ней призывается к более строгой валидации на основе реальных журналов взаимодействий и долгосрочных данных о людях.

Соответствие персоны отвечает на вопрос: следовал ли агент инструкции персоны? Прогностическая валидность задаёт принципиально другой вопрос: действительно ли люди с такими характеристиками вели бы себя именно так? Система может хорошо справляться с первым и при этом оставаться неподтверждённой по второму.

План действий

Используйте синтетических пользователей как предварительный слой в исследовательском процессе.

1. Начинайте с решений, а не с персон

Выберите конкретное продуктовое решение: ценообразование, онбординг, обнаружение функций, восстановление поддержки, доверие, доступность или удержание. Определите, какие свидетельства изменят это решение, прежде чем запускать симуляцию.

2. Рассматривайте когорту как спроектированную, а не репрезентативную

Зафиксируйте, как были выбраны персоны, какие атрибуты важны, какие заявления о генеральной совокупности выходят за рамки, и каких реальных пользователей по-прежнему нет в выборке.

3. Запускайте несколько моделей-персон

Используйте не менее двух семейств моделей. Зафиксируйте задачу, интерфейс и когорту. Публикуйте разброс, а не одно смешанное число.

4. Разделяйте роли ИИ

Избегайте использования одной и той же архитектуры в роли симулированного пользователя, тестируемого продукта, оценщика и составителя резюме. Независимые проверки важнее, когда ИИ оценивает ИИ.

5. Сохраняйте свидетельства

Храните промпты, действия, снимки экрана, конечные состояния, результаты верификации, сбои и результаты по подгруппам. Показатель выбора платного тарифа без трассировок взаимодействий сложно верифицировать.

6. Используйте расхождения для распределения реальных исследований

Большая межмодельная дисперсия должна инициировать дополнительное изучение. Стабильные паттерны могут помочь определить приоритеты для валидации. Ни то, ни другое не устраняет необходимости в контакте с реальными пользователями.

7. Возвращайте людей в значимые решения

Синтетическое исследование может сформировать гипотезу или проверить дизайн. Оно не должно определять доступ, ценообразование, медицинские рекомендации, найм, кредитование, страхование или государственную политику без прямых свидетельств от людей и надлежащего управления.

Часто задаваемые вопросы

Что доказывает число 8,3 миллиарда и может ли MatrAIx заменить пользовательские исследования?

Это число описывает сконструированные записи персон, а не цифровых двойников или 8,3 миллиарда выполненных агентов. В статье сообщается о 18 189 испытаниях, а публичный артефакт — это набор из одного миллиона персон. Синтетические когорты могут поддерживать скрининг и стресс-тестирование, однако выводы о реальных группах населения по-прежнему требуют валидации на людях — особенно с учётом того, что смена модели-персоны может изменить показатель выбора платного тарифа с 23,2% до 93,9%.

Находится ли MatrAIx в открытом доступе?

Сайт проекта и репозиторий кода находятся в открытом доступе, и в репозитории система описывается как инфраструктура оценки с открытым исходным кодом. Опубликованный набор данных — это качественно отфильтрованный набор Persona 1M, а не полная внутренняя популяция.

Итог

MatrAIx делает синтетическое пользовательское исследование значительно более операциональным. Команды могут тестировать продукты на спроектированных когортах, повторять исследования после каждого изменения и выявлять паттерны сбоев ещё до того, как с ними столкнутся реальные пользователи.

Это ценно, однако собственные данные системы устанавливают границы её применения. Модель-персона может сдвинуть вывод о продукте с 23% до 94% на идентичных когортах. Записи не являются репрезентативной выборкой человечества. Соответствие персоны не доказывает прогнозирования реального поведения людей.

Используйте MatrAIx, чтобы задавать лучшие вопросы раньше. А затем приглашайте реальных людей в процесс, прежде чем доверять ответу.