Qualitati: могут ли LLM симулировать реальных пользователей? Исследование Sim2Real Gap 2026
Могут ли LLM симулировать реальных пользователей? Исследование Sim2Real Gap (2026)
Команда Qualitati Research Team, 6 ноября 2026
Краткий ответ: пока нет. Исследование Carnegie Mellon 2026 года провело одни и те же задачи в сфере клиентского обслуживания с участием 451 реального человека и 31 LLM-симулятора. Лучший симулятор набрал 76,0 баллов по авторскому User-Sim Index, тогда как согласованность между группами реальных людей составила 92,7. Симулированные пользователи оказались слишком отзывчивыми, слишком вежливыми и слишком однородными — и оценивали ИИ-ассистента значительно благожелательнее, чем люди.
Синтетические пользователи стали стандартным инструментом. Продуктовые команды применяют LLM-«клиентов» для нагрузочного тестирования чат-ботов, исследователи используют симулированных участников при пилотировании гайдов для интервью, а разработчики агентов оценивают свои системы на симулированных пользователях. Всё это предполагает, что симулятор ведёт себя примерно как человек. Статья «Mind the Sim2Real Gap in User Simulation for Agentic Tasks» (Zhou, Sun, Ma, Xie, Liu, Du, Welleck, Yang, Neubig, Wu и Sap, 2026; принята на COLM 2026) проверяет это допущение напрямую, а выводы важны далеко за пределами бенчмарков агентов.
Что именно тестировалось в исследовании?
Исследование сравнивало реальных людей и LLM-симуляторы, играющих роль клиента в одних и тех же разговорах. Авторы использовали τ-bench — бенчмарк задач клиентского обслуживания авиакомпании и розничной торговли — и провели полный протокол с участием реальных людей. По данным Zhou et al. (2026), на стороне людей участвовали 451 участник, набранный через Prolific, охватывая 165 задач в трёх независимых выборках. ИИ-агент на противоположной стороне был фиксированным (GPT-5.2), то есть любое отличие определялось тем, кто играл роль пользователя.
На стороне симуляторов было протестировано 31 модели: 18 проприетарных, 9 с открытым исходным кодом и 4 модели, дообученные специально для симуляции пользователей или имитации человека. После каждого разговора и люди, и симуляторы оценивали взаимодействие по успешности задачи и качественным показателям — эффективности, человекоподобию и качеству диалога. Этот второй шаг делает статью особенно полезной для исследователей: он измеряет не только то, ведут ли себя симуляторы как люди, но и то, судят ли они как люди.
Как авторы измеряют Sim2Real Gap?
Авторы разделяют разрыв на поведенческую и оценочную части, а затем объединяют их в один показатель — User-Sim Index (USI) по шкале от 0 до 100.
- Стиль общения (D1): вежливость, многословность и типичная для LLM пунктуация.
- Информационный паттерн (D2): сколько информации пользователь раскрывает за один ход.
- Уточнение (D3): задавание вопросов и выражение неопределённости.
- Реакция на ошибки (D4): эмоции, обвинительные высказывания и смена стратегии при возникновении проблем.
- Калибровка исходов (ECE): насколько часто агент справляется с задачей при работе с симулятором в сравнении с людьми, по лёгким и сложным задачам.
- Согласованность оценок (Eval): насколько близко оценки симулятора после задачи совпадают с оценками людей.
Четыре поведенческих показателя сравнивают распределения популяционного уровня симулятора и людей, поэтому симулятор не обязан копировать конкретного человека — он должен лишь напоминать «толпу». Авторы подчёркивают, что USI — это обобщающий показатель, а диагностическую информацию несут компонентные оценки.
Насколько близко LLM-симуляторы подходят к реальным людям?
Лучшие симуляторы находятся в районе 70–76, что значительно ниже человеческого эталона. Согласованность между тремя человеческими выборками даёт «потолок» в 92,7. Таблица ниже показывает выборочные результаты из Zhou et al. (2026).
| Пользователь | Стиль (D1) | Уточнение (D3) | Согласованность оценок (Eval) | USI |
|---|---|---|---|---|
| Люди (между выборками) | 87,4 | 88,0 | 97,4 | 92,7 |
| DeepSeek-V3.1 | 45,1 | 74,5 | 74,3 | 76,0 |
| Gemini 2.0 Flash | 51,6 | 68,2 | 73,7 | 74,7 |
| GPT-5.1 | 47,3 | 73,3 | 72,1 | 73,5 |
| HumanLM-opinion (дообученная) | 30,1 | 38,5 | 61,6 | 46,9 |
Выделяются две закономерности. Первая: стиль общения — самое слабое измерение для каждой из представленных моделей общего назначения; симуляторы просто не разговаривают как люди. Вторая: модель, дообученная для имитации человека, не победила. HumanLM-opinion набрала значительно меньше, чем модели общего назначения, что согласуется с главным выводом авторов о том, что более высокие возможности модели общего назначения не обязательно дают более достоверную симуляцию — равно как и маркировка «человекоподобный».
В чём конкретно симулированные пользователи ведут себя иначе?
Симулированные пользователи вежливее, многословнее и организованнее реальных клиентов. Авторы описывают их как чрезмерно отзывчивых и стилистически однородных, почти лишённых раздражения и неоднозначности, которые привносят реальные пользователи. Несколько зафиксированных контрастов:
- Короткие ответы: 29,0% ходов у людей были короткими, против 1,0% у GPT-4o в роли симулятора.
- Вежливость: 49,0% ходов GPT-4o были вежливыми, против 15,3% у людей.
- Избыточное раскрытие информации: UserLM-8b вкладывал 4,8 идентификатора в каждый ход против 2,6 у людей — то есть добровольно сообщал номера бронирований и другие данные, которые люди обычно называют только по запросу.
- Выражение неуверенности: GPT-4o выражал неопределённость в 14,6% ходов — примерно вдвое больше, чем у людей (7,3%).
- Смена стратегии: GPT-4o (19,1%) и CoSER (16,5%) меняли тактику более чем вдвое чаще, чем люди (8,4%).
Авторы называют такой режим «лёгким режимом» (easy mode): отзывчивые пользователи облегчают задачу агенту, поэтому показатели успешности, измеренные на симуляторах, оказываются выше, чем на людях.
Могут ли симулированные пользователи заменить живые отзывы?
Это та находка, которую исследователи должны принять к сведению в первую очередь. Когда симуляторы оценивали разговоры, они стабильно давали более высокие оценки, чем люди, по всем качественным показателям. По данным статьи, GPT-5.1 в роли симулированного пользователя переоценил человекоподобие ассистента на 55% шкалы оценок и его общую оценку — на 18%. Иными словами, ИИ, которому предложили сыграть клиента, а затем оценить другой ИИ, дал ему незаслуженно высокую оценку.
Для тех, кто использует синтетических участников для оценки продукта, прототипа или структуры интервью, это означает конкретный риск: синтетическая панель склонна говорить, что всё прошло лучше, чем сказали бы реальные люди.
Что это означает для качественных исследований и UX research
Исследование посвящено агентам клиентского обслуживания, но его логика применима к большинству работ с синтетическими участниками. Вот как авторы этот опыт проецируют на исследовательскую практику:
- Используйте симулированных пользователей для репетиции, но не для получения данных. Они быстры и воспроизводимы для пилотирования гайда для обсуждения или выявления логических ошибок. Они плохо замещают реакцию реальных людей, их жалобы и оценки опыта.
- Ожидайте, что симулированные данные будут слишком «чистыми». Реальные участники дают короткие ответы, утаивают детали до прямого вопроса и раздражаются. Гайд, который работает гладко с синтетическими пользователями, всё равно может давать сбои с людьми.
- Не используйте синтетические оценки как данные об удовлетворённости. Оценочный разрыв оказался значительным и положительным, поэтому оценки на основе симуляторов, вероятно, будут завышать качество.
- Проверяйте результаты на небольшой выборке реальных людей. Метод самой статьи — проведение одних и тех же задач с реальными людьми и сравнение распределений — это шаблон, который любая команда может масштабировать вниз.
Каковы ограничения исследования?
Данные получены из двух доменов клиентского обслуживания, одного фиксированного ИИ-агента и преимущественно англоязычных участников, набранных онлайн, которые играли роль клиентов, а не решали собственные проблемы. Авторы также отмечают известные проблемы задач и вознаграждений в используемой версии τ-bench, хотя задачи были одинаковы во всех условиях. Разрыв может оказаться больше или меньше в открытых интервью, в сфере здравоохранения или в других культурах.
Часто задаваемые вопросы
Что такое Sim2Real Gap в симуляции пользователей?
Это разница между тем, как ведут себя и оценивают LLM-симулированные пользователи, и тем, как это делают реальные люди. Zhou et al. (2026) измеряют его по поведению (стиль, обмен информацией, уточнение, реакция на ошибки) и оценкам (калибровка успешности и постзадачные оценки).
Какой LLM является лучшим симулятором пользователей?
По основной таблице статьи, наивысший User-Sim Index — 76,0 — показал DeepSeek-V3.1, за ним следуют Gemini 2.0 Flash и GPT-5.1. Все они по-прежнему значительно уступают согласованности между группами людей (92,7).
Лучше ли дообученные «человекоподобные» модели симулируют пользователей?
В данном исследовании нет. Наивысшие баллы по User-Sim Index получили модели общего назначения, тогда как HumanLM-opinion, одна из четырёх протестированных специализированных моделей, набрала лишь 46,9.
Могу ли я использовать синтетических участников вместо реальных интервью?
Для пилотирования и нагрузочного тестирования — да. Для выводов о поведении реальных людей или их удовлетворённости данное исследование указывает: синтетические пользователи слишком отзывчивы и слишком позитивны, чтобы заменить живых участников.