Skip to content
Новость MeasuringU сент. 2026 г.

MeasuringU: насколько точно цифровые двойники предсказывают оценки SUS

Графики сравнения оценок SUS от реальных участников и цифровых двойников

Lucas Plabst, PhD · Jeff Sauro, PhD · Jim Lewis, PhD

Рекрутинг участников — одна из самых затратных статей бюджета исследования. Если ИИ способен воспроизводить позиции пользователей, опираясь на имеющиеся данные, это позволило бы сократить расходы и получать результаты за миллисекунды, а не месяцы.

Синтетические пользователи — собирательное название для разных подходов, при которых ИИ имитирует установки и намерения реальных участников. В предыдущих работах MeasuringU авторы определили это понятие скорее как таксономический «род», а не отдельный «вид»: оно объединяет цифровых двойников (digital twins), синтетических пользователей на основе персон, демографических данных и прото-персон ИИ.

Авторы ранее изучали полярные позиции UX-сообщества по отношению к синтетическим пользователям и опубликовали обзор соответствующей литературы. Большинство исследований фиксирует расхождения между синтетическими и реальными результатами: сниженный разброс, смещение средних значений, искажённые корреляции и поверхностные нарративы. Среди разных типов синтетических пользователей цифровые двойники принято считать наиболее точными, хотя их точность до сих пор остаётся открытым исследовательским вопросом.

Данная статья описывает эксперимент по сравнению количественных результатов отраслевого benchmark-опроса с данными, сгенерированными двумя типами цифровых двойников.

Исходное исследование

В мае 2026 года авторы провели ретроспективный benchmark-опрос четырёх AI-based chat-продуктов с участием 420 человек из США, набранных через онлайн-панель. Исследование включало метрики, которые MeasuringU стандартно собирает в своих UX- и NPS-опросах потребительского ПО.

Соотношение полов было примерно равным (52% женщин, 47% мужчин); 65% участников моложе 40 лет. Участников просили вспомнить последний опыт работы с продуктом и ответить на вопросы нескольких стандартизированных методик: NPS, SUS, UX-Lite и TAC-10™. Продукты и размеры выборок:

  • ChatGPT: 113
  • Claude: 103
  • Gemini: 101
  • Grok: 103

Репликация с цифровыми двойниками

Для экспериментов авторы оценивали, насколько точно синтетические пользователи воспроизводят оценки по System Usability Scale (SUS) — одной из самых распространённых стандартизированных методик оценки воспринимаемого удобства. SUS состоит из десяти пятибалльных вопросов с чередованием позитивных и негативных формулировок. Итоговый балл переводится в 100-балльную шкалу, для которой существуют устоявшиеся методы классификации, включая шкалу оценок Sauro–Lewis Curved Grading Scale (см. приложение).

Для создания двойников авторы использовали Claude Sonnet 5. Модель формировала персону объёмом до 700 слов от первого лица, опираясь на ответы каждого участника: демографические вопросы, вопросы об использовании чат-ботов, отношении к бренду, вероятности рекомендации и открытые вопросы о симпатиях и антипатиях. Оценки SUS из исходных данных при этом намеренно исключались.

Персона состояла из шести разделов:

  1. Кто я
  2. Что для меня важно
  3. Как я говорю
  4. Как я принимаю решения и отвечаю
  5. Что мне пришлось бы предположить
  6. Что обо мне неизвестно или не выводится

Двойники создавались на двух уровнях детализации. Summary twins (краткие двойники) получали только 700-словную персону-сводку без доступа к исходным ответам. Full twins (полные двойники) помимо персоны имели доступ ко всем ответам участника, за исключением оценок SUS. Авторы проверяли, улучшает ли дополнительная информация точность предсказаний.

Каждый двойник получал инструкцию войти в роль своего участника и ответить на вопросы SUS так, как ответил бы человек, по данным которого он создан. Затем ответы двойников сопоставлялись с ответами реальных участников, и анализировались расхождения.

Средние значения цифровых двойников систематически выше человеческих

И full twins, и summary twins давали статистически значимо более высокие оценки SUS, чем реальные участники (все p < .05). Разрыв составлял от 2,9 до 7,8 балла в зависимости от продукта (таблица 1). Различие между двумя типами двойников оказалось статистически незначимым (все p > .36): двойники оказались более похожи друг на друга, чем на реальных людей, по данным которых были созданы.

ПродуктЧеловек (среднее)Summary TwinFull TwinSummary − ЧеловекFull − ЧеловекFull − Summary
ChatGPT81,585,788,34,26,82,6
Claude78,984,686,25,77,31,6
Gemini79,081,984,22,95,22,3
Grok78,483,286,24,87,83,0
Среднее79,583,986,24,46,72,3

Таблица 1: Сравнение средних значений и их разностей по продуктам.

Больше информации — большее расхождение

Вопреки ожиданиям авторов, передача full twins полных данных ответов не улучшила точность предсказаний. Средние оценки summary twins отличались от человеческих в среднем на 4,4 балла, full twins — на 6,7 балла; оба отклонения статистически значимы. Как интерпретировать эту разницу?

Во-первых, 4,4–6,7% отклонения на 100-балльной шкале SUS можно трактовать как среднюю ошибку, или, в обратном ключе, как точность предсказания 95,6% и 93,3% — что звучит приемлемо, пока принимаемые решения допускают такой уровень неточности. Во-вторых, смещение влияет на интерпретацию «буквенных оценок». Таблица 2 показывает, как переводятся средние значения по продуктам в оценки по шкале Sauro–Lewis.

ПродуктЧеловекSummary TwinFull Twin
ChatGPTAA+A+
ClaudeA−A+A+
GeminiA−AA+
GrokB+AA+

Таблица 2: Оценки SUS по шкале Sauro–Lewis Curved Grading Scale.

Стейкхолдер, смотрящий на человеческие оценки, воспринял бы продукты как «хорошие, но не превосходные». Тот же стейкхолдер, видя оценки full twins, пришёл бы к выводу, что все продукты — выдающиеся.

Небольшое, но системное смещение на уровне отдельных вопросов

Анализ ответов на десять вопросов SUS показал: оба типа двойников чаще соглашались с позитивно сформулированными вопросами и реже — с негативными. Вероятно, это артефакт склонности LLM к одобрению. Среднее отклонение по каждому вопросу составило около половины балла на пятибалльной шкале Likert. Поскольку смещение было систематическим, а не случайным, отклонения накапливались по всем десяти вопросам, вместо того чтобы компенсировать друг друга.

Корреляции человек–двойник значимы, но далеки от совершенства

Корреляции между оценками SUS реальных участников и цифровых двойников оказались ниже, чем можно было бы ожидать при точном воспроизведении человеческих ответов, — хотя и значимо выше, чем корреляция 0,20, зафиксированная Peng et al. (2026). Корреляция составила 0,56 для human/summary twins и 0,59 для human/full twins; разница между ними статистически незначима. Корреляция между summary twins и full twins оказалась значительно выше — 0,92, что ещё раз подтверждает: двойники оказались похожее друг на друга, чем на людей, по данным которых создавались.

Данные цифровых двойников менее вариативны

Разброс ответов цифровых двойников существенно ниже, чем у реальных участников: ответы двойников сходились к среднему значению более тесно. Стандартные отклонения индивидуальных оценок SUS составили 15,1 для людей, 12,6 для summary twins и 11,6 для full twins.

Итоги и обсуждение

Авторы конструировали цифровых двойников так, чтобы дать им наилучшие шансы для точного предсказания удержанных оценок SUS по сравнению с менее заземлёнными типами синтетических пользователей. Ключевые выводы эксперимента:

Средние значения цифровых двойников умеренно точны, но систематически завышены. В среднем по четырём продуктам оценки summary twins превышали человеческие на 4,4 балла (точность 95,6%), full twins — на 6,7 балла (точность 93,3%). Паттерн статистически значим для всех четырёх продуктов; его причина — систематическая склонность к согласию на уровне отдельных вопросов. Авторы оговариваются: возможен эффект потолка, поскольку исходные SUS-оценки в данном исследовании относительно высоки.

Человеческие ответы более вариативны. Это совпадает с тем, что описывает литература. Стандартное отклонение по SUS составило 15,1 для людей, 12,6 для summary twins и 11,6 для full twins.

Больше информации не улучшает точность предсказаний. Full twins, получившие доступ к полным данным анкеты, предсказывали оценки SUS хуже, чем summary twins, опиравшиеся только на персону-сводку. Средние full twins превышали средние summary twins в среднем на 2,2 балла — и, соответственно, ещё дальше отстояли от человеческих данных.

Смещение оценок искажает их интерпретацию. При высоких значениях SUS отклонение в три-восемь баллов достаточно для изменения «буквенной оценки» продукта. Оценки реальных участников располагались в диапазоне B+–A. Оценки full twins для всех продуктов — A+, что создаёт принципиально иное впечатление о воспринимаемом удобстве.

Корреляции человек–двойник значимы, но неидеальны. Корреляции составили 0,56 для human/summary twins и 0,59 для human/full twins (разница незначима). Между собой summary twins и full twins коррелировали на уровне 0,92 — значимо выше, чем с человеческими данными.

Данная работа — первая в серии экспериментов, которые авторы планируют провести на разных наборах данных (с более широким разбросом оценок SUS) и с разными способами конструирования синтетических пользователей.

Приложение: шкала оценок Sauro–Lewis

Диапазон SUSОценкаПерцентиль
84,1–100A+96–100
80,8–84,0A90–95
78,9–80,7A−85–89
77,2–78,8B+80–84
74,1–77,1B70–79
72,6–74,0B−65–69
71,1–72,5C+60–64
65,0–71,0C41–59
62,7–64,9C−35–40
51,7–62,6D15–34
0,0–51,6F0–14