Skip to content
Новость MeasuringU нояб. 2026 г.

MeasuringU: Pew Research подтвердил ту же проблему цифровых двойников, что нашли мы

Цифровые двойники в исследованиях: проблема точности

Pew Research подтвердил ту же проблему цифровых двойников, что нашли мы

Авторы: Джефф Сауро, PhD · Джим Льюис, PhD, 11 ноября 2026 года

Привлекательность синтетических пользователей трудно игнорировать. Рекрутинг участников — одна из самых затратных и трудоёмких частей исследовательского бюджета. Если AI может заменить реальных людей, результаты можно получить за часы вместо недель и за долю стоимости.

Мы описывали синтетических пользователей как род, а не вид. Этот род включает виды, основанные на персонах, демографии и данных исследований, однако цифровые двойники считаются наиболее точными, потому что вместо создания абстрактного пользователя цифровой двойник строится из данных реального человека и затем отвечает на вопросы так, как ответил бы этот человек.

Часть сообщённых результатов впечатляет. В нашем обзоре экспериментов с синтетическими пользователями одно из наиболее поразительных утверждений принадлежало консалтинговой фирме EY. С использованием проприетарной платформы моделирования Aaru компания EY воспроизвела глобальный опрос о благосостоянии среди 3600 человек и сообщила о высоком согласовании с человеческими результатами — с высокими корреляциями и небольшими погрешностями, полученными за один день вместо шести месяцев. Однако этот результат принадлежал компании, продающей платформу, и критики указали, что модель могла обучаться на данных, схожих с тем опросом, который она «предсказывала». По сей день большая часть доказательств в пользу синтетических пользователей исходит от людей, имеющих финансовый интерес в ответе.

Наиболее сильный академический аргумент в пользу цифровых двойников исходит из Стэнфорда. Парк и соавторы (2024) провели двухчасовые интервью с 1052 взрослыми из США об их жизни с помощью AI-интервьюера, затем создали цифрового двойника для каждого человека по транскрипту интервью. Двойники ответили на General Social Survey с точностью 85% относительно участников, заново отвечавших через две недели (обнадёживающе). Однако в абсолютных показателях двойники совпали примерно с 69% ответов, тогда как люди, повторно проходившие опрос, — с 81% (разочаровывающе). Для достижения такого результата потребовалось по два часа интервью на человека — гораздо больше данных, чем обычно имеют исследовательские команды о своих пользователях.

Поэтому новое исследование Pew Research Center привлекло наше внимание.

Что сделал Pew

Pew создал цифровых двойников для тысяч членов своей American Trends Panel (ATP) — национально репрезентативной, основанной на вероятностной выборке панели взрослых американцев. Каждый двойник получил демографический профиль участника (возраст, образование, доход, религия, история голосования и другие данные) плюс 71 дополнительную переменную установок из политологического типологического опроса Pew 2025 года. Pew также заимствовал технику из исследования Парка и соавторов: вторая AI-модель (GPT-5.1) писала «экспертное размышление» о каждом человеке — краткий синтез с точки зрения политолога, призванный выявить менее очевидные паттерны в профиле.

Затем двойники прошли три реальных опроса ATP начала 2026 года, в сумме около 300 вопросов о политике, мировых установках и национальных проблемах. Они отвечали на один вопрос за раз, по порядку, с той же программной логикой, рандомизацией и инструкциями, что и их человеческие аналоги.

Pew не ограничился одной конфигурацией. Он тестировал уровни рассуждения, объёмы информации о профиле и три разные модели в турнирном сравнении. Лучшей конфигурацией оказался Claude Opus 4.6 с расширенным профилем и экспертным размышлением.

Что нашёл Pew

Даже с этой лучшей конфигурацией результаты оказались далеки от удовлетворительных:

  • Средняя абсолютная погрешность составила 12 процентных пунктов. Примерно по 300 вопросам оценки двойников расходились от человеческих в среднем на 12 пунктов, а более чем на 15 пунктов — по 28% вопросов.
  • Некоторые промахи были огромными. Лишь 52% американцев правильно назвали право, гарантируемое Первой поправкой, а двойники оценили это в 98% (промах в 46 пунктов). Двойники утверждали, что 99% знают центральный фокус НАТО, тогда как в реальности это 56%. Они оценили, что 97% испаноязычных взрослых будут следить за чемпионатом мира (на деле 43%) и что 86% демократов считают миллиардеров вредными для страны (на деле 45%). По шкале от 0 до 100 такой промах подобен предсказанию A+ по SUS для продукта, реально получающего D.
  • Погрешность была связана с размером пространства для ошибки. Погрешности цифровых двойников были больше, когда человеческие процентные значения находились в диапазоне 25–75%.
  • Двойники были слишком уверены в себе. Люди выбирали «не уверен» примерно в четыре раза чаще двойников, хотя в рамках подсказки двойникам указывалось, что реалистично не знать некоторых тем или иметь ошибочные знания о них.
  • Двойники избегали некоторых ответов и концентрировались на других. Почти в половине вопросов был хотя бы один вариант ответа, который не выбрал ни один двойник, — паттерн, никогда не встречавшийся у людей в исходных волнах опроса.
  • Двойники опирались на стереотипы. Как показывают примеры с чемпионатом мира и миллиардерами, они превращали мнения, лишь распространённые внутри подгруппы, в почти всеобщие.
  • Модель имела значение. По одному и тому же опросу Opus 4.6 давал среднюю погрешность в 11,4 пункта, GPT-5.1 — 13,3, а GPT-5 nano — 17,4. Погрешности также шли в разных направлениях: GPT-5.1 рисовал общественность более экстремальной, чем она есть, а Opus 4.6 — более умеренной.

Вывод Pew был прямым: AI-модели не являются адекватной заменой опросу реальных людей.

Наши два исследования цифровых двойников

Мы провели два эксперимента с цифровыми двойниками на основе собственных ретроспективных UX-данных. В первом мы создали двойников для 420 участников, оценивавших ChatGPT, Claude, Gemini и Grok. Во втором — для 289 участников, оценивавших шесть программных продуктов для бизнеса.

В обоих исследованиях двойники систематически завышали баллы SUS:

  • AI-чатботы: завышение на 4,4 балла (сводные двойники) и 6,7 балла (полные двойники)
  • Бизнес-ПО: завышение на 10,6 и 10,4 балла

Для бизнес-ПО этого оказалось достаточно, чтобы переместить продукты на две буквенные оценки вверх по нашей шкале SUS. GitHub перешёл с D на B, а ZipRecruiter — с C на A.

Что совпадает?

Масштаб погрешности. Двойники Pew ошибались в среднем на 12 процентных пунктов. Наши двойники для бизнес-ПО — примерно на 10,5 баллов SUS. Метрики не идентичны, но обе используют шкалу от 0 до 100, и оба результата составляют около 10 пунктов.

Погрешность была систематической, а не случайной. Наши двойники неизменно оценивали продукты выше своих людей (76–80% случаев). Двойники Pew неизменно завышали знания и уверенность. В обоих случаях двойники смещались в предсказуемом направлении, поэтому сбор большего числа двойников не усреднял бы погрешность.

Погрешности были систематически выше, когда человеческие баллы были далеки от крайних значений шкалы. Двойники сглаживали реальную человеческую вариативность и концентрировались вокруг нескольких значений.

Результаты выглядели правдоподобно. Ни один из наборов данных не выглядел очевидно сломанным. Двойники Pew правильно оценили, что большинство американцев поддерживают легальный аборт. Наши двойники в основном правильно упорядочили продукты. Проблема в уровнях, которые именно и определяют решения.

Одно семейство моделей. Лучшая конфигурация Pew использовала Claude Opus 4.6, мы строили своих двойников на Claude Sonnet 5. Ни одно из исследований не нашло конфигурации, устраняющей проблему.

Что различается?

Политически заряженные темы против повседневного опыта. Большинство вопросов Pew касались политически заряженных тем, где погрешность в 5 пунктов может быть разницей между близкой гонкой и разгромом. Установки относительно пользовательского опыта обычно не являются политически заряженными, поэтому у двойников должно быть меньше причин опираться на стереотипы.

Задача Pew была сложнее. Pew просил двойников предсказывать мнения о своевременных темах, используя данные профиля, собранные за несколько месяцев до этого. Наши двойники предсказывали стабильную, ретроспективную оценку знакомого продукта и строились на ответах того же человека в том же опросе. Это, пожалуй, наиболее лёгкая из возможных задач предсказания — и двойники всё равно промахивались на 10 пунктов по обычным продуктам.

Больше релевантных данных могло помочь в обоих исследованиях. Погрешность Pew снизилась с 16 пунктов при использовании только демографии до 13,7 при добавлении 71 переменной установок. Наши двойники для AI-чатботов строились на 68 вопросах, включая 34 пункта об установках к AI, близко связанных с оценкой AI-чатбота. Погрешность этих двойников была примерно вдвое меньше. Однако мы не можем утверждать, что именно дополнительная информация вызвала разницу.

Итог

Исследование Pew — крупнейший и наиболее прозрачный тест цифровых двойников из всех виденных нами, и оно исходит от организации, не имеющей финансового интереса в результате. Его выводы тесно совпадают с нашими двумя меньшими UX-исследованиями.

Около 10 пунктов погрешности. В UX-бенчмарке 10 пунктов — это разница между средним и отличным продуктом.

Часть промахов были намного хуже среднего. Двойники Pew ошибались по некоторым вопросам более чем на 40 пунктов. Средние показатели скрывают эти крайности, и у исследователя, использующего данные двойников, нет способа знать, по каким вопросам допущены критические ошибки.

Погрешности были систематическими. В обоих случаях двойники ошибались в предсказуемых направлениях: слишком знающие и уверенные у Pew, слишком позитивные у нас. Систематическая погрешность наиболее опасна, потому что не компенсируется и выглядит последовательно.

Результаты одной модели не обобщаются на другую. Смена модели меняет не только величину погрешности, но и её направление. Это делает однократную валидацию синтетических пользователей недостаточной: любая валидация привязана к конкретной модели, конфигурации и контексту, а модели меняются каждые несколько месяцев.

AI лучше анализирует реальные ответы, чем изобретает их. Pew недвусмысленно проводит черту: он не будет использовать AI для подмены респондентов, но использует его для категоризации реальных ответов на открытые вопросы и написания кода для анализа результатов опросов. Мы пришли к аналогичному выводу в своих исследованиях по кодированию открытых комментариев.

Итог: три независимых исследования в двух разных областях пришли к одному и тому же заключению — цифровые двойники, построенные на реальных данных людей, недостаточно точны, чтобы заменить этих людей. Пока что U в UX research остаётся.