Skip to content
Новость Qualitati окт. 2026 г.

Qualitati: состояние AI user research — октябрь 2026

Состояние AI user research в октябре 2026 года — обзор Qualitati

Состояние AI user research: октябрь 2026

Qualitati Research Team, 11 октября 2026 г.

Короткий ответ: по состоянию на октябрь 2026 года ключевой вывод об AI user research звучит так — синтетические респонденты воспроизводят средние значения по популяции, но упускают индивидуальные различия и неверно оценивают, как меняются мнения. Новые исследования показывают, что LLM-персоны воспроизводят среднее по группе, но теряют межличностную вариацию и ошибаются при имитации сдвигов убеждений. Привязка персон к реальным прошлым ответам частично решает проблему, но не заменяет проверку на реальных участниках.

Это ежемесячный отчёт о состоянии AI user research: что означают новые исследования, инструменты и изменения в поиске для исследователей, которые проводят AI-модерированные интервью, conversational surveys, synthetic panels и AI-assisted качественный анализ. В сентябрьском выпуске 2026 года основная тема состояла в том, что результаты AI могут выглядеть правильными, не будучи обоснованными. Исследования, опубликованные с 13 сентября, заостряют этот момент применительно к синтетическим респондентам и digital twins.

Ключевые выводы

  • Исследование 845 взрослых американцев от 2 октября 2026 г. показало, что описания персон восстанавливают лишь 53–67% реальной вариации между людьми; добавление их предыдущих ответов на опросы восстанавливает показатель до уровня, близкого к человеческому (Pourtaheri & Zareei, 2026).
  • Исследование трёх семейств открытых моделей от 26 сентября 2026 г. показало, что симулированные корреляции между инструментами совпадают с данными панели из 2058 человек на уровне r = 0,70–0,73, однако новейший исследованный релиз Llama показал худшие результаты по двум из трёх основных метрик (Lee & Wang, 2026).
  • Диагностическое исследование от 14 сентября 2026 г. с использованием 526 персон и 72 вопросов показало, что все пять протестированных frontier-моделей неверно воспроизводят, как люди меняют мнение после получения сбалансированной информации (Wali & Tayyab, 2026).
  • На стороне интервьюирования данные месяца подтверждают роль AI как тихого ассистента для человека-интервьюера и как адаптивного, но поверхностного, самоадминистрируемого интервьюера.
  • Сентябрьское обновление Google по спаму стартовало 24 сентября и продолжалось 13 дней 16 часов (Google Search Status Dashboard).

Для кого этот отчёт

Академические исследователи, аспиранты, исследовательские лаборатории и компании в области market research, которые используют или рассматривают использование synthetic respondents, digital twins или AI interviewers и которым нужно понять, что именно можно обоснованно утверждать в научной статье, заявке на этику или клиентском отчёте.

Состояние AI user research в октябре 2026: соответствие среднему значению доступно, соответствие индивидуальному — нет

AI user research — это использование AI для сбора или анализа исследовательских данных: AI-модерированные интервью, conversational surveys с адаптивными уточняющими вопросами, synthetic participants, LLM-assisted кодирование и тематический анализ. Данные октября сходятся к простой закономерности. Языковой модели легко совпасть со средним по популяции. Совпасть с тем, как люди отличаются друг от друга и как они меняются, — трудно, и этот разрыв незаметен, если отчитываться только по агрегированным метрикам.

Это перекликается с двумя исследованиями, которые подробно разобраны в этом выпуске. Ahn, Mao и Lee установили, что LLM-суррогаты объясняют лишь 3,05% того, как отдельные респонденты отклоняются от среднего значения по вопросу. Netzer и Sambandam показали, что заявляемая точность digital twin варьируется главным образом из-за того, что в исследованиях измеряются разные вещи.

Разработка 1: прошлое поведение превосходит описание

Хашаяр Пуртахери и Ахмад Зареи использовали двухволновую панель из 845 взрослых американцев, прошедших тесты по 14 поведенческим смещениям: предпочтения по риску и времени, самонадеянность, рассуждение. Синтетическим персонам давали постепенно всё более полную информацию: ничего, демография, личностные черты, когнитивные показатели и, наконец, более ранние ответы на опросы — при этом все вопросы, относящиеся к целевому смещению, исключались (arXiv:2610.03998).

На уровне популяции все условия выглядели нормально: 7,1–8,1 смещения на синтетического респондента против 7,1 у людей. Под поверхностью описательные персоны достигали лишь 7–12% «информированности» человека при повторном прохождении опроса. Добавление поведенческой истории увеличивало этот показатель до 28% и давало наилучшие результаты во всех 17 демографических группах. Синтетические ответы также демонстрировали более выраженные различия по уровню образования и дохода, чем реальные.

Вывод: демографические данные и описания личности в основном дают модели стереотип для воспроизведения. Реальные прошлые ответы дают ей нечто ближе к самому человеку. Даже при этом 28% информированности человека при повторном тесте — это далеко от равноценного замещения.

Разработка 2: открытые модели несут реальную структуру, но релизы не монотонны

Грэнди Ли и Ван Юэ привязывали персоны к дословным ответам реальных респондентов на один психометрический инструмент и измеряли их на втором, по матрице из 139 пар в сравнении с панелью из 2058 человек. Симулированные межинструментальные корреляции совпадали с человеческими на r = 0,70–0,73 в каждом семействе моделей, преимущественно за счёт правильного определения знака, а не величины (arXiv:2609.32638).

Вывод: это обнадёживает лаборатории, которым нужны локальные открытые модели по соображениям конфиденциальности. Более практичный вывод: более новый релиз не обязательно лучше. Валидация, проведённая на прошлогодней модели, не переносится на нынешнюю.

Разработка 3: персоны не обновляют убеждения, как люди

Ахмед Вали и Хасаан Таяб создали диагностику deliberative polling на основе данных America in One Room. Все модели не прошли — каждая по-своему. Персоны GPT-5.1 стали враждебнее к другой партии после получения сбалансированной информации, тогда как реальные люди стали менее враждебны (80% изменений по вопросам о другой группе против 26% по политическим вопросам). Gemini 2.0 Flash, Claude Sonnet 4.5 и Llama 3.3 70B сдвинулись в правильном направлении, но в 5–7 раз сильнее, чем люди; DeepSeek V3 почти не изменился (arXiv:2609.15849). Авторы называют это «self-sycophancy»: соответствие стереотипу персоны, заложенному в модель.

Вывод: любое исследование, проверяющее сообщение, концепцию или вмешательство на синтетических респондентах, задаёт динамический вопрос. Статическая точность ничего не говорит об этом. Это согласуется с исследованием first-click, описанным 7 октября, где персоны делали синтетические данные более правдоподобными, но не более точными.

Также в этом месяце: AI-интервьюеры как ассистенты, не как замена

  • Помощь в реальном времени работает, когда остаётся ненавязчивой. В исследовании с участием 18 интервьюеров AI-подсказки увеличили число уточняющих вопросов примерно с 6 до 9–10 за сессию, однако интервьюеры отвергли AI в роли оценщика или со-интервьюера.
  • Адаптивная глубина осуществима на небольших локальных моделях. Адаптивный к экспертизе интервьюер на Llama 3.2 3B совпал с самооценкой экспертизы в 78,9% из 246 интервью.
  • Дёшево — не значит глубоко. Чат-бот провёл интервью с 74 социологами за €0,04 в стоимости модели, но не достиг типичной качественной глубины; в полевом отчёте по custom-GPT лишь 19,7% из 66 участников сообщили, что уточняющие вопросы помогли им сказать больше.
  • LLM-кодирование открытых ответов умеренное и зависит от вопроса. GPT-5.4 достиг Adjusted Rand Index 0,61 с кодировщиками-людьми на 903 ответах, с разбросом от 0,31 до 0,85 в зависимости от вопроса.

Лестница достоверности синтетических респондентов (фреймворк Qualitati)

Каждая ступень — более сильное утверждение о синтетических данных. Указывайте наивысшую ступень, которую вы фактически проверили, и ограничивайте выводы ею.

СтупеньПоддерживаемое утверждениеДанные октябряМинимальный тест
1. Соответствие среднему«Среднее по популяции выглядит так»Достигается даже с малым объёмом личных данныхСравните средние и распределения с реальным бенчмарк-опросом
2. Соответствие дисперсии«Люди различаются настолько»Описания восстанавливают 53–67% реальной вариацииСравните стандартные отклонения и распределения по сегментам, не только средние
3. Структурное соответствие«Эти установки взаимосвязаны вот так»r = 0,70–0,73 по межинструментальным корреляциям; зависит от релизаПовторяйте для каждого используемого релиза модели
4. Индивидуальное соответствие«Этот digital twin отвечает, как этот человек»7–12% информированности по тест-ретесту при описаниях; 28% при прошлых ответахОставляйте реальные ответы каждого респондента; проверяйте вопросы на пригодность для ответа
5. Динамическое соответствие«Люди отреагировали бы на это сообщение вот так»Все пять frontier-моделей не прошли тест на deliberationПроводите диагностику до/после относительно реальных сдвигов людей; иначе не заявляйте это

Примечание для проверки: границы ступеней — это практическое обобщение цитируемых препринтов, а не валидированный измерительный стандарт. До публикации любого утверждения выше ступени 2 его должен проверить методолог.

Что изменилось в AI-поиске (GEO) в этом месяце

Сентябрьское обновление Google по спаму началось 24 сентября и продолжалось 13 дней 16 часов согласно Search Status Dashboard. Между майским корапдейтом 2026 г. и датой публикации core update не был обозначен. Для исследовательских групп, публикующих методологический контент, актуальна устойчивая практика: датированные утверждения, ссылки на первоисточники, краткие дефинитивные ответы, которые AI-поисковики могут процитировать без искажений.

Ограничения и методологические оговорки

  • Препринты. Три новых исследования — препринты arXiv, которые могут быть изменены в ходе рецензирования.
  • Американоцентричные выборки. Данные о поведенческих смещениях и deliberation-данные взяты из США; перенос на европейские или многоязычные популяции не проверялся.
  • Задачи опросного типа, а не интервью. Все три исследования измеряют закрытые ответы. Достоверность для открытых качественных ответов, вероятно, ниже и труднее измерима.
  • Смена моделей. Несколько упомянутых моделей уже устарели. Важен протокол тестирования, а не рейтинг.
  • Когда не следует использовать synthetic respondents: если исследовательский вопрос касается того, почему конкретные люди принимают решения, как они реагируют на новую информацию или если речь о группах, недостаточно представленных в обучающих данных.

Итог

Состояние AI user research в октябре 2026 г. в части синтетических данных очевидно: соответствие среднему достигается легко, индивидуальное и динамическое — нет. Привязывайте персоны к реальному поведению, повторно валидируйте каждый новый релиз модели и сохраняйте реальных участников в исследовательском контуре для любого утверждения о том, как люди различаются или меняются.