MeasuringU: говорят ли участники меньше с AI-модераторами, чем с людьми?
Авторы: Lucas Plabst, PhD · Jeff Sauro, PhD · Eva Sundberg, MPH · Jim Lewis, PhD
«Так ли хороши AI-модераторы, как обычные?»
Хороший вопрос. Хорошо было бы иметь данные для ответа. Вместо этого есть заявления от поставщиков технологий AI-модерации. Это не ничто, но далеко не те объективные данные, которые нужны, прежде чем выводить исследовательскую команду из модерации.
Когда мы сталкиваемся с интересными утверждениями подобного рода, мы, как правило, придерживаемся следующей схемы:
- Сформулировать утверждение.
- Оценить доказательства и их качество (с акцентом на рецензируемые публикации).
- Провести собственный эксперимент.
- Уточнить и пересмотреть собственное мнение о достоинствах утверждения.
Второй шаг мы завершили в предыдущей статье, где рассмотрели опубликованные исследования. Литературы оказалось немного, а часть находок может быть несколько устаревшей. Более свежие работы тоже не восполняют пробел, потому что большинство исследований сравнивали AI-модераторов с анкетами или статическими уточняющими вопросами, а не с живым человеком-модератором. Лишь два исследования реально сталкивали AI-модератора с человеком лицом к лицу.
Первое — небольшое классное исследование (Wuttke et al., 2025). Студенческие пары проводили по одному интервью с AI и одному с человеком на темы политики и демократии; в итоге получилось всего пять сессий с AI и шесть с человеком, причём студенты выступали вместо обученных модераторов.
Второе (Zhu et al., 2026) — полноценное рандомизированное контролируемое испытание (RCT) с 30 сессиями в каждом условии: голосовой агентный модератор против человека в think-aloud тестировании юзабилити приложения для заметок. Это более строгое исследование, однако think-aloud модерация является менее требовательной задачей, чем глубинное интервью. В think-aloud сессии главная задача модератора — побуждать участника продолжать проговаривать то, что он уже делает. Это недалеко уходит от немодерируемого think-aloud, где нет вообще никакого модератора, только периодическая фраза «продолжайте думать вслух» или «расскажите подробнее». Полуструктурированное или глубинное интервью предъявляет к модератору гораздо более высокие требования: выстроить rapport с нуля, решать в режиме реального времени, стоит ли вскользь брошенная реплика пяти дополнительных минут, и направлять разговор, у которого нет задачи в качестве якоря.
В исследовании Zhu et al. не было выявлено разницы в количестве слов, произнесённых участниками, однако AI-модератор говорил больше, быстрее и чаще во время сессии. AI-модератор также получил значительно более низкие оценки по контекстно-зависимым уточнениям и выстраиванию доверия, хотя по соблюдению процедуры оба оказались неразличимы.
Этот обзор оставил нам пять вопросов, которые литература не смогла закрыть:
- Говорят ли участники меньше с AI, чем с людьми-модераторами?
- Обеспечивают ли участники одинаковую глубину инсайтов AI- и человеку-модератору?
- Модерирует ли AI так же компетентно, как человек?
- Хотят ли участники разговаривать с AI-модераторами?
- Распространяются ли результаты на разные модели и промпты?
Каждый из этих вопросов требует отдельного анализа, и все они нуждаются в дополнительных данных. Чтобы помочь нам и отрасли ответить на эти вопросы, мы создали собственного AI-модератора и провели контролируемый эксперимент. В этой статье мы описываем устройство этого эксперимента и отвечаем на первый вопрос — говорят ли участники с AI-модераторами меньше, больше или примерно столько же, как с людьми. Конечно, больше слов не обязательно означает лучше, но если люди систематически говорят МЕНЬШЕ с AI-модератором, это создаёт меньше возможностей для поиска инсайтов.
Устройство экспериментального исследования
Чтобы протестировать AI-модератора, нужно несколько вещей: сам AI-модератор, люди-модераторы, цель исследования и discussion guide, а также участники. Последние три — стандартные компоненты UX research; AI-модераторы — новое добавление.
AI-модератор
На рынке уже есть AI-модераторы, однако мы решили создать собственного по двум причинам. Во-первых, мы хотели понять, как решения по промптингу и программированию влияют на результат — особенно применительно к решениям о зондировании, когда модели меняются. Во-вторых, мы хотели, чтобы AI-модератор выглядел максимально реалистично (и удивительно похоже на реальных людей-модераторов в исследовании). Мы создали AI-модератора на базе AI-агента и разработали фотореалистичные аватары с голосами двух наших исследователей.
AI-модератор использовал Gemini 3 Flash. Для минимизации задержки и риска галлюцинаций из-за переполнения контекстного окна AI-модератор был разделён на несколько агентов, работающих последовательно. Каждый агент охватывал широкую тему, суммировал свои находки и передавал их следующему агенту. Для участников это происходило незаметно: они воспринимали происходящее как один плавный разговор с задержкой примерно на 400 мс больше, чем у человека-модератора.
Тема исследования и discussion guide: Sleep Tech
Вместо простого набора вопросов (например, об использовании AI) мы хотели смоделировать реалистичное исследовательское исследование, которое выиграло бы от глубинного интервью. Мы создали исследование для вымышленной компании, разрабатывающей продукт для пробуждения и управления сном. Тема sleep tech была выбрана потому, что она одновременно реалистична (на рынке много продуктов для сна) и позволяет легко найти участников — все люди спят.
Мы создали discussion guide и guide по зондированию для модератора (приложение А), формирующие вопросы для понимания режима сна участников, текущих болевых точек, привычек при пробуждении, а также техник и технологий, которые они используют. Цель исследования — выявить текущие неудобства, связанные со способами пробуждения, и определить потенциальные возможности для нового продукта. Оба модератора — и AI, и человек — получили инструкцию зондировать за пределами discussion guide всякий раз, когда это служило целям исследования.
Рекрутинг и screener
Двадцать участников были рекрутированы по принципу удобной выборки из метро Денвера для участия в 30-минутном очном интервью. Перед интервью участники заполнили screener по темам употребления кофеина, приёма мелатонина, снаряжения для сна и жилищных условий (например, наличия детей или домашних животных), которые могут влиять на сон. Также была измерена установка по отношению к AI (положительная или отрицательная), чтобы её можно было равномерно сбалансировать по условиям. Если AI-модератор показал бы слабые результаты, это нельзя было бы объяснить тем, что в группу AI-модерации попали скептики. Ни AI-, ни человеку-модератору данные screener заблаговременно не предоставлялись, чтобы оценить, насколько хорошо модераторы смогут выявить уже установленные факты. Это стало ключевой количественной мерой эффективности зондирования, которую мы рассмотрим в следующей статье.
Распределение участников: факторный план 2×2
Мы случайным образом распределили 20 участников по условиям — AI-модератор или человек, — перекрёстно с полом модератора. Это был полный межсубъектный план 2×2 с пятью участниками в каждой ячейке. Два исследователя MeasuringU — женщина и мужчина — проводили человеческие сессии. Чтобы условия были максимально похожи, AI-модераторы были созданы с использованием голосов и внешности людей-модераторов, что в итоге дало десять AI-модерируемых сессий и десять сессий с человеком-модератором.
Участники не знали заранее, с кем — человеком или AI — им предстоит беседовать. Они сидели в лаборатории, а модераторы подключались с другой стороны одностороннего зеркала. Участников соединяли с AI- или человеком-модератором по видеосвязи.
Двадцать участников разделились поровну между двумя условиями (десять — AI-модерация, десять — человек). По полу незначительное преобладание мужчин в обеих группах (7/3 в группе AI, 6/4 в группе людей), а возраст охватывал тот же диапазон от 25 до 65+ лет в каждой. Установка по отношению к AI (энтузиаст, нейтральный или скептик) была примерно сбалансирована по условиям.
| Установка по отношению к AI | AI-модератор (n = 10) | Человек-модератор (n = 10) |
|---|---|---|
| Энтузиаст | 4 | 6 |
| Нейтральный | 3 | 2 |
| Скептик | 3 | 2 |
Таблица 1: Установка по отношению к AI по условиям модерации (n = 20).
Результаты исследования
Итак, говорят ли участники меньше с AI, чем с людьми-модераторами?
Если коротко — да. И не просто немного меньше, а значительно. Мы использовали несколько методов для оценки того, сколько участники говорили с AI- и человеком-модераторами (таблица 2).
| AI | Человек | |
|---|---|---|
| Длительность сессии (мин) | 14 | 22 |
| Слов модератора в минуту (WPM) | 99 | 55 |
| Слов участника в минуту (WPM) | 54 | 98 |
| Доля речи участника | 34% | 64% |
| Отношение слов участника к словам модератора | 0,5 | 1,8 |
| Задержка ответа (секунды) | 1,9 | 1,5 |
Таблица 2: Сравнение результатов AI и человека.
Сессии с AI-модерацией были на 37% короче
Участники были записаны на 30-минутные слоты, но, как это обычно бывает в исследовательских сессиях, эти 30 минут включали время на настройку и небольшой буфер. После начала интервью участникам сообщали, что оно займёт около 20 минут.
Человеческие сессии в среднем длились 22 минуты, тогда как AI-модерируемые — всего 14 минут (на 37% короче). Иначе говоря, участники проводили с людьми-модераторами на 57% больше времени, чем с AI-модераторами, несмотря на одинаковый сценарий и запланированную продолжительность.
AI-модераторы говорили на 80% больше, чем люди
Поскольку средняя продолжительность сессий существенно различалась, мы нормализовали количество слов, произнесённых модераторами и участниками, разделив общее количество слов за сессию на её продолжительность в минутах, чтобы получить слова в минуту (WPM). Люди-модераторы говорили в среднем 55 WPM против 99 WPM у AI-модераторов. То есть в среднем AI-модераторы говорили на 80% больше, чем люди.
Участники говорили на 45% меньше с AI-модераторами
То, что модераторы говорят больше, само по себе не плохо — лишь бы участники тоже говорили. Данные свидетельствовали об обратном. Участники произносили 98 WPM с людьми-модераторами против 54 WPM с AI-модераторами (на 45% меньше).
AI-модераторы доминировали в разговоре
Ещё один способ оценить объём речи участников с AI- и человеком-модераторами — посмотреть на соотношение слов в сессии. Соотношение рисует похожую картину: участники произносили 64% слов в сессиях с людьми против 34% в сессиях с AI. В девяти из десяти сессий с людьми-модераторами участники говорили больше модератора; в десяти AI-сессиях участники говорили больше модератора только в трёх случаях.
Мы также посмотрели на соотношение слов участника к словам модератора. Как и другие метрики, AI-модераторы просто говорили больше. На каждое слово человека-модератора приходилось 1,8 слова участника. С AI-модераторами каждое слово порождало лишь 0,5 слова — то есть менее трети по сравнению с человеческими сессиями.
Этот результат отличается от данных Zhu et al., которые не выявили существенного изменения общего количества слов участников между условиями. Это может быть обусловлено различием контекстов: think-aloud при тестировании юзабилити против глубинного интервью (которое требует от модератора больше усилий, чтобы вытянуть участника).
AI-модераторы говорили чуть быстрее и чуть медленнее реагировали
Мы измерили время, фактически проведённое в речи, и обнаружили, что AI-модератор был в среднем примерно на 11% быстрее человека-модератора (что согласуется с данными Zhu et al.). Участники говорили с одинаковой скоростью вне зависимости от собеседника, поэтому менялось не то, насколько быстро говорят, а то, кто держит слово.
При анализе задержки между окончанием речи участника и началом речи модератора мы выявили незначительную разницу во времени реакции. AI-модераторы реагировали за 1,9 секунды против 1,5 секунды у людей. Люди в среднем отвечали чуть быстрее, однако неясно, замечали ли участники разницу в 400 мс.
Итоги и обсуждение
Контролируемый эксперимент с 20 участниками, случайным образом распределёнными по условиям — человек-модератор или AI — в формате глубинного интервью, показал: участники говорили меньше с AI-модераторами. Конкретно: сессии с AI-модерацией были на 37% короче, участники говорили на 45% меньше, а AI-модераторы доминировали в разговоре, произнося 64% слов. Люди-модераторы произносили лишь около 34% слов — соотношение, которое соответствует стандартным ожиданиям: пусть говорит участник. Это только одно исследование, однако результаты согласуются с данными Zhu et al., которые также установили, что AI-модераторы говорили больше, быстрее и чаще людей.
Разумеется, количество слов и объём речи не означают, что AI-модераторы плохи или бесполезны. Будущие модификации промптов могли бы улучшить результаты. И даже если участники продолжат говорить меньше с AI, чем с людьми, если при этом из участников извлекается та же информация или больше и достигаются те же выводы — возможно, неважно, кто говорит слишком много. Мы рассмотрим содержание сессий и то, что из них извлекается, в следующих статьях, где глубже погрузимся в экспериментальные данные.