Auros: новый бенчмарк ARQ измеряет качество отношений пользователей с AI
Auros, компания, стоящая за UserTesting и User Interviews, запустила AI Relationship Quality (ARQ) — новый бенчмарк, который диагностирует, насколько эффективно AI-решение работает для людей, которые им пользуются. Разработанный командой профессиональных сервисов Auros, ARQ расширяет традиционную модель оценки AI, которая проверяет точность, эффективность и безопасность, и добавляет к ней измерение человеческой стороны: доверие и привязанность.
ARQ закрывает разрыв между техническими показателями производительности и бизнес-результатами, которые призваны обеспечивать AI-продукты. Оценка ARQ — это количественный способ определить, действительно ли AI-решение работает для клиентов: понимают ли они его, доверяют ли ему, чувствуют ли контроль над ним, получают ли нужный результат и хотят ли продолжать им пользоваться.
«У вас может быть технически самый мощный AI на рынке — и всё равно потерять клиента», — сказал Джейсон Джайлс, вице-президент по клиентской аналитике Auros. «Потому что люди оценивают не вашу модель или агента — они решают, доверять ли им. ARQ существует, потому что это решение не должно быть вопросом интуиции. Разница — между предположением, что ваш AI работает, и уверенностью в этом».
Как устроен ARQ
ARQ — это экспертный бенчмарк, который проводит команда профессиональных сервисов Auros по строгой, воспроизводимой методологии, разработанной для последовательного измерения в динамике. Каждое исследование адаптируется под конкретный AI-продукт компании, целевую аудиторию и бизнес-цели, а участники привлекаются в соответствии с этими параметрами.
Бенчмарк формирует один общий балл ARQ, а также отдельные оценки по пяти элементам, определяющим принятие AI и удовлетворённость пользователей:
- Understanding (Понимание): чувствуют ли пользователи, что понимают намерения, логику и границы LLM?
- Trust (Доверие): оказывают ли люди соразмерный уровень доверия AI — достаточный, но не избыточный?
- Control (Контроль): могут ли пользователи направлять AI, исправлять его и восстанавливать ситуацию при ошибках?
- Outcome (Результат): чувствует ли пользователь, что партнёрство с AI принесло лучший результат, чем он достиг бы самостоятельно?
- Affinity (Привязанность): побуждают ли личность AI, его тон, теплота и эмоциональные реакции пользователя возвращаться снова?
Поскольку бенчмарк воспроизводим, его можно применять для отслеживания прогресса в динамике и сравнения с конкурентами. Оценки сопровождаются видеоотзывами участников, предоставляя командам контекст, стоящий за цифрами: что работает, что требует улучшения и что приоритизировать. В результате формируется полноценная картина отношений между человеком и AI — с конкретными выводами и рекомендациями.
ARQ и существующие AI-оценки
ARQ разработан как дополнение к AI-оценкам, а не их замена. Там, где eval-оценки измеряют производительность системы, ARQ измеряет отношения человека с системой — предоставляя командам полную картину того, действительно ли AI-решение работает для людей.
AI Relationship Quality доступен через профессиональные сервисы Auros.