Microsoft Design: как вернуть пользователя в оценку качества ИИ
Как вернуть пользователя в оценку качества ИИ
ИИ теперь способен генерировать резюме, темы, документы и рекомендации быстрее, чем когда-либо. Но как понять, хорошо ли это получилось? Именно с этого вопроса начинается статья Microsoft Design, опубликованная 17 сентября 2026 года.
Авторы поговорили с тремя исследователями из Microsoft AI: Кристофером Моньером и Чаком Квонгом (оба — Principal UX Researcher) и Вэнди Ванг, которая руководит командой UX Research для Copilot. Вместе они создали программу оценки качества ответов — ту, которая сравнивает ответы Copilot с другими ИИ-продуктами и выясняет, что именно ценят пользователи.
Их общее убеждение легко сформулировать, но трудно реализовать: машинная оценка может проверить, соответствует ли ответ заданным критериям, но только пользователь может сказать, действительно ли ответ сработал для него.
Когда «достаточно хорошо» не было очевидным
Каждый из трёх исследователей пришёл к проблеме оценки с разной отправной точки.
«Когда я пришёл в Microsoft AI в прошлом году, я даже не знал, что такое evaluations», — говорит Чак. Он начал с простого вопроса — «почему мы не видим продукт глазами пользователей?» — и с простого исследования: люди сравнивали ответы Copilot с другими ИИ-продуктами на одни и те же промпты и объясняли, что казалось им хорошим, плохим, полезным или раздражающим. Результат оказался показательным: пользователи иногда явно предпочитали один ответ другому по причинам, которые команда не измеряла. «Разрыв между тем, что команды считали хорошим ответом, и тем, что пользователи действительно предпочитали, оказался намного больше, чем ожидалось».
Крис ощущал разрыв иначе: у него было смутное чувство, что «что-то не так», и подозрение, что принципы UX research могут помочь объяснить эту неопределённость. Именно это ощущение стало импульсом к созданию UX evaluations.
Вэнди видела проблему изнутри разработки. Все, кто создаёт ИИ, несут в себе представления о том, каким должен быть хороший ответ: его форма, тон, личность, как ответ должен продолжать разговор, насколько точно следовать промпту. Эти представления формируются из собственного опыта с ИИ и предположений о том, как большинство людей хотят с ним взаимодействовать. Качественные беседы с реальными пользователями постоянно усложняли эту картину. Качество зависело от контекста пользователя и от цели, которая стояла за промптом, но никогда в нём не фигурировала; контент, который команда сочла бы нерелевантным, иногда оказывался самой полезной частью ответа; одна фраза или отсылка к предыдущему разговору могли изменить эмоциональный тон взаимодействия. Поэтому работа превратилась в задачу точного определения «хорошего» — но определения, исходящего из человеческого контекста и пользовательской перспективы, а не из убеждений разработчиков.
Измерять то, что только человек может оценить
Если оценка — это измерение качества, то самое трудное — решить, какие параметры качества измерять и какие из них машина просто не может оценить.
Крис выводит свои параметры из тех же качественных разговоров — слушая не только то, что люди называют важным, но и считывая между строк базовые ценности, которые люди действительно ценят. Один из параметров, всплывавший снова и снова: пользователи хотят, чтобы ИИ экономил им время при создании документов, но в конечном счёте они хотят сохранить свою точку зрения и глубоко озабочены тем, чтобы не производить «обезличенные рабочие продукты». Обычно Крис останавливается на пяти-восьми параметрах — не общих проверках качества — и отдаёт приоритет пользовательской оценке тех аспектов, которые только сами пользователи и могут оценить. Точность — один из примеров: LLM способен механически проверить, верно ли утверждение с точки зрения фактов, но только пользователь может сказать, релевантно ли это утверждение в контексте стратегии и философии его компании. «Можно попросить один ИИ оценить результат другого с точки зрения фактической точности, но нельзя попросить один ИИ оценить другой с точки зрения того, важно ли это для конкретного человека в реальном мире. По определению это невозможно».
«Нельзя попросить один ИИ оценить другой ИИ с точки зрения того, важно ли это для конкретного человека в реальном мире. По определению это невозможно». — Крис
Для Вэнди работа выходит далеко за рамки самого eval. Как только данные получены, её команда превращает их в golden data sets — конкретные ориентиры того, как выглядит хороший и плохой ответ, которые затем используются для обучения на значительно более крупных машинных выборках.
Не менее важен общий словарь. Главным прорывом, по её словам, стало создание таксономии потерь (loss-pattern taxonomy). Описание ответа как «слишком обобщённого» или «слишком поверхностного» может быть точным, не будучи «общим языком, на котором разные команды — от data science до инженеров и PM — могут договориться». Когда каждый названный паттерн потери стал означать одно и то же для всех, это превратилось в «огромную объединяющую силу». При таком подходе UXR не останавливается на «вот наши выводы» — команда остаётся в процессе через итерации промптов, создание датасетов и дизайн eval, выступая мостом к пользователю.
Уникальная роль исследователя
Авторы спросили каждого из троих: действительно ли исследователи привносят в AI evaluation то, чего не могут дать data scientists и технологи? Все трое ответили «да» — но по разным причинам.
Чак сформулировал это как недостающий голос, а не претензию на территорию. «Я не думаю, что какая-то одна дисциплина должна владеть или руководить evaluations — это по-настоящему мультидисциплинарная работа». Но многие AI-команды строят фреймворки, опираясь на LLM-as-a-judge или экспертных аннотаторов, и «что действительно отсутствует — это голос пользователя». Исследователи также обладают экспертизой в области измерений, необходимой для того, чтобы превратить субъективные концепции — доверие, полезность, воспринимаемый интеллект — в сигналы, которые команды могут реально оценивать.
«Что действительно отсутствует — это голос пользователя».
Крис согласился на все сто процентов: data scientist, вероятно, мог бы выполнять эту работу, в исследователях нет ничего магического как в людях. Отличие — в методе. Ориентированные на человека evaluations «изначально включают всё то, что делает людей людьми — несовершенства, непоследовательность». Его любимый пример: пусть пользователи сами пишут свои промпты. Большинство людей просто не умеют хорошо составлять промпты — они «устали, заняты, рассеяны» и упускают контекст, который важен. «Если мы просто попросим кучу ИИ генерировать идеальные промпты и запустим на них evaluations, мы упустим реальность того, как люди взаимодействуют с ИИ». Единственный способ закрыть «разрыв между тем, что пользователь написал в поле, и тем, что у него реально в голове» — систематически просить реальных людей пользоваться продуктом и измерять, оправдал ли он их ожидания.
Вэнди указала на пробел в том, как строятся evaluations. В стремлении к строгости команды могут чрезмерно систематизировать процесс — одиночные повороты, фиксированные судьи, один и тот же контролируемый набор запросов — и тем самым «разбавить тип знаний, которые мы можем получить, потому что мы не получаем того богатого человеческого понимания причин». Её решение прямо из исследовательской практики: рассматривать разговор как стимул. «Просто воспринимай разговор как прототип, как концепцию» — разбирай его на компоненты и позволяй ему управлять обучением. Именно это побудило её команду создать multi-turn evaluations, в которых люди взаимодействуют с ИИ и оценивают весь обмен репликами, а не единственный ответ.
«Просто воспринимай разговор как прототип». — Вэнди
Сходится ли отрасль к единому подходу?
Приходит ли отрасль к общему подходу или каждая команда строит свой? И то и другое, согласились все трое — с общей оговоркой о сроке жизни фреймворков.
Чак видит, что команды всё ещё «погружены в свои разработки», но наблюдает зарождение измерительной науки на пересечении AI evaluation, UX research и психометрики — науки, сфокусированной на систематическом понимании того, как пользователи воспринимают ИИ, взаимодействуют с ним и извлекают из него ценность. Крис формулирует это как лучшие практики и бенчмарки, которые действительно появляются, но никогда не стоят на месте: «то, что фреймворк оценки был очень полезен полгода назад, не значит, что он актуален сегодня» — потому что граница возможностей постоянно движется, и ожидания пользователей движутся вместе с ней. Вэнди была ещё категоричнее насчёт срока годности: фреймворк «устаревает через три месяца, потому что вкус к ИИ уже изменился». Поэтому стоит стремиться не к системе — любая система устареет к следующему кварталу — а к практике постоянной калибровки по тому, куда движутся предпочтения пользователей.
Оценивать модель или оценивать опыт
Сквозной темой разговора стало то, что «оценка ИИ» — это на самом деле несколько разных задач под одним названием.
Чак провёл наиболее чёткое разграничение: между оценкой модели и оценкой всего пользовательского опыта, внутри которого модель существует. Второе значительно сложнее из-за «множества смешивающих переменных»: пиксели вокруг ответа, процесс онбординга, другие функции, многоэтапный флоу, в котором модель — лишь одна из частей. Агентные рабочие процессы усложняют задачу ещё больше — отрасль «в целом не договорилась о том, как правильно оценивать весь этот рабочий процесс», а некоторые этапы, которые пользователь вообще не видит, всё равно влияют на опыт. Оценивать саму модель проще и практичнее; оценивать опыт «требует более вдумчивого подхода» с тщательным дизайном исследования, чтобы изолировать источник проблемы.
Крис выделил тенденцию, которая фундаментально меняет подход к оценке опыта: по мере внедрения ИИ во всё большее число продуктов его вероятностная природа означает, что «разнообразие пользовательских опытов растёт экспоненциально». Оценивать широту и глубину этих опытов крайне важно для понимания того, почему двигаются метрики вроде retention и engagement. И Крис настроен оптимистично в отношении дисциплины UX research: вопрос о том, почему люди вообще используют продукт, — «это суть того, чем занимается UX researcher», а более разнообразные пользовательские опыты просто означают больше таких вопросов для ответа.
Для Вэнди различие проявляется в том, для чего нужен eval. Оценка ответа говорит вам, был ли этот ответ хорошим. Те же данные, прочитанные иначе, говорят вам, что человек на самом деле пытался сделать, — а там и находятся идеи для продукта. Иногда пользователю нужен быстрый ответ и ничего больше. Иногда он разбирается со сложной ситуацией в своей жизни. Иногда он пытается разблокировать один шаг в сложном рабочем процессе. Это разные задачи с разными определениями успеха, и видение их в данных рождает новые идеи о том, каким должен быть продукт, — а не только правки на уровне токенов в ответе.
Это второй эпизод серии Microsoft Design о том, как исследователи перестраивают свою работу вокруг ИИ. В следующем эпизоде — ещё одна группа исследователей и ещё один участок практики, который переосмысляется с нуля.