Greenbook: разрыв в управлении — доверие к ИИ опережает доказательства
Лиза Кортейд, вице-президент по глобальным insights и аналитике в Organon, изучала ответ, сгенерированный ИИ, о возможности для нового продукта — и почувствовала, что что-то не так. Обученная как статистик, она усомнилась в выводе и вернулась к исходным данным.
Как она объяснила во время секции «ИИ превращает исследования в товар. И что теперь?» на конференции IIEX.AI, система обратилась к маркетинговым материалам и преувеличила их утверждения до неподкреплённого заключения.
Ошибка обнаружилась только потому, что человек с нужной экспертизой заметил повод проверить. Без этого вмешательства правдоподобный ответ мог бы лечь в основу бизнес-решения.
Эта ситуация стала лейтмотивом многих дискуссий на IIEX.AI. Наряду с вопросами об автоматизации и замене рабочих мест выступающие поднимали более насущную проблему: не обгоняет ли уверенность в результатах ИИ практики, необходимые для их проверки.
Для исследовательских команд управление (governance) означает установление того, как проверяются выводы ИИ, когда требуется экспертная оценка и кто несёт ответственность за решения, которые они обосновывают. По мере того как ИИ делает производство research-выводов более быстрым и простым, эти обязанности должны быть чётко определены до того, как результаты попадут к лицам, принимающим решения.
Уверенность движется быстрее валидации
В докладе «Маркетологи доверяют ИИ. Успевают ли доказательства?» Трейси Адамс, старший директор по исследованиям и insights в ARF, описала разрыв между растущим комфортом использования ИИ и процессами проверки его результатов.
Она сформулировала проблему так:
«Уверенность движется быстрее валидации: маркетологи всё охотнее принимают результаты ИИ, но процессы, которые позволили бы им реально проверить эти результаты, не развиваются с той же скоростью».
Адамс определила это как «институциональную инфраструктуру, которая отстаёт от индивидуального внедрения и уверенности».
Это разграничение важно. Организация может поощрять использование ИИ, не давая сотрудникам чётких стандартов оценки результатов. От людей могут ожидать, что они будут применять инструменты, использовать суждение и работать быстро — при этом у них нет общего понимания того, как выглядит достаточная валидация.
Адамс также предостерегла от того, что внутренние проверки не всегда устанавливают, является ли результат независимо валидным. Система может вести себя в соответствии с ожиданиями организации и при этом выдавать заключения, требующие дополнительного анализа.
Практический вопрос для исследовательских команд — что именно демонстрирует тест. Показывает ли он, что система выдаёт согласованные ответы? Что её выводы совпадают с авторитетным бенчмарком? Что заключения остаются полезными в разных аудиториях и бизнес-контекстах? Это разные утверждения, каждое из которых требует соответствующих доказательств.
Подотчётность может исчезнуть, пока надзор выглядит нетронутым
Мелисса Рэми, директор по AI-трансформации в области data insights и user experience в Salesforce, дала этой проблеме имя в докладе «Объём — это не ценность: правда и управление на рубеже ИИ».
«Offloading подотчётности — это делегирование суждения ИИ-инструменту, некритическое принятие результатов этого делегированного труда и затем перекладывание вины на ИИ за ошибочную работу», — объяснила она.
Последовательность здесь принципиальна. Сбой начинается до того, как кто-то обвиняет технологию. Он начинается тогда, когда человек передаёт задачу, требующую суждения, а затем принимает результат, не реализовав это суждение в достаточной мере.
Рэми добавила:
«На практике offloading подотчётности позволяет нам сохранять ощущение надзора, незаметно утрачивая его функции».
Человек может присутствовать в рабочем процессе, не обеспечивая содержательного контроля. Утверждение отчёта полезно только в том случае, если у проверяющего есть экспертиза, данные, время и полномочия, чтобы оспорить его.
Рэми также поставила под сомнение, решает ли добавление ещё одной проверки в конце процесса фундаментальную проблему. Описывая ситуацию, в которой правильные входные данные превратились в неправильный вывод, она пояснила, что обнаружение ошибок не объяснило ей, почему продукт их создавал.
Её пример указывает на то, что управление должно проникать в сам рабочий процесс. Команды должны анализировать, где изменяется информация, что именно делает инструмент и как оценивается его поведение. Многократное исправление готового продукта оставляет источник ошибок нерешённым.
Исследователи беспокоятся о решениях, принятых без них
Беспокойство усиливается по мере того, как ИИ делает research-результаты доступными для людей за пределами исследовательских команд.
В докладе «Market Research в 2028: взгляд за горизонт с ИИ» Лиам Хики, руководитель направления research в Knit, высказал опасение, что люди, не занимающиеся research, могут принимать решения на основе результатов ИИ без участия специалистов.
Это смещает вопрос с того, заменит ли ИИ исследователей, на то, как экспертиза в области research остаётся связанной с решениями, которые поддерживает эта работа. Если ответ достигает стейкхолдера без контекста или ограничений, у исследователя может не остаться возможности объяснить, что именно доказывает имеющееся свидетельство.
Более широкий доступ может помочь коллегам исследовать вопросы и использовать накопленные знания. Но он также требует способа разграничить исследовательский ответ и вывод, готовый к использованию в принципиальных решениях.
Хики выделил бизнес-контекст, прозрачность в отношении того, как были сделаны выводы, прослеживаемость до исходных данных и вовлечённость исследователей как фундаментальные основы доверия. По его словам, специалисты в области insights стремятся к тому, чтобы «проверять, но доверять, а не доверять, но проверять».
Это требование предполагает практический принцип проектирования: делать основу ответа доступной вместе с самим ответом. Пользователям необходимо понимать, откуда он взялся, какой вопрос решает и когда требуется дополнительное участие исследователя. В противном случае доступ к ответу можно принять за достаточное основание для действия.
Экспертное суждение должно оставаться видимым
Ситуация Кортейд с ответом об открытиях для продукта иллюстрирует ценность сомнения в результате до его принятия. Она также ставит долгосрочный вопрос: как коллеги учатся делать такие суждения самостоятельно.
Кортейд признала ценность использования ИИ для снижения когнитивной нагрузки, особенно для команд под давлением. Её граница была чёткой: «Чего я не рекомендую никому — это когнитивной капитуляции, то есть позволять ИИ думать за тебя».
Это ограничение имеет последствия и для того, как учатся исследователи. Если опытные профессионалы молча исправляют результаты ИИ, коллеги видят готовый ответ, не видя рассуждений, которые сделали его надёжным.
Карен Линч, главный редактор и директор по программированию Greenbook, подчеркнула необходимость сделать эту придирчивость видимой:
«Они должны видеть, как старшие коллеги в индустрии применяют критическое мышление, ставят ИИ под сомнение и отталкиваются от него. Иначе они не научатся навыку оспаривать ИИ».
Управление поэтому включает профессиональную практику наравне с формальными процессами. Командам нужны возможности объяснять, почему источник слаб, почему сравнение вводит в заблуждение или почему правдоподобный вывод требует дальнейшего изучения. Эти суждения становятся более ценными, когда другие могут учиться тому, как их делать.
Агентские рабочие процессы нуждаются в конкретных владельцах
Агентские системы распространяют вопрос подотчётности на задачи и промежуточные результаты. Когда работа проходит через несколько этапов, проверка конечного ответа может дать мало информации о том, где закралась ошибка и как она распространилась.
В докладе «AGENTIC AI: хорошее, плохое и отвратительное» Дженни Николсон, руководитель направления creativity в WALDO.fyi, призвала людей, создающих или приобретающих такие системы, определять ответственного человека и понимать решения, которые этот человек принимает.
Она также предложила практический способ оценить вендоров: задавать вопросы о сложных случаях, сбоях и тестировании.
Николсон объяснила:
«Если вы оцениваете вендора или кого-то, создающего эти системы, спросите, с каким самым сложным edge case они сталкивались? Где система чаще всего давала сбои? Каков их протокол тестирования? Откуда они знают?»
Эти вопросы выводят оценку за рамки успешной демонстрации. Они выясняют, понимает ли поставщик ограничения системы и может ли объяснить доказательства её эффективности.
Николсон также рекомендовала разбивать работу на подзадачи и начинать там, где агенты могут принести пользу при более низком риске и усилиях. Этот подход создаёт управляемое место для определения успеха, проверки эффективности и понимания того, когда необходимо вмешательство человека.
Для insights-команд ответственность должна быть достаточно конкретной, чтобы работать на практике. Кто-то должен иметь возможность расследовать проблему, остановить рабочий процесс и решить, что происходит дальше. Ответственность, закреплённая в принципе, имеет мало ценности, если её владелец не может видеть работу или влиять на неё.
Давайте уверенности основание в доказательствах
Взятые вместе, эти сессии IIEX.AI выстраивают аргумент в пользу того, чтобы рассматривать управление как часть того, как проектируются и используются исследования с помощью ИИ.
Рабочей отправной точкой может стать ответ на пять вопросов:
- Доказательства: можем ли мы проследить заключение до поддерживающей его информации?
- Валидация: какие проверки устанавливают, что результат подходит для данного конкретного использования?
- Проверка: у кого есть экспертиза и полномочия оспорить его?
- Подотчётность: кто несёт ответственность за решение и любую коррекцию?
- Ограничения: какая неопределённость требует дополнительного исследования или участия человека?
Ответы должны отражать последствия ошибки. Исследование возможных тем для обсуждения и рекомендация крупной инвестиции требуют разного уровня уверенности.
Задача для insights-команд — сделать валидацию и подотчётность такими же рутинными, как использование ИИ. Это означает встраивание условий доверия в рабочий процесс, чтобы люди, использующие ответ, понимали, почему он заслуживает влиять на их решение.
Как сформулировала Рэми:
«ИИ поможет вам создать инструмент, но только у вас есть экспертиза для построения управления».