LinkedIn / Arin Bhowmick: ИИ сделал UX-исследования быстрее, но не лучше

Arin Bhowmick, вице-президент по дизайну и пользовательскому опыту в IBM, опубликовал материал о том, как искусственный интеллект изменил работу исследователей. Его тезис: задачи, занимавшие раньше недели, теперь занимают часы. Однако эта скорость не означает лучшего понимания пользователей и не повышает качество принимаемых решений. Индустрия оптимизировала скорость, не убедившись в том, что быстрые исследования отвечают на правильные вопросы.

Разрыв между обработкой и пониманием

ИИ хорошо справляется с кластеризацией обратной связи и генерацией оценок тональности (sentiment scores), но не отвечает на вопросы о причинах поведения. Bhowmick пишет: «ИИ может сказать вам, что 63% пользователей отваливаются на третьем шаге онбординга… Но с чем у него возникают сложности — это с вопросом “почему”».

Знание того, что проблема существует, и понимание её природы — принципиально разные вещи. Пользователи могут бросать онбординг из-за запутанного текста, отсутствия мотивации или технической ошибки — и каждая причина требует своего решения. ИИ производит данные, но не порождает объяснений.

ИИ-продукты противостоят традиционным методам тестирования

Стандартный UX-ресёрч предполагает, что продукт стабилен: один и тот же пользовательский сценарий воспроизводится одинаково на всех сессиях. Адаптивные ИИ-системы нарушают это допущение: они генерируют разные ответы для разных пользователей в разных контекстах, и это делает традиционное юзабилити-тестирование неприменимым в прежнем виде.

Исследователям теперь нужно не только фиксировать, выполнены ли задачи, но и изучать, как у пользователей формируется доверие к системе и при каких условиях оно рушится. Когда ИИ выходит за пределы своей компетентности, реакция пользователя может быть непредсказуемой — и именно это сейчас не охвачено стандартными методами.

Организационные слепые пятна

Ответственность за качество взаимодействия пользователя с ИИ «проваливается между стульями» инженеров, продакт-менеджеров и дизайнеров: ни одна из команд не считает её своей в полной мере. Это создаёт структурную проблему, которую не решают ни технические метрики, ни дизайн-ревью.

Проект NANDA Массачусетского технологического института зафиксировал, что «95% пилотных проектов корпоративного ИИ не дали измеримых результатов для бизнеса» — и объяснил это не качеством моделей, а проблемами с интеграцией в реальные рабочие процессы. Без исследований, которые изучают человека в контексте работы с ИИ-системой, эта проблема не решается.

Что нужно изменить

Bhowmick предлагает три изменения в подходе к исследованиям.

Первое — переход к лонгитюдным методам. Доверие к ИИ-системам формируется не за одну сессию, а за недели использования. Исследования должны отслеживать эту динамику во времени, а не фиксировать моментальный снимок.

Второе — углублённое понимание поведения моделей. Исследователям нужно знать, что именно ИИ-системы оптимизируют, каковы границы их возможностей и где они склонны ошибаться. Без этого технической грамотности сложно сформулировать правильные исследовательские вопросы.

Третье — возврат qualitative research к его ценности. Только прямое наблюдение за живым человеком позволяет зафиксировать эмоциональные реакции, признаки нарастающего беспокойства и нюансы поведения, которые не отражаются ни в каких метриках.

Bhowmick резюмирует: значимый прогресс требует терпения и готовности вкладываться в понимание пользовательских потребностей, а не только в измерение кликов. Скорость без осмысления создаёт «отполированную неопределённость» — данные выглядят убедительно, но не отвечают на вопрос, что с ними делать.