Studion: реализуя потенциал ИИ в user testing

User testing по своей природе требует значительных временных затрат. Нужно найти подходящих респондентов, запланировать и провести модерируемые сессии, изучить обратную связь, выявить паттерны и принять решения на основе анализа.

Но для learning design этот процесс необходим, поскольку поддерживает ключевую цель — создание опыта, который вовлекает пользователя и делает усвоение материала лёгким и приятным. User testing позволяет экспертам по learning design напрямую контактировать с реальными пользователями, понимая их предпочтения, антипатии, образ мышления и препятствия. Именно это непосредственное знание позволяет создавать по-настоящему эффективные программы обучения.

В эпоху ИИ значительная часть тревожных разговоров об этой технологии исходит из страха, что роботы заменят людей. Однако в лучших случаях ИИ не вытесняет людей, а освобождает их для того, чтобы заниматься своим делом с большей скоростью, эффективностью и точностью.

Лорен Гулд, старший learning strategist в Studion, нашла способы встроить ИИ в рабочий процесс user testing. Она применяет специализированные инструменты для получения более глубоких инсайтов быстрее и передаёт ИИ те элементы, в которых тот превосходен, оставляя себе части процесса, требующие человеческой экспертизы, суждения и эмпатии.

«Раньше процесс user testing занял бы у целой команды неделю или больше. Просматривать десятки модерируемых сессий по тридцать минут — час, вручную анализировать записи разговоров, подсчитывать ответы — это был тяжёлый труд», — объясняет Гулд. «Сейчас мы справляемся за два-три дня».

Поиск места для ИИ в процессе user testing

В основе user testing — глубоко человеческое взаимодействие. Это встреча learning strategist с участником: понять его глубже, проверить и оспорить собственные допущения, уловить интересные нити разговора и найти связующую нить между интервью.

Именно через этот интуитивный, межличностный процесс такие специалисты, как Гулд, создают учебный опыт, отвечающий реальным потребностям пользователей. Поскольку именно эта работа лежит в основе её деятельности, Гулд понимала: ИИ никогда не сможет вести этот процесс самостоятельно, и некоторые этапы не подлежат автоматизации.

«Когда в начале работы проводишь research с пользователями, это столько же о том, чтобы понять, те ли вопросы задаёшь и в правильных ли областях ищешь, сколько и о получении ответов. Это совместный процесс, который ИИ никогда не сможет заменить», — объясняет она.

Однако существуют и другие области, где рутина мешала Гулд выполнять работу высшего уровня. «Приходилось просматривать транскрипты и вручную подсчитывать результаты вопросов, где участников просили оценить что-то по шкале от одного до пяти. Это занимало очень много времени», — рассказывает она.

Осмыслив рабочий процесс user testing, Гулд определила области, где ИИ может встроиться, и те, где человека не заменит ничто.

Как ИИ улучшает user testing

Как именно ИИ изменил подход Гулд к user testing? Он преобразовал процесс сразу в нескольких направлениях.

ИИ для анализа качественных данных

Пожалуй, наиболее заметно то, что он кардинально упростил работу с качественными данными. «После записи интервью мы загружаем анонимизированные версии транскриптов в инструмент под названием Dovetail, который мгновенно создаёт визуально редактируемые расшифровки», — рассказывает Гулд.

На платформе можно тегировать части разговора — ментальные модели пользователей, точки трудности, наиболее понравившиеся функции — и легко выявлять паттерны между интервью. Более того, инструмент может создавать видеофрагменты со схожей обратной связью и собирать их в highlight reel для клиента. Раньше временные ограничения делали монтаж видеоподборок практически невозможным — Dovetail делает это автоматически.

ИИ для анализа количественных данных

Количественные данные — ещё одна область, где нужный инструмент ИИ незаменим. «Мы начали использовать Julius, который в отличие от стандартного ChatGPT напрямую запускает Python-код, поэтому подсчитывает значительно надёжнее», — говорит Гулд. Julius не только точно суммирует количественные результаты, но и создаёт визуализации паттернов за считанные минуты.

«Я использовала Julius для создания теплокарты функций — это была сложная история для рассказа, и визуализация помогла клиенту понять, как пользователи реагировали на представленные концепции», — рассказывает она.

ИИ для немодерируемого тестирования

На поздних стадиях пользовательских интервью в процессе разработки Гулд внедряет ИИ двумя новыми способами, чтобы увеличить объём обратной связи о продуктах. Первый — немодерируемое тестирование.

«Listen Labs позволяет проводить интервью без нашего присутствия», — говорит она. «Участники общаются с ИИ, а вы можете запрограммировать инструмент на более глубокие уточняющие вопросы там, где ответа недостаточно». Это позволяет охватить более широкий круг участников на данном этапе research без дополнительных часов интервью от команды.

ИИ для ускорения прототипирования

ИИ также ускоряет создание прототипов. «ИИ может очень быстро создавать реалистично выглядящие интерфейсы. Вместо тестирования на вайрфреймах мы можем создавать концепции, которые выглядят более проработанными — с оговоркой для пользователей, что это не готовый дизайн», — объясняет Гулд.

Недавно она показала 20 концепций более чем 100 людям за несколько недель. Без ИИ для выполнения того же объёма работы в столь короткие сроки потребовалось бы значительно больше ресурсов.

Встраивая ИИ в эти поздние этапы, Гулд получает гибкость для экспериментов без страха потерять драгоценное время на непроверенные концепции.

«Можно выдвинуть идею и отказаться от неё, если она не работает, потому что её создание не заняло недели», — говорит она. «Скорость обучения стала несравнимо выше».

Значение человеческой экспертизы

Несмотря на огромное количество инструментов ИИ для поддержки user testing, ничто не заменяет человеческие знания и экспертизу.

Гулд обнаруживает, что инструменты для оценки research ускорили её процессы, однако особенно при работе с качественными данными всё равно требуют проверки точности. «В большинстве случаев всё верно», — говорит она. Помимо проверки корректности, Гулд по-прежнему привносит в качественные результаты человеческий интеллект и профессиональный взгляд. Пока инструмент ИИ синтезирует данные и выявляет паттерны, именно человек находит в них смысл и принимает окончательные решения о дальнейших шагах.

Люди также играют ключевую роль в обеспечении надзора и соответствия требованиям. Гулд и команда работают в рамках compliance-параметров каждого клиента, выбирая защищённые решения ИИ и находя альтернативы там, где правила работы с ИИ у партнёра этого требуют. Она также анонимизирует данные перед загрузкой в сторонние платформы, удаляя всю идентифицирующую информацию о клиентах, участниках и проекте.

Создание лучшего учебного опыта с ИИ

В конечном счёте цель внедрения ИИ — не в том, чтобы сделать внутренние процессы более эффективными, а в том, чтобы позволить команде экспертов предоставлять клиентам лучшие результаты.

Как выразилась Гулд: «Лучшие данные — лучший дизайн».

Она воочию наблюдала, как ИИ создал лучшие результаты для клиентов. В одном из проектов перед командой стояла задача создать учебный опыт для организации, прошедшей через стремительный рост за счёт поглощений. В процессе они приобрели новые группы пользователей и обнаружили, что их обучающее решение не отвечает потребностям этих разнообразных групп.

«У них было так много возможностей, а сложность состояла в том, чтобы понять, на чём сосредоточиться с учётом всех конечных пользователей», — рассказывает она. ИИ позволил быстро выйти на связь со значительно большим числом участников и синтезировать транскрипты этих разговоров за дни, а не недели. Гулд также применяла ИИ в прототипировании, что позволило показать пользователям на этапе тестирования более креативные концепции.

В итоге ИИ помог выявить более тонкие инсайты от более широкого круга участников, а затем облегчил визуализацию результатов для клиента — чтобы тот ясно видел наилучшие решения.

По мере дальнейшей интеграции ИИ в процессы user testing в Studion команда сосредоточена на получении более качественных данных, более эффективной итерации и предоставлении клиентам дорожной карты для создания лучшего учебного опыта за меньшее время.