Skip to content
Видео IASDR Research окт. 2026 г.

Zhejiang University: SimUser — симуляция пользователей для оценки юзабилити с помощью LLM

SimUser — симуляция пользователей для тестирования юзабилити мобильных приложений

Ханфей Чжу из Международного института дизайна Чжэцзянского университета представляет SimUser — систему на основе больших языковых моделей, которая автоматически генерирует обратную связь по юзабилити, симулируя взаимодействие различных пользователей с мобильными приложениями. Работа отвечает на давнюю проблему в UX-исследованиях: как ускорить сбор обратной связи в период прототипирования, когда цикл итераций требует быстрых решений, а проведение полноценных пользовательских тестов занимает слишком много времени.

Для кого это видео

Видео будет полезно UX-исследователям и дизайнерам, которые работают с мобильными приложениями и ищут способы сократить время и стоимость юзабилити-тестирования. Также представляет интерес для специалистов, изучающих применение LLM в исследовательских методологиях и инструментарии HCI.

Ключевые идеи

  1. Архитектура двух агентов решает проблему смешения ролей. На ранних этапах разработки один LLM-агент, представляющий одновременно пользователя и приложение, систематически путал свои роли. Авторы разделили SimUser на два отдельных агента: Mobile Application Agent (MA) и User Agent (UA). MA обрабатывает интерфейс — описывает компоненты дизайна на основе HTML/CSS, вычисляет визуальную заметность с помощью SalGAN и управляет навигационной логикой. UA симулирует конкретного пользователя — его характеристики, контекст использования и поведенческий сценарий.

  2. Предварительные ожидания делают симуляцию критичнее. В ранних прототипах LLM-агент вёл себя слишком снисходительно и почти не выявлял проблем юзабилити. Причина — у модели нет предыдущего опыта взаимодействия с интерфейсами, которым обладает реальный пользователь. Авторы ввели механизм предварительных ожиданий: перед переходом к новому экрану UA формирует прогноз о том, что увидит. Это заставляет агента сравнивать ожидаемое с фактическим и точнее фиксировать несоответствия.

  3. Chain of Thought обеспечивает пошаговое взаимодействие агентов. Для имитации человекоподобного восприятия MA и UA взаимодействуют через подход Chain of Thought: UA строит ожидания → MA описывает интерфейс → UA выполняет действие → MA реагирует и переходит к следующему состоянию. Каждый шаг фиксируется и аргументируется, что позволяет отследить логику формирования обратной связи.

  4. LLM охватывает характеристики конкретных пользователей, а не общую аудиторию. В отличие от традиционных методов машинного обучения, которые обучаются на общих данных, SimUser воспроизводит заданные пользовательские персоны с учётом двух видов характеристик и трёх контекстуальных факторов. Дизайнеры могут задавать параметры целевой аудитории и получать обратную связь, ориентированную именно на эту группу.

  5. Исследование подтверждает интерес дизайнеров и обозначает ограничения. В ходе предварительного исследования дизайнеры согласились, что симуляция обратной связи от разных групп пользователей расширяет их видение задачи быстрее и дешевле традиционных методов. При этом они выразили скептицизм относительно способности языковых моделей воспроизводить мультимодальное взаимодействие — этот разрыв SimUser частично компенсирует за счёт интеграции с SalGAN и HTML/CSS-разметкой.

Стоит смотреть, если…

Вы проводите юзабилити-тестирование мобильных приложений и хотите понять, насколько LLM-инструменты могут заменить или дополнить пользовательские сессии на этапе прототипирования. Также актуально, если вы занимаетесь исследованием методов синтетических пользователей или ищете аргументы для внедрения AI-инструментов в исследовательский процесс.