Чек-лист анализа ошибок: scope, кодирование, таксономия, приоритизация
Этот чек-лист анализа ошибок покрывает весь проект от определения scope до приоритизированного плана действий. Используйте его как рабочий документ — скопируйте в свои проектные заметки, отмечайте каждый пункт по мере выполнения и добавляйте комментарии там, где проект отклоняется от стандартного потока. Чек-лист предполагает сфокусированный сценарий с пятьюдесятью-несколькими сотнями наблюдений из одного или нескольких источников (заметки модерируемого теста, записи сессий, тикеты поддержки, фидбек в продукте, логи ошибок); для более крупных или мульти-сценарных анализов те же пункты применимы, но плануйте больше времени на проходы кодирования и построение таксономии.
Before
- Запишите scope в одну строку: сценарий, задача, временное окно, сегмент пользователей
- Выберите источник(и) данных: заметки модерируемого теста, записи сессий, тикеты поддержки, фидбек в продукте, логи ошибок
- Подтвердите, что объём выборки достаточный: 5–12 сессий для модерируемого, 50–200 наблюдений для логов или тикетов
- Соберите выборку в одно место (папка, очередь аннотации, таблица), чтобы все проходы кодирования работали с одним и тем же набором
- Определитесь с рубрикой серьёзности (cosmetic / minor / major / critical или Nielsen 0–4) и напишите однопредложный тест для каждого уровня
- Выберите инструмент кодирования (Dovetail, Marvin, Notably, Google Sheets, Airtable или специализированную LLM-eval платформу вроде Langfuse для AI-фичей)
- Назначьте readout-встречу заранее, чтобы у анализа был дедлайн
Execution
- Прогоните проход открытого кодирования: пройдите по каждому наблюдению и напишите свободный текст-метку для первого наблюдаемого провала
- Оставайтесь дескриптивны на открытом проходе — не загоняйте наблюдения в существующие категории
- Кластеризуйте свободные метки в 6–10 названных категорий провалов с однострочными определениями
- Подтвердите, что каждая категория опирается на 3+ наблюдения; одиночные метки понижайте до выбросов
- Прогоните структурный проход кодирования: присвойте каждому наблюдению категорию, серьёзность и сегмент
- Захватите для каждого наблюдения: где (экран/шаг), что (наблюдаемое поведение), категория, серьёзность, сегмент, доказательство (цитата или скриншот)
- Выборочно проверьте 10–20% AI-сгенерированных меток вручную, если AI использовался в проходе кодирования
- Прочитайте каждое наблюдение, помеченное «other» или low-confidence, прежде чем фиксировать таксономию
- Подсчитайте число уникальных пользователей, затронутых каждым режимом отказа (а не количество событий)
- Постройте таблицу частот и матрицу серьёзности
After
- Диагностируйте корневые причины топ-3–7 режимов отказа (дизайн / ментальная модель / контент / технический баг)
- Цитируйте прямые доказательства для каждого диагноза, чтобы дизайн- и инженерные лиды могли проверить
- Оцените каждый высокоприоритетный провал по серьёзности, частоте и бизнес-импакту
- Выберите топ-5–10 провалов для плана действий с конкретными рекомендованными фиксами и оценкой трудозатрат
- Пометьте любой провал, который оказался низкоприоритетным, но стратегически важен (юридические риски, бренд, ценный сегмент)
- Найдите кластеры из 3+ провалов в одной категории, которые могут заслуживать единого редизайна
- Напишите бриф на 5–10 страниц: scope, заголовочный вывод, метод, топовые режимы отказа с доказательствами, план действий, отложенный бэклог
- Презентуйте product-, design- и engineering-лидам лично; не отправляйте таблицу почтой
- Заархивируйте закодированный лог, таксономию и рубрику серьёзности, чтобы следующий анализ мог сравниться с этой базой
- Назначьте повторную выборку после выхода фиксов, чтобы подтвердить снижение частоты провалов и отсутствие новых режимов