Koji: как анализировать результаты AI-модерированных интервью

Что значит «анализировать» AI-модерированное интервью

Когда исследователь проводит традиционное пользовательское интервью, он записывает его, транскрибирует, кодирует, пишет резюме и затем агрегирует результаты с другими интервью. Анализ занимает от 6 до 8 часов на одно интервью — и 80% этого времени уходит на механическую работу, а не на генерацию insights.

С AI-модерированными интервью на платформах вроде Koji это соотношение меняется на противоположное. К моменту, когда участник нажимает «завершить», Koji уже оценил качество интервью по трём измерениям, сопоставил каждый ответ с конкретным вопросом из брифа, сгенерировал cycle-1 theme codes (метки из 2–5 слов, основанные на дословных цитатах) и обновил кросс-интервью отчёт по исследованию новыми данными.

Таким образом, «анализ AI-модерированных интервью» не означает кодирование транскриптов с нуля — он означает чтение синтезированных результатов, проверку неожиданных выводов и принятие решений о следующих шагах.

Четыре аналитических слоя, которые формируются автоматически

Koji создаёт четыре аналитических слоя для каждого интервью — от «первого, что вы видите» до «наибольшей детализации»:

1. Quality score — рейтинг от 1 до 5 с обоснованием, который используется для фильтрации плохих интервью до того, как они искажают данные.
2. Структурированные ответы на каждый вопрос — каждый вопрос из брифа получает структурированное значение (число, выбор, ранжирование) плюс качественный ответ, извлечённый из разговора.
3. Theme codes для каждого открытого вопроса — короткие метки вроде «Onboarding friction» или «Trust in platform», каждая из которых основана на конкретном сообщении в транскрипте.
4. Кросс-интервью отчёт — диаграммы распределения, кластеры тем и синтезированный нарратив по всем респондентам в исследовании.

Слой 1: сначала читайте quality score

Каждое завершённое интервью получает общий quality score от 1 до 5, который складывается из трёх компонентов:

• Relevance — насколько разговор был по теме исследовательской цели.
• Depth — насколько содержательными были ответы респондента (от однословных до развёрнутых историй).
• Coverage — сколько ключевых вопросов и тем из брифа было фактически затронуто.

Оценка 3 и выше означает достоверные данные. Разговоры с оценкой ниже 3 считаются низкокачественными и не расходуют кредиты — качественный фильтр Koji отсекает их автоматически, чтобы вы не платили за шум.

Что делать на этом слое:

• Просмотрите оценку и обоснование. Если всё на уровне 4–5, переходите к слою 2.
• Если оценка 2 или ниже, прочитайте обоснование — иногда низкая оценка отражает враждебного или торопливого респондента, иногда выявляет проблему с самим гайдом (например, запутанный вопрос, вызывающий отказ от участия).
• Если многие интервью показывают низкий coverage, гайд слишком длинный для отведённого времени — сократите основные вопросы.

Слой 2: структурированные ответы на каждый вопрос

Откройте детальное представление интервью. Каждый вопрос из брифа имеет StructuredAnswer с четырьмя элементами:

• Структурированное значение — число для вопросов по шкале, строка для одиночного выбора и «да/нет», массив строк для множественного выбора и ранжирования, null для открытых вопросов.
• Качественный ответ — извлечённое AI резюме того, что сказал респондент.
• Рейтинг уверенности (high / medium / low) в точности извлечения.
• Индексы сообщений, ссылающиеся на конкретные реплики транскрипта, которые обосновывают ответ.

Что делать на этом слое:

• Просматривайте рейтинги уверенности. Всё с пометкой «low» стоит проверить по транскрипту.
• Для вопросов по шкале и выбора структурированное значение сразу попадает в кросс-интервью отчёт — дополнительной работы не требуется.
• Для открытых вопросов качественный ответ — это извлечённое AI резюме; theme codes (слой 3) — это аналитические метки, которые вы будете кластеризовать по интервью.

Такая структура «вопрос за вопросом» возможна только потому, что Koji использует 6 структурированных типов вопросов. Традиционный анализ транскриптов не может отделить «что они говорили о ценообразовании» от «что они говорили об онбординге» без ручного кодирования — Koji делает это автоматически, потому что каждый вопрос имеет стабильный ID, который проходит через бриф → AI-промпт → разговор → анализ → отчёт.

Слой 3: автоматически сгенерированные theme codes

Для каждого открытого вопроса Koji генерирует cycle-1 theme codes — короткие метки из 2–5 слов на языке исследования, основанные на дословных цитатах респондентов. Каждая тема имеет:

• Метку вроде «Convenience preference» или «Wants relaxation» (тема, перефразированная аналитиком).
• Kind: descriptive (большинство кодов) или in_vivo (сохраняет специфическую формулировку участника).
• supportingQuote — дословные слова респондента на его родном языке, сохранённые посимвольно, включая слова-паразиты.
• messageIndex, указывающий на конкретное сообщение в транскрипте, которое обосновывает код.

Что делать на этом слое:

• Просматривайте темы для каждого открытого вопроса — это качественная ДНК интервью.
• Нажмите на любую тему, чтобы увидеть supporting quote и сообщение в контексте транскрипта. Это ваш «выход к оригиналу».
• Если тема выглядит неверной, вы можете её отредактировать или удалить — однако на практике серверная валидация отсекает галлюцинации до того, как они до вас доходят (темы, чья supportingQuote не может быть сопоставлена с реальным сообщением, отфильтровываются).

Следующий аналитический шаг — кластеризация похожих тем в единый кодбук по всем респондентам — происходит автоматически в отчёте (слой 4). Этого делать вручную не нужно.

Слой 4: кросс-интервью исследовательский отчёт

Когда накопится несколько завершённых интервью, откройте исследовательский отчёт по проекту — именно здесь анализ становится синтезом:

• Агрегация по вопросам — распределения по шкале, частоты выборов, средние ранжирования, всё визуализировано.
• Кластеризация тем (cycle-2 axial coding) — близкие темы из слоя 3 объединяются в единый кодбук на каждый вопрос с процентными долями.
• Наиболее сильные цитаты — Koji выводит наиболее репрезентативные дословные цитаты для каждого кластера.
• Срезы по сегментам — если в вашем исследовании есть сегменты (тариф, персона, источник рекрутинга), вы можете разбить каждую тему по сегменту.

Этот слой чаще всего стоит показывать стейкхолдерам — и именно здесь Koji наиболее силён, потому что агрегация — это то, где машинный анализ превосходит ручной. Исследователь-человек, анализирующий 30 интервью, принимает непоследовательные решения по кодированию на протяжении всей работы; Koji применяет одну и ту же обоснованную логику к каждому респонденту.

Когда обращаться к сырому транскрипту

Автоматический анализ покрывает около 80% типичной исследовательской работы. К сырому транскрипту стоит обращаться в следующих случаях:

• Рейтинг уверенности низкий на стратегически важном вопросе.
• Обоснование quality score указывает на нечто неожиданное (например, «респондент противоречил более раннему ответу»).
• Кластер в отчёте содержит только 2–3 респондентов — небольшие кластеры требуют верификации, прежде чем стать полноценным findings.
• Вы пишете нарратив для стейкхолдеров и хотите найти наиболее сильную возможную цитату, а не ту, которую выбрало AI.

Представление транскрипта подсвечивает именно те сообщения, которые обосновывают каждую тему и структурированный ответ, — вы сразу переходите к нужному фрагменту, а не просматриваете весь разговор.

Реальный рабочий процесс: от завершённого интервью к инсайту

Типичная аналитическая сессия в Koji выглядит следующим образом:

1. Просмотр дашборда — видите новые завершённые интервью и их quality scores.
2. Быстрый просмотр низких оценок (редко) — отбраковываете плохие, отмечаете проблемы на уровне гайда.
3. Открываете отчёт — смотрите, как новые данные сдвинули распределения и темы.
4. Нажимаете на 2–3 неожиданные темы — читаете supporting quotes в контексте транскрипта.
5. Отмечаете ключевые цитаты для представления стейкхолдерам.
6. Определяете следующие шаги — достичь насыщения, скорректировать гайд или перейти к новому сегменту.

Общее время на пакет из 10–20 интервью: как правило, 30–45 минут. Для сравнения — исследователь-аналитик тратит на тот же объём 2–3 дня при ручном подходе.

Это десятикратное преимущество по времени является главной причиной, по которой исследовательские команды переходят на AI-native платформы вроде Koji — дело не в том, что AI заменяет аналитическое суждение, а в том, что AI убирает механическую работу, которая вытесняла суждение.

Типичные ошибки при анализе

• Игнорирование quality score. Если относиться ко всем интервью как к равнозначным, темы искажаются. Доверяйте фильтру.
• Чрезмерное доверие ответам с низкой уверенностью. Всегда проверяйте транскрипты по стратегическим вопросам с пометкой «low».
• Игнорирование отчёта в пользу чтения сырых транскриптов. Вы повторяете работу, которую система уже выполнила. Начинайте с отчёта; углубляйтесь только при необходимости.
• Действия на основе тем из одного интервью. Ждите, пока в кластере окажется 2 и более респондентов, прежде чем считать это findings.
• Слишком агрессивное редактирование тем. Автокодирование основано на реальных цитатах; ручные правки нередко непреднамеренно теряют дословную привязку.