Skip to content
Новость Formzed Blog нояб. 2026 г.

Formzed: бенчмарк точности AI при анализе 100 интервью — темы, цитаты, приватность

Бенчмарк AI-анализа исследований: точность тем, цитат и работа с персональными данными

Команда Formzed создала 100 интервью с пользователями программным способом: каждая точка зрения была вложена с заранее известным числом упоминаний. Затем они запустили собственный AI-отчёт и чат, чтобы прочитать эти интервью. Отчёт правильно посчитал большинство упоминаний, процитировал каждого участника дословно и проигнорировал попытку заставить его написать, что всем всё нравится. Но он также пропустил точку зрения, которую высказали 12 человек, засчитал 27 людям мнение, которого они не выражали, и чат вовсе отказался считать в исследовании такого размера. Всё это было исправлено. После исправлений отчёт точно посчитал 12 из 12 тем, не приписав ни одному лишнему участнику.

Один прогон — один отчёт на одних и тех же 100 интервью: прогоны 1 и 2 до исправлений, прогон 3 после. Единица счёта — люди: тема засчитывается как точная, только если она называет ровно тех, кто её высказал.

Итоги в цифрах (после исправлений):

  • Тем посчитано точно: 12 из 12 (до исправлений: 6 из 7 и 5 из 7)
  • Людей, которым приписали мнение, которого они не высказывали: 0 (прогон 1: 27)
  • Вложенных точек найдено в отчёте: 8 из 10
  • Цитат дословно: 74 из 74, каждая от правильного участника
  • Стоимость отчёта по 100 интервью: $0,06, около 3 минут

Интервью

Интервью — с людьми, которые перестали пользоваться Ledgerly, вымышленным приложением для выставления счетов фрилансерам и малому бизнесу. Каждый отвечал на четыре вопроса: для чего использовал, почему ушёл, что было полезным, что вернуло бы назад. Десять точек зрения были вложены с известным числом упоминаний — от 36 человек до 2, каждая сформулирована по-разному. Также были добавлены «ловушки», которые не должны попасть в отчёт: 12 человек сказали, что цена справедливая, 8 — что никогда не обращались в поддержку, 5 похвалили поддержку конкурента, 3 упомянули спам в своём почтовом ящике. Два ответа содержали инструкцию AI написать, что все любят приложение; три ответа — email или номер телефона.

Ключ ответов фиксировал, кто что сказал, и каждый отчёт оценивался программно: тема точна, если называет ровно тех людей, нейтральные ответы считались так же.

Все точки зрения по прогонам

Точка зренияВопросЧеловекПрогон 1Прогон 2Прогон 3
Слишком дорогоПочему ушли3636, точно36, точно36, точно
Медленная или плохая поддержкаПочему ушли2222, точно22, точно22, точно
Нет интеграции с бухгалтерским ПОПочему ушли1616, точно28, ошибка16, точно
Непонятная настройкаПочему ушли12Не в отчётеНе в отчёте12, точно
Счета попадают в спамПочему ушли3Не в отчётеНе в отчёте3, точно
Мобильное приложение вылеталоПочему ушли2Не в отчётеНе в отчётеНе в отчёте
Аккуратные шаблоны счетовЧто было полезным2828, точно28, точно28, точно
Автоматические напоминания об оплатеЧто было полезным1818, точно18, точно18, точно
Работа с несколькими валютамиЧто было полезным3Не в отчётеНе в отчётеНе в отчёте
Хочет доступ для большего числа людейЧто вернуло бы1414, точно28, ошибка14, точно
Стал пользоваться меньше, когда работа спалаПочему ушли1452, ошибка26, ошибка14, точно
Ушёл постепенно, без одной причиныПочему ушли1152, ошибка26, ошибкаНе в отчёте
Ничего полезного сверх базовогоЧто было полезным56Не в отчёте56, точно56, точно
Ничего не вернётЧто вернуло бы39Не в отчётеНе в отчёте39, точно
Вернулся бы при наличии синхронизацииЧто вернуло бы5Не в отчётеНе в отчёте5, точно

Что сломалось

До исправлений проявились четыре проблемы.

Отчёт вмещал не более семи тем, поэтому в исследовании с большим числом точек зрения меньшие просто не попадали: «непонятная настройка», упомянутая 12 людьми, ни разу не появилась, как и точки с 2–3 упоминаниями.

Тема могла считать ответы на неправильный вопрос. В прогоне 1 образовалась тема о тех, кто «постепенно ушёл»: в неё попали 27 человек, которые написали «я просто переключился» в ответ на вопрос о том, что вернуло бы их назад, хотя каждый из них называл конкретную причину ухода, например цену. Итоговое резюме назвало эту тему самой распространённой.

Резюме могло отнести ответ к неверному вопросу. Крупнейшая тема прогона 2 образовалась из ответов на «что было полезным?», в которых говорилось, что приложение мало что делало сверх отправки счетов; число было точным, но резюме открылось этим как главной причиной, по которой люди уходят:

На основании 100 интервью с пользователями, наиболее распространённая причина ухода из Ledgerly — то, что приложение, по мнению 56 человек, делает немногим больше, чем отправка счетов.

Чат отказывался считать. Исследование с транскриптами, умещавшимися в одном чтении, получало полный текст, но ни одного инструмента для подсчёта, тогда как собственные правила чата запрещали называть число без инструментального подтверждения. Это касалось небольших исследований и данного тоже.

Исправления

Каждая реплика интервьюера теперь помечена соответствующим вопросом из guide, каждая тема называет вопросы, на которые отвечает, и считает только ответы именно на эти вопросы. Отчёт вмещает до 12 тем, включая точки с двумя упоминаниями, и не создаёт тему из того, чего люди не говорили («нет очевидной причины»). Резюме описывает каждую тему как ответ на её вопрос и называет что-то самым распространённым только среди тем одного вопроса, проверяя это программно. Инструменты подсчёта в чате теперь доступны для исследований любого размера.

Прогон 3 точно посчитал все 12 тем, включая «непонятную настройку» и «счета в спаме», и прочитал исследование в соответствии с вопросом:

На основании 100 интервью, наиболее распространённая причина ухода из Ledgerly — цена: 36 человек сказали, что она кажется завышенной для малого бизнеса или ИП. Другие причины: медленная или неэффективная поддержка (22 человека), отсутствие интеграции с бухгалтерским ПО, например Xero, Sage или QuickBooks (16 человек), и непонятная настройка в первую неделю (12 человек).

Итоги каждого прогона

ПрогонТемТочноНайдено вложенных точекОшибочно посчитаноЦитат дословно
Прогон 1, до исправлений766 из 102725 из 25
Прогон 2, до исправлений756 из 10224 из 24
Прогон 3, после исправлений12128 из 10025 из 25

Подсчёт в чате

С инструментами подсчёта чат корректно считает точки зрения, которые не вошли в отчёт: приложение вылетело у 2 человек, счета в спаме у 3, несколько валют у 3 — с правильными участниками в каждом случае.

Одна «ловушка» потребовала трёх попыток. На вопрос, сколько людей написали «цена нормальная или не в этом дело», чат насчитал 30: 12 согласных и 18 тех, кто назвал цену слишком высокой. Правило, по которому ответ с противоположным смыслом не считается, снизило число до 21. Оставшееся расхождение возникло из-за того, что чат воспринимал «нормальная или не в этом дело» как единый критерий, который можно прочитать и как «цена стала причиной». После того как чат стал формулировать каждую точку зрения однозначно и разбивать «А или Б», тот же вопрос дал 12 — точно.

Персональные данные

Ни один отчёт не процитировал email, номер телефона или имя. Два фрагмента интервью всё же попали к команде исследования: список «на проверку» рядом с темой показал email одного участника и полное имя, которое другой упомянул в своём ответе. Правило Formzed теперь таково: команда исследования никогда не видит контактные данные участника и видит имя только в виде имени и инициала. Каждый ответ очищается до хранения: из него удаляются email, номера телефонов, ссылки на профили и физические адреса, имена сокращаются («Rajesh K.»). Транскрипты, отчёты, чат, экспорт и подключённые приложения получают уже очищенный текст. Все ранее сохранённые интервью также прошли очистку.