Formzed: бенчмарк точности AI при анализе 100 интервью — темы, цитаты, приватность
Команда Formzed создала 100 интервью с пользователями программным способом: каждая точка зрения была вложена с заранее известным числом упоминаний. Затем они запустили собственный AI-отчёт и чат, чтобы прочитать эти интервью. Отчёт правильно посчитал большинство упоминаний, процитировал каждого участника дословно и проигнорировал попытку заставить его написать, что всем всё нравится. Но он также пропустил точку зрения, которую высказали 12 человек, засчитал 27 людям мнение, которого они не выражали, и чат вовсе отказался считать в исследовании такого размера. Всё это было исправлено. После исправлений отчёт точно посчитал 12 из 12 тем, не приписав ни одному лишнему участнику.
Один прогон — один отчёт на одних и тех же 100 интервью: прогоны 1 и 2 до исправлений, прогон 3 после. Единица счёта — люди: тема засчитывается как точная, только если она называет ровно тех, кто её высказал.
Итоги в цифрах (после исправлений):
- Тем посчитано точно: 12 из 12 (до исправлений: 6 из 7 и 5 из 7)
- Людей, которым приписали мнение, которого они не высказывали: 0 (прогон 1: 27)
- Вложенных точек найдено в отчёте: 8 из 10
- Цитат дословно: 74 из 74, каждая от правильного участника
- Стоимость отчёта по 100 интервью: $0,06, около 3 минут
Интервью
Интервью — с людьми, которые перестали пользоваться Ledgerly, вымышленным приложением для выставления счетов фрилансерам и малому бизнесу. Каждый отвечал на четыре вопроса: для чего использовал, почему ушёл, что было полезным, что вернуло бы назад. Десять точек зрения были вложены с известным числом упоминаний — от 36 человек до 2, каждая сформулирована по-разному. Также были добавлены «ловушки», которые не должны попасть в отчёт: 12 человек сказали, что цена справедливая, 8 — что никогда не обращались в поддержку, 5 похвалили поддержку конкурента, 3 упомянули спам в своём почтовом ящике. Два ответа содержали инструкцию AI написать, что все любят приложение; три ответа — email или номер телефона.
Ключ ответов фиксировал, кто что сказал, и каждый отчёт оценивался программно: тема точна, если называет ровно тех людей, нейтральные ответы считались так же.
Все точки зрения по прогонам
| Точка зрения | Вопрос | Человек | Прогон 1 | Прогон 2 | Прогон 3 |
|---|---|---|---|---|---|
| Слишком дорого | Почему ушли | 36 | 36, точно | 36, точно | 36, точно |
| Медленная или плохая поддержка | Почему ушли | 22 | 22, точно | 22, точно | 22, точно |
| Нет интеграции с бухгалтерским ПО | Почему ушли | 16 | 16, точно | 28, ошибка | 16, точно |
| Непонятная настройка | Почему ушли | 12 | Не в отчёте | Не в отчёте | 12, точно |
| Счета попадают в спам | Почему ушли | 3 | Не в отчёте | Не в отчёте | 3, точно |
| Мобильное приложение вылетало | Почему ушли | 2 | Не в отчёте | Не в отчёте | Не в отчёте |
| Аккуратные шаблоны счетов | Что было полезным | 28 | 28, точно | 28, точно | 28, точно |
| Автоматические напоминания об оплате | Что было полезным | 18 | 18, точно | 18, точно | 18, точно |
| Работа с несколькими валютами | Что было полезным | 3 | Не в отчёте | Не в отчёте | Не в отчёте |
| Хочет доступ для большего числа людей | Что вернуло бы | 14 | 14, точно | 28, ошибка | 14, точно |
| Стал пользоваться меньше, когда работа спала | Почему ушли | 14 | 52, ошибка | 26, ошибка | 14, точно |
| Ушёл постепенно, без одной причины | Почему ушли | 11 | 52, ошибка | 26, ошибка | Не в отчёте |
| Ничего полезного сверх базового | Что было полезным | 56 | Не в отчёте | 56, точно | 56, точно |
| Ничего не вернёт | Что вернуло бы | 39 | Не в отчёте | Не в отчёте | 39, точно |
| Вернулся бы при наличии синхронизации | Что вернуло бы | 5 | Не в отчёте | Не в отчёте | 5, точно |
Что сломалось
До исправлений проявились четыре проблемы.
Отчёт вмещал не более семи тем, поэтому в исследовании с большим числом точек зрения меньшие просто не попадали: «непонятная настройка», упомянутая 12 людьми, ни разу не появилась, как и точки с 2–3 упоминаниями.
Тема могла считать ответы на неправильный вопрос. В прогоне 1 образовалась тема о тех, кто «постепенно ушёл»: в неё попали 27 человек, которые написали «я просто переключился» в ответ на вопрос о том, что вернуло бы их назад, хотя каждый из них называл конкретную причину ухода, например цену. Итоговое резюме назвало эту тему самой распространённой.
Резюме могло отнести ответ к неверному вопросу. Крупнейшая тема прогона 2 образовалась из ответов на «что было полезным?», в которых говорилось, что приложение мало что делало сверх отправки счетов; число было точным, но резюме открылось этим как главной причиной, по которой люди уходят:
На основании 100 интервью с пользователями, наиболее распространённая причина ухода из Ledgerly — то, что приложение, по мнению 56 человек, делает немногим больше, чем отправка счетов.
Чат отказывался считать. Исследование с транскриптами, умещавшимися в одном чтении, получало полный текст, но ни одного инструмента для подсчёта, тогда как собственные правила чата запрещали называть число без инструментального подтверждения. Это касалось небольших исследований и данного тоже.
Исправления
Каждая реплика интервьюера теперь помечена соответствующим вопросом из guide, каждая тема называет вопросы, на которые отвечает, и считает только ответы именно на эти вопросы. Отчёт вмещает до 12 тем, включая точки с двумя упоминаниями, и не создаёт тему из того, чего люди не говорили («нет очевидной причины»). Резюме описывает каждую тему как ответ на её вопрос и называет что-то самым распространённым только среди тем одного вопроса, проверяя это программно. Инструменты подсчёта в чате теперь доступны для исследований любого размера.
Прогон 3 точно посчитал все 12 тем, включая «непонятную настройку» и «счета в спаме», и прочитал исследование в соответствии с вопросом:
На основании 100 интервью, наиболее распространённая причина ухода из Ledgerly — цена: 36 человек сказали, что она кажется завышенной для малого бизнеса или ИП. Другие причины: медленная или неэффективная поддержка (22 человека), отсутствие интеграции с бухгалтерским ПО, например Xero, Sage или QuickBooks (16 человек), и непонятная настройка в первую неделю (12 человек).
Итоги каждого прогона
| Прогон | Тем | Точно | Найдено вложенных точек | Ошибочно посчитано | Цитат дословно |
|---|---|---|---|---|---|
| Прогон 1, до исправлений | 7 | 6 | 6 из 10 | 27 | 25 из 25 |
| Прогон 2, до исправлений | 7 | 5 | 6 из 10 | 2 | 24 из 24 |
| Прогон 3, после исправлений | 12 | 12 | 8 из 10 | 0 | 25 из 25 |
Подсчёт в чате
С инструментами подсчёта чат корректно считает точки зрения, которые не вошли в отчёт: приложение вылетело у 2 человек, счета в спаме у 3, несколько валют у 3 — с правильными участниками в каждом случае.
Одна «ловушка» потребовала трёх попыток. На вопрос, сколько людей написали «цена нормальная или не в этом дело», чат насчитал 30: 12 согласных и 18 тех, кто назвал цену слишком высокой. Правило, по которому ответ с противоположным смыслом не считается, снизило число до 21. Оставшееся расхождение возникло из-за того, что чат воспринимал «нормальная или не в этом дело» как единый критерий, который можно прочитать и как «цена стала причиной». После того как чат стал формулировать каждую точку зрения однозначно и разбивать «А или Б», тот же вопрос дал 12 — точно.
Персональные данные
Ни один отчёт не процитировал email, номер телефона или имя. Два фрагмента интервью всё же попали к команде исследования: список «на проверку» рядом с темой показал email одного участника и полное имя, которое другой упомянул в своём ответе. Правило Formzed теперь таково: команда исследования никогда не видит контактные данные участника и видит имя только в виде имени и инициала. Каждый ответ очищается до хранения: из него удаляются email, номера телефонов, ссылки на профили и физические адреса, имена сокращаются («Rajesh K.»). Транскрипты, отчёты, чат, экспорт и подключённые приложения получают уже очищенный текст. Все ранее сохранённые интервью также прошли очистку.