arXiv: InterviewPlayground — среда для оценки ИИ-интервьюеров
ИИ-интервьюеры всё чаще применяются для сбора развёрнутых ответов в маркетинговых исследованиях, опросах общественного мнения, задачах выявления предпочтений и социальных науках. Исследователи из Johns Hopkins University и Listen Labs опубликовали препринт с описанием InterviewPlayground — среды симуляции для оценки таких систем.
Сложность оценки ИИ-интервьюеров состоит в том, что они функционируют в протяжённых многоходовых диалогах, где должны адаптироваться к поведению участника. Стандартные бенчмарки, рассчитанные на одиночные запросы, не отражают эту динамику. InterviewPlayground предлагает альтернативный подход: среду с симулированными участниками, поведение которых обосновано социальной теорией. Каждое симулированное исследование завершается формированием InterviewReportCard — набора верифицированных метрик качества ИИ-интервьюера.
Для проверки того, предсказывают ли результаты симуляции реальную производительность, команда провела 15 настоящих качественных исследований с участием пяти ИИ-интервьюеров, трёх тематических блоков и 450 человек-участников. Производительность ИИ-интервьюеров в InterviewPlayground предсказывает их производительность с реальными участниками со средней корреляцией Пирсона 0,86 по 12 показателям. Симулированные взаимодействия воспроизводят ключевые результаты поведенческого анализа из исследований с реальными участниками.
Авторы рассматривают InterviewPlayground как основу для будущей работы по созданию верифицированных, основанных на симуляции оценок разговорных ИИ-систем. Среда опубликована в открытом доступе на GitHub.