arXiv: GPT-5 против людей — сравнение кодирования открытых вопросов в опросах
На платформе arXiv опубликован препринт исследования, в котором GPT-5 и пятеро человек выполняли одну и ту же задачу индуктивного кодирования открытых ответов из опроса. Авторы из нескольких европейских университетов сопоставили результаты с помощью Adjusted Rand Index (ARI) — метрики согласия, устойчивой к случайным совпадениям.
Постановка задачи
Для сравнения использовались 903 ответа на открытые вопросы из европейского опроса аспирантов. Данные охватывали шесть переменных. Каждый из пяти исследователей выполнял индуктивный контент-анализ по стандартизированной схеме кодирования. GPT-5.4 выполнял ту же задачу с помощью формализованной процедуры промптинга.
Кодирование происходило в два этапа: присвоение кодов отдельным ответам и генерация тем на основе кодов. Оба этапа оценивались отдельно.
Результаты
Согласие между человеческими кодировщиками и LLM составило ARI = 0.61 для этапа кодирования и ARI = 0.54 для генерации тем. Для сравнения: внутренняя согласованность среди самих людей — ARI = 0.68, внутренняя согласованность GPT-5 при повторных запусках — ARI = 0.76.
Иными словами, расхождение между человеком и LLM оказалось сопоставимо с расхождением между двумя разными людьми, выполняющими ту же работу. GPT-5 при этом показал более высокую воспроизводимость собственных результатов, чем каждый отдельный человек.
Согласие значительно варьировалось в зависимости от переменной. Переменные, по которым люди между собой расходились сильнее, неизменно давали более низкое согласие и с LLM. Это указывает на то, что проблема не в LLM как таковом, а в характеристиках самих данных — неоднозначных или размытых категориях.
Выводы авторов
Авторы делают осторожный вывод: LLM способны приближаться к человеческому уровню кодирования в конкретных, хорошо определённых задачах, особенно на этапе присвоения кодов. Они предлагают рассматривать LLM как масштабируемый инструмент поддержки, а не как замену исследователя.
Авторы также подчёркивают, что результаты специфичны для данного контекста: одного типа данных, одной процедуры промптинга и одной модели. Обобщать выводы на качественный анализ в целом исследование не позволяет.
Для кого важен этот препринт
Результаты будут интересны исследователям, которые работают с большими объёмами открытых ответов в опросах — от UX-исследований до market research и социологических проектов. Препринт даёт конкретные числа, с которыми можно аргументировать или ставить под сомнение использование LLM в рабочем процессе кодирования. Данные пока не прошли рецензирование — это следует учитывать при ссылках на результаты.