Skip to content
Новость arXiv авг. 2026 г.

arXiv: GPT-5 против людей — сравнение кодирования открытых вопросов в опросах

arXiv препринт: сравнение LLM и людей в качественном кодировании текста опросов

На платформе arXiv опубликован препринт исследования, в котором GPT-5 и пятеро человек выполняли одну и ту же задачу индуктивного кодирования открытых ответов из опроса. Авторы из нескольких европейских университетов сопоставили результаты с помощью Adjusted Rand Index (ARI) — метрики согласия, устойчивой к случайным совпадениям.

Постановка задачи

Для сравнения использовались 903 ответа на открытые вопросы из европейского опроса аспирантов. Данные охватывали шесть переменных. Каждый из пяти исследователей выполнял индуктивный контент-анализ по стандартизированной схеме кодирования. GPT-5.4 выполнял ту же задачу с помощью формализованной процедуры промптинга.

Кодирование происходило в два этапа: присвоение кодов отдельным ответам и генерация тем на основе кодов. Оба этапа оценивались отдельно.

Результаты

Согласие между человеческими кодировщиками и LLM составило ARI = 0.61 для этапа кодирования и ARI = 0.54 для генерации тем. Для сравнения: внутренняя согласованность среди самих людей — ARI = 0.68, внутренняя согласованность GPT-5 при повторных запусках — ARI = 0.76.

Иными словами, расхождение между человеком и LLM оказалось сопоставимо с расхождением между двумя разными людьми, выполняющими ту же работу. GPT-5 при этом показал более высокую воспроизводимость собственных результатов, чем каждый отдельный человек.

Согласие значительно варьировалось в зависимости от переменной. Переменные, по которым люди между собой расходились сильнее, неизменно давали более низкое согласие и с LLM. Это указывает на то, что проблема не в LLM как таковом, а в характеристиках самих данных — неоднозначных или размытых категориях.

Выводы авторов

Авторы делают осторожный вывод: LLM способны приближаться к человеческому уровню кодирования в конкретных, хорошо определённых задачах, особенно на этапе присвоения кодов. Они предлагают рассматривать LLM как масштабируемый инструмент поддержки, а не как замену исследователя.

Авторы также подчёркивают, что результаты специфичны для данного контекста: одного типа данных, одной процедуры промптинга и одной модели. Обобщать выводы на качественный анализ в целом исследование не позволяет.

Для кого важен этот препринт

Результаты будут интересны исследователям, которые работают с большими объёмами открытых ответов в опросах — от UX-исследований до market research и социологических проектов. Препринт даёт конкретные числа, с которыми можно аргументировать или ставить под сомнение использование LLM в рабочем процессе кодирования. Данные пока не прошли рецензирование — это следует учитывать при ссылках на результаты.