Behavior Research Methods: практическое руководство по анализу текста с помощью LLM

В журнале Behavior Research Methods вышло открытое исследование, представляющее пошаговый туториал по использованию больших языковых моделей (LLM) для качественного анализа текстовых данных. Авторы описывают итерационный подход к совместной работе исследователя и LLM при создании и применении таксономий для классификации неструктурированной информации — открытых вопросов, заголовков новостей, публикаций в социальных сетях.

Аннотация

Анализ текстов — открытых ответов, заголовков или публикаций в социальных сетях — представляет собой трудоёмкий процесс, склонный к предвзятости. Тем не менее большие языковые модели показывают перспективные результаты в анализе текста: с помощью заранее заданной (top-down) или индуктивной (bottom-up) таксономии — без потери качества. В статье представлено пошаговое руководство по эффективной разработке, тестированию и применению таксономий для анализа неструктурированных данных через итерационное взаимодействие исследователя с LLM.

Используя личные цели участников как пример, авторы показали, как с помощью этого метода писать промпты для проверки датасетов и генерации таксономии жизненных доменов, оценивать и уточнять таксономию через доработку промптов и прямые правки, а затем применять её для классификации целого датасета с высоким межкодировщиковым согласием и высоким уровнем совпадения между человеком и LLM — сокращая время анализа приблизительно на 87,5%. Исследование подтверждает: при правильной процедуре LLM способны генерировать надёжные индуктивные категоризации. Авторы также обсуждают возможности и ограничения использования LLM для анализа текста.

Введение

Большие языковые модели — это трансформерные нейронные сети, обученные на масштабных интернет-данных и демонстрирующие развитые способности, в том числе лингвистическую беглость, близкую к человеческой. LLM всё активнее применяются социальными учёными для автоматизации разнообразных задач в медицине, праве и образовании.

Психология — не исключение. LLM находят всё более широкое применение в различных задачах психологической практики и исследований. В части клинических приложений LLM использовались для оценки риска суицида у пациентов, для генерации эмпатических ответов, превосходящих реакции экспертов-людей, а также для выявления и лечения депрессии и нарушений нейроразвития. В области исследований LLM применялись для перевода опросников, генерации пунктов для измерения когнитивных способностей или черт личности, а также для оценки заданий на творческое и дивергентное мышление. Некоторые исследования изучали использование LLM непосредственно в проведении психологических экспериментов: выдвижении гипотез, проведении экспериментов с симулированными агентами, написании статей и рецензировании абстрактов.

Одним из применений LLM в психологических и социальных науках является автоматизированный анализ текста для целей качественных исследований. Хотя неструктурированные данные — публикации в социальных сетях, заголовки новостей или ответы на открытые вопросы — могут давать ценные инсайты для социальных учёных, анализ таких данных затруднён из-за значительных временных и трудозатрат, необходимых для обучения кодировщиков и проведения кодирования, скоринга, категоризации и классификации. Ручной анализ — например, кодирование по grounded theory или тематический анализ — требует глубокого чтения и ограничен когнитивными возможностями человека. Трудоёмкость этих задач, как правило, вынуждает исследователей сокращать либо число участников, либо число собираемых ответов, что ограничивает масштаб и охват качественных исследований. Кроме того, исследователи, выполняющие эти задачи, могут проявлять предвзятость, предубеждения или усталость, что снижает качество результатов.

При этом простые методы обработки естественного языка (NLP) — частотный анализ слов и словарные подходы, упрощающие качественный анализ путём подсчёта частотности конкретных терминов — имеют существенные ограничения. Их зависимость от конкретного набора слов может приводить к ошибочной идентификации ключевых концепций из-за контекстуальных нюансов, сарказма или омонимов (ложноположительные результаты). Эти автоматические методы также плохо распознают концептуальные аллюзии без явных ключевых слов (ложноотрицательные результаты). LLM имеют потенциал преодолеть эти ограничения и обеспечить более эффективный и точный качественный анализ данных.

Ряд недавних исследований изучил эффективность LLM в категоризации неструктурированных данных, включая ответы на открытые вопросы, твиты, заголовки новостей, виньетки и академические статьи. Результаты оказались многообещающими: LLM превзошли методы машинного обучения с учителем и достигли уровня точности, сопоставимого с работой человека-кодировщика.

Более того, LLM демонстрируют перспективность как инструменты для разработки таксономий классификации неструктурированной информации. Под таксономией авторы понимают структурированную и методичную систему классификации сложных явлений по одному или нескольким концептуальным измерениям. Исследователи нередко разрабатывают таксономии для классификации наблюдений в категории, освещающие их природу, причины и последствия — тем самым снижая сложность феноменов и облегчая анализ. Несмотря на то что исследователи часто определяют таксономии заранее на основе теоретических соображений (top-down подход), индуктивные подходы (bottom-up), при которых категории формируются на основе данных, могут быть предпочтительны в ситуациях, когда теоретические соображения слишком абстрактны или спорны, когда концептуальные измерения плохо изучены, или когда цели исследования допускают несколько альтернативных схем категоризации. Например, исследователи, изучающие личные цели, могут начать с устоявшейся top-down таксономии — скажем, разграничения внутренних и внешних целей — и обнаружить, что многие реальные цели не вписываются в эти категории. Bottom-up подход, основанный на языке и приоритетах самих участников, может дополнить и уточнить исходную систему, лучше отразив структуру данных и социальную реальность.

По сравнению с ручными методами и методами NLP, подход к итерационному сотрудничеству исследователя с LLM предлагает ряд преимуществ. Анализ текста через итерационное взаимодействие с LLM позволяет обрабатывать большие объёмы информации с оптимальным уровнем контекстуального понимания, последовательности и гибкости при минимальных человеческих усилиях и временных затратах. Хотя этот подход не всегда является наиболее подходящим — например, если исследователь стремится разработать оригинальную теорию на основе данных, grounded theory может быть более уместным выбором — он тем не менее представляет ценную альтернативу для многих исследовательских задач.