Skip to content
Новость arXiv янв. 2026 г.

arXiv (Stanford): Большие языковые модели для масштабного качественного анализа в прикладных исследованиях

Интеграция больших языковых моделей в качественный анализ — исследование Stanford University

Исследователи из Stanford University опубликовали на arXiv статью о практике внедрения больших языковых моделей в масштабный качественный анализ данных прикладного исследования в сфере здравоохранения. Работа предлагает методологический фреймворк, применимый за пределами здравоохранения — в UX research, market research и других областях, где требуется обработка больших массивов качественных данных.

Предпосылки

Качественные подходы играют ключевую роль в прикладных исследованиях: они позволяют выявить личный и межличностный опыт, организационную динамику и контекстуальные факторы, влияющие на изучаемые процессы. Однако масштаб таких исследований нередко превышает доступные ресурсы, а результаты должны поступать вовремя, чтобы оставаться релевантными для практики.

LLM потенциально повышают эффективность аналитической работы, но их использование сопряжено с рисками: поверхностными, лишёнными контекста классификациями и снижением методологической прозрачности. При этом большинство существующих работ сравнивают LLM с исследователями-людьми в изолированных условиях, а не в рамках реальных проектов. Авторы ставят задачу заполнить этот пробел.

Фреймворк для задач с участием человека и LLM

Авторы разработали фреймворк из четырёх шагов для проектирования задач, которые выполняются совместно исследователем и LLM. Фреймворк не привязан к конкретной модели или типу задачи.

Шаг 1: Определение задачи. Исследователи вручную выполняют задачу на небольшой выборке данных, чтобы прояснить цели, зафиксировать ожидания по качеству и уточнить формат выходных данных. На этом этапе также определяются те компоненты задачи, которые требуют обязательного участия человека — например, суждения, зависящие от контекста, или применение предметных знаний.

Шаг 2: Проектирование метода. Задача делится на дискретные этапы, чтобы выявить неявные действия исследователя. Для каждого этапа формулируется его назначение, определяются «тихие» вклады исследователя и принимается решение о том, где использовать LLM. Это позволяет тестировать разные конфигурации взаимодействия человека и модели.

Шаг 3: Оценка метода на небольшой выборке. Два исследователя сравнивают результаты, полученные с участием LLM и без него, на ограниченном наборе данных. Оценка ведётся не по количественным метрикам — таким как показатель согласованности между кодировщиками, — а по задача-специфичным критериям строгости: обоснованности данными, соответствию исследовательскому вопросу, практической значимости.

Шаг 4: Применение и оценка метода на всём массиве данных. Метод применяется к полному набору данных, фиксируется влияние LLM на исследовательские цели и эффективность работы.

Задача 1: качественный синтез для сравнительных отчётов

Первое применение фреймворка — синтез качественных данных в сравнительные отчёты для 12 медицинских учреждений. Исследователи проанализировали 22 области практики: информационные технологии, развитие персонала, взаимодействие врача и пациента.

Без участия LLM: исследователи сначала формировали обобщения по каждому учреждению, затем вручную синтезировали данные по всем сайтам в рамках каждой области. С участием LLM: модели использовались для тематической группировки данных (GPT-4o) и генерации сквозного синтеза (o1 с few-shot prompting по четырём заранее подготовленным примерам).

Оценка показала, что LLM не может заменить финальную интерпретацию исследователя: модели недостаточно специфичны и включают в синтез все входные данные, не различая, что ценно, а что избыточно. Однако LLM оказались полезны для тематической организации данных — это снизило когнитивную нагрузку и помогло исследователям убедиться, что ни одна деталь не упущена.

Итог: время выполнения задачи сократилось на 30% для одного исследователя и на 55% для другого (разница объясняется разным уровнем знакомства с материалом). Финальный метод распределил роли так: LLM группирует данные по темам, исследователь уточняет группировку и формирует итоговый синтез.

Задача 2: дедуктивное кодирование интервью

Вторая задача — дедуктивное кодирование 167 интервью (около 1 327 000 слов) для доработки программы трансформации клинической практики. Кодовая схема состояла из 19 семантических кодов, охватывающих ключевые области организации помощи при диабете.

Разработанный метод включал Retrieval Augmented Generation (RAG): для каждого кода формулировались подвопросы, к ним добавлялись уточняющие и контрфактические варианты, снижающие предвзятость (пример bias, positivity bias). Система на основе векторного поиска извлекала релевантные фрагменты транскрипта, а LLM формулировал ответы с опорой на эти фрагменты. Результаты автоматически сводились в структурированные описания по каждому учреждению.

Добавление контрфактических подвопросов потребовало дополнительного времени, но снизило ложноотрицательные результаты: LLM реже пропускал информацию, присутствующую в транскрипте. Автоматическая валидация подтверждала, что все цитаты действительно взяты из интервью, — это повышало достоверность результатов.

Ограничения и методологические выводы

Авторы фиксируют несколько принципиальных ограничений. Реплицируемость в классическом смысле — спорный критерий качества для качественного исследования, поэтому оценка велась по задача-специфичным стандартам строгости. LLM демонстрировали сниженную специфичность выходных данных, включали нерелевантные паттерны и не всегда соответствовали определениям предметных областей. Там, где исследователь-человек отсекал несущественное на основании знания предметной области и релевантной литературы, LLM сохранял весь материал.

Методологический вывод авторов: LLM наиболее полезны в задачах, где требуется организация и поиск паттернов в больших объёмах данных, но не в задачах, требующих интерпретации и принятия суждений с опорой на контекст. Разделение этих функций между LLM и исследователем позволяет сохранить строгость анализа при существенном выигрыше в эффективности.

Работа демонстрирует, что интеграция LLM в качественное исследование практически осуществима при соблюдении одного условия: роль модели ограничена поддержкой исследователя, а не его заменой.