BMC Medical Research Methodology: Применение LLM в качественных исследованиях — скопинг-ревью

Применение LLM в качественных исследованиях: скопинг-ревью

Авторы: J. Fickweiler, P. Rauber, L. Fischer, C. Kraft et al.
Журнал: BMC Medical Research Methodology, том 26, статья 137, 2026
Тип: открытый доступ, рецензируемое исследование

Аннотация

Предпосылки

Large language models (LLMs) всё активнее внедряются в процессы качественных исследований, однако сфера их применения, выполняемые функции и качество методологической отчётности остаются слабо изученными. Действующие руководства по отчётности в качественных исследованиях — в частности, COREQ (Consolidated Criteria for Reporting Qualitative Research) — практически не содержат указаний о том, как документировать использование LLM. Настоящее скопинг-ревью систематизирует сведения о применении LLM в качественных исследованиях и оценивает соответствующие практики отчётности.

Методология

Скопинг-ревью проводилось в соответствии с руководством PRISMA-ScR и методологической рамкой Института Джоанны Бриггс. Поиск охватил пять баз данных (PubMed, CINAHL, PsycINFO, Business Source Premier и Scopus) по рецензируемым эмпирическим публикациям с января 2020 по май 2025 года, в которых хотя бы один LLM применялся на содержательном этапе качественного исследования. Поиск вернул 5 049 записей; после удаления дублей осталось 4 201. Отбор проходил независимо несколькими рецензентами, данные извлекались по стандартизированному шаблону, включавшему метаданные исследований, методологические характеристики и детали применения LLM.

Результаты

В ревью включены 75 исследований. Модели OpenAI GPT доминируют: они присутствовали в 93% случаев. LLM применялись на всём спектре этапов качественного исследования — наиболее часто для помощи в кодировании (n = 43) и идентификации тем (n = 41). Тематический анализ оказался преобладающим методом (n = 38), на втором месте — контент-анализ (n = 12). Техническая отчётность крайне непоследовательна: только 13 исследований сообщили параметр temperature, 12 — длину контекста, 4 — значение top_p. Примерно в половине случаев (45%, n = 34) не была указана конфигурация развёртывания (API, веб-интерфейс или локальное развёртывание), а 75% (n = 56) не привели никаких параметрических настроек вообще. Полные или частичные промпты предоставили 61% авторов, тогда как 13% не сообщили о промптинге ничего. Уровень согласия между LLM и кодировщиками-людьми варьировал от 36% до 99%, что отражает существенные различия в сложности задач, качестве промптинга и строгости валидации. Этические соображения обсуждались в 95% исследований, верификация AI-выходов человеком практиковалась в 97%.

Обсуждение

LLM внедрились в качественные исследовательские рабочие процессы, однако критически важные методологические детали систематически не раскрываются, что подрывает сопоставимость результатов. Авторы указывают на срочную необходимость в специализированных стандартах отчётности — в частности, COREQ + LLM — для обеспечения прозрачности, строгости и интерпретативной глубины LLM-ассистированных качественных исследований. Будущие работы должны адресовать преобладание проприетарных моделей, ограниченность свидетельств для неанглоязычных контекстов и потребность в систематическом сравнении моделей, стратегий промптинга и подходов к валидации.

Предпосылки

Качественные исследования обеспечивают систематическое изучение человеческого опыта, смыслов и социальных процессов, которые занимают центральное место в понимании поведения человека и социальных явлений в самых разных дисциплинах. Через интервью, фокус-группы и анализ документов качественные исследования генерируют контекстуально насыщенные инсайты, дополняющие количественные данные и способствующие развитию теории и практики. Для обеспечения качества и прозрачности в этой области сложилась практика использования стандартизированных руководств по отчётности.

Наиболее известна COREQ-чеклист, которая с 2007 года предоставляет структурированные указания по отчётности об исследованиях с интервью и фокус-группами. COREQ собрала более 35 000 цитирований и получила широкое распространение, прежде всего в медицинских исследованиях, хотя её роль и уместность по-прежнему дискутируются внутри сообщества качественных исследователей.

В последнее время LLM всё активнее интегрируются в процессы качественных исследований. LLM — это генеративные AI-системы, обученные на обширных текстовых корпусах и способные отвечать на пользовательские запросы связными текстами на естественном языке. Эмпирические данные свидетельствуют о том, что LLM уже развёртываются на различных этапах качественных исследований: разработка гайдов для интервью, транскрибирование и перевод данных, поддержка кодирования и тематической разработки, суммаризация качественных датасетов, написание аналитических текстов.

Вместе с тем объём и характер применения LLM существенно варьируют между исследованиями, а точные описания методологической интеграции этих инструментов нередко отсутствуют. Практика отчётности об LLM в качественных исследованиях отличается гетерогенностью и непоследовательностью: во многих публикациях LLM лишь упоминаются — например, называется программное обеспечение или модель — без детальных сведений о выполненных задачах, степени участия человека или процедурах валидации выходных данных. Это существенно ограничивает возможность оценки методологической строгости, прозрачности и воспроизводимости.

Действующие руководства по качественным исследованиям, включая COREQ, разрабатывались до появления LLM и потому не содержат никаких указаний об их документировании. Хотя многие журналы теперь требуют общего декларирования использования AI, эти политики не адаптированы к специфическим методологическим требованиям качественных исследований. AI-специфические руководства — TRIPOD-LLM, CONSORT-AI, SPIRIT-AI — ориентированы преимущественно на предиктивные или интервенционные дизайны и не приспособлены для качественных исследований с применением LLM.

Следует оговориться, что интеграция LLM в качественные исследования не бесспорна. Позиции внутри сообщества качественных исследователей варьируют от осторожного оптимизма относительно выигрыша в эффективности до принципиального скептицизма в отношении совместимости автоматизированной обработки текста с интерпретивистскими эпистемологиями и ролью исследователя в конструировании смысла.

Ввиду стремительного и разнообразного внедрения LLM в качественные исследования систематический обзор актуального положения дел был признан срочно необходимым. Скопинг-ревью особенно подходит для изучения складывающихся, гетерогенных исследовательских областей, где концепции, методы и стандарты отчётности ещё только формируются.

Цель настоящего скопинг-ревью двояка: во-первых, систематически картировать существующие применения LLM в качественных исследованиях, опубликованные до мая 2025 года; во-вторых, оценить соответствующие практики отчётности. Конкретно рассматриваются два исследовательских вопроса: (1) как LLM в настоящее время применяются в качественных исследованиях? (2) какие практики отчётности используются в качественных исследованиях, применяющих LLM?

Методология

Стратегия поиска

Поиск охватил пять баз данных: PubMed, CINAHL через EBSCOhost, PsycINFO через EBSCOhost, Business Source Premier через EBSCOhost и Scopus. Стратегия поиска объединяла две группы концептов через оператор AND: (1) термины, связанные с LLM, — «large language model», «generative AI», «GPT», «artificial intelligence», «machine learning»; (2) термины качественных исследований — «thematic analysis», «content analysis», «qualitative research». Поиск был ограничен рецензируемыми статьями на английском языке, опубликованными с 1 января 2020 по 27 мая 2025 года.

Критерии включения

Включались исследования, отвечавшие следующим условиям: (1) рецензируемые эмпирические работы; (2) опубликованные в указанный период; (3) написанные на английском языке; (4) содержащие хотя бы один качественный метод с применением одного или нескольких LLM на любом содержательном этапе исследовательского процесса, включая смешанные методы с качественным компонентом. Ограничение рецензируемыми журнальными статьями объяснялось необходимостью минимального уровня методологического контроля, особенно важного, когда само ревью нацелено на оценку практик отчётности.

Исключались работы, (1) использовавшие исключительно не-LLM-программное обеспечение или методы обработки естественного языка; (2) не прошедшие рецензирование или не являющиеся эмпирическими; (3) применявшие LLM исключительно для языковой правки или написания рукописи без интеграции в содержательные этапы исследования. Трансформерные модели без генеративных возможностей (BERT, RoBERTa, DistilBERT) исключались как архитектурно принципиально иные.

Процедура отбора

Отбор проходил в четыре последовательных раунда с использованием программы Rayyan. Сначала автоматически удалялись дубликаты. Затем три независимых рецензента проверяли названия и аннотации. После — четыре рецензента читали полные тексты потенциально подходящих исследований; включение требовало согласия большинства. Разногласия разрешались через коллективное обсуждение.

Извлечение данных

Категории для LLM-специфических элементов данных разрабатывались итеративно: дедуктивные коды опирались на AI-руководства по отчётности, индуктивные — возникали в ходе предварительного извлечения данных. Шаблон извлечения фиксировал: (1) метаданные исследований; (2) методологические характеристики; (3) детали применения LLM — тип и версию модели, конфигурацию развёртывания, параметрические настройки, цель интеграции, стратегии промптинга, этические соображения, паттерны взаимодействия человека и AI.

Результаты

Общая характеристика включённых исследований

75 включённых исследований охватывали пять дисциплинарных областей: медицина и здравоохранение представлены наиболее широко (n = 43, 57%), затем следуют социальные науки, гуманитарные науки и коммуникации (n = 18, 24%), образование (n = 6, 8%), психология и поведенческие науки (n = 4, 5%), инженерия, информатика и методология исследований (n = 4, 5%). 71 исследование использовало сугубо качественный дизайн, четыре — смешанный.

Исследования представляли как минимум 20 стран по принадлежности авторов, наиболее представлены США (n = 26, 35%), Великобритания (n = 9, 12%), Япония и Китай (по n = 4, 5%), Германия и Новая Зеландия (по n = 3, 4%), Австралия и Франция (по n = 2, 3%).

AI-инструменты и модели

Исследования задействовали разнообразные AI-инструменты и LLM-модели. Модели GPT от OpenAI оказались наиболее употребительными — они присутствовали в 93% исследований. ChatGPT-4 и его варианты (GPT-4-Turbo, GPT-4o) применялись чаще всего, за ними следовал GPT-3.5-turbo. Ряд исследований использовал несколько моделей в сравнительных целях. Open-source-модели применялись заметно реже, чем коммерческие. Часть авторов специально выбирала локально развёртываемые open-source LLM для решения проблем конфиденциальности данных при работе с защищённой медицинской информацией.

Применение LLM на различных этапах качественного исследования

AI-приложения охватывали весь спектр методов качественного исследования. Тематический анализ оказался преобладающим методом — AI применялся на нескольких фазах, включая первичное кодирование, генерацию и уточнение тем. Bijker et al. описывают использование ChatGPT на каждой фазе качественного контент-анализа: идентификация данных, разработка схемы кодирования и её применение. Qiao et al. сообщили, что GenAI использовался для идентификации тем из транскриптов интервью с уровнем согласия свыше 80%.

В приложениях к grounded theory Чжоу и др. предложили подход, направляющий ChatGPT через процессы качественного анализа данных — открытое кодирование, осевое кодирование и избирательное кодирование, — адаптированный к философии и аналитическим процедурам grounded theory.

Документация применения LLM включала: конкретный тип и версию модели (GPT-4, GPT-3.5, Claude, Llama, Gemini); конфигурацию развёртывания (API, веб-интерфейс или локальное развёртывание); параметрические настройки — temperature, top-p, длину контекста, максимальное число токенов; цель и этап интеграции в исследовательский процесс (кодирование, тематическая разработка, транскрибирование, перевод, анализ); стратегии промптинга с примерами; характер взаимодействия человека и AI; результаты, атрибутируемые применению LLM.

Методологическая отчётность: состояние дел

Анализ показал резкое различие между распространённостью практики применения LLM и прозрачностью её описания. Параметрические настройки остаются наиболее дефицитным элементом отчётности: только 13 исследований из 75 сообщили значение temperature, 12 — длину контекста, 4 — top_p. Эта непоследовательность ограничивает возможность воспроизведения результатов и критической оценки работ.

Конфигурация развёртывания не была указана примерно в половине случаев (45%, n = 34), а 75% (n = 56) не приводили никаких параметрических настроек вообще. Между тем именно эти детали определяют поведение модели и её выходные данные, что делает их отсутствие серьёзным методологическим пробелом.

Более обнадёживающая картина — в области промптинга: 61% исследований предоставили полные или частичные промпты. Тем не менее 13% не сообщили о промптинге ничего, что фактически делает невозможным воспроизведение ключевого этапа применения LLM.

Уровень согласия между LLM и кодировщиками-людьми варьировал от 36% до 99%, что отражает принципиальные различия в сложности задач, качестве промптов и строгости процедур валидации. Такой разброс подчёркивает, что «применение LLM» само по себе не является унифицированной практикой — каждый случай требует отдельного методологического описания.

Этические соображения рассматривались в 95% исследований, верификация AI-выходов человеком практиковалась в 97%, что указывает на достаточно высокий уровень осознания ограничений автоматизированного анализа. Вместе с тем этические дискуссии нередко ограничивались общими декларациями, не детализируя конкретных мер.

Обсуждение

Результаты ревью наглядно показывают, что LLM уже стали частью качественных исследовательских рабочих процессов в самых разных дисциплинах и контекстах. Вместе с тем существующие практики отчётности систематически недостаточны: критически важные методологические детали — параметры модели, конфигурация развёртывания, стратегии промптинга — нередко отсутствуют, что подрывает возможность сравнения и воспроизведения результатов.

Авторы выдвигают ключевой тезис: необходимо срочно разработать специализированные стандарты отчётности для LLM-ассистированных качественных исследований. Таким стандартом может стать расширение COREQ + LLM, которое дополнит действующие рамки качественной отчётности требованиями, специфичными для LLM, — аналогично тому, как TRIPOD-LLM, CONSORT-AI и SPIRIT-AI сделали для других типов AI-исследований. Такое расширение должно охватывать декларирование спецификаций модели, настроек параметров, стратегий промптинга и подходов к валидации.

Помимо методологической непоследовательности, авторы выделяют ещё несколько структурных ограничений: явное преобладание проприетарных моделей (GPT) сужает разнообразие и воспроизводимость; практически отсутствуют данные о применении LLM в неанглоязычных исследовательских контекстах; крайне мало систематических сравнений моделей, стратегий промптинга и подходов к валидации.

Принципиально важна и эпистемологическая дискуссия о совместимости LLM с качественными исследованиями. Автоматизированная обработка текста, производимая LLM, — это нечто принципиально иное, нежели интерпретативный труд исследователя. Игнорировать это различие означает рисковать подменой методологии инструментом, не предназначенным для выполнения её функций.

Практические следствия

Для исследователей, уже применяющих LLM или только рассматривающих такую возможность, ревью формирует несколько конкретных ориентиров. Во-первых, полная документация параметрических настроек — temperature, top_p, длина контекста — должна стать нормой, а не исключением. Во-вторых, промпты следует публиковать полностью или давать достаточно детальное их описание для воспроизведения. В-третьих, конфигурация развёртывания (API, веб-интерфейс, локальная установка) существенно влияет на поведение модели и должна документироваться. В-четвёртых, уровень согласия между LLM и людьми-кодировщиками нужно измерять и сообщать вместе с описанием процедур валидации. Наконец, ограничения применения LLM — особенно в интерпретативных контекстах — требуют явного обсуждения, а не замалчивания.

Для рецензентов и редакторов ревью обозначает стандарт, относительно которого можно оценивать представленные рукописи: отсутствие сведений о конфигурации LLM должно становиться поводом для запроса ревизии, а не приниматься как данность.

Заключение

Данное скопинг-ревью фиксирует ситуацию, в которой практика опережает стандарты: LLM внедряются в качественные исследования значительно быстрее, чем формируется консенсус о том, как документировать и раскрывать их применение. 75 включённых исследований демонстрируют широкое разнообразие применений — от кодирования и тематического анализа до транскрибирования и перевода, — но при этом воспроизводят принципиально похожую картину методологической непрозрачности.

Настоятельная потребность в стандарте типа COREQ + LLM очевидна. Без него сопоставимость LLM-ассистированных качественных исследований будет оставаться под вопросом, а оценка надёжности результатов — существенно затруднённой. Разработка и принятие таких стандартов — совместная задача исследовательского сообщества, редакций журналов и финансирующих организаций.