Skip to content
Новость arXiv авг. 2026 г.

arXiv: Проверяемый рабочий процесс на основе LLM для тематического анализа

Проверяемый рабочий процесс LLM для тематического анализа — препринт arXiv

Проектирование проверяемого рабочего процесса на основе LLM для качественного тематического анализа

Надя Юль Ельдтофт (кафедра культуры и языка, Университет Южной Дании) и Тариг Юсеф (кафедра математики и компьютерных наук, Университет Южной Дании) опубликовали препринт, который будет включён в 52-й том Annual Review of Sociology 2026.

Аннотация

Large Language Models (LLMs) открывают новые возможности для масштабирования качественного анализа, однако существующие приложения нередко обеспечивают ограниченную методологическую прозрачность в отношении того, как качественные методы переводятся в вычислительные процедуры. В статье представлена проверяемая и конфиденциальная вычислительная операционализация индуктивного и латентного тематического анализа (TA).

Авторы выводят пять принципов проектирования из методологических требований TA и условий, вводимых LLM-инференцией: сохранение интерпретационного контекста; поддержание прослеживаемых связей между эмпирическим материалом и аналитическими выводами; явное представление аналитических конструктов и рассуждений; ограничение LLM-инференции до интерпретационных задач; конфиденциальное локальное развёртывание. Затем представлен прототип двухфазного рабочего процесса, который операционализирует эти принципы, сочетая интерпретационный LLM-инференс с детерминированным процедурным управлением для формирования кодов, аналитических обоснований, тем и их описаний при сохранении явных ссылок на исходный материал.

Помимо этого, предложена система оценки, включающая структурное сравнение с TA, проведённым специалистами-людьми, и независимую экспертную оценку качества анализа. Оценка проводилась на полуструктурированных датских транскриптах интервью. Результаты показывают, что рабочий процесс производит выходные данные на уровне кодов, покрытие которых в целом сопоставимо с человеческой разметкой, при высоко оцениваемых аналитических обоснованиях. При этом тематическая структура оказывается более сжатой — с меньшим числом более широких тем. Результаты демонстрируют осуществимость проверяемого LLM-поддерживаемого TA через модульный рабочий процесс, рассчитанный на масштабирование до больших наборов данных, поддержку разных LLM и перенос между исследовательскими областями.

1. Введение

LLM расширили возможности анализа больших массивов неструктурированных текстовых данных. Их способность обрабатывать текстовый контекст, выявлять паттерны и генерировать человекочитаемые аналитические выходные данные привела к растущему применению в качественных исследованиях. Тем не менее качественный анализ определяется не только аналитическими выходными данными, но и методологическими принципами, посредством которых они формируются. В различных традициях качественных исследований эти принципы включают контекстуальную интерпретацию и итеративное взаимодействие с эмпирическим материалом.

Тематический анализ (Thematic Analysis, TA) является фундаментальным методом анализа качественных данных в различных дисциплинах. Он обеспечивает систематическую, но гибкую структуру для выявления и интерпретации паттернов смысла в различных исследовательских контекстах. TA можно понять как интерпретационный процесс, который частично напоминает задачи обучения без учителя — обнаружение паттернов и кластеризацию в непомеченных текстовых данных. Однако, в отличие от чисто вычислительных подходов, TA направляется смыслом и зависит от теоретической и эпистемологической позиции аналитика. На практике TA предполагает итеративное присвоение кодов значимым признакам данных и их группировку в более высокоуровневые темы при поддержании явных связей между эмпирическими данными, кодами и темами. Следовательно, вычислительная операционализация TA должна поддерживать не только генерацию кодов и тем, но и контекстуальную интерпретацию, аналитические рассуждения и прослеживаемые связи в ходе всего аналитического процесса.

Существующие LLM-поддерживаемые подходы к TA в основном демонстрируют аналитические возможности самих моделей, оставляя в стороне методологическое описание вычислительной операционализации качественного метода. Проблема, таким образом, состоит не в том, способны ли LLM генерировать коды и темы, а в том, как LLM-инференс можно использовать в вычислительных рабочих процессах, сохраняющих методологические принципы качественного анализа. Без тщательного проектирования рабочего процесса применение LLM рискует затушёвывать, а не поддерживать интерпретационный аналитический процесс, центральный для качественного анализа.

В статье представлен прототип проверяемой вычислительной операционализации TA, который переводит метод в структурированный вычислительный рабочий процесс с использованием LLM для анализа. В данном контексте проверяемость (auditability) означает возможность систематически документировать и критически оценивать, как формируются аналитические выходные данные, при наличии прозрачности промежуточных аналитических операций и прослеживаемости между выходными данными и их эмпирическим источником.

Рабочий процесс разделяет интерпретационный инференс и детерминированные процедурные вычисления. Он встраивает критерии методологического качества TA непосредственно в вычислительное проектирование и сохраняет явные связи между данными, кодами и темами на протяжении всего аналитического процесса конфиденциальным образом.

В работе сделаны три вклада: во-первых, предложены пять принципов проектирования для вычислительной операционализации TA, основанных на методологических принципах качественных исследований; во-вторых, введена проверяемая архитектура рабочего процесса, сочетающая ограниченный LLM-инференс с детерминированными программными процедурами для сохранения аналитической прозрачности, прослеживаемости и конфиденциальности; в-третьих, предложена система оценки для определения того, сохраняют ли вычислительные операционализации TA центральные критерии методологического качества.

2. Связанные работы

Хотя недавние исследования демонстрируют функциональную осуществимость LLM для поддержки TA, они содержат ограниченные методологические описания вычислительной архитектуры, аналитических представлений и проектных решений рабочего процесса, которые переводят основные принципы качественной методологии в вычислительные процедуры. Это выражается в скудных описаниях проектирования промптов, представления данных, процедур кодирования и построения тем, что затрудняет оценку того, как формируются аналитические выходные данные и как на протяжении всего рабочего процесса сохраняются методологические принципы.

Более поздние исследования начали вводить многоэтапные рабочие процессы и методологически обоснованные стратегии промптинга. Тем не менее ключевые проектные решения рабочего процесса по-прежнему остаются неконкретизированными: в том числе то, как представляются аналитические единицы, как управляется контекстная информация между стадиями инференса, как связываются промежуточные аналитические продукты и как поддерживается аналитическая прослеживаемость на протяжении всего рабочего процесса.

Дополнительным ограничением является то, что многие существующие решения опираются на проприетарные облачные модели и API-инфраструктуры. Помимо ограничения методологической прозрачности, это создаёт проблемы для управления данными и анализа чувствительных качественных данных.

В совокупности существующие работы демонстрируют, что LLM могут поддерживать основные аналитические задачи в TA. Однако вычислительной операционализации самого метода уделяется сравнительно мало внимания. Это обусловливает потребность в архитектурах рабочих процессов, которые явно встраивают методологические принципы TA в вычислительное проектирование, сохраняя аналитическую прослеживаемость, прозрачность и управление данными.

3. Теоретическая основа

В данной работе авторы принимают фреймворк TA, предложенный Брауном и Кларком (2006). TA обеспечивает гибкую методологическую структуру, в которой темы разрабатываются через итеративную интерпретацию значимых паттернов в данных. Поскольку TA зависит от аналитического фокуса и эпистемологической позиции исследователя, не существует единственно «правильного» тематического представления, независимого от аналитического контекста и исследовательского фокуса. Центральной характеристикой TA является то, что выявление паттернов направляется смыслом, а не формальным сходством.

Следовательно, выявление и группировка кодов в темы зависят от контекстуальной интерпретации и фокуса аналитика, а не от предопределённых вычислительных правил. В данной работе принят индуктивный и латентный подход, при котором коды и темы итеративно выводятся из лежащих в основе данных паттернов смысла.

Рабочий процесс проведения TA состоит из двух общих аналитических фаз. Первая фаза (от текста к кодам) предполагает систематическое кодирование набора данных, когда фрагментам интервью присваивается один или несколько кодов. Вторая фаза (от кодов к темам) включает построение более широких тем путём выявления паттернов общего смысла в кодах.

Браун и Кларк (2006) описывают набор критериев качества для проведения TA, выходящих за пределы самих аналитических выходных данных. На основе этих критериев авторы выделяют четыре методологических измерения TA: аналитический процесс, представление аналитических конструктов, прослеживаемость аналитических взаимосвязей и характеристики аналитически валидных выходных данных.

Критерий качества TAМетодологическое измерение
Систематическое и тщательное кодирование всего набора данныхАналитический процесс
Темы организуют несколько связанных кодов в более широкие интерпретационные паттерныАналитический процесс
Метки кодов и тем должны обеспечивать ясные и значимые представленияАналитическое представление
Описания тем должны раскрывать содержание и смысл темыАналитическое представление
Прозрачные связи между эмпирическими данными, кодами и темамиПрослеживаемость
Сгенерированные коды и темы должны составлять аналитически значимые интерпретации, согласованные с аналитическим фокусомАналитические выходные данные

Эти критерии качества и методологические измерения выполняют различные функции в вычислительной операционализации TA. Измерения аналитического процесса, представления и прослеживаемости задают центральные характеристики, которые должны быть сохранены в вычислительном проектировании, тогда как характеристики аналитически валидных выходных данных обеспечивают критерии оценки результирующего анализа.

4. Пять принципов проектирования для адаптации LLM под TA

LLM обладают двойной способностью, делающей их особенно релевантными для вычислительного TA. Благодаря обучению на крупномасштабных текстовых корпусах они способны не только генерировать текст, но и выявлять и организовывать паттерны смысла в неструктурированных текстовых данных. Однако их применение методологически небезразлично. Успешная операционализация TA требует не просто применения LLM к качественным данным, но явных проектных решений, сохраняющих методологические характеристики TA при адаптации к возможностям и ограничениям LLM-инференса.

4.1 Принцип 1: Сохранение интерпретационного контекста

TA опирается на контекстуальную интерпретацию, при которой коды присваиваются значимым паттернам в их локальном контексте. Следовательно, вычислительная операционализация TA требует аналитических единиц, сохраняющих достаточно контекстной информации для поддержки значимой интерпретации.

При использовании LLM для аналитических целей этот принцип вводит дополнительное вычислительное соображение. Аналитические единицы должны быть достаточно большими, чтобы предоставить необходимую для интерпретации контекстную информацию, и достаточно малыми, чтобы поддерживать стабильный инференс и последовательную генерацию кодов в рамках контекстного окна модели. Сегментация данных является методологическим проектным решением, а не шагом предобработки, поскольку структура аналитических единиц непосредственно формирует аналитические выходные данные.

4.2 Принцип 2: Сохранение прослеживаемых связей между эмпирическими данными и аналитическими выходными данными

Методологическое измерение прослеживаемости требует, чтобы аналитические взаимосвязи оставались явными на протяжении всего аналитического процесса. В TA это означает поддержание прозрачных связей от эмпирических данных к кодам и от кодов к темам. В вычислительной операционализации коды, темы и связанные с ними обоснования и описания должны быть связаны таким образом, чтобы весь аналитический путь — от тем через коды к исходным данным — можно было восстановить детерминированным образом.

4.3 Принцип 3: Явное представление аналитических конструктов и рассуждений

Методологическое измерение аналитического представления требует, чтобы аналитические конструкты оставались явными и интерпретируемыми на протяжении всего аналитического процесса. В TA это предполагает представление кодов и тем через ясные метки и описания, тогда как аналитическое обоснование кодирования и построения тем должно быть прозрачным и обоснованным в эмпирическом материале. При использовании LLM для анализа эти аналитические конструкты и связанные с ними обоснования должны быть выражены как инспектируемые выходные данные, а не оставаться имплицитными внутри модельного инференса.

4.4 Принцип 4: Ограничение инференса

Методологическое измерение аналитического процесса требует контекстуального суждения при выявлении и абстрагировании паттернов смысла. LLM хорошо подходят для поддержки таких задач, поскольку способны обрабатывать текстовый контекст и генерировать человекочитаемые аналитические выходные данные. Однако эти выходные данные производятся посредством вероятностного инференса, а не детерминированных процедур. В вычислительной операционализации TA LLM-инференс должен быть ограничен аналитическими задачами, требующими контекстуальной интерпретации, тогда как процедурные операции, не требующие интерпретации, должны обрабатываться детерминированно. Это устанавливает функциональное разделение труда между интерпретационными и процедурными задачами.

4.5 Принцип 5: Сохранение конфиденциальности посредством локального развёртывания

Качественные данные интервью нередко содержат чувствительную информацию, что делает сохранение конфиденциальности методологическим требованием. Облачные инфраструктуры могут создавать проблемы в части управления данными и прозрачности. Следовательно, вычислительные операционализации TA должны быть спроектированы с поддержкой конфиденциального развёртывания — то есть с возможностью локального инференса с использованием open-weight языковых моделей без передачи чувствительных данных внешним сервисам.

5. Данные

Данные для разработки рабочего процесса взяты из исследовательского проекта «Семейная революция» (FREI). Проект исследует микроуровневый опыт семейной жизни и социальных изменений в Дании между 1950-ми и 1970-ми годами. Интервью представляют собой подходящий кейс для разработки и оценки вычислительной поддержки TA, поскольку состоят из насыщенных контекстозависимых качественных нарративов, требующих интерпретационного анализа.

Интервью собирались с 2021 по 2025 год датскими старшеклассниками. Все интервью были транскрибированы с помощью программного обеспечения для автоматической транскрипции, с последующим ручным контролем качества и анонимизацией. Из более широкого набора данных (n=570) была отобрана выборка из 100 транскриптов с использованием стратифицированной стратегии выборки. Сначала интервью стратифицировались по длине (длинные, средние, короткие), чтобы отразить распределение полного набора данных. Внутри каждой категории длины интервью отбирались для достижения приблизительно сбалансированного гендерного распределения. В целом выборка призвана сохранять ключевые структурные характеристики полного набора данных, включая вариацию длины интервью, нарративной структуры и тематического содержания. Выборочный набор данных был случайным образом разделён на обучающее и тестовое множество на уровне интервью. После исключения одного интервью из-за низкого качества транскрипции финальный набор данных составил 99 транскриптов: 5 были отнесены к тестовому множеству, остальные 94 — к обучающему.

Для удовлетворения принципа 1 (сохранение интерпретируемого контекста) транскрипты интервью были сегментированы на аналитические единицы, состоящие из двух последовательных пар «вопрос—ответ». Выбор двух последовательных пар «вопрос—ответ» в качестве аналитической единицы представляет релевантный уровень сегментации для проведения TA. Меньшие единицы создают риск утраты интерпретационного контекста и чрезмерного перекрытия сгенерированных кодов, тогда как большие единицы увеличивают риск того, что LLM «потеряет» контекст, игнорируя или упуская из виду части входного текста, когда сегменты становятся слишком длинными.

6. Методология

Функциональное разделение труда структурирует рабочий процесс, согласовывая вычислительные роли с методологическими требованиями TA.

Рабочий процесс выглядит следующим образом: транскрибированные интервью сегментируются на аналитические единицы (две пары «вопрос—ответ»). Фаза 1 генерирует коды на уровне сегментов с обоснованиями, тогда как фаза 2 агрегирует коды в темы через итеративное отображение «многие к одному». Выходные данные валидируются и структурируются для сохранения связей между сегментами, кодами, темами и обоснованиями.

Центральные интерпретационные задачи — генерация и представление кодов и тем, включая аналитические рассуждения, лежащие в основе анализа — делегируются LLM через предметно-ориентированные стратегии промптинга. Процедурная задача обеспечения систематических и прозрачных связей между фрагментами данных, кодами и темами обрабатывается программно через детерминированные процедуры обработки и валидации.

Это разделение между интерпретационным инференсом и процедурным управлением позволяет рабочему процессу сохранять ключевые методологические требования TA, поддерживая вычислительную масштабируемость.