Prolific: проверки подлинности — обнаружение ИИ-агентов и автоматических ответов в исследованиях
Проверки подлинности в Prolific: обнаружение ИИ-агентов и сгенерированных ответов
Lily Haycraft Mee | 20 октября 2026
По мере того как ИИ занимает всё больше места в цифровой жизни людей, перед исследовательским сообществом встаёт принципиальный вопрос. Подлинные, аутентичные человеческие ответы никогда ещё не были так ценны — и так уязвимы.
Именно поэтому Prolific разработала authenticity checks — инструмент, который автоматически выявляет свободные текстовые ответы, сгенерированные ИИ, с точностью 98,7%, а ИИ-агентов — со 100% точностью по результатам тестирования.
Проблема ИИ в первичном сборе данных
Большие языковые модели, такие как ChatGPT, становятся всё более доступными и мощными, а значит, перед исследователями возникает вопрос: как отличить подлинные человеческие ответы от ответов, сгенерированных ИИ?
Prolific наблюдает прямые последствия этой тенденции на практике — доля участников, использующих ИИ для формирования ответов, растёт по всей отрасли.
Компания взяла курс на защиту подлинного первичного сбора данных. Для этого была создана система поведенческого обнаружения, которая выходит за рамки поверхностного анализа содержания.
Представляем authenticity checks
Authenticity checks используют продвинутый поведенческий анализ для выявления случаев, когда участники могут применять ИИ-инструменты (например, ChatGPT) или запускать ИИ-агента, чтобы ответить на вопросы вместо предоставления подлинных ответов.
Определить, является ли ответ аутентичным, только прочитав его, — задача практически невыполнимая. Проверки анализируют подозрительные поведенческие паттерны, а не сам текст, добавляя более точный уровень защиты поверх ручного просмотра ответов.
Инструмент доступен без дополнительной оплаты — в рамках обязательств Prolific по обеспечению высоких стандартов качества данных.
Два типа проверок подлинности
Пользователям доступны два вида проверок — в зависимости от особенностей исследования и задач.
1. LLM checks
Выявляют участников, использующих ИИ при ответе на вопросы со свободным текстом, с точностью 98,7%. Система анализирует 15 различных поведенческих сигналов — например, копирование-вставку и переключение вкладок — чтобы установить, является ли ответ участника аутентичным.
LLM authenticity checks доступны для использования с Qualtrics, LimeSurvey, Pavlovia и AI TaskBuilder от Prolific.
Проверки работают только со свободными текстовыми вопросами и не применяются к другим типам вопросов. Также они могут некорректно срабатывать, если задача требует от участников обращения к внешним источникам для ответа.
2. Bot checks
Определяют, когда ответы на исследование дают ИИ-агент или бот, — со 100% точностью по результатам тестирования. Система анализирует нечеловеческое поведение или автоматизированные среды во всём наборе вопросов, работая с любым типом вопросов.
В ходе тестирования bot checks показали наилучшие результаты среди доступных на рынке методов обнаружения ИИ-агентов, не допустив ни одной ошибки в разграничении людей и ботов.
Bot authenticity checks доступны для использования с Qualtrics, Pavlovia и LimeSurvey.
Authenticity checks — не первая линия защиты Prolific от ИИ
Компания годами выстраивала инфраструктуру, проверки и стандарты, которые верифицируют каждого участника как человека ещё до начала исследования: верификация личности банковского уровня, более 110 проверок при предварительном отборе и обнаружение ботов в реальном времени.
Уверенность в этой системе настолько высока, что Prolific подкрепляет её гарантией 100% Human Guarantee.
Если в исследовании обнаруживается ИИ-агент, пропущенный предварительными проверками, пользователю возвращают двойную стоимость за каждого такого участника.
По состоянию на сегодняшний день более миллиона ответов участников прошли проверку через bot authenticity checks, и только 0,04% были отмечены как ИИ-агенты.
Для получения гарантии необходимо:
- использовать Prolific совместно с Qualtrics, LimeSurvey или Pavlovia;
- настроить bot authenticity checks;
- запустить исследование.
Если участники получают статус low authenticity, Prolific возвращает двойную стоимость за каждого такого участника в течение 21 дня.
Точность и принципы работы
Внутреннее тестирование Prolific подтверждает высокую точность проверок:
- Когда bot authenticity check помечает ИИ-агентов или ботов, это означает 100% правоту системы по результатам тестирования.
- Когда LLM authenticity checks определяют ответы как сгенерированные ИИ, это верно в 98,7% случаев. Низкий уровень ложных срабатываний (0,6%) минимизирует риск некорректной пометки реальных участников.
Если в опросе несколько вопросов со свободным текстом, функция «Скачать демографические данные» на странице ответов покажет, на какие именно вопросы были подняты флаги.
Рекомендации по внедрению
Участникам Prolific уже запрещено использовать ИИ (если только задача не предписывает это явно). Однако внутренние тесты компании показали, что добавление явного напоминания непосредственно в вопрос снижает использование ИИ на 61% — это простой, но эффективный первый рубеж защиты.