Yazi: не «какой ИИ лучший», а «какому ИИ можно доверять» в маркетинговых исследованиях

Вандиле Сиши, Head of Insights в Yazi, опубликовал результаты независимого сравнительного исследования AI-моделей для маркетинговых задач. Исходный вопрос, с которого всё начиналось — «какой ИИ лучший для market research?» — оказался не тем вопросом. Более точная формулировка, к которой пришли авторы: «какому ИИ можно доверять?»

Методология

Исследование провели Мохамед Ясин Мовзер и Тим Тригас из Yazi. Они взяли реальный проект маркетингового исследования и прогнали его через 5 AI-моделей в идентичных условиях. Датасет: 1500 респондентов, 16 количественных и 6 открытых вопросов. Оценка проходила по 170-балльной шкале, охватывающей весь исследовательский workflow — от формулировки гипотез до интерпретации результатов. Исследование не спонсировалось ни одним из поставщиков.

Главный вывод

«Лучший» ИИ уверенно ошибался. Уверенность модели не равна точности: галлюцинации в этом контексте — это не просто технический артефакт, а риск бизнес-решений на миллионы долларов. Модели, показавшие высокие результаты на стандартных бенчмарках, на задачах, требующих реального бизнес-рассуждения, демонстрировали значительно больше ошибок, чем ожидалось.

Авторы зафиксировали существенные разрывы в производительности между моделями — особенно там, где нужна не генерация контента, а глубокий анализ данных с бизнес-контекстом. Модель, которая признаёт неопределённость, оказалась надёжнее той, которая уверенно выдаёт ответ.

Почему это важно для исследователей

Исследование ставит практический вопрос о том, как выбирать AI-инструменты для работы с данными от реальных людей. Бенчмарки и маркетинговые рейтинги не отражают поведение модели на задачах, где цена ошибки высока. Yazi планирует обновлять сравнение по мере выхода новых версий моделей — данные устаревают быстро.