AI Product PRD: требования к продуктам на базе AI/ML
AI Product PRD расширяет стандартный PRD разделами, которые традиционному софту не нужны: выбор модели, критерии оценки, допустимые уровни ошибок, требования к пайплайну данных и фолбэк-поведение, когда модель ошибается или выдаёт результат с низкой уверенностью.
Это не то же самое, что AI-Optimized PRD — стандартный PRD, форматированный для чтения AI-агентами. AI Product PRD предназначен для продуктов, где AI является ключевой функциональностью: чат-боты, рекомендательные системы, генераторы контента, системы предсказаний и любые продукты, где модель машинного обучения создаёт основной результат.
Key insight
Традиционные PRD определяют детерминированные требования: при входе X дать выход Y. AI Product PRD определяют допустимые диапазоны: при входе X дать выход Y с точностью не менее Z%, а если уверенность падает ниже порога — переключиться на поведение W.
Когда использовать AI Product PRD
Используйте AI Product PRD, когда:
- Ключевая ценность продукта зависит от модели машинного обучения (LLM, классификация, рекомендации, генерация)
- Результат вероятностный — один и тот же вход может дать разные выходы
- Нужно определить допустимые пороги качества, а не точные результаты
- Качество и доступность данных — предпосылки для работы продукта
- Продукту необходимо фолбэк-поведение для случаев, когда модель ошибается или галлюцинирует
Стандартного PRD достаточно, когда:
- AI — вспомогательная фича, а не ядро продукта (например, автодополнение в форме)
- AI-компонент использует стороннее API с чётко определённым поведением (например, вызов GPT-4 с фиксированным промптом)
- Не требуется кастомное обучение, файн-тюнинг или фреймворк оценки модели
Что добавляет AI Product PRD
AI Product PRD сохраняет все разделы стандартного PRD (постановка проблемы, целевые пользователи, скоуп, метрики успеха) и добавляет пять AI-специфичных разделов.
1. Постановка AI-задачи
Прежде чем определять требования, обоснуйте, почему AI — правильный подход. Не каждая задача требует модели — некоторые лучше решаются правилами, эвристиками или простым поиском.
Ответьте на три вопроса:
- Почему не работает подход на правилах? Если можно написать
if/elseлогику, которая покрывает 95% случаев, модель, скорее всего, не нужна. - Что производит модель? Метка классификации, сгенерированный текст, ранжированный список, числовое предсказание, изображение — будьте конкретны.
- Что потребляет модель? Текст, изображения, структурированные данные, сигналы поведения пользователей или их комбинацию.
2. Требования к модели
Определите, что должна делать модель и насколько хорошо.
| Требование | Спецификация |
|---|---|
| Задача | например, «Классифицировать тикеты поддержки по 12 категориям» |
| Вход | например, «Тема + текст тикета, макс. 2000 токенов» |
| Выход | например, «Метка категории + оценка уверенности (0-1)» |
| Латентность | например, «< 500 мс p95 для одного инференса» |
| Пропускная способность | например, «1000 классификаций в минуту» |
| Кандидаты моделей | например, «Дообученный GPT-4o-mini, Claude Haiku или кастомный BERT» |
| Обучающие данные | например, «50K размеченных тикетов за последние 12 месяцев» |
3. Критерии оценки
Определите, как измерить, достаточно ли хороша модель для выпуска. Это заменяет расплывчатое «AI должен быть точным» на тестируемые условия.
| Метрика | Цель | Метод измерения |
|---|---|---|
| Точность | ≥ 92% на отложенном тестовом наборе | Eval-набор запускается перед каждым деплоем |
| Precision (по категориям) | ≥ 85% для каждой из 12 категорий | Анализ матрицы ошибок |
| Уровень галлюцинаций | < 3% выходов содержат вымышленную информацию | Ручная проверка 500 случайных выходов еженедельно |
| Удовлетворённость пользователей | ≥ 4.2/5 по оценке качества AI-выхода | Виджет обратной связи в приложении |
Фреймворк оценки: Определите, когда запускаются оценки (перед каждым деплоем, по расписанию, при дрифте данных), кто анализирует результаты и что происходит, когда метрика падает ниже порога.
4. Требования к данным
AI-продукты чаще терпят неудачу из-за плохих данных, чем из-за плохих моделей. Определите:
- Обучающие данные: источник, объём, метод разметки, требования к актуальности
- Пайплайн данных: как данные поступают от источника к модели (пакетный vs потоковый, шаги трансформации)
- Качество данных: минимальные требования к полноте, точности и актуальности
- Конфиденциальность данных: обработка PII, требования к анонимизации, соответствие GDPR/CCPA
- Хранение данных: сколько хранятся обучающие данные и выходы модели
| Источник данных | Объём | Частота обновления | Критерий качества |
|---|---|---|---|
| Тикеты поддержки (размеченные) | 50K начальных, 2K/мес новых | Ежемесячное дообучение | Согласие разметчиков ≥ 90% между 2 ревьюерами |
| Обратная связь пользователей (палец вверх/вниз) | Непрерывно | Реальное время в дашборд оценки | Мин. 100 оценок на категорию в месяц |
5. Фолбэк-поведение
Определите, что происходит, когда модель не может выдать надёжный результат. Пользователи столкнутся с ошибками модели — продукт должен обрабатывать их корректно.
| Сценарий | Фолбэк-поведение |
|---|---|
| Уверенность модели < 0.7 | Показать результат с предупреждением: «Эта классификация может быть неточной. Проверьте вручную.» |
| Уверенность модели < 0.4 | Не показывать AI-результат. Направить тикет в очередь ручной сортировки. |
| Модель недоступна (сбой) | Переключиться на движок правил по ключевым словам. Показать баннер: «AI-классификация временно недоступна.» |
| Вход вне обучающего распределения | Пометить для ручной проверки. Записать как потенциальный пробел в обучающих данных. |
| Пользователь сообщает о неправильном результате | Позволить исправление в один клик. Направить исправление в пайплайн дообучения. |
Key insight
Фолбэк-поведение — не второстепенная деталь, а ключевое требование к продукту. Пользователи оценивают AI-продукты не по тому, как хорошо они работают на простых случаях, а по тому, насколько корректно они обрабатывают ошибки. Проектируйте фолбэки одновременно с основным сценарием, а не после него.
AI Product PRD и другие вариации PRD
| Аспект | Стандартный PRD | AI-Optimized PRD | AI Product PRD |
|---|---|---|---|
| Назначение | Определить, что строить | Определить, что строить (форматированный для AI-агентов) | Определить AI-продукт |
| Аудитория | Продуктовая команда, инженеры | AI-инструменты (Cursor, Claude Code) | Продуктовая команда, ML-инженеры, дата-команда |
| Тип выхода | Детерминированные фичи | Детерминированные фичи | Вероятностные AI-выходы |
| Уникальные разделы | — | Фазовая реализация, тестируемые выходы | Требования к модели, критерии оценки, фолбэки, пайплайн данных |
| Критерии успеха | Фича запущена, метрики выполнены | Фича запущена, тесты проходят | Производительность модели соответствует порогам |
Типичные ошибки
1. Пропуск вопроса «зачем AI». Если подход на правилах покрывает 95% случаев, добавление модели создаёт сложность (обучение, мониторинг, пайплайны данных) без пропорциональной ценности. Обоснуйте модель, прежде чем специфицировать её.
2. Отсутствие критериев оценки до начала разработки. Если команда строит модель и затем спрашивает «достаточно ли это хорошо?», ответ всегда будет субъективным. Определите метрики и пороги до начала разработки модели.
3. Игнорирование дизайна фолбэков. Демо работает отлично. Затем 5% продуктовых входов дают мусор. Без заранее определённых фолбэков команда спешно латает краевые случаи после запуска.
4. Отношение к данным как к чужой ответственности. Модель хороша ровно настолько, насколько хороши её обучающие данные. Если PRD не определяет требования к данным, ML-команда обнаружит пробелы в данных в середине разработки — самое дорогое время для таких открытий.
5. Отсутствие плана на деградацию модели. Модели деградируют со временем по мере изменения мира (дрифт данных, дрифт концепций). PRD должен определять требования к мониторингу и триггеры дообучения, а не только критерии запуска.
Ресурсы
- PRD — полное руководство — обзор всех вариаций
- AI-Optimized PRD — PRD, форматированный для AI-агентов (другой случай использования)
- Шаблоны PRD — стандартный, MVP, AI-Optimized и AI Product
- Промпт-навигатор — подберите подходящий тип документа