Hello PM: Анатомия AI-продуктов — практическое руководство по разработке с LLM

Энкит Шукла, работавший в Google и Meta и обучавший продакт-менеджменту более 2500 студентов, написал это руководство, чтобы заполнить пробел в том, как команды подходят к разработке AI-продуктов: большинство материалов объясняют, что могут LLM, но мало кто объясняет продуктовые решения, которые приходятся до и после.

Руководство проводит различие, важное для определения масштаба: AI-нативные продукты (ChatGPT, Cursor) помещают LLM в центр взаимодействия, тогда как AI-расширенные продукты (Notion AI) накладывают его на существующий рабочий процесс. Подход к созданию каждого из них разный, и команды, которые воспринимают оба типа как одно и то же, часто получают функции, не соответствующие тому, как пользователи реально работают.

Руководство структурировано как шесть последовательных областей. Исследование спрашивает, оправдывает ли проблема применение LLM вообще и как определить задачи, где AI существенно меняет результат для пользователей. Раздел по базовой технологии объясняет, как LLM генерируют вывод и где обычно ошибаются — на уровне, необходимом PM для принятия архитектурных решений без знания машинного обучения. Инструментарий разработчика разбирает prompt engineering, RAG и файн-тюнинг с рекомендациями по выбору подхода в зависимости от ограничений по стоимости и точности.

Раздел об агентах особенно детализирован. Шукла вводит формулу для анализа накопления ошибок в многоэтапных системах: десять последовательных операций с точностью 95% каждая дают суммарный процент успеха менее 60%. Это практический аргумент в пользу проектирования систем с контрольными точками, а не надежды на то, что длинные цепочки выдержат.

В разделе по экономике и оценке выделяются два фреймворка. Матрица «человек в контуре» (Human-in-the-Loop Matrix) отображает ставки и уверенность, чтобы определить, когда вывод AI можно направлять пользователям напрямую, когда требуется проверка, а когда человек должен действовать первым независимо от уверенности модели. Иерархия оптимизации затрат (Cost Optimization Hierarchy) предлагает ранжированную последовательность — исправить промпты, перейти на более дешёвые модели, добавить кэширование, сократить контекст, пакетировать запросы, — прежде чем инвестировать в изменения инфраструктуры.

На протяжении всего руководства используются конкретные продукты в качестве иллюстраций: подход Granola к записям встреч, индексирование кодовой базы Cursor для многоагентной координации, юридический AI Harvey. Эти примеры используются для иллюстрации принципов, а не для восхваления компаний.

Руководство наиболее полезно для PM, которым поручили ответственность за AI-функцию или продукт и которым нужна структурированная система для обдумывания решений между «нам нужно использовать AI» и «мы выпустили то, что нужно пользователям».