Every: почему добавление контекста в AI-воркфлоу для письма ухудшает результат
О чём статья
Katie Parrott в информационной рассылке Working Overtime от Every описывает распространённый паттерн ошибок в AI-воркфлоу для письма: файл контекста, который начинается как полезный стайлгайд и постепенно превращается в проблему. Её случай конкретен — руководство из 759 слов, выросшее до 3 855 слов за несколько месяцев, — но описанная ею динамика узнаваема для всех, кто долго настраивал AI-воркфлоу для письма.
Как развивается проблема
Сам по себе рост не является проблемой. Каждое добавление было обоснованным: правило для устранения повторяющейся ошибки, уточнение после неоднозначного вывода, новый пример для закрепления предпочтения. Проблема проявилась в том, как модель реагировала на накопленный контекст. Она начала воспринимать черновики и логи, хранившиеся в той же директории, как дополнительные инструкции, а не справочный материал. Старые примеры влияли на новые тексты способами, которые было трудно отследить. Казалось, что модель обобщала по объёму материала, а не по намерению за ним.
Результатом стали тексты, которые технически следовали правилам, но утратили голос, который руководство пыталось сохранить. Больше инструкций не дало лучшего соответствия — они дали другой вид нарушения настройки.
Что она рекомендует
Ключевой совет Parrott — убирать, прежде чем добавлять. Когда качество выходных текстов падает и возникает желание добавить ещё одно правило, более продуктивным вмешательством часто оказывается взгляд на уже имеющееся и удаление неоднозначного или устаревшего.
Конкретные рекомендации: заархивировать существующий контекст и пересобрать с нуля, используя только принципы, которые действительно имели значение; настроить агент, чтобы он задавал вопросы перед изменением файлов, а не действовал на основе предполагаемого намерения; писать стайлгайды как принципы, а не как шаблоны, потому что шаблоны ограничивают структуру, тогда как принципы направляют суждение; относиться к файлу контекста как к тому, что требует обслуживания, а не только накопления.
Пересборка, которую она описывает, оказалась короче исходного руководства в 759 слов. Качество вывода модели улучшилось не потому, что у неё стало больше материала для работы, а потому что имеющийся материал стал чище.
Кому будет полезно
Авторам и редакторам, которые несколько месяцев используют AI-инструменты и заметили постепенное снижение качества вывода без очевидной причины. Также полезно тем, кто выстраивает AI-воркфлоу для письма для команды, поскольку та же динамика проявляется, когда несколько человек со временем вносят вклад в общий файл контекста.