Every: zašto dodavanje više konteksta vašem AI pisačkom okruženju pogoršava rezultate
O čemu govori članak
Katie Parrott, pišući u Everyjevom newsletteru Working Overtime, dokumentuje uobičajeni obrazac grešaka u AI pisačkim okruženjima: datoteka konteksta koja počinje kao koristan vodič za stil i postepeno postaje obaveza. Njen slučaj je konkretan — vodič od 759 reči koji je narastao na 3.855 reči tokom nekoliko meseci — ali dinamika koju opisuje prepoznatljiva je svakome ko je provodio vreme podešavajući AI radni tok za pisanje.
Kako se problem razvija
Sam rast nije problem. Svaki dodatak se činio opravdanim: pravilo za ispravljanje ponavljajuće greške, pojašnjenje nakon nejasnog izlaza, novi primer za pojačavanje preferencije. Problem se pojavio u tome kako je model reagovao na nakupljeni kontekst. Počeo je da tretira nacrte i logove sačuvane u istom direktorijumu kao dodatne instrukcije, a ne kao referentni materijal. Stari primeri su oblikovali nove izlaze na načine koji su bili teško uočljivi. Model je izgledao da generalizuje iz obima materijala, a ne iz namere iza njega.
Rezultat je bio izlaz koji je tehnički pratio pravila, ali je izgubio glas koji je vodič pokušavao da sačuva. Više instrukcija nije dalo bolju usaglašenost — dalo je drugačiju vrstu pogrešnog podešavanja.
Šta preporučuje
Ključni savet Parrott je da oduzimate pre nego što dodajete. Kada kvalitet izlaza opadne i instinkt je da se doda još jedno pravilo, produktivnija intervencija je često pogled na ono što već postoji i uklanjanje onoga što je dvosmisleno ili zastarelo.
Njene konkretne preporuke: arhivirati postojeći kontekst i ponovo ga izgraditi od nule koristeći samo principe koji su zaista bili važni; konfigurisati agenta da pita pre menjanja datoteka, umesto da deluje na osnovu pretpostavljene namere; pisati vodiče za stil kao principe, a ne kao šablone, jer šabloni ograničavaju strukturu dok principi usmeravaju prosudbu; tretirati datoteku konteksta kao nešto što zahteva održavanje, a ne samo akumulaciju.
Rekonstrukcija koju opisuje završila je kraćom od originalnog vodiča od 759 reči. Kvalitet izlaza modela se poboljšao ne zato što je imao više toga s čim da radi, već zato što je ono što je imao bilo jasnije.
Kome će biti korisno
Piscima i urednicima koji već nekoliko meseci koriste AI alate i primetili su postepeno opadanje kvaliteta izlaza bez jasnog uzroka. Korisno je i svima koji grade AI radne tokove za pisanje za tim, jer se ista dinamika pojavljuje kada više ljudi tokom vremena doprinosi zajedničkoj datoteci konteksta.