Mani Grewal: Izgradnja AI asistenta za podršku — kompletan životni ciklus proizvoda

Mani Grewal, koji piše newsletter Product Management with Mani, objavio je ovaj tekst da pokaže kako izgleda kompletan produktni rad pri izgradnji AI proizvoda — počevši ne od tehnološke odluke, već od stvarnog korisničkog problema sa merljivim ishodima.

Slučaj upotrebe je AI kopilot za agente korisničke podrške. Tekst vodi čitaoca kroz svaku fazu životnog ciklusa proizvoda: formulisanje problema, arhitektura sistema, dizajn evaluacije i plan faznog uvođenja.

Grewalova polazna tačka je redefinisanje mogućnosti: problem nije “dodati AI u podršku”, već “smanjiti vreme rešavanja uz istovremeno poboljšanje kvaliteta za agente koji obrađuju zahteve za povraćaj sredstava”. Ovo sužavanje obima je namerno — prva verzija pokriva samo jednu kategoriju tiketa, što ograničava rizik ranih grešaka dok generiše čiste podatke za evaluaciju. Tekst prati proizvod kroz četiri razvojne faze: pisanje odgovora, sažimanje tiketa, preporučene akcije i ograničeno autonomno izvršavanje. Svaka faza dodaje mogućnosti tek kada prethodna dokaže pouzdanost.

Tehnički okvir je strukturiran oko tri sloja: iskustvo (šta agenti vide i rade), inteligencija (šta model radi) i podaci (šta hrani model i šta se beleži). Grewalov argument je da PM-ovi koji se fokusiraju samo na model propuštaju koliko veliki produktni uticaj dolazi od ispravne implementacije slojeva iskustva i podataka.

Okvir evaluacije kombinuje poslovne metrike (vreme obrade, stopa rešavanja), korisničke metrike (stopa prihvatanja od strane agenata, CSAT) i metrike modela (stopa halucinacija, latencija). Tekst je direktan o uobičajenom obrascu greški: timovi optimizuju metrike modela tokom razvoja, pa otkriju da je stvarno vreme obrade poraslo, a ne smanjilo, jer agenti troše vreme na ispravljanje AI outputa umesto na njegovo korišćenje.

Tekst se tokom celog teksta vraća na jednu formulaciju: lansiranje AI proizvoda znači projektovanje sistema za podršku donošenju odluka u uslovima neizvesnosti, a ne lansiranje modela. To znači definisanje koji prag poverenja pokreće koju akciju, koji je rezervni plan kada model pogreši i kako se sistem poboljšava kako agenti interaguju sa njim.

Tekst je najkorisniji za PM-ove koji grade svoj prvi AI-asistovani tok rada u oblasti gde greške imaju stvarne posledice — korisnička podrška, operacije ili bilo koji kontekst gde lažno pozitivni rezultati koštaju više od lošeg korisničkog iskustva.