Hello PM: Anatomija AI proizvoda — praktični vodič za razvoj sa LLM-ovima

Ankit Shukla, koji je radio u Google-u i Meti i predavao upravljanje proizvodima više od 2500 studenata, napisao je ovaj vodič da popuni prazninu u tome kako timovi pristupaju razvoju AI proizvoda: većina materijala objašnjava šta LLM-ovi mogu, ali malo ko objašnjava produktne odluke koje dolaze pre i posle.

Vodič pravi razliku koja je važna za određivanje obima: AI-nativni proizvodi (ChatGPT, Cursor) postavljaju LLM u centar interakcije, dok AI-prošireni proizvodi (Notion AI) slažu ga na postojeći tok rada. Pristup izgradnji svakog od njih je različit, a timovi koji oba tipa tretiraju kao istu kategoriju često završe sa funkcijama koje ne odgovaraju načinu na koji korisnici zaista rade.

Vodič je strukturiran kao šest uzastopnih oblasti. Istraživanje pita da li problem uopšte opravdava korišćenje LLM-a i kako identifikovati zadatke gde AI smisleno menja ishod za korisnike. Odeljak o osnovnoj tehnologiji objašnjava kako LLM-ovi generišu rezultate i gde obično greše — na nivou koji PM treba za donošenje arhitektonskih odluka bez poznavanja mašinskog učenja. Komplet alata programera razmatra prompt engineering, RAG i fine-tuning, sa smernicama o tome koji pristup odgovara datim ograničenjima troškova i tačnosti.

Odeljak o agentima je posebno detaljan. Shukla uvodi formulu za razmišljanje o akumulaciji grešaka u višekoračnim sistemima: deset uzastopnih operacija, svaka sa tačnošću od 95%, daje ukupnu stopu uspeha ispod 60%. Ovo je praktičan argument za projektovanje sistema sa kontrolnim tačkama, a ne za pretpostavku da će dugi lanci izdržati.

Dva okvira se ističu u odeljku o ekonomici i evaluaciji. Human-in-the-Loop Matrix mapira uloge i poverenje da odredi kada AI output može ići direktno korisnicima, kada zahteva pregled, a kada ljudi treba da deluju prvi bez obzira na poverenje modela. Cost Optimization Hierarchy nudi rangiranu sekvencu — popraviti promptove, preći na jeftinije modele, dodati keširanje, skratiti kontekst, grupirati zahteve — pre ulaganja u promene infrastrukture.

Tokom celog vodiča koriste se specifični proizvodi kao ilustracije: Granolov pristup beleškama sa sastanaka, Cursorovo indeksiranje kodobaze za višeagentnu koordinaciju i Harvey-ev pravni AI. Ovi primeri se koriste za ilustraciju principa, a ne za veličanje kompanija.

Vodič je najkorisniji za PM-ove kojima je poverena odgovornost za AI funkciju ili proizvod i kojima treba strukturisan način razmišljanja o odlukama između “trebalo bi da koristimo AI” i “lansirali smo nešto što korisnici žele”.