Kako sprovesti MaxDiff istraživanje: prioritetizacija fičera kroz best-worst skaliranje

Šta je MaxDiff?

MaxDiff (Maximum Difference Scaling, poznat i kao Best-Worst Scaling) je kvantitativna anketna metoda za rangiranje liste stavki prema relativnoj važnosti, preferenciji ili privlačnosti. Umesto da se od ispitanika traži da svaku stavku oceni na petostepenoj skali — što daje plitke podatke u kojima sve izgleda „važno” — MaxDiff prikazuje male skupove od 3 do 5 stavki i tera ispitanika da izabere najbolju i najgoru iz svakog skupa. Ponavljanjem ovog poređenja kroz različite kombinacije, metoda daje potpuno rangiranu listu sa numeričkim ocenama koje pokazuju koliko je svaka stavka važnija od sledeće, bez kulturnih i ličnih iskrivljenja koja kvare obične skale ocenjivanja. MaxDiff je standardni alat za prioritetizaciju fičera, testiranje poruka, otkrivanje vrednosnih drajvera i svaku situaciju u kojoj timu treba da zna šta korisnicima najviše znači kada moraju da biraju.

Na koje pitanje odgovara?

Koje od ovih fičera, izjava ili vrednosnih predloga korisnicima najviše znače kada ne mogu da izaberu sve?
Koliko je stavka A važnija od stavke B — ne samo da li jedna ide više, već i veličina razlike?
Koje fičere treba ubaciti u MVP, a koje izbaciti bez velikog bola?
Koja marketing poruka najjače rezonuje s ciljnom publikom, a koja pada?
Da li različiti segmenti korisnika prioritizuju različito, i gde su najveća razilaženja?
Koje bolne tačke imaju najveći negativni uticaj na korisnike, a koje su pozadinski šum?

Kada koristiti MaxDiff

Kada tim mora da prioritetizuje listu od 10–30 fičera, drajvera vrednosti, poruka ili bolnih tačaka, ali ne može sve da testira kroz usability ili A/B test.
Kada su ranije ankete s rejting skalama dale plitak rezultat — sve stavke ocenjene 4 ili 5 od 5 — i tim još uvek ne zna šta je najvažnije.
Kada se stejkholderi ne slažu oko prioriteta i odluci trebaju kvantitativni dokazi umesto mišljenja.
Kada treba uporediti prioritete kroz segmente korisnika jednim instrumentom koji daje stabilne uporedive ocene po segmentu.
Kada odluke o ceni ili pakovanju zavise od razumevanja koje fičere donose najviše percipirane vrednosti.
Kada dizajn tim mora da izabere 3–5 poruka za testiranje u tekstu ili oglasima iz liste od 15 kandidata.

Nije pravi izbor kada je lista kraća od 8 stavki — tada je obično rang-order pitanje brže. MaxDiff takođe ne objašnjava zašto korisnici preferiraju nešto, pa ga treba uparivati s kvalitativnim istraživanjem. Konačno, MaxDiff ocene su relativne, a ne apsolutne — metoda kaže koja je stavka najpoželjnija u testiranoj listi, ali ne kaže da li sama lista sadrži dobre opcije.

Šta dobijate (artefakti)

Rangirana lista svih stavki s numeričkim ocenama, obično na skali od -100 do +100.
Vizuelni grafikon koji prikazuje ocenu svake stavke i razlike među njima.
Segmentirane tabele ocena: ista lista zasebno za svaki segment.
Simulacija udela preferencije: model koji pokazuje koji procenat korisnika bi izabrao svaku stavku.
Top-3 i Top-5 reach metrike koje dopunjuju prosečnu ocenu podacima o dohvatu.
Pisani izveštaj koji povezuje ocene s produktnim odlukama: koje fičere graditi, sećati ili odložiti.

Učesnici i trajanje

Učesnici: 100 minimum za jedan segment, 200+ za stabilno rangiranje, 100–200 po segmentu za poređenje podgrupa.
Dužina ankete: 10–20 skupova po ispitaniku, 3–5 stavki po skupu. Ispitanik završava MaxDiff blok za 5–10 minuta.
Veličina liste: 8–30 stavki po istraživanju.
Postavka: 1–3 dana za dizajn liste i konfiguraciju alata.
Polje: 1–2 nedelje za prikupljanje podataka.
Analiza i izveštaj: 2–5 dana.

Kako sprovesti MaxDiff (korak po korak)

1. Definišite odluku na koju će istraživanje uticati

MaxDiff je skupo pokrenuti ako rezultat neće promeniti odluku. Zapišite šta će tim uraditi drugačije zavisno od ishoda — „ako fičeri A i B uđu u top 5, gradićemo ih u Q2; ako odu u donjih 10, izbacujemo ih iz roadmape”. Time se istraživanje čini korisnim i izbegava se zamka „pokretanja MaxDiff-a da se vidi šta je zanimljivo”.

2. Napravite listu stavki

Sastavite 8–30 stavki za testiranje — fičeri, poruke, bolne tačke, vrednosni predlozi, izjave. Svaka stavka mora biti uzajamno isključiva (bez preklapanja), samostalna (razumljiva bez dodatnog konteksta) i napisana u sličnoj dužini i stilu kako format ne bi pristrasio ispitanike. Izbegavajte stavke koje su tačne suprotnosti jedna drugoj. Pilotirajte listu s 5 internih korisnika i uklonite sve što ih zbunjuje.

3. Konfigurišite anketu

Koristite alat koji podržava MaxDiff (Conjointly, Sawtooth Lighthouse Studio, Qualtrics, Displayr, OpinionX, SurveyMonkey, Pollfish). Postavite broj stavki po skupu (obično 4) i broj skupova po ispitaniku po formuli r·x / n·p = s, gde je r ciljna pouzdanost od 200 pojavljivanja po stavci, x broj stavki, n stavki po skupu i p očekivana veličina uzorka. Zaokružite naviše. Za većinu studija to izlazi na 10–20 skupova po ispitaniku.

4. Napišite jasan uvod za ispitanike

Objasnite da će se iste stavke pojavljivati ponovo u različitim kombinacijama i da je to namerno. Bez ovog upozorenja ispitanici vide stavku tri puta i pretpostavljaju da je anketa pokvarena, pa ili odustaju ili klikću nasumično. 2–3 rečenice pre prvog skupa rešavaju ovo i čuvaju kvalitet podataka.

5. Regrutujte i prikupite podatke

Regrutujte kroz uobičajeni kanal (panel provider, mejling listu klijenata, in-app intercept, Prolific, UserInterviews). Uskladite uzorak s populacijom na koju odluka utiče — regrutovanje plaćenih klijenata kada je pitanje o aktivaciji novih korisnika daje obmanjujuće rezultate. Polje 1–2 nedelje uz svakodnevni nadzor kvaliteta.

6. Pokrenite analizu

Moderni alati računaju ocene automatski, ili jednostavnom formulom (best − worst) / appearances ili sofisticiranijim Hierarchical Bayes (HB) modelom. HB daje individualne ocene po ispitaniku i omogućava segmentaciju i simulaciju izbora; jednostavna formula daje populacijske proseke koji se lakše objašnjavaju. Za studije ispod 200 ispitanika obično je dovoljna jednostavna formula. Za 500+ sa segmentacijom — HB.

7. Čitajte ocene na tri načina

Pogledajte prosečnu ocenu (ukupni rang), top-3 reach (procenat ispitanika koji su stavili stavku u svoj lični top 3) i razlike po segmentima. Sama prosečna ocena krije važne nijanse — stavka s umerenom prosečnom ocenom može biti voljena u jednom segmentu i ignorisana u svim ostalim.

8. Uporedite s pragom slučajnosti

Izračunajte prag slučajnosti deljenjem 100% sa brojem stavki. Stavke značajno iznad ovog praga su jasni pobednici; stavke značajno ispod su jasni gubitnici; stavke oko praga statistički su nerazlučive od slučajnosti i treba ih izveštavati kao „nema jasne preferencije” umesto rangirati.

9. Izveštaj i odluka

Napišite kratak izveštaj koji povezuje svaki nalaz s odlukom koju je tim odredio u koraku 1. Krenite od stavki koje treba graditi, sećati ili odložiti. Uključite grafikon ocena, razlike po segmentima i zonu „nema signala”. Stejkholderi čitaju samo prvu stranu — pišite gusto.

Kako AI menja ovu metodu

AI compatibility: partial — AI je u stanju da dizajnira listu stavki, izračuna ocene, segmentira ispitanike i napiše izveštaj. Ne može da zameni ljudske ispitanike čije preferencije su čitava poenta metode. Sintetski ispitanici (LLM-generisani odgovori) više puta su pokazali da ne uspevaju da predvide stvarne ljudske izbore u MaxDiff studijama. Koristite AI da ubrzate workflow oko ljudskih podataka, ne da ih zamenite.

Šta AI može da uradi

Generisanje početne liste: LLM uzima opis produkta i daje 30 kandidata fičera, vrednosnih predloga ili bolnih tačaka. Istraživač zatim seče i edituje listu umesto da kreće od prazne stranice.
Pilotiranje liste: model čita kandidate i označava preklapanja, suprotnosti, neusklađenosti formata i nejasne formulacije pre nego što ijedan ispitanik vidi anketu.
Računanje ocena i Hierarchical Bayes: open-source biblioteke (R choicetools, Python pymc) i komercijalni alati (Sawtooth, Displayr, Q, Conjointly) automatizuju matematiku.
Segmentni analiza u obimu: AI prolazi istom analizom kroz desetine segmenata i diže na vrh samo one koji se značajno razlikuju od proseka.
Nacrt izveštaja: LLM kome se da tabela ocena, segmentni preseci i kontekst odluke može da napiše prvi nacrt narativnog izveštaja s grupacijom „graditi / sećati / istražiti dalje”.

Šta zahteva istraživača-čoveka

Definisanje odluke: izbor odluke na koju će studija uticati zavisi od konteksta roadmape, ograničenja resursa i politike stejkholdera — van podataka.
Stvarni ljudski ispitanici: sintetski ispitanici sistematski promašuju stvarne ljudske kompromise. Ipsos i drugi su objavili dokaze da LLM-generisani MaxDiff podaci ne odgovaraju ljudskim podacima.
Tumačenje „zašto”: MaxDiff ocene govore šta korisnici preferiraju, ne i zašto. Spajanje ocena s kvalitativnim intervjuima je ljudski posao.
Izbor pravog alata i statističke metode: odluka između prostog skoringa i Hierarchical Bayesa zavisi od veličine studije i potreba segmentacije.
Odbrana rezultata pred stejkholderima: prevođenje „utiliti X je 38, a Y je 12” u roadmap odluku zahteva čitanje sobe i povezivanje podataka s poslovnim ciljevima.

AI-pojačan workflow

Pre AI, MaxDiff studija je bila višednevni napor: intervjui sa stejkholderima za nacrt liste, ručni pregled na preklapanja, konfiguracija ankete, polje, statistička analiza (često outsourced kvant specijalisti) i pisanje izveštaja. Vreme analitičara išlo je uglavnom na sklapanje, ne na uvid.

Sa AI u petlji, analitičar ubaci jednostranicnu opis produkta u ChatGPT i dobije 30 kandidata stavki za nekoliko minuta; vraća ih s pitanjem za preklapanja i nejasnoće; nakon polja eksportuje odgovore u Hierarchical Bayes preko Sawtooth-a ili Displayr-a. Prvi nacrt nalaza generiše LLM, koji analitičar zatim edituje za ton i proverava na tačnost. Ceo workflow se može sažeti s 4 nedelje na 5–7 dana, oslobađajući analitičara za interpretaciju i razgovore sa stejkholderima — onaj deo koji stvarno pomera odluke.

Ono što se ne menja — sami podaci. Sintetski ispitanici — molba LLM-u da „odgovori kao 35-godišnji SaaS power user” — daju podatke koji izgledaju verodostojno, ali ne odgovaraju stvarnim ljudskim MaxDiff rezultatima. Ispitanici moraju biti stvarni ljudi, regrutovani i motivisani kao za bilo koju anketu. AI ubrzava sve oko njih, ali ih ne zamenjuje.

Alati

Anketne platforme s MaxDiff-om: Sawtooth Lighthouse Studio (originalni i najstroži vendor), Qualtrics CoreXM, Displayr (s ugrađenim Hierarchical Bayes-om), Q research software, Conjointly, OpinionX (besplatan plan), SurveyMonkey MaxDiff, Pollfish, SurveyKing.

Statističke biblioteke: R paket choicetools Krisa Čapmana, R bayesm, Python pymc za prilagođene Bayesove modele.

Regrutovanje: Prolific, UserInterviews, Respondent.io, dscout, tradicionalni paneli (Cint, Dynata, Toluna), in-product intercept (Sprig, Maze).

Analiza i vizualizacija: ugrađeni Sawtooth izveštaji, Displayr dashboard-i, Tableau ili Looker, Excel za prostu formulu.

AI pomoć: ChatGPT ili Claude za generisanje liste, otkrivanje preklapanja, interpretaciju rezultata i nacrt izveštaja.

Dobro se kombinuje sa

Survey (Sv): MaxDiff je sam po sebi anketna metoda, ali rangiranje često otvara dodatna pitanja koja zahtevaju otvorene stavke odmah posle MaxDiff bloka.
In-depth Interview (Di): MaxDiff govori šta korisnici preferiraju; intervjui — zašto. Pokretanje 5–8 intervjua nakon ankete pretvara ocene u akcioni uvid.
Concept Testing (Ct): kada MaxDiff identifikuje top 5 fičera, koncept testing pravi brze mockupe i potvrđuje da se predviđena preferencija pojavljuje u stvarnoj interakciji.
Kano Model (Ka): Kano klasifikuje fičere kao osnovne, performance ili delight; MaxDiff ih rangira po relativnoj važnosti. Zajedno odgovaraju i na „da li je ovo očekivano?” i na „šta korisnici žele najviše?”.
Persona Building (Ps): persone opisuju segmente kvalitativno; MaxDiff segmentiran po personi pokazuje kvantitativno koje prioritete se razlikuju po personi.

Primer iz prakse

B2B SaaS za upravljanje projektima imao je backlog od 47 kandidat fičera i budžet roadmape za 8. Produktni tim raspravljao se dva meseca o tome šta graditi, pri čemu je svaki PM branio drugačiji podskup. Šef produkta odlučio je da pokrene MaxDiff studiju da pitanje reši podacima.

Tim je suzio listu na 28 fičera kroz interni pregled, zatim pokrenuo MaxDiff anketu sa 4 fičera po skupu, 13 skupova po ispitaniku i 320 klijenata iz aktivne baze — podeljenih u tri segmenta: solo korisnici, tim lideri i admini naloga sa 10+ korisnika. Hierarchical Bayes skoring je otkrio da top 5 fičera ima utiliti ocene između 42 i 68, dok je donjih 8 fičera grupisano oko nule bez statistički značajne razlike od slučajnosti.

Najvažniji nalaz bio je razilaženje segmenata. Solo korisnici su pre svega želeli poboljšanja ličnog upravljanja zadacima (ocena 71); tim lideri su želeli approval workflows (ocena 64); admini su želeli kontrolu prava korisnika (ocena 58). Ukupni ranking je sve to mešao u obmanjujući „svi žele X”. Tim je odlučio da gradi top stavku iz svakog segmenta (3 fičera), plus 2 fičera koji su ušli u top 7 u sva tri segmenta (zajednički fokus), i izbacio 8 najnižih fičera iz roadmape u potpunosti. Šest meseci kasnije, NPS za tri segmenta porastao je za 12, 9 i 14 poena respektivno, potvrđujući da je segmentirani pristup izabrao pravi posao.

AI prompti za ovaj metod

4 spremnih AI prompta sa placeholderima — kopirajte i popunite svojim kontekstom. Svi prompti za MaxDiff →.