Čeklista za A/B testiranje: pre, tokom i posle eksperimenta
Ova čeklista pokriva celokupan životni ciklus A/B testa — od identifikovanja šta testirati do analize rezultata i dokumentovanja naučenog. Koristite je da ne preskočite kritične korake koji utiču na pouzdanost rezultata.
Pre testa
- Identifikujte stranicu ili funkcionalnost za testiranje na osnovu analitičkih podataka koji ukazuju na problem (visoka stopa napuštanja, niska konverzija, odustajanje u levku)
- Pregledajte kvalitativna istraživanja (testovi upotrebljivosti, ankete, zahtevi podrške) za razumevanje uzroka problema
- Zapišite hipotezu: „Promena [elementa] u [novu verziju] će promeniti [metriku] jer [razlog]”
- Izaberite primarnu metriku koja određuje pobednika
- Izaberite 1-2 zaštitne metrike za detekciju neželjenih posledica
- Izračunajte potrebnu veličinu uzorka koristeći kalkulator (ulazi: bazna vrednost metrike, minimalni detektabilni efekat, 95% značajnost)
- Procenite trajanje testa na osnovu dnevnog saobraćaja i veličine uzorka (minimum 2 nedelje, idealno 4)
- Dizajnirajte i napravite varijantu, menjajući samo jedan element
- Sprovedite QA varijante u Chrome, Safari, Firefox, Edge na desktopu, tabletu i mobilnim uređajima
- Proverite da se praćenje ispravno aktivira za kontrolu i varijantu (proverite događaje u analitici)
- Sprovedite kratak interni pilot (par sati) da potvrdite da prikupljanje podataka funkcioniše
Tokom testa
- Pokrenite test sa planiranom podelom saobraćaja (obično 50/50)
- Odolite iskušenju da proveravate rezultate svakodnevno — postavite datum pregleda na kraj planiranog roka
- Pratite samo tehničke probleme (pokvareni prikaz, neispravno praćenje) tokom testnog perioda
- Zabeležite spoljne faktore koji se pojave tokom testa (promocije, praznici, medijsko pokrivanje, prekidi rada)
- Ako se otkrije kritičan bag u varijanti, pauzirajte test, ispravite, resetujte podatke i ponovo pokrenite
Posle testa
- Potvrdite da je test dostigao i potrebnu veličinu uzorka i minimalno trajanje
- Proverite primarnu metriku: da li je rezultat statistički značajan (p < 0,05 ili >95% Bajesova verovatnoća)?
- Procenite praktičnu značajnost: da li je veličina efekta dovoljno velika da bude značajna za posao?
- Segmentirajte rezultate po uređaju, izvoru saobraćaja, novim naspram povratnih korisnika
- Proverite zaštitne metrike za neplanirane negativne efekte
- Dokumentujte rezultat: hipoteza, šta je promenjeno, veličine uzoraka, stope konverzije, interval poverenja, nalazi po segmentima
- Donesite odluku: primeniti varijantu, zadržati kontrolu ili iterirati sa ponovljenim testom
- Podelite dokumentovani rezultat sa timom (čak i ako je test izgubio — izgubljeni testovi sadrže naučeno)
- Planirajte sledeći test na osnovu naučenog