Čitanje rezultata

Test vam daje broj. Ono što smijete zaključiti iz njega je uže nego što izgleda.

Što pouzdanost zapravo znači

A Google definira razinu pouzdanosti kao “how often the confidence interval provided by the experiment will contain the true performance”. (Run A/B tests on your store listing, provjereno 2026-09-18)

Pročitajte to precizno. To je izjava o intervalu, ne o vašoj varijanti. Razina pouzdanosti od 90% ne znači da postoji 90% šanse da je vaša varijanta bolja. Znači da postupak proizvodi intervale koji sadrže pravu vrijednost 90% vremena.

Dvije posljedice koje se promaše:

Uz pouzdanost od 90%, otprilike jedan od deset testova bez stvarnog učinka izgledat će kao pobjednik. Vodite deset testova na identičnoj kreativi i očekujte otprilike jednog lažnog pobjednika. Vodi li vaš program mnogo testova, neke od vaših pobjeda su šum, zato iznenađujući rezultat vrijedi ponoviti prije nego postane doktrina.

Interval je bitniji od točkaste procjene. “+8%” s intervalom koji se proteže od −1% do +17% nije poboljšanje od 8%. U skladu je s nepostojanjem učinka. Izvještavajte raspon.

Testiranje testa: A/B/B

Jeftina strukturna provjera je li “pobjednik” stvaran. Umjesto kontrole naspram jedne varijante, vodite kontrolu naspram istog tretmana dvaput, dva neovisna uzorka identičnog tretmana.

Dva B kraka bi se trebala poklopiti, jer su ista stvar. Razmimoiđu li se za bilo što blizu margine koju ste namjeravali proglasiti pobjedom, sama podjela proizvodi tu razliku, a vaš izvorni rezultat bio je unutar šuma. Slažu li se i oba nadmaše kontrolu, učinak obavlja stvaran posao.

Cijena je promet vrijedan trećeg kraka i gubitak jednog mjesta za varijantu. Povrat je da pretvara “je li ovaj interval pouzdanosti vjerodostojan?” iz statističkog argumenta u nešto što možete pogledati. Vrijedi potrošiti jednom na platformi ili mješavini prometa na kojoj niste prije testirali, i vrijedi potrošiti ponovno prije bilo kojeg rezultata koji će opravdati skup kreativni rad.

Predložio Simon Thillay na ASO Conference, 2020., i izvještavano u Phitureovoj e-knjizi: dva izvora, jedan neovisan o drugom, zato je ovo ovdje umjesto u unosu sukoba.

“Nema razlike” je rezultat

Test koji ne pronađe značajnu razliku rekao vam je nešto vrijedno znati: stvar koju ste promijenili ne pomiče metriku dovoljno da bude bitno pri vašem prometu.

To je istinski korisno. Znači prestanite tamo ulagati. Znači da sljedeća hipoteza treba biti veća ili drugdje. I znači da vaša postojeća kreativa nije ograničenje.

Timovi tretiraju ništavne rezultate kao propuste i tiho ih ponavljaju s nižom granicom dok nešto ne pobijedi. To pretvara stvaran nalaz u lažan. Bilježite ništavne rezultate kao rezultate, na istom mjestu kao pobjede.

Metrika se promijenila, pa su stare usporedbe pokvarene

A Od srpnja 2026., izvještaji o učinku Play store listinga mjere klikove umjesto akvizicija, s Unique user Install Clicks kao glavnom metrikom. (Understand and grow your app’s user base, provjereno 2026-09-18) A Ciljne metrike eksperimenta su sukladno tome temeljene na klikovima. (Run A/B tests)

Klik na Install nije instalacija. Stope temeljene na klikovima su strukturno više od onih temeljenih na akvizicijama, pa:

Rezultat eksperimenta iz 2025. i onaj iz 2026. nisu usporedivi.
Varijanta koja pobijedi na klikovima na instalaciju nije dokazano da pobjeđuje na instalacijama.
“Naša stopa konverzije se poboljšala” je sad dvosmisleno na Playu ako ne kažete koju metriku mislite.

Vidi CONFLICT-013.

Što pobjeda dopušta a što ne

Dopušta: isporuku varijante, i formiranje hipoteze za sljedeći test.

Ne dopušta:

Generaliziranje na druga tržišta. Osim ako je test pokrivao njih, testirali ste lokalizacije koje ste uključili (50-01).
Generaliziranje na drugu platformu. Drukčiji test, drukčija metrika, drukčija publika (50-02).
Generaliziranje na plaćeni promet. Testovi store listinga mjere promet storea. Korisnici koji dolaze s oglasa imaju drukčiju namjeru, a na iOS-u često slijeću na custom product page koji ne možete testirati (60-01).
Tvrdnju o instalacijama. Rast konverzije na dijelu prometa nije promjena ukupnih instalacija. To zahtijeva rad na atribuciji koji niste napravili (80-05).

Izvještavanje

Navedite: hipotezu, što se promijenilo, metriku, trajanje, udio prometa, uključene lokalizacije, rezultat s njegovim intervalom, i što ste zaključili. Devet redaka, i izdrži provjeru.

Bez trajanja i opsega, izvještavan rast je neopovrgljiv, a neopovrgljivi brojevi su oni koji se vrate za šest mjeseci kao “znamo da screenshotovi vrijede 12%”.

Što ide po zlu

Čitanje pouzdanosti kao vjerojatnosti da je varijanta bolja. To je svojstvo intervala.

Izvještavanje samo točkaste procjene. Skriva interval koji možda prelazi nulu.

Ponavljanje ništavnih rezultata dok jedan ne pobijedi. Proizvodi lažne pozitivne rezultate.

Usporedba preko promjene metrike iz 2026. Različiti događaji.

Generaliziranje pobjede s jednog tržišta. Testirali ste ono što ste uključili.

Nazivanje rasta konverzije dobitkom u instalacijama. Različita tvrdnja, različit dokaz.

Test vam preda broj. Ono na što stvarno imate pravo zaključiti iz njega uže je nego što izgleda na prvi pogled.

Što sigurnost stvarno znači

Jedan centar definira svoju postavku sigurnosti otprilike kao koliko će često raspon koji test daje stvarno sadržavati pravu istinu.

Pročitajte to precizno. To je izjava o samom rasponu, ne o vašoj konkretnoj alternativi. Visoka postavka sigurnosti ne znači da postoji odgovarajuće visoka šansa da je vaša alternativa istinski bolja. Znači da cijela metoda proizvodi raspone koji sadrže pravu istinu toliko često, kroz mnogo upotreba te metode.

Dvije posljedice koje ljudi stalno propuštaju:

Pri prilično visokoj postavci sigurnosti, pravi dio testova bez ikakvog stvarnog učinka svejedno će izgledati kao pobjednik. Vodite hrpu testova na identičnim izlozima i očekujte da neki od njih lažno izgledaju kao pobjednici čisto slučajno. Ako cijeli vaš napor testiranja vodi mnogo testova, neke od vaših "pobjeda" jednostavno su šum, baš zato iznenađujući rezultat vrijedi ponoviti prije nego postane ustaljena doktrina.

Raspon je mnogo bitniji od jednog naslovnog broja. Upadljivo izgledajuće poboljšanje s rasponom koji se proteže od jasno negativnog do snažno pozitivnog uopće nije poboljšanje. Posve je u skladu s time da nema nikakvog stvarnog učinka. Prijavite cijeli raspon, ne samo broj u njegovoj sredini.

Testiranje samog testa

Jeftina, strukturna provjera je li "pobjednik" uopće stvaran. Umjesto vašeg izvornika naspram jedne alternative, vodite vaš izvornik naspram baš iste alternative, dvaput, dva zasebna, neovisna uzorka jedne identične stvari.

Dva identična kraka trebala bi sjesti točno jedan na drugi, jer su istinski ista stvar. Ako se razilaze za bilo što blizu jazu koji ste bili spremni proglasiti pravom pobjedom, sama podjela proizvodi toliku slučajnu varijaciju, a vaš izvorni rezultat sjedio je posve unutar obična šuma. Ako se slažu jedan s drugim i oba istinski nadmaše vaš izvornik, učinak radi pravi posao.

Trošak je u biti prometa vrijedan trećeg kraka, i odricanje od jednog vašeg mjesta za alternativu. Ono što dobijete natrag je pretvaranje "mogu li stvarno vjerovati ovom rasponu?" iz čisto statističkog argumenta u nešto što možete jednostavno pogledati izravno. Vrijedi potrošiti jednom na bilo kojem centru ili mješavini prometa koju niste ranije testirali, i vrijedi ponovno potrošiti prije bilo kojeg rezultata koji je na rubu opravdavanja stvarnog, skupog kreativnog posla.

"Nema stvarne razlike" je i sam pravi rezultat

Test koji ne nađe nikakvu smislenu razliku rekao vam je nešto istinski vrijedno znati: stvar koju ste promijenili ne pomiče broj dovoljno da bude bitna, uz promet koji stvarno imate.

To je istinski korisno. Znači prestanite ondje ulagati trud. Znači da sljedeća ideja treba biti veća, ili usmjerena posve negdje drugdje. I znači da vaš postojeći izlog nije stvar koja vas stvarno koči.

Timovi rutinski tretiraju rezultat "nema razlike" kao neuspjeh i tiho ga ponove s labavijom granicom dok nešto konačno ne pobijedi. To pretvara pravi nalaz u lažan. Zapišite "nema razlike" kao pravi rezultat, točno pored svojih stvarnih pobjeda.

Sama mjera se promijenila, pa su stare usporedbe jednostavno pokvarene

Na jednoj strani centra, izvještavanje o performansama stranice trgovine promijenilo se s mjerenja pravih novih posjetitelja na mjerenje konkretne vrste klika umjesto toga, sad tretirane kao glavni broj.

Klik na instalaciju nije instalacija. Brojevi temeljeni na klikovima strukturno sjede više od brojeva temeljenih na preuzimanju koje su zamijenili, pa:

Rezultat testa od prije te promjene i onaj od poslije jednostavno se ne uspoređuju.
Alternativa koja pobjeđuje na klikovima nije zapravo pokazana da pobjeđuje na stvarnim instalacijama.
Reći "naša konverzija se poboljšala" sad je istinski dvosmisleno na toj strani osim ako kažete točno koji broj mislite.

Što vam pobjeda stvarno dopušta, a što ne

Dopušta vam: isporuku pobjedničke alternative, i formiranje nove radne ideje za sljedeći test.

Ne dopušta vam:

Pretpostavku da vrijedi svugdje. Osim ako je vaš test istinski pokrio svako mjesto, testirali ste samo konkretne jezike natpisa koje ste stvarno uključili.

Pretpostavku da vrijedi na drugom centru. Drugi test, druga mjera, posve druga publika.

Pretpostavku da vrijedi za plaćeni promet. Test izloga mjeri neplaćene, organske posjetitelje. Netko tko dolazi s plaćenog bilborda ima drukčiju namjeru, a na jednoj strani centra često sleti na posebno uređen izlog koji uopće niste mogli testirati.

Tvrdnju o konkretnom broju novih posjetitelja. Poboljšanje konverzije na dijelu vašeg prometa nije isto što i promjena vašeg ukupnog broja posjetitelja. To treba pravi rad na pripisivanju koji vjerojatno još niste napravili.

Ispravno izvještavanje o tome

Jasno navedite: vašu radnu ideju, što se stvarno promijenilo, što ste mjerili, koliko dugo je trajalo, koji udio prometa je uključen, koji jezici natpisa su pokriveni, rezultat s njegovim cijelim rasponom, i što ste stvarno zaključili iz njega. To je kratak popis, i preživi pravu provjeru.

Bez jasno navedenog trajanja i opsega, prijavljeno poboljšanje ne može se stvarno provjeriti ili pobiti, a neopovrgljivi brojevi baš su oni koji se vrate godinama poslije kao ustaljen folklor koji nitko ne može ispratiti do izvora.

Što obično ide po zlu

Čitanje postavke sigurnosti kao vjerojatnosti da je vaša alternativa bolja. To je svojstvo raspona, ne vaše alternative.

Prijavljivanje samo jednog naslovnog broja. Skriva raspon koji možda istinski uključuje nikakav učinak uopće.

Ponovno vođenje rezultata "nema razlike" dok nešto konačno ne pobijedi. Proizvodi lažne pobjednike ni iz čega.

Uspoređivanje rezultata kroz promjenu mjere. Istinski različiti događaji se broje.

Pretpostavka da pobjeda na jednom tržištu vrijedi svugdje. Testirali ste samo ono što ste stvarno uključili.

Nazivanje poboljšanja konverzije porastom stvarnih instalacija. Druga tvrdnja, treba posve drukčiji dokaz.