Dizajniranje, vođenje i čitanje testa product pagea
Stručno: s izvorima i brojkama. Jednostavno: isto, bez njih, za početnike.
Jedan postupak, dvije platforme, s razlikama istaknutima ondje gdje ujedaju.
Kad ovo radite
Kreativna promjena dovoljno velika da bude bitna i dovoljno neizvjesna da je vrijedno mjeriti. I imate dovoljno prometa da je otkrijete.
Kad ne: učinci premali za vaš volumen, odluke koje ne mogu čekati, ili bilo što što alati ne mogu testirati (50-06). Napravite promjenu na temelju prosudbe i recite da ste to napravili.
Što trebate prije početka
- Hipotezu s mehanizmom, zapisanu
- Jednu varijablu
- Kalendar izdanja za razdoblje testa
- Dogovor o metrici uspjeha i minimalnom učinku vrijednom lansiranja
- Potvrdu da nijedan drugi test ne radi na istoj površini
Koraci
1. Zapišite hipotezu i predviđanje
Mehanizam, smjer, grubu veličinu. Zapisano prije nego test počne (50-03).
2. Provjerite kalendar
A Apple napominje da izdavanje nove verzije aplikacije tijekom testa može utjecati na rezultate ako sadrži testiranu imovinu ili metadata (Create a test, provjereno 2026-09-18). Provjerite izdanja, kampanje i sezonske vrhunce.
3. Postavite test
iOS: A do tri tretmana ikone, screenshotova i previewa; maksimalno 90 dana ili ručni prekid; udio prometa podijeljen među tretmanima. Appleov primjer, tri tretmana po 30% prikazuju svaki na 10% ukupnog prometa; sve podržane lokalizacije uključene su po zadanome, a korisnik kojem je prikazana isključena lokalizacija nije dio testa. Isti izvor.
Play: A do 2 varijante; jedan zadani eksperiment s grafikom ili do pet lokaliziranih istovremeno; lokalizirani eksperimenti mogu uključivati opise; postotak publike jednako podijeljen kroz varijante; automatski prekid nakon 6 mjeseci. Postavljate razinu pouzdanosti i minimalni otkrivi učinak, i birate ciljnu metriku, klikovi na instalaciju, klikovi na otvaranje ili klikovi na pre-registraciju. (Run A/B tests, provjereno 2026-09-18)
Dva tretmana su obično pošten izbor na iOS-u. A Apple navodi da više tretmana može trebati dulje da se zaključi.
4. Zapišite pravilo prekida
Metrika uspjeha, minimalni učinak vrijedan djelovanja, razina pouzdanosti, i datum ili volumen prometa pri kojem prekidate. Prije nego test počne. Praćenje i prekidanje kad izgleda dobro proizvodi lažne pobjednike.
5. Ostavite ga na miru
Ne čitajte ga svaki dan. Ne prekidajte rano jer izgleda dobro. Ne dodajte varijantu.
6. Pročitajte ga u točki prekida
Izvijestite o intervalu, ne samo o točkastoj procjeni. “+8%” koje se proteže od −1% do +17% je u skladu s nepostojanjem učinka (50-04).
Na Playu zapamtite da je metrika od srpnja 2026. temeljena na klikovima. Klik na Instaliraj nije instalacija, a rezultati s bilo koje strane te promjene nisu usporedivi (CONFLICT-013).
7. Zabilježite rezultat, uključujući ništavan rezultat
Ništavan rezultat kaže da poluga ne pomiče metriku pri vašem prometu. To je nalaz. Zabilježite ga na istom mjestu kao i pobjede.
Kako izgleda “gotovo”
- Hipoteza i predviđanje zapisani prije početka
- Jedna varijabla
- Pravilo prekida zapisano unaprijed
- Rezultat zabilježen s intervalom, trajanjem, udjelom prometa i uključenim lokalizacijama
- Zaključak navodi što ne dopušta: druga tržišta, drugu platformu, plaćeni promet
- Ništavni rezultati zabilježeni kao rezultati
Uobičajene greške
Nema pravila prekida. Najštetnija greška.
Dvije varijable. Pobjednik bez objašnjenja.
Tri tretmana na tankom prometu. Apple na to upozorava.
Izdanje usred testa. Apple upozorava i na to.
Ponavljanje ništavnog rezultata dok ne pobijedi. Proizvodi lažne pozitivne rezultate.
Generaliziranje pobjede s jednog tržišta. Testirali ste ono što ste uključili.
Čitanje pobjede u klikovima na Playu kao pobjede u instalacijama.
Ukratko
Svaka činjenica s ove stranice u jednom retku, s oznakom dokaza, izvorom i datumom provjere, 6 A. Generirano iz registra tvrdnji, pa ne može odstupiti od teksta iznad. Retci su na engleskom namjerno. To su formulacije Applea i Googlea, a oznaka dokaza visi upravo o njima.
Kad ovo radite
Promjena izloga dovoljno velika da bude bitna, dovoljno nesigurna da je vrijedno mjeriti, i imate dovoljno prolaznika da se otkrije stvarna razlika.
Kad ne: učinak premalen da bi ga vaš promet ikad mogao otkriti, odluka koja ne može čekati pravi odgovor, ili bilo što što ugrađeni alati jednostavno ne mogu testirati. Umjesto toga odlučite prosudbom, i jasno recite da ste to napravili.
Što vam treba prije početka
- Pisana pretpostavka, s razlogom iza nje, ne samo osjećaj
- Jedna jedina stvar koja se mijenja, i samo jedna
- Vaš raspored preuređenja za razdoblje koliko test traje
- Dogovor što se stvarno računa kao uspjeh, i najmanji rezultat vrijedan djelovanja
- Potvrda da se ništa drugo već ne testira na istom izlogu
Što stvarno napraviti
Prvo, zapišite svoju pretpostavku i predviđanje. Razlog zašto mislite da će upaliti, u kojem smjeru, i otprilike koliko velik učinak. Zapišite to prije nego test počne, ne nakon što ste već vidjeli kako ide.
Onda provjerite kalendar. Apple sam upozorava da preuređenje koje sleti usred testa može poremetiti rezultat, ako dira bilo što što se testira. Provjerite preuređenja, kampanje i bilo što sezonsko što bi moglo sletjeti u isti period.
Onda ga pravilno postavite. Na Appleovoj strani, možete probati šačicu alternativnih postava izloga odjednom, koje traju do postavljenog maksimuma ili dok ih ručno ne zaustavite, a posjetitelji su podijeljeni po tome što probate. Svaka zemlja koju podržavate uključena je po zadanome, a kupac kojem je pokazana zemlja koju ste namjerno isključili nikad zapravo nije bio u testu.
Dvije alternative odjednom obično je razuman izbor na Appleovoj strani. Apple sam kaže da isprobavanje više njih traje dulje do konačnog zaključka.
Na Googleovoj strani, možete probati manju šačicu alternativa odjednom, bilo jednu opću verziju ili nekoliko verzija usmjerenih na pojedine zemlje koje idu zajedno, a verzije usmjerene na zemlju mogu uključivati i vaš letak. Posjetitelji su ravnomjerno podijeljeni po onome što probate, postoji ugrađeno maksimalno trajanje, i sami birate razinu pouzdanosti, najmanji učinak vrijedan hvatanja, i točno što mjerite, ulazak, otvaranje vrata, ili prijavu unaprijed.
Onda zapišite svoje pravilo zaustavljanja, prije nego krene. Što mjerite, najmanji rezultat vrijedan djelovanja, koliko pouzdani trebate biti, i datum ili količinu prometa pri kojoj prestajete gledati. Uvijek prije nego počne. Svakodnevno gledanje i zaustavljanje čim izgleda dobro je kako se proizvede pobjednik koji nije stvaran.
Onda ga pustite na miru. Ne provjeravajte svaki dan. Ne zaustavljajte rano jer izgleda dobro. Ne dodajte drugu alternativu usred puta.
Onda ga pravilno pročitajte, tek kad zaista stigne do vaše točke zaustavljanja. Prijavite iskren raspon u kojem rezultat vjerojatno stoji, ne samo jednu naslovnu brojku. Rezultat koji izgleda kao čvrsta pobjeda, a čiji se iskren raspon proteže od stvarnog gubitka do velike pobjede, zapravo je isto što i nikakav rezultat.
Na Googleovoj strani, upamtite da se ono što se broji promijenilo. Od sredine prošle godine, glavna brojka ondje su posjeti, ne dovršeni ulasci. Posjet nije isto što i dovršen ulazak, a rezultati s dvije strane te promjene ne mogu se međusobno uspoređivati.
Onda zapišite rezultat, uključujući ravan, dosadan. Ravan rezultat govori da ta poluga zapravo ne pomiče ovu brojku pri vašoj trenutnoj razini prometa. To je stvaran nalaz. Zapišite ga na isto mjesto kao pobjede.
Što "gotovo" izgleda
- Pretpostavka i predviđanje zapisani prije nego je test počeo
- Samo jedna stvar promijenjena
- Pravilo zaustavljanja zapisano unaprijed
- Rezultat zabilježen s iskrenim rasponom, koliko dugo je trajao, koliko je prometa vidio, i koje su zemlje bile uključene
- Zaključak jasno kaže što ne dopušta, druge zemlje, drugi centar, plaćeni promet
- Ravni rezultati zapisani kao rezultati
Što obično ide po zlu
Nikakvo pravilo zaustavljanja zapisano prvo. Najštetnija greška na cijelom ovom popisu.
Mijenjanje dvije stvari odjednom. Pobjednik bez pravog objašnjenja iza sebe.
Isprobavanje previše alternativa na premalo prometa. Apple upozorava baš na ovo.
Preuređenje koje sleti usred testa. Apple upozorava i na ovo.
Ponovno pokretanje ravnog rezultata iznova i iznova dok konačno ne izgleda kao pobjeda. Proizvodi rezultate koji nisu stvarni.
Pretpostavka da pobjeda u jednoj zemlji vrijedi svugdje. Testirali ste točno ono što ste uključili, i ništa izvan toga.
Čitanje Googleove pobjede na posjetima kao da je pobjeda na dovršenim ulascima.