„Myslím, že nový design bude lepší.” — to není argument. „Nový design zvýšil konverzi o 12 % s 95% statistickou signifikancí.” — to je.
Feature Flags jako základ¶
LaunchDarkly pro feature flags — zapnout/vypnout funkce pro specifické segmenty uživatelů bez deploymentu. Základ pro A/B testy: skupina A vidí starý design, skupina B nový.
Statistická signifikance¶
Nejčastější chyba: ukončit test příliš brzy. „Po 100 uživatelích máme +20 %!” — to je šum, ne signál. Nastavili jsme minimální sample size kalkulátor a pravidlo: žádný test nekončí pod 1000 uživatelů na variantu.
Bayesian přístup¶
Místo p-hodnot používáme Bayesian inference — „pravděpodobnost, že varianta B je lepší než A, je 96 %”. Intuitivnější pro business stakeholders. Implementace v PyMC3.
Guardrail metriky¶
Každý test sleduje nejen primární metriku (konverze), ale i guardrails — page load time, error rate, user engagement. Zvýšení konverze na úkor rychlosti stránky je Pyrrhovo vítězství.
Data, ne pocity¶
A/B testing mění kulturu rozhodování. Méně „já myslím”, více „data ukazují”.