A/B testing infrastruktura — data-driven rozhodování

„Myslím, že nový design bude lepší.” — to není argument. „Nový design zvýšil konverzi o 12 % s 95% statistickou signifikancí.” — to je.

Feature Flags jako základ¶

LaunchDarkly pro feature flags — zapnout/vypnout funkce pro specifické segmenty uživatelů bez deploymentu. Základ pro A/B testy: skupina A vidí starý design, skupina B nový.

Statistická signifikance¶

Nejčastější chyba: ukončit test příliš brzy. „Po 100 uživatelích máme +20 %!” — to je šum, ne signál. Nastavili jsme minimální sample size kalkulátor a pravidlo: žádný test nekončí pod 1000 uživatelů na variantu.

Bayesian přístup¶

Místo p-hodnot používáme Bayesian inference — „pravděpodobnost, že varianta B je lepší než A, je 96 %”. Intuitivnější pro business stakeholders. Implementace v PyMC3.

Guardrail metriky¶

Každý test sleduje nejen primární metriku (konverze), ale i guardrails — page load time, error rate, user engagement. Zvýšení konverze na úkor rychlosti stránky je Pyrrhovo vítězství.

Data, ne pocity¶

A/B testing mění kulturu rozhodování. Méně „já myslím”, více „data ukazují”.