QA, Testing & Observability
Kvalita je proces. Ne sprint na konci.
AI testujeme jako systém: přesnost, robustnost, bezpečnost, regresní chování. Observability říká PROČ, ne jen ŽE.
Test Automation
Unit, integration, e2e testy. CI pipeline běží při každém commitu. Automatizovaná regrese za minuty.
Observability Stack
Metriky, logy, traces. Grafana, Prometheus, Loki, Jaeger. Vidíte co se děje a proč.
AI Evaluations
Precision, recall, safety scoring. LLM evaluace, drift detection, A/B testing modelů.
Performance & Load Testing
k6, Gatling, JMeter. Víte kolik systém zvládne dřív, než to zjistí zákazníci.
Incident Response
Runbooky, on-call procesy, post-mortem bez blame. Stejné chyby se neopakují.
Quality Gates
Automatické quality checks v CI/CD. Deploy se zastaví, když kvalita nesplňuje standard.
Observability vs Monitoring
Monitoring říká, ŽE je problém. Observability říká PROČ. Observability je schopnost vidět, co se v systému děje — z logů, metrik a trasování.
- ✓ Tři pilíře: metriky, logy, traces
- ✓ SLO/SLI definované pro kritické služby
- ✓ Alerting na symptomy, ne na příčiny
- ✓ Runbooky pro top 10 incidentů
Kdy je čas řešit kvalitu¶
Typické situace¶
- Testy jen manuální — QA proklikává před každým releasem. Regrese se odhalí v produkci.
- Produkce je black box — Když spadne, hledáme hodiny. Logujeme, ale nevíme co hledat.
- AI v produkci bez evals — Model běží, ale nevíme jestli degraduje.
- Post-mortem = blame game — Hledání viníka místo příčiny. Stejné chyby se opakují.
Quality Lifecycle¶
Kvalitu budujeme jako kontinuální proces:
- Quality Assessment — Kde jsme dnes? Audit testů, observability, incident procesů.
- Strategie & Tooling — Co testovat, jak, čím. Quality metriky a SLO/SLI.
- Implementace — Test automation, observability stack, runbooky. Hands-on delivery.
- Integrace do CI/CD — Quality gates v pipeline. Automatické checks.
- Kontinuální učení — Post-mortemy, trend analýza, process improvement.
Stack¶
Jest, Cypress, Playwright, k6, Gatling, OpenTelemetry, Grafana, Prometheus, Loki, Jaeger, Elasticsearch, Kibana, Datadog, PagerDuty, OpsGenie, SonarQube, pytest, LangSmith, Ragas.
Časté otázky
Začněte tam, kde to nejvíc bolí. Identifikujte kritické business flows a napište e2e testy. Pak přidejte integrační testy pro API. Nemusíte mít 100% coverage od prvního dne.
Počáteční investice je vyšší, ale ROI se vrátí za 3-6 měsíců. Manuální QA tým, který proklikává regresní testy, stojí víc a je pomalejší.
Systematické měření kvality AI modelu — precision, recall, safety. Detekce degradace v čase. Bez evals nevíte, jestli váš agent funguje lépe nebo hůře než minulý týden.
Základní monitoring s alertingem za 2-4 týdny. Plný observability stack (metriky + logy + traces + dashboardy) za 6-8 týdnů.