KI-Testing — Wie man nicht-deterministische Software testet

assert response == expected — funktioniert bei LLMs nicht. Die Antwort ist jedes Mal anders. Wir brauchen ein neues Testing-Paradigma.

Neue Ansätze¶

Property-based Testing: Testen Sie Eigenschaften, nicht exakte Outputs. Metamorphes Testing: Eine kleine Änderung am Input darf die Fakten nicht ändern. LLM-as-Judge: GPT-4 evaluiert anhand einer Rubrik.

Evaluierungs-Pipeline¶

• Golden Dataset: 100+ Paare
• Automatischer Lauf bei jedem PR
• Metriken: Faithfulness, Relevanz, Toxizität
• Regressionserkennung: Alert bei >5 % Abfall

Red Teaming¶

Automatisiertes Adversarial Testing: Prompt Injection, Jailbreak, PII-Leakage. In CI, nicht einmalig.

KI-Testing ist Software-Testing 2.0¶

Property-based Tests + LLM-as-Judge + Evaluierungs-Pipeline = produktionsreif.