KI-Agenten in der Produktion: 5 Lektionen aus dem Bankensektor¶

Einen KI-Agenten in einer Demo-Umgebung bereitzustellen ist einfach. Ihn in einer Bank in die Produktion zu bringen — das ist eine andere Geschichte.

In den letzten 12 Monaten haben wir KI-Agenten für Dokumentenverarbeitung, Kundensupport und internes Wissensmanagement in einer regulierten Umgebung eingesetzt. Hier sind 5 Dinge, die wir gelernt haben.

1. Governance ist kein Nice-to-Have¶

In einer Bank können Sie keinen KI-Agenten ohne Audit Trail freigeben. Jede Aktion muss protokollierbar, reproduzierbar und erklärbar sein.

Was wir gemacht haben: - Jeder Agent hat definierte Berechtigungen (RBAC) - Jede Aktion wird in einem unveränderlichen Audit-Log protokolliert - Kill Switch für sofortiges Abschalten des Agenten

2. Evaluation > Vibes¶

„Sieht gut aus” ist keine Metrik. Wir messen: - Accuracy — Korrektheit der Antworten gegen einen Golden Dataset - Latenz — P50, P95, P99 - Cost per Task — wie viel eine verarbeitete Rechnung kostet

3. RAG braucht eine Chunking-Strategie¶

Schlechtes Chunking = schlechte Antworten. Wir haben 6 verschiedene Strategien getestet und sind bei einem hybriden Ansatz gelandet: Semantic Chunking + Overlap + Metadata Enrichment.

4. Human-in-the-Loop ist ein Feature, kein Bug¶

Der Agent sollte nicht alles entscheiden. Eskalation an einen Menschen bei Edge Cases ist das richtige Design Pattern. Unsere Agenten eskalieren ca. 5 % der Fälle — und das ist in Ordnung.

5. Monitoring ist 50 % der Arbeit¶

Den Agenten bereitzustellen ist die halbe Arbeit. Die andere Hälfte ist Monitoring: Drift Detection, Qualitätsverschlechterung, Kostenspitzen. Wir verwenden ein eigenes Dashboard mit Alerting.

Fazit¶

KI in der Produktion dreht sich nicht um das neueste Modell. Es geht um Governance, Messung und operative Reife. Wenn Sie KI wollen, die Geld verdient, nicht KI, die nur demonstriert — lassen Sie uns sprechen.