Model Serving und A/B-Testing von ML-Modellen in der Produktion

Ein Modell zu trainieren ist die halbe Arbeit. Es in die Produktion zu bringen, die Performance zu überwachen und es sicher zu aktualisieren — das ist die andere, schwierigere Hälfte.

Model Serving auf Kubernetes¶

Seldon Core für die Orchestrierung von Model Serving auf Kubernetes. Inference Graph: Pre-Processing → Modell → Post-Processing. Automatische Skalierung basierend auf der Request-Rate. REST- und gRPC-Endpunkte.

A/B-Testing von ML-Modellen¶

Wir wollen ein neues Modell nicht auf 100 % des Traffics gleichzeitig deployen. Canary Deployment: 5 % des Traffics auf das neue Modell, 95 % auf das bestehende. Wir vergleichen Business-Metriken (Conversion Rate, nicht nur Accuracy). Wenn das neue Modell gewinnt → schrittweiser Rollout.

Model Monitoring¶

Wir überwachen: Prediction Latency, Error Rate, Feature Drift (ändert sich die Verteilung der Eingabedaten?), Prediction Drift (sagt das Modell anders vorher?). Alibi Detect für Drift Detection, Alerting bei Überschreitung von Schwellenwerten.

ML in der Produktion = Continuous Delivery¶

Model Deployment ist ein DevOps-Problem. A/B-Testing, Canary Releases und Monitoring — dieselben Prinzipien wie bei Software.