Batch- und Stream-Processing sind zwei fundamentale Ansaetze. Batch in Stapeln, Stream in Echtzeit. Die richtige Wahl haengt von Latenz und Komplexitaet ab.
Batch vs. Stream¶
Batch Processing¶
- Periodisch – stuendlich, taeglich
- Hoher Durchsatz
- Einfachere Logik
- Werkzeuge: Spark, dbt, Airflow
Stream Processing¶
- Kontinuierlich – Event fuer Event
- Niedrige Latenz
- Komplexer – Windowing, State
- Werkzeuge: Kafka, Flink
Entscheidungskriterien¶
- Latenz <1 Min -> Stream
- Latenz Stunden/Tage -> Batch
- Komplexe Transformationen -> Batch einfacher
- Event-getriebene Aktionen -> Stream
Zusammenfassung¶
Die meisten Organisationen kombinieren beide Ansaetze – Batch fuer Analytik, Stream fuer operative Anwendungsfaelle.
batchstreamarchitecturelatency