Kafka Connect — Systemintegration ohne Code

Kafka Connect ist ein Framework zur Integration von Kafka mit externen Systemen ohne Code. Source-Konnektoren lesen Daten in Kafka, Sink-Konnektoren schreiben aus Kafka – Hunderte fertige Konnektoren.

Kafka Connect Architektur¶

Connect laeuft als Worker-Cluster, der Konnektoren verwaltet. Zwei Typen:

• Source Connector – liest aus einem externen System in ein Kafka-Topic
• Sink Connector – schreibt aus einem Kafka-Topic in ein externes System

Source Connector – PostgreSQL nach Kafka¶

{
  "name": "postgres-source",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "postgres",
    "database.dbname": "app",
    "topic.prefix": "cdc",
    "table.include.list": "public.orders"
  }
}

Sink Connector – Kafka nach S3¶

{
  "name": "s3-sink",
  "config": {
    "connector.class": "io.confluent.connect.s3.S3SinkConnector",
    "topics": "orders",
    "s3.bucket.name": "data-lake",
    "s3.region": "eu-central-1",
    "format.class": "io.confluent.connect.s3.format.parquet.ParquetFormat",
    "flush.size": 10000,
    "rotate.interval.ms": 3600000
  }
}

Transformationen (SMT)¶

• Single Message Transforms – einfache Transformationen ohne Code
• Felder umbenennen, Maskierung, Filterung, Routing

Zusammenfassung¶

Kafka Connect ist der einfachste Weg, Kafka mit externen Systemen zu integrieren. Hunderte Konnektoren ohne Code.