Mit der Kappa-Architektur bedienst du Echtzeit-Anwendungen und Analytics aus einem einzigen Datenstrom, statt zwei getrennte Pipelines zu pflegen.
In diesem Beitrag zeigen wir dir, wie das Prinzip funktioniert, worin es sich von der Lambda-Architektur unterscheidet und mit welchem Stack du Kappa heute umsetzt: von Apache Kafka über Apache Flink bis zu offenen Tabellenformaten für dein Data Warehouse.
Pipelines in Form von ETL und ELT gehören im Data Engineering längst zum Alltag. Dabei entsteht Datenintegration in vielen Varianten: mit Low-Code-Plattformen wie Qlik Talend, mit eigenem Python-Code oder mit Microservices in Java. Die Pipelines laufen zum Beispiel alle paar Stunden oder Minuten, oder sie werden über einen Webhook ausgelöst. Damit bleibst du allerdings in der Welt der Batches, und das ist völlig in Ordnung, wenn die Anforderung oder die Quelle es so vorgibt.
Auf der anderen Seite gibt es jedoch Quellen, die Daten eventbasiert bereitstellen, und Ziele, die sie in Echtzeit oder nahezu in Echtzeit brauchen. Oft hast du außerdem beides gleichzeitig. Deshalb stellt sich die Frage: Wie bringst du diese beiden Integrationsformen zusammen, ohne zwei Welten parallel zu betreiben?
Die Antwort: mit einer Kappa-Architektur.
Die Kappa-Architektur geht auf Jay Kreps zurück, einen der Erfinder von Apache Kafka, der sie 2014 als Gegenentwurf zur Lambda-Architektur beschrieben hat. Der Kerngedanke: Echtzeit- und Batch-Anforderungen werden mit nur einem Technologie-Stack bedient. Entscheidend ist die Real-Time-Schicht. Sie beliefert zwei Ziele unabhängig voneinander: Echtzeit-Abnehmer wie Stream-Processing-Anwendungen oder Microservices und einen dauerhaften Speicher für analytische Zwecke, etwa ein Data Warehouse oder Lakehouse.
Muss eine Auswertung neu berechnet werden, spielst du die Ereignisse einfach erneut aus dem Log ab, statt eine separate Batch-Strecke zu pflegen.
Die Vorteile auf einen Blick:
Die Lambda-Architektur verdoppelt hingegen die Integrationsschichten: Neben der Real-Time-Schicht gibt es nämlich eine separate Batch-Schicht. Im Zweifel pflegst du daher zwei Codebasen, zwei Technologien und zwei Infrastrukturen. Außerdem musst du dafür sorgen, dass beide Datenflüsse dieselben Ergebnisse liefern.
| Kriterium | Lambda-Architektur | Kappa-Architektur |
|---|---|---|
| Verarbeitungsschichten | Batch- und Speed-Layer parallel | eine Streaming-Schicht |
| Code und Betrieb | zwei Codepfade, zwei Infrastrukturen | ein Codepfad, eine Infrastruktur |
| Konsistenz | Abgleich zwischen Batch und Real-Time nötig | eine Quelle der Wahrheit |
| Neuberechnung | über den Batch-Layer | durch erneutes Abspielen des Event-Logs |
| Geeignet für | sehr große historische Neuberechnungen, gewachsene Batch-Landschaften | eventgetriebene Prozesse, Echtzeit plus Analytics |
Das Herz jeder Kappa-Architektur ist ein Event-Log. In der Praxis ist das fast immer Apache Kafka, der De-facto-Standard für Data Event Streaming. Seit Kafka 4.0 läuft Kafka vollständig ohne ZooKeeper im KRaft-Modus, was Betrieb und Skalierung deutlich vereinfacht.
Den Betrieb kannst du selbst übernehmen oder an eine verwaltete Plattform wie Confluent abgeben. Gerade beim Einstieg spart das viel Aufwand für Infrastruktur, Skalierung und Sicherheit.
Am 17. März 2026 hat IBM die Übernahme von Confluent abgeschlossen. Dabei will IBM die Streaming-Plattform mit eigenen Produkten wie watsonx.data, MQ und webMethods verbinden, um so Echtzeitdaten für KI-Anwendungen bereitzustellen.
Für deine Architektur ändert sich am Prinzip jedoch nichts: Apache Kafka bleibt ein offenes Projekt der Apache Software Foundation, und eine Kappa-Architektur bleibt deshalb unabhängig vom Anbieter umsetzbar. Was die Übernahme für Bestandskunden konkret bedeutet, haben wir in unserem Beitrag Confluent ist Teil von IBM zusammengefasst.
Stell dir ein ERP-System vor, in dem Aufträge, Lieferungen und Rechnungen verwaltet werden, teils von vielen Anwendern, teils automatisiert. Diese Daten sollen dem Kunden im Webshop für das Ordertracking schnell angezeigt werden. Gleichzeitig sollen dieselben Daten für Auswertungen im Data Warehouse bereitstehen.
Mit Kappa schließt sich hier der Kreis:
Eine Technologie bedient so zwei Abnehmer, ohne dass einer vom anderen abhängt: konforme, aufbereitete Daten für den Webshop und quellnahe Rohdaten für das Data Warehouse.
Kappa ist allerdings kein Allheilmittel. Prüfe deshalb vor der Entscheidung vor allem diese Punkte:
In vielen Unternehmen entsteht deshalb eine Mischform: Kappa für eventgetriebene Prozesse und klassische Batch-Integration für den Rest.
Ein pragmatischer Einstieg gelingt in wenigen Schritten:
Mit der Kappa-Architektur bedienst du Echtzeit-Anwendungen und Analytics aus einem Datenstrom, ohne zwei Welten parallel zu pflegen. Real-Time und Analytics sind damit in einer Schicht vereint. Mit Kafka im KRaft-Modus, Flink für die Verarbeitung und offenen Tabellenformaten für das Data Warehouse ist der Stack heute außerdem reifer und einfacher zu betreiben als noch vor wenigen Jahren. Wenn du prüfen möchtest, ob Kappa zu deiner Landschaft passt, sprich uns gern an. Mehr zu unserer Beratung für Apache Kafka und Confluent findest du auf unserer Themenseite.
Autor: Sven Landmann
Hinweis: Dieser Beitrag wurde mit Unterstützung von KI erstellt oder überarbeitet. Inhalte, Struktur und fachliche Bewertung stammen aus der Projektpraxis von cimt; redaktionelle Prüfung und Freigabe erfolgen durch die Autorinnen und Autoren.
Du planst eine Kappa-Architektur oder willst Echtzeitdaten in dein Data Warehouse bringen? Wir begleiten dich von der Architektur über die Kafka-Plattform bis zum Betrieb.
Zwei Teams bauen dieselben Daten zweimal – nur weil Fachbereiche unterschiedliche Begriffe nutzen. Wie fehlende Datentransparenz schnell 50.000 € kostet und ein Data Catalog das verhindert.
IBM hat die Übernahme von Confluent abgeschlossen. cimt war bis zur Übernahme offizieller Confluent-Partner und unterstützt Unternehmen weiterhin bei Konzeption, Aufbau, Optimierung und Betrieb von Confluent und Apache Kafka.
Wie Claude Code als agentische Engineering-Schicht neben Talend Bugfixing, Testdaten und Dokumentation in ETL-Projekten strukturierter, schneller und nachvollziehbarer macht – mit klaren Leitplanken.
Sie sehen gerade einen Platzhalterinhalt von Facebook. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen
