Veolia Umweltservice GmbH

Erstellung eines Schnittstellenkonzepts

Veolia Umweltservice GmbH

Veolia Umweltservice GmbH
Branche: Abfallentsorgung und Energieversorgung
Firmensitz: Hamburg

Eingesetzte Technologien

Kunde

Die Veolia Umweltservice GmbH verfügt über 160 Jahre Erfahrung in den Bereichen Wasser, Entsorgung und Energie. Die darin gründende Fähigkeit zur Innovation stellt Veolia in den Dienst des Fortschritts und Wohlergehens der Menschheit und der Leistungsfähigkeit von Unternehmen und Regionen.

Bestehende Herausforderung

Über die Jahre wurden bei Veolia eine Reihe Systeme entwickelt und eingesetzt. Diese sind bis heute im Einsatz, um die verschiedenen Geschäfte, die in ganz Deutschland verteilt sind (z. B. Veolia Nord, Veolia Ost, Veolia Süd), und Prozesse, wie die Entsorgung und Verwertung von Sperrmüll, Gewerbeabfall, Papier, Glas und Schrott optimal durchzuführen.

Der Abgleich von Daten zwischen mehreren Systemen stellt immer eine Herausforderung dar. Je nach Art der Daten sind unterschiedliche Systeme führend und die vielen Systeme müssen Daten mehrerer anderer Systeme beziehen, was ineffizient und unübersichtlich ist. Für das Management der Referenz- und Stammdaten wurde daher ein neues Stammdatenmanagementsystem als Single Point of Truth entwickelt, das per GraphQL-API und Web-Frontend diese Daten bereitstellt und ändern lässt.

Lösungskonzept

Das neue Stammdatenmanagementsystem wurde als zentrales System entwickelt, um Daten von Veolia zusammenzuführen. Daraus ergibt sich für die Geschäftsführung eine bessere Aussicht über den gesamten Verlauf des Geschäfts.

Damit das Referenz- und Stammdatenmanagement effektiv genutzt werden kann, müssen neue und bestehende Systeme miteinander integriert werden. Das neue System ist dabei nicht für alle Daten führend, dies kann auch SAP, Salesforce oder die Auftragsverwaltung (AV) sein. Systeme, die nicht führend sind, sollen die Daten hingegen möglichst direkt vom Stammdatenmanagementsystem erhalten.

Wir erklären exemplarisch die Details der Schnittstellen der AV zum Stammdatenmanagementsystem und mit welchen Technologien sie realisiert wurden.

Unsere entwickelte Lösung bietet folgende Vorteile:

Die Automatisierung von Datenupdates zwischen zwei bestehenden Systemen komplett ohne manuelle Handlungen.
Die Umsetzung mit Managed Services in der Cloud, die sehr wenig Aufwand für die Wartung braucht und nahezu vollständig ausfallsicher ist.
Die Daten müssen nicht mehr händisch eingetragen werden und sind komplett transparent für den End-user.
Die verwendeten Technologien zur Entwicklung sind zeitgemäß und bieten flexible Lösungen für aktuelle und allen weiteren Projekten.

Prozessbeschreibung (Beispiel Warenlager)

Der End-user des Fachbereichs erstellt in der AV-Oberfläche ein Warenlager und aktualisiert ein anderes. Ein Talend DI-Job lädt regelmäßig Daten aus der AV Datenbank zur Beladung eines DWH in Google BigQuery. Wenn die Übertragung durch Talend erfolgreich beendet ist, wird ein Log-Eintrag in AWS CloudWatch geschrieben.

CloudWatch (AWS Service) bietet ein Alarmsystem. Dieses kann ausgelöst werden, wenn die vordefinierte Log-Nachricht von Talend auftritt. In diesem Fall sendet der Alarm eine Nachricht an ein AWS SNS-Topic, was diese Nachricht published.

Eine SQS-Queue, die beim SNS-Topic als Subscriber registriert ist, empfängt die Nachricht und startet damit eine Lambda Funktion.

Die Lambda Funktion lädt Daten aus dem Stammdatenmanagementsystem und Daten aus BigQuery, vergleicht diese gegeneinander und entscheidet am Ende, dass ein neues Warenlager erstellt und ein altes im Stammdatenmanagementsystem aktualisiert werden muss.

Dafür werden zwei Nachrichten erzeugt und über eine weitere SQS-Queue an eine zweite Lambda Funktion gesendet. Diese kümmert sich um Übertragung der Daten an die Stammdatenmanagementsystem-API.

Mehrere weitere Schnittstellen sind nach dem gleichen Konzept implementiert worden.

Warum AWS?

Im Rahmen der IT-Strategie des Kunden sollen neue Systeme möglichst wartungsarm und sicher per Cloud betrieben werden. AWS bietet die weltweit größte Cloud-Plattform und ist ein wichtiger Partner für Veolia. cimt verfügt über jahrelange Projekterfahrung mit AWS und anderen Cloud Providern. Wir setzen in diesem Projekt auf AWS Managed Services, bei denen Ausfallsicherheit bereits von AWS sichergestellt wird und eine automatische Skalierung je nach Last geschieht.

In einer Nicht-Cloud-Umgebung hätte für diese Middleware eine Vielzahl von Systemen durch unseren Kunden Veolia betrieben werden müssen (Anwendungsserver, Message Queues und Publisher, Monitoring-System). Durch die Verwendung von AWS Managed Services in der Cloud entfällt der Aufwand für die Systembetreuung und das Entwicklerteam kann sich auf die Entwicklung der Anwendungslogik konzentrieren. Managed Services in der Cloud sind standardmäßig zur Ausfallsicherheit redundant ausgelegt und aktuell gepatcht, so dass der Kunde langfristig von Infrastrukturvorgängen entlastet ist.

Warum cimt?

Die cimt ist AWS Partner. Durch die erfahrenen und zertifizierten Berater bietet die cimt hochqualifiziertes Personal und begleitet ihren Kunden bei der Entwicklung von ihren Systemen in der Cloud von der Spezifikationsphase bis zur Produktionsphase.

„Für die weitere Verknüpfung unserer Kernsysteme arbeiten wir eng mit den Kollegen der cimt ag zusammen. Nicht nur bei Talend-Entwicklungen, sondern auch bei Serverless-Cloud-Projekten können wir auf die Zusammenarbeit bauen. Dank dieser Unterstützung können wir unseren Endanwendern einen zeitnahen und performanten Datenaustausch mit modernen Technologien gewährleisten und die Effizienz unseres Unternehmens steigern.“ Pascal Thiel – Veolia