Integration von strukturierten und semi-strukturierten Stammdaten für die Multibrand Storefront
porta
Branche: Möbelhandel
Firmensitz: Porta Westfalica
Zur porta Gruppe gehören aktuell 27 großflächige porta Einrichtungshäuser, zwei porta Küchenwelten in Berlin-Mahlsdorf und Leipzig-Paunsdorf, rund 100 Märkte des Omnichannel-Einrichtungsdiscounters SB-Möbel BOSS, 22 Einrichtungsmärkte der ASKO-Gruppe in Tschechien und der Slowakei sowie der sachsen-anhaltinische Möbelhändler Möbel Letz. Die Unternehmensgruppe mit rund 7.000 Mitarbeiterinnen und Mitarbeitern erwirtschaftete 2022 einen Jahresumsatz von 1,34 Milliarden Euro.
Mit Beginn 2023 startete das Projekt. Ziel war es, parallel zur Einführung einer modernen PIM-Lösung in AWS, den Aufbau einer Integrationsplattform mit Talend, um die Produktdaten aus den Stammdatensystemen für mehrere Gesellschaften mit möglichst kurzen Latenzzeiten in die Multibrand Storefront zu übertragen.
Die Multibrand Storefront in GCP wurde ebenfalls parallel durch mehrere Entwicklungsteams auf Seiten von porta entwickelt. Damit war von Anfang an klar, dass ein enger Austausch mit beiden Parteien essenziell war.
Das Vorhaben startete als Green Field Projekt. Gemeinsam haben wir mit einem kleinen Team, bestehend aus Entwicklern und Leads von der cimt sowie Entwickler von porta, das Projekt auf die Beine gestellt. Fokus war zunächst das Aufsetzen der Umgebung für die Talend Infrastruktur sowie das Anlernen der Entwickler von porta. Zu dem Training zählten Talend Basis und erweiterte Inhalte sowie API-Schulungen. Wir haben uns gemeinsam auch auf einen agilen Entwicklungsprozess geeinigt, mit dem die Entwickler am schnellsten und effizientesten auf beiden Seiten arbeiten konnten. Die Wahl fiel auf einen gesunden Mix aus Scrum und Kanban, der bei der Teamgröße und Zielorientierung hervorragend gepasst hatte.
Nach den ersten paar Iterationen wurde ebenfalls eine CI/CD-Pipeline mithilfe des cimt DevOps Teams implementiert. Das Deployment der DI- und API-Applikationen wurde letzlich in einer GCP-Umgebung durchgeführt.
Eines der Hauptziele war es die Latenz zwischen den Änderungen auf ein Minimum zu reduzieren, sodass Änderungen im PIM-System wesentlich schneller im Webshop sichtbar sind. Um das zu erreichen, teilt das PIM-System Talend eventbasiert mit, sobald Änderungen aufgetreten sind. Das Event selbst enthält aber nur die Referenz, daher muss Talend die Detaildaten anschließend abrufen und verarbeiten.
Folgend wird die REST-API des Webshops genutzt, um die Daten ins Ziel zu übertragen und die Multibrand Storefront damit zu versorgen.
Auf Grundlage des Wissens, dass wir von einer Multibrand Storefront in unterschiedlichen Sprachen sprechen, haben wir uns beim Mapping auf einen generischen Ansatz geeinigt. Die Meta-Information des Mappings lagen in der Datenbank und die Ausführung des tatsächlichen Mappings ließ sich mithilfe des Talend Data Mappers besonders gut umsetzen.
In anderen Worten: Quell- und Ziel-Property lag persistiert mitsamt Transformation-Informationen in einer Datenbank und der Talend Data Mapper hat diese Informationen genutzt, um die Daten aus dem PIM zu transformieren.
Das cimt JobInstance Framework (JIF) mitsamt seiner Talend Custom Komponenten ist das Framework der Wahl, für den Einsatz von Talend DI-Applikationen. Das JIF ermächtigt den Entwickler eine Delta-Verarbeitung schneller zu etablieren, unterstützt im Monitoring und schafft Lineage Informationen – um nur ein paar der Features zu nennen.
Ein weiteres erwähnenswertes Feature ist der GCP Secret Manager, der alle Credentials und Verbindungsparameter (Host, Port, etc.) für alle Services gespeichert hat. Falls also Services umziehen oder Credentials rotieren, war somit nur eine Änderung am Secret notwendig, da sich die Talend Jobs die Informationen eigenständig ziehen.
Aufgrund der jahrelangen Erfahrung in der cimt in Projekten rund um die Software-Entwicklung und dem Data Engineering, wussten wir, dass wir hier einen guten Partner an der Seite haben, um nicht nur Talend selbst einzuführen, sondern auch um unser ambitioniertes Ziel zu erreichen.
Porta IT hat gemeinsam mit der cimt einen Schritt in Richtung moderner Entwicklung gemacht und wir freuen uns auf noch weitere gemeinsame Projekte.
„Die nahtlose Integration der cimt-Mitarbeiter in unser Team war bemerkenswert. Es entstand eine so enge und effektive Partnerschaft, dass es sich anfühlte, als wären die Kollegen von cimt von Anfang an Teil unseres Unternehmens gewesen. Ihre Professionalität und Zuverlässigkeit haben uns überzeugt und wir freuen uns darauf, weitere Erfolge gemeinsam zu erzielen.„
Team IT – Integration & Automatisierung porta IT-Service GmbH & Co. KG
Sie müssen den Inhalt von reCAPTCHA laden, um das Formular abzuschicken. Bitte beachten Sie, dass dabei Daten mit Drittanbietern ausgetauscht werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von Turnstile. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von Facebook. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen
