Kunde

Bildmodul

mobile.de
Branche: E-Commerce
Firmensitz: Berlin

Kundenmeinung

Michael Schulz
Data Warehouse Manager
»Talend DI gibt dem mobile.de DWH Team die Flexibilität auf alle kommenden Anforderungen reagieren zu können und passt deswegen perfekt in unseren Infrastrukturansatz. Als Verantwortlicher für den Bereich DWH bei mobile.de kann mich zu 100% auf cimt ag verlassen.«

Ausgangssituation

Der Kunde betreibt eine internationale Web-Plattform zur Vermittlung von Gebrauchtfahrzeugen. Wachsendes Geschäft und daraus resultierend wachsende Kundendatenmengen brachten das Data-Warehouse-System von mobile.de qualitativ und quantitativ an seine Kapazitätsgrenzen. Die Verarbeitungs- und Abfragegeschwindigkeiten litten unter der Datenlast und eine Verbesserung der Datenaktualität war mit der vorhandenen Plattform nur noch schwer möglich.

Die Entscheidung von mobile.de, das bestehende ETL-Tool gegen ein besser skalierbares und kostengünstigeres auszutauschen war die Folge, sodass eine Neuentwicklung der ETL-Prozesse/-Schritte notwendig wurde.

Die Konzeption einer skalierbaren Data-Warehouse-Architektur sollte ein externer, unabhängiger und vor allem erfahrener Dienstleister erstellen. Aufnahme und Verarbeitung der bestehenden und neuen Datenmengen sollten treffsicher aufgezeigt werden. Ob die Migration der ETL-Schritte ausreicht, um die Skalierbarkeit der Anwendung zu erhöhen musste geprüft werden.

Auftrag

Ablösung von ETL-Strecken mit Talend DI sowie Ausbau der Datenquellen für das Data Warehouse auf den aktuellen Stand der Kernapplikation.

Leistungen

Konzeption und Coaching im Umgang mit Talend als Entwicklungsplattform sowie Implementierung von ETL-Jobs mit Talend. Einbringen von Best Practices für die Bewirtschaftungsprozesse und Entwicklung mit Talend (Namenskonventionen, Muster, Dokumentationsrichtlinien). Beratung und Evaluierung von Konzepten und Technologien der Datenbankplattform und Datenmodellierung.

  • Unterstützung des Projektteams durch Talend Coaches und Talend DI Developer
  • Aufbau der Talend-Betriebsplattform
  • Einbringen des cimt-ETL-Frameworks für die Beobachtung und Steuerung inkrementeller Bewirtschaftungsprozesse
  • Erarbeiten von Workarounds bei Fehlern in Talend-Komponenten
  • Vorbereitung und Durchführung von Release-Wechseln der Talend-Produkte
  • Beratung/Sparring bzgl. der Datenmodellierung im Data Warehouse
  • Prüfung der Vorgehensweise bei der Nutzung von spaltenorientierten Datenbanken

Eingesetzte Technologien

  • Talend Studio DI
  • Talend Administration Center
  • Talend Job Server
  • MySQL
  • Infobright
  • Jira
  • Confluence

Ergebnisse

  • Bessere Performance
  • Deutlich geringere Lizenzkosten
  • Die aktuelle Bewirtschaftung des Data Warehouse erfolgt ausschließlich über Talend Jobs
  • Aktuelle Erweiterungen des Data Warehouse sind bzgl. des Aufwandes weiterhin angemessen und können mit einem hohen Maß an Sicherheit geschätzt werden
  • Ideales Job Monitoring dank cimt-Framework
Weitere Business Cases