Kunde

Otto GmbH & Co KG
Branche: E-Commerce
Firmensitz: Hamburg

Ausgangssituation

„Driven by data, inspired by our customers“ – das ist OTTOs Mission.
Business Intelligence ist ein zentraler Treiber für die Entwicklung der „data driven company“. OTTO setzt neueste BI-Technologien ein und machen die Customer Journey und die Kernprozesse durch Data Science transparent! Aus Daten werden Erkenntnisse gewonnen, die die Entwicklung immer besserer Strategien und Prozesse für die erfolgreiche digitale Zukunft ermöglichen.

Die cimt ag unterstützt OTTO aktiv bei dem Design und der Umsetzung von BI-Lösungen:

Aufgabenstellung

Aufbau einer Plattform zur Entwicklung und zum Betrieb von analytischen Modellen basierend auf BigData Technologien

  • Erstellung einer virtuellen Arbeitsumgebung mit direkter Anbindung an den Cloudera Hadoop Cluster
  • Bereitstellung von Werkzeugen, Sprachen und Bibliotheken für die Data Science Abteilung (u.a. HDFS, Hive, Impala, Python, Scala, Spark, IntelliJ IDEA)
  • Entwicklung einer Self-Service Anwendung zum Transfer von Daten aus dem klassischen DWH in den Hadoop Cluster
  • Konzipierung und Realisierung einer logisch getrennten Entwicklungs-, Test- und Produktionsumgebung für analytische Prozesse
  • Entwicklung einer integrierten Anwendung für das Definieren, Bauen, Veröffentlichen und Bereitstellen von analytischen Prozessen als Artefakt sowie für die Ausführung solcher Artefakte auf verschiedenen logischen Umgebungen

Herausforderungen

  • Aufbau einer flexiblen Analyseumgebung
  • Selbstständige Entwicklung von Analysen (Self-Service) durch die Fachbereiche/Data Scientisten ohne Unterstützung von Softwareentwicklern
  • Definition der Quality Gates für den Übergang der Analysen vom Lab -> Prototyp -> Factory

Technologien und Methoden

Scrum, Kanban, Cloudera (HDFS, Yarn, Hive, Impala, Spark), IntelliJ IDEA, Talend Studio DI, Java, Python, PySpark, Jupyter, Zeppelin, Scala, Teradata, Oracle, HP ALM, Jira, Confluence, Grafana, GIT, Nexus, J-Frog Artifactory, Docker, Jenkins, Maven und Shell-Programmierung

Ergebnisse

  • In enger Zusammenarbeit mit dem Fachbereich wurde eine Umgebung geschaffen, mit der die Data Scientisten eigenständig Analysen entwickeln und zur Produktionsreife bringen können. Neue (heute noch nicht bekannte) Libraries, Module und (auf Spark basierender) Programmiersprachen können getestet und dabei ein stabiler Betrieb gewährleistet werden.
  • Die einzelnen Releases wurden In-Time geliefert.
  • Automatisierung von Build- und Deployment-Prozessen
Weitere Business Cases
ZU ALLEN REFERENZEN

Sie möchten mehr erfahren?