OTTO - Big Data Analytics

Analytische Modelle basierend auf Big Data

OTTO – Big Data Analytics

Kunde

Otto GmbH & Co KG
Branche: E-Commerce
Firmensitz: Hamburg

Ausgangssituation

„Driven by data, inspired by our customers“ – das ist OTTOs Mission.
Business Intelligence ist ein zentraler Treiber für die Entwicklung der „data driven company“. OTTO setzt neueste BI-Technologien ein und machen die Customer Journey und die Kernprozesse durch Data Science transparent! Aus Daten werden Erkenntnisse gewonnen, die die Entwicklung immer besserer Strategien und Prozesse für die erfolgreiche digitale Zukunft ermöglichen.

Die cimt ag unterstützt OTTO aktiv bei dem Design und der Umsetzung von BI-Lösungen:

Auftrag

Aufbau einer Plattform zur Entwicklung und zum Betrieb von analytischen Modellen basierend auf Big Data Technologien

Erstellung einer virtuellen Arbeitsumgebung mit direkter Anbindung an den Cloudera Hadoop Cluster
Bereitstellung von Werkzeugen, Sprachen und Bibliotheken für die Data Science Abteilung (u.a. HDFS, Hive, Impala, Python, Scala, Spark, IntelliJ IDEA)
Entwicklung einer Self-Service Anwendung zum Transfer von Daten aus dem klassischen DWH in den Hadoop Cluster
Konzipierung und Realisierung einer logisch getrennten Entwicklungs-, Test- und Produktionsumgebung für analytische Prozesse
Entwicklung einer integrierten Anwendung für das Definieren, Bauen, Veröffentlichen und Bereitstellen von analytischen Prozessen als Artefakt sowie für die Ausführung solcher Artefakte auf verschiedenen logischen Umgebungen

Herausforderungen

Technologien und Methoden

Scrum, Kanban, Cloudera (HDFS, Yarn, Hive, Impala, Spark), IntelliJ IDEA, Talend Studio DI, Java, Python, PySpark, Jupyter, Zeppelin, Scala, Teradata, Oracle, HP ALM, Jira, Confluence, Grafana, GIT, Nexus, J-Frog Artifactory, Docker, Jenkins, Maven und Shell-Programmierung