Mit mehr als 15 Mio. Mitgliedern und Vertretungen in Hamburg, München, Barcelona, Wien, Zürich und Porto ist XING das führende Online-Businessnetzwerk für berufliche Kontakte im deutschsprachigen Raum. 90 Prozent der Seitenaufrufe kommen bei XING aus der DACH-Region (Deutschland, Österreich und die Schweiz). Berufstätige aus allen Branchen nutzen XING, um sich miteinander zu vernetzen und nach Jobs, Projekten, Kooperationspartnern, Expertenmeinungen und Geschäftsideen zu suchen. XING-Mitglieder interagieren in rund 90.000 Gruppen oder lernen sich bei einer von über 130.000 NetworkingVeranstaltungen pro Jahr persönlich kennen. Das Unternehmen wurde 2003 in Hamburg gegründet, ist seit 2006 börsennotiert und seit September 2011 im TecDAX vertreten.
Xing SE
Talend Big Data
Xing SE
Kunde
XING SE
Branche: Social Media
Firmensitz: Hamburg
Beratungsthemen
Ergebnisse
- Verarbeitung von bis zu 50 Mio. Ereignissen pro Tag für die Marketingautomationsanwendung "Braze"
- Bereitstellung von Daten innerhalb von 10 Minuten nach ihrer Erstellung
- Einfachere DSGVO-Konformität für über 15 Mio. Nutzer, die ihre personenbezogenen Daten XING anvertrauen
Bessere Systemvernetzung für besseres Business Networking
Verarbeitung großer Datenmengen in einer zeitkritischen Event-Streaming-Umgebung
XING bietet bei der Bereitstellung lokaler News und Stelleninformationen einen entscheidenden Vorteil. Da die Dienstleistungen von XING auf der Erfassung, Speicherung und Bearbeitung hochwertiger und zeitnaher Daten basieren, ist das Unternehmen darauf angewiesen, Daten aus den unterschiedlichsten Quellen effizient in die eigenen Systeme integrieren zu können.
„Die Systeme, die wir früher einsetzten, zwangen uns dazu, Skripts für die Datenintegration zu schreiben. Es war sehr schwierig, den Überblick darüber zu behalten, wo Datenbestände generiert wurden“, sagt Mustafa Engin Sözer, Senior Business Intelligence & Big Data Architect bei XING. „Wir wussten, dass wir das Ganze möglichst ohne Skripting erledigen, unsere Metadaten zentralisieren und die Datenintegration vereinfachen wollten. Außerdem suchten wir nach Mitteln und Wegen, um die Datenqualität zu verbessern.“ Sözer spricht noch von weiteren Herausforderungen im Bereich der Daten, mit denen XING sich konfrontiert sah: „Einige Datenquellen liefern uns eine große Zahl kleiner Dateien, deren separate Verarbeitung technisch nicht möglich war. Deswegen suchten wir nach einem effizienten Ansatz, diese Daten zu verarbeiten, um sie innerhalb von 10 Minuten nach ihrer Erstellung im zentralen Data Warehouse verfügbar zu machen.“
Sözer fügt hinzu, dass auch die Dateiformate problematisch waren: Die Daten lagen im Apache Avro-Format vor, welches von herkömmlichen Datenverarbeitungstools normalerweise nicht unterstützt wird. XING benötigte daher eine Lösung, die mit einer Vielzahl von Dateiformaten funktioniert und die Interoperabilität innerhalb der Datenverarbeitungs-Toolchain unterstützt. Beispielsweise kommt Apache Drill zum Übertragen von Big-Data-Workloads auf Big -Data-Cluster zum Einsatz, nachfolgend wird jedoch auf eine ELT-artige Datenverarbeitung umgestellt. Zwar ist die Verarbeitung von Avro-Dateien mit Apache Spark in Quasi-Echtzeit möglich, doch erfordert die Wartung von Spark-Jobs Programmierkenntnisse sowie ein grundlegendes Verständnis von Distributed Computing – etwas, das bei technisch weniger versierten Geschäftsentwicklern möglicherweise nicht vorhanden ist. Aus diesem Grund wollte XING die Komplexität der Integrationsprozesse reduzieren, um Stakeholdern und Entwicklern mit einem weniger technischen Hintergrund die Verwaltung der Integrationen zu ermöglichen.
MUSTAFA ENGIN SÖZER
Senior Business Intelligence and Big Data Architect, XING SE
Warum Talend?
XING bewertete verschiedene Lösungen für seinen Datenintegrationsbedarf und entschied sich dann aus mehreren Gründen für Talend. „Zu den Merkmalen, die uns bei Talend überzeugt haben, gehören der Open-Source-Ansatz, die große Auswahl an Connectors und die Tatsache, dass es Java-basiert ist und eine vertraute und einfach zu bedienende Oberfläche auf Eclipse-Basis bietet“, sagt Sözer. „Uns gefielen auch die Funktionen für Metadatenmanagement und automatisierte Dokumentation, die schnelle Einführung neuer Technologien und die Fähigkeit, neue Anwendungsfälle zu implementieren.“
XING verwendet Talend heute als Brücke zwischen einer lokalen 150 TB großen MapR-DB-NoSQLDatenbank und einer 60 TB umfassenden, für Analysezwecke eingesetzten Exasol-Datenbank. „Wir haben Apache Drill mit Talend auf MapR aufgesetzt, um eine Datenverarbeitungs-Pipeline einzurichten, die zur Konvertierung einer riesigen Anzahl von Avro-Dateien in das CSV-Format dient“, erläutert Sözer. „Dadurch müssen wir nur noch eine einzige Abfrage schreiben, mit der wir Tausende von Dateien lesen können. Dies verringert den Verarbeitungsaufwand drastisch.“
Die Verwendung von Talend für diesen speziellen Anwendungsfall ermöglicht es XING auch, Metadaten im Blick zu behalten und sich so einen globalen Überblick über alle Datenbestände zu verschaffen – etwas, das mit einem normalen Spark-Job nicht ganz einfach zu bewerkstelligen gewesen wäre. Sözer ergänzt, dass Talend auch bei der dynamischen Extraktion von Daten hilft. Mit Talend kann XING bestimmte Spalten, die in den Daten des MapR-Dateisystems vorhanden sind, einfach abrufen, geschäftliche oder technische Transformationen auf sie anwenden und sie dann in Exasol speichern. Dort werden sie anschließend von Microstrategy zur Generierung von Berichten verwendet. Diese Funktionalität ermöglicht es auch, die Datenextraktion an Veränderungen anzupassen, und stellt sicher, dass nur relevante Spalten auf Exasol verschoben werden, während alle Rohdaten zur weiteren Verarbeitung im MapR-Dateisystem oder in der Datenbank verbleiben können, wobei der Schwerpunkt auf Batch-Analysen liegt.
„Talend hilft uns dabei, die gesamte Integration zu vereinfachen. Die Tätigkeit der Datenverarbeitung wird verständlicher und besser nachvollziehbar – und das bei gleichbleibend hoher Leistung“, meint Sözer. „Hierdurch können wir Akteure mit weniger technischem Hintergrund einfacher in den Prozess einbinden.“
Warum cimt ag?
Durch die Zusammenarbeit mit Talend-Experten der cimt ag wurde die Migration von der bisherigen Lösungen zu Talend, die Anhebung der Standards und erforderlichen Rahmenbedingungen für eine gesunde Talend-ETL-Umgebung reibungslos geschaffen”, sagt Soezer. Rouven Homann, Management Partner der cimt ag, fügt hinzu: „Unsere kombinierte Erfahrung und Wissen in beiden Technologien, Talend und Exasol, haben es uns ermöglicht, für XING eine individuelle Exasol SCD Komponente (tExaSCDELT) auf Basis von ELT für Talend zu entwickeln. Wir freuen uns sehr, dass XING bereit war diese Komponente der Talend Open Source Community zur Verfügung zu stellen.“
Berufstätige vernetzen, Produktivität und Erfolg steigern
Treibende Kraft hinter der Integration vieler verschiedener Systeme und der Zentralisierung der Datenverarbeitung war das Ziel, Marketingdaten nahezu in Echtzeit zu analysieren und aussagekräftige Informationen über die Wirksamkeit von Kampagnen zu liefern. Die Marketing-Response-Echtzeitdaten, die vom Marketingautomationsanbieter Braze bereitgestellt werden, bestehen aus Tausenden kleiner Dateien im Avro-Format, die auf Amazon S3 zwischengespeichert werden. „Wir nutzen Talend, um Systeme zu vernetzen und die Daten so schnell wie möglich an das zentrale Data Warehouse zu liefern, damit sie zur Erstellung von Analyseberichten, zur Unterstützung des operativen Marketings und gezielter Kampagnen sowie zur Überwachung der Kampagnenleistung genutzt werden können“, sagt Sözer.
Die Verarbeitungsmöglichkeiten sind beeindruckend. Nach Sözers Angaben ist XING mit diesem Ansatz in der Lage, 2 Mio. Ereignisse pro Stunde zu verarbeiten. In Spitzenzeiten kommen dabei bis zu 50 Mio. Ereignisse pro Tag zusammen. Zu den wesentlichen Vorteilen der neuen Integrationsarchitektur von XING gehören eine bessere Nachvollziehbarkeit des Geschäfts, da die Daten auf einer einzigen Plattform konsolidiert sind, und auch die Möglichkeit, Analysen und Berichte effizienter auszuführen und die Entscheidungsfindung im Unternehmen so zu optimieren. „Außerdem“, so Sözer, „sind die Wartungskosten gesunken – bei gleichzeitig gestiegener Produktivität und Effizienz.“ „Mit Talend gewinnen wir Erkenntnisse und können unsere Leistungsfähigkeit an Kennzahlen messen“, erklärt Sözer. „So können wir jetzt beispielsweise Daten schneller und genauer analysieren und Metriken und KPIs extrahieren, die bei XING unternehmensweit zur Umsetzung von Geschäftsstrategien verwendet werden. Zudem stehen uns bessere Statistiken zur Anzahl der täglich und wöchentlich aktiven Nutzer, zu neuen Stellenangeboten, zur Anzahl der Nutzer, die auf bestimmte Angebote geklickt haben, und mehr zur Verfügung.“
Über 14 Mio. Nutzer vertrauen ihre personenbezogenen Daten XING an. Das Unternehmen trägt daher eine besondere Verantwortung gegenüber seinen Kunden, denn sie alle erwarten, dass das soziale Netzwerk ihre Daten sicher aufbewahrt und sensible Informationen vertraulich behandelt. Talend hilft XING auch bei der Einhaltung strenger Konformitätsstandards im Hinblick auf Corporate-Governance, Datenschutz und DSGVO. „Das Online-Business-Networking basiert auf Vertrauen“, meint Sözer. „Daher ist es für die Compliance entscheidend, Metadaten zentral abzulegen und im Blick zu behalten. Mit Talend zentralisieren wir alle Quell- und Zielsysteme. So können wir Daten analysieren und herausfinden, welche Datenbestände für welche Anforderung relevant sind. Außerdem erkennen wir, ob es sich um personenbezogene Daten handelt oder nicht. Und: Wir übernehmen die volle Kontrolle über unsere Daten und Metadaten.“
Sie sehen gerade einen Platzhalterinhalt von Facebook. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen