Zum Inhalt wechseln
Pattern - Header - Left Pattern - Header - Left

Verbesserung des Datenmanagements durch Common Data Layer

Pattern - Header - Left Pattern - Header - Left
Case Study Improving Data Management With A Common Data Navy 800X400

Über den Kunden

Der Kunde ist ein internationaler Anbieter von Professional Services mit Hauptsitz in Großbritannien. Das Unternehmen ist in mehr als hundert Ländern tätig und einer der weltweit größten professionellen Dienstleister.

Branche Professional Services 
Technologie Databricks, Azure Data Factory, Azure Data Lake, Power Apps

Die wichtigsten Erfolge

  • Vereinfachter Datenverwaltungsprozess dank der Einführung einer Single Data Source
  • 30 % schnellere Datenverarbeitung nach der Implementierung von Databricks
  • Einführung eines Data Vault-Models, das Sicherheit und Datenschutz gewährleistet

Die Herausforderung

Geschäftsanforderungen

Der Kunde ist ein großer Anbieter von Professional Services und verarbeitet eine umfangreiche Menge an mitarbeiterbezogenen Daten. Sie verwenden ein dafür vorgesehenes HR-System und beschäftigen ein spezialisiertes Team, welches sich um die Erstellung von Mitarbeiterstammdaten kümmert. Dieser Prozess war kompliziert und zeitaufwändig. Darüber hinaus gab es aufgrund der Größe des Unternehmens viele Analyseteams, die verschiedene Data-Marts erstellten und die Mitarbeiterdaten nutzten. Jedes Team musste die Daten separat abrufen und verarbeiten, was die Quellsysteme belastete und zu Diskrepanzen führte. Es war dem Kunden wichtig die DSGVO in seine Prozesse einzuführen, um sicherzustellen, dass eine ordnungsgemäße Kontrolle über die Daten besteht und deren Sicherheit garantiert werden kann.

Das Unternehmen beschloss, einen Common Data Layer (CDL) zu erstellen, um die Kohärenz und Sicherheit seiner Daten über alle Teams hinweg zu gewährleisten. Darüber hinaus eröffnete diese Idee zusätzliche Möglichkeiten, von bestimmten SQL-Server-Lösungen auf einen Data-Lake-Ansatz umzusteigen und die Kosten für deren Datenmanagement weiter zu optimieren. Objectivity wurde als vertrauenswürdiger Technologiepartner gebeten, den Aufbau einer neuen Lösung zu unterstützen, um seinen Bedürfnissen und Prioritäten entsprechen zu können.

 

Die Lösung

Projekt Details

Zu Beginn des Projekts analysierte Objectivity die Anforderungen des Kunden und die bereits vom Kunden erarbeitete Vorstellung für seine neue Lösung. Darüber hinaus übernahm das Objectivity-Team die Verantwortung für die End-to-End-Bereitstellung des neuen Systems, vom Design über die Anwendung eines Data Vault-Modells und der Orchestrierung bis hin zur Implementierung und Testen.

Im Laufe des Projekts wurden die ursprüngliche Vision und der Plan des Kunden regelmäßig geändert, um alle neuen Schritte widerzuspiegeln, die zusammen mit Objectivity ausgearbeitet wurden. Das Projektteam stellte sicher, dass der gesamte Prozess transparent und die endgültige Lösung auf allen Ebenen konsistent war. Das gewählte Datenmodell ermöglicht eine effiziente Anpassung an neue und sich ändernde Datenquellen, bei gleichzeitiger Verarbeitung historischer Daten.

Objectivity nutzte die Rechenleistung von Databricks und die Flexibilität eines Data Lakes sowie Azure Data Factory, um Konsistenz und reibungslose Orchestrierung sicherzustellen. Darüber hinaus bieten Databricks eine große Vielseitigkeit bei der Notebook-Erstellung sowie einen hochskalierbaren und testbaren Python-Code. So konnte Objectivity sowohl Unit- als auch Integrationstests für die neue Lösung aufbauen. In Fällen, in denen ein Problem gefunden wurde, wurden die Tests entsprechend erweitert, sodass die Produktionsumgebung ständig und umfassend überwacht werden konnte.

Beim Data Lake werden alle Daten im auf Performance optimierten Parquet-Format gespeichert. Darüber hinaus führte das Objectivity-Team ein umfassendes Verteilungsmodell ein, das es ermöglichte, die Daten bei Bedarf aus dem Data Lake zurück in eine SQL-Datenbank zu verteilen.

Das Data Vault-Modell wurde so erstellt, dass es speziell auf Datenschutzbedenken eingeht und eine angemessene Verschlüsselung verwendet. Innerhalb des Data Vaults werden die streng vertraulichen Daten von anderen internen Datentypen getrennt.

Das Ergebnis

Geschäftsvorteile

Die von Objectivity entwickelte CDL-Lösung wurde entwickelt, um den Datenverwaltungsprozess für die Analyseteams des Kunden zu vereinfachen. Es bietet ihnen einen einfacheren Zugriff auf Informationen, über eine einzige Datenquelle und beseitigt die Notwendigkeit, die benötigten Daten zu suchen und diese zu bereinigen.

Während der Implementierung wurde von Objectivity DataOps angewendet - einen ausgereiften Ansatz auf Unternehmensebene für das Datenintegrationsmanagement. Mit seiner Code-Versionierung, Unit- und Integrationstests und Bereitstellungsautomatisierung trug der DataOps-Ansatz dazu bei, die Produktionsumgebung sicher und fehlerresistent zu machen.

Erste Tests der Lösung zeigten, dass die Datenverarbeitung in Databricks um 30 % schneller ist als die im zuvor verwendeten SQL-Server. Darüber hinaus hilft diese Lösung dem Kunden seine Infrastrukturkosten zu senken.

Wenn alle Teams des Kunden auf die Verwendung des neuen Common Data Layer umstellen, wird die Duplizierung von Daten erheblich eingeschränkt und das Unternehmen wird sowohl Zeit- als auch Kosteneinsparungen feststellen.

Was Sie auch interessieren könnte

01 / 03

Kontakt

Starten Sie Ihr Projekt mit Objectivity

CTA Pattern - Contact - Middle