Zum Inhalt wechseln
Pattern - Header - Left Pattern - Header - Left

Effizienzsteigerung einer Price Monitoring Lösung

Der Kunde entschied sich, seine Price Monitoring Lösung zu optimieren, um seinen Kunden ein breiteres Informationsangebot zu bieten und die Datenverarbeitungszeit zu verkürzen.

Pattern - Header - Left Pattern - Header - Left
2983 CS Enhancing The Efficiency Price Monitoring Solution 800X400

Über den Kunden

Der Kunde ist der weltweit führende unabhängige Anbieter von strategischer Marktforschung und Business Intelligence. Mit einem globalen Netzwerk von Analysten und Marktforschern zu allen wichtigen Trends und Treibern, versorgt das Unternehmen seine Kunden aller Größen mit erschwinglichen Marktforschungsberichten, strategischen Daten, Analysen und Verbrauchertrends.

Branche Professional Services
Technologie Data & AI, Azure Synapse Analytics

Die wichtigsten Erfolge

  • Eine Umgebung, die in der Lage ist, eine deutlich größere Datenmenge zu verarbeiten
  • Beschleunigte Systemreaktion (Sekunden statt Minuten) mit aggregierten Daten nach Land, Kategorie, Lieferant, Einzelhändler oder Attributwerten
  • Verbesserte Datenladezeit (2 Stunden anstatt 6-8 Stunden) dank inkrementellem Datenladen

Die Herausforderung

Geschäftsanforderungen

Das Unternehmen stellt seinen Kunden eine eingehende Marktforschung zur Verfügung und analysiert weltweite Änderungen der Produktpreise. Ihre Systeme überwachen und sammeln Preise von Produkt-Webseiten und Online-Shops, die dann in das Data Warehouse des Unternehmens eingespeist werden.

Um den bestmöglichen Service zu gewährleisten, wollten sie das Informationsangebot für ihre Kunden erweitern. Daher die Entscheidung ein System zu erstellen, welches Daten anders aggregiert als ihre bestehende Lösung. Kunden interessierten sich dafür, wie sich die Preise nicht nur für ein einzelnes Produkt, sondern für eine Reihe von Produkten in einer ausgewählten Kategorie ändern und das neue System musste dies berücksichtigen.

Die Lösung, nach der der Kunde suchte, musste eine Reihe von Attributen für jedes Produkt berücksichtigen und voraggregierte Werte berechnen, die dann den Benutzern auf Anfrage zur Verfügung gestellt werden könnten. Der Kunde wollte auch die Effizienz seines Suchprozesses verbessern und seinen Kunden einen schnellen Zugriff auf Informationen zu einer viel größeren Anzahl von Produkten ermöglichen.

Die Lösung

Projekt Details

Objectivity wurde damit beauftragt, die am besten geeigneten Tools zu finden und ein System aufzubauen, das dem Kunden helfen würde, das gewünschte Maß an Effizienz und das beste Preis-Leistungs-Verhältnis zu erreichen. Das Projekt war in zwei Phasen unterteilt - die Migration von Daten von Google BigQuery zu Azure Synapse Analytics und das Hinzufügen einer Datenaggregationsfunktion.

Zunächst bereitete das Objectivity-Team die notwendigen Datenstrukturen in Azure Synapse Analytics vor und erstellte einen Mechanismus, der Daten aus Google BigQuery überträgt, das weiterhin als Datenquelle verwendet wurde. Azure Data Lake, Databricks und Data Factory wurden verwendet, um den Mechanismus auszuführen, und Azure DevOps wurde für die Umgebungsbereitstellung ausgewählt. Der Mechanismus wurde so eingestellt, dass er täglich ausgeführt wird und die Daten inkrementell lädt, wodurch die Kosten für das tägliche vollständige Laden entfallen. Dies war früher bei der ursprünglichen Lösung der Fall, bei der Daten zwischen Google BigQuery und ElasticSearch übertragen wurden.

Darüber hinaus modifizierte Objectivity die Synapse-Datenbank, indem es eine Funktion zur Berechnung voraggregierter Produktpreiswerte hinzufügte. Das Team richtete eine inkrementelle Datenaggregation ein, um den Prozess zu optimieren und bereits aggregierte Preisdaten auf Zeitrahmenebene und nach bestimmten Produktattributen wie Farbe, Verpackung oder anderen Qualitäten zu speichern. Die Absicht dahinter war, den Kunden des Auftraggebers zu ermöglichen, die voraggregierten Daten schnell aus der Datenbank herunterzuladen, ohne warten zu müssen, bis das System die Berechnungen liefert.

Das Objectivity-Team hat auch eine API zum Abrufen von Daten aus der Azure Synapse-Datenbank erstellt, die der Kunde auch mit seinen anderen Lösungen verbinden kann. Die Datenbank kann somit als zentrale Datenquelle für die bestehenden und zukünftigen Systeme dienen.

Das Ergebnis

Geschäftsvorteile

Mit der neuen Lösung kann der Kunde von einer beschleunigten Systemantwort profitieren, die für voraggregierte Preisdaten von Minuten auf Sekunden reduziert wurde. Ihre Kunden finden die gesuchten Informationen deutlich schneller und die Daten sind bereits nach bestimmten Kriterien selektioniert. Darüber hinaus dauert das inkrementelle Laden des neuen Systems nur 2 Stunden, während die vorherige Version 6-8 Stunden benötigte, um täglich Daten von Google BigQuery in ElasticSearch zu laden. Dies verbessert die Systemeffizienz erheblich, was ein entscheidendes Ziel für den Kunden war.

Das neue System verarbeitet 5,1 TB Daten und rund 140 Milliarden Zeilen in allen Tabellen und kann Daten zu einer deutlich größeren Anzahl von Produkten liefern. Damit erhalten die Kunden des Unternehmens ein viel breiteres Bild vom Markt und der Preisschwankungen.

Die Lösung wurde so entwickelt, dass sie dem Kunden das beste Preis-Leistungs-Verhältnis bietet. Bei Azure Synapse Analytics zahlt der Kunde für die Zeit, in der er den Service nutzt, unabhängig von der verarbeiteten Datenmenge. Auf diese Weise können sie ihre zukünftigen Ausgaben effizient kalkulieren und planen, da die Verbindung zusätzlicher Systeme mit der Datenbank die Servicekosten nicht erhöht.

Der Kunde bleibt ein weltweit führender Anbieter von Marktforschung und seine neue Lösung wird ihn beim Sammeln und Teilen strategischer Geschäftsinformationen mit seinen Kunden unterstützen und seine Dienstleistungen weiter verbessern.

Kontakt

Starten Sie Ihr Projekt mit Objectivity

CTA Pattern - Contact - Middle