Einrichtung der Data Lake Infrastruktur auf der AWS Cloud-Plattform
Wichtige Herausforderungen
Wichtige Ergebnisse
Übersicht
Einrichtung der Data Lake Infrastruktur auf der AWS Cloud-Plattform
Profectus Capital ist ein bei der Reserve Bank of India registriertes Nichtbanken-Finanzdienstleistungsunternehmen (NBFC–SI–ND). Es bietet Laufzeitdarlehen, Betriebsmitteldarlehen und Maschinendarlehen für den Produktions- und Dienstleistungssektor an. Weitere Dienstleistungen umfassen Finanzierungslösungen für Händler-Lieferketten in Branchen wie Pharmazeutika, Konsumgüter und Automobile. Der Kunde vergibt derzeit Kredite an elf Cluster an 15 Niederlassungsstandorten und arbeitet daran, der bevorzugte Kreditpartner für Tausende von KMU weltweit zu werden.
Herausforderungen
Der Kunde verfügt derzeit über mehrere strukturierte und unstrukturierte Datenquellen. Er möchte all diese Daten kombinieren und Big-Data-Analysen, Echtzeit-Analysen und maschinelles Lernen durchführen, um Dashboards und Visualisierungen für fundierte Entscheidungen zu erstellen, Daten jeglicher Art und Größenordnung kostengünstig zu erfassen und zu speichern, alle im zentralen Repository gespeicherten Daten zu sichern, neue Datentypen schnell zu analysieren und Abfragen durch Definition der Datenstruktur zum Zeitpunkt der Nutzung zu ermöglichen.
Lösung
- Ankercloud konzipierte die Data-Lake-Lösung auf der AWS Cloud-Plattform. Dafür erstellte Ankercloud die AWS-Infrastruktur für:
-Erfassung von Daten aus verschiedenen Datenquellen
-Verarbeitung von Daten im Data Lake
-Bereitstellung verarbeiteter Daten für nachgelagerte Systeme und Berichtszwecke.
- Basierend auf der Problemstellung hat das Ankercloud-Team mit dem technischen Team des Kunden zusammengearbeitet, um Data-Lake-Lösungen zu entwickeln.
- Mithilfe des AWS Database Migration Service migrierte Ankercloud Daten aus Datenquellen wie PostgreSQL, MySQL und SAP Hana und speicherte alle erfassten Daten in einem zentralen Repository, d.h. AWS S3.
- Mithilfe von AWS Glue führte das Team verschiedene ETL-Aktionen mit den Daten durch, indem es komplexe SparkSQL-Abfragen schrieb und die verarbeiteten Daten an AWS Redshift (Data Warehouse) übertrug.
- Durch die Konfiguration von Athena fragen Kundenteams die Daten in S3-Buckets ab und erstellen Datenmodellierungsaufträge basierend auf den vom Kunden vorgegebenen KRAs.
- Schließlich werden alle verarbeiteten Daten an NanoBi übermittelt, wo Kundenteams auf die verarbeiteten Daten zugreifen und verschiedene Berichte zur Visualisierung erstellen.
Geschäftsergebnis
- Durch die sichere Data-Lake-Implementierung auf der AWS Cloud-Plattform sind alle Finanzdaten vollständig gesichert und für alle nachgelagerten Systeme leicht verfügbar, was alle Datenoperationen beschleunigt.
- Datenzentrierte Entscheidungsfindung war eine enorme Hilfe für das Geschäftswachstum des Kunden. Teams konnten unabhängige, datenorientierte Entscheidungen treffen, indem sie Daten selbst abrufen, analysieren und visualisieren.
- Die Analyseplattform ermöglichte es dem Team, sich auf die Stärkung der Analysefähigkeiten zu konzentrieren, was die Leistung des Kunden verbesserte.
