Analytics Layer Transformation mit AWS DMS und RDS PostgreSQL
Über den Kunden
A 2 Sicher ist ein auf Inkassolösungen spezialisiertes Unternehmen mit starker Präsenz im Kreditrückgewinnungssektor. Die Geschäftstätigkeit basiert auf einer intensiven Analyse der Daten, die aus dem Hauptsystem, das auf einer Oracle-Datenbank gehostet wird, extrahiert werden, um Power BI-Dashboards zu speisen und operative Entscheidungen zu steuern.
Mit wachsendem Datenvolumen und zunehmender Abfragekomplexität sah sich 2Safe mit Leistungsengpässen und steigenden Oracle-Lizenzkosten konfrontiert. Um dieses Problem zu lösen, suchte das Unternehmen nach einer effiziente Möglichkeit, analytische Daten in eine optimierte und skalierbare Umgebung zu replizieren, wobei die Integrität und Aktualität der Informationen gewahrt bleibt.
Geschäftliche Herausforderung
2Safe erforderlich, um eine sichere Umgebung zu ermöglichen schnelle und kostengünstige Beratung um Berichte und Dashboards in Power BI zu füttern, ohne die Leistung der Oracle-Transaktionsumgebung zu beeinträchtigen.
Probleme:
- Hohe Belastung der Quelldatenbank durch analytische Abfragen.
- Erhöhte Lizenzierung für Oracle, auch für sekundäre Vorgänge.
- Schwierigkeiten beim Skalieren von Berichten mit zufriedenstellender Leistung.
- Komplexität der Wartung externer Pipelines für ETL.
Die Ziele von 2Safe mit der neuen Lösung:
- Replizieren Sie kontinuierlich Daten von Oracle nach PostgreSQL.
- Garantieren geringe Wartezeit zwischen der Datenaktualisierung an der Quelle und der Verfügbarkeit in Power BI.
- Verbessern analytische Abfrageleistung.
- Reduzieren Betriebskosten und Lizenzierung.
- Implementieren Sie eine skalierbare und wartbare Architektur.
Implementierte Lösung
Flexa Cloud hat eine Lösung auf Basis von AWS Managed Services vorgeschlagen und implementiert, mit Schwerpunkt auf Bedienerfreundlichkeit, Skalierbarkeit und Kostenreduzierung.
Verwendete Architektur:
AWS Database Migration Service (DMS)
- Replikationsmodus: Vollständiges Laden + CDC (Change Data Capture).
- Hauptaufgabe: teste-cdc, erstellt für die Ausführung in der Produktion mit kontinuierlicher Replikation.
- Angewandte Transformationen: Schemaumbenennung (DRCOB_ADM → lnd), Namen in Kleinbuchstaben, präzise Kontrolle der replizierten Tabellen (insgesamt 32).
- Protokolle und Fehler werden verfolgt über Amazon CloudWatch.
AWS Schema Conversion Tool (SCT)
- Wird zum Konvertieren von Typen und Strukturen zwischen Oracle und PostgreSQL verwendet.
Amazon RDS für PostgreSQL
- Zielbank optimiert für das Lesen, mit automatische Sicherung, hohe Verfügbarkeit (Multi-AZ) und ausreichende Leistung für analytische Lasten.
Amazon VPC und Subnetzgruppe
- Isolierte und sichere Infrastruktur zur Gewährleistung der Konnektivität zwischen Oracle und PostgreSQL mithilfe von Subnetzgruppen in DMS.
Technische Herausforderungen und Lösungen
| Herausfordern | Angewandte Lösung |
| CDC in Oracle aktivieren (Zusätzliche Protokollierung nicht aktiviert) | Manuelle Konfiguration der globalen und tabellenbezogenen Zusatzprotokollierung (einschließlich ALLER Spalten für Tabellen ohne PK) |
| Zeitweise Ausfälle an Sonntagen | Vollständiges Zurücksetzen der Aufgabe und vollständige Bereinigung des LND-Schemas mit geplantem Neustart. Die Überwachung wurde in die Verantwortung des Supports übernommen. |
| Tabellen mit einer großen Anzahl von LOBs | Begrenzte Replikationskonfiguration von LOBs bis zu 32 KB, wodurch die Leistung gewährleistet wird, ohne dass der vollständige LOB-Modus erforderlich ist |
| Typkompatibilität zwischen Oracle und PostgreSQL | Behandelt über SCT und manuelles Mapping mit technischer Überwachung |
Erhaltene Ergebnisse
Operativ
- Replikationsaufgabe mit Parallelisierung in 8 gleichzeitige Teilaufgaben, Optimierung der Volllast.
- CDC mit geringe Wartezeit, wodurch Änderungen nahezu in Echtzeit synchronisiert werden.
- Zentralisierte und nachvollziehbare Protokolle über CloudWatch.
Analytisch
- Power BI-Dashboards funktionieren jetzt mit replizierte Daten sicher, ohne Oracle zu belasten.
- Deutliche Leistungssteigerung von Abfragen.
Financeiro
- Reduzierung der Nutzung von Oracle-Lizenzen, da analytische Abfragen an PostgreSQL gerichtet wurden.
- Kosten unter Kontrolle durch Verwendung einer optimierten DMS-Instanz (~65 US-Dollar/Monat N. Virginia, ~130 US-Dollar/Monat São Paulo).
Ergebnisse in Zahlen
- 🔄 32 replizierte Tabellen mit ~200 MB Daten.
- ️ 2 Stunden Anfangslast (Volllast).
- 💡 Aktualisierte Daten in nahezu Echtzeit über CDC.
- 📉 Keine Auswirkungen in der Oracle-Datenbank nach der Migration des analytischen Verbrauchs.
Vorteile der AWS-Architektur für KMUs
- Einfache Bedienung mit Managed Services
- Skalierbarkeit ohne Code-Neuschreiben
- Vorhersehbare und bedarfsgerechte Kosten
- Sicherheit mit vollständiger Netzwerkkontrolle (VPC)
- Integrierte Überwachung über CloudWatch
- Unterstützung für zukünftige Entwicklungen mit entkoppelter Architektur
Über FlexaCloud
A Flexa-Cloud ist ein AWS-Partner, der sich auf Lösungen für kleine und mittlere Unternehmen spezialisiert hat. Der Schwerpunkt liegt auf hocheffizienten Projekten, Automatisierung, Datenanalyse und Cloud-Migration. Wir arbeiten mit einem zertifizierten technischen Team und Methoden, die agile und gut dokumentierte Lieferungen gewährleisten.
