Analytics Layer Transformation mit AWS DMS und RDS PostgreSQL
Über den Kunden
2Safe ist ein auf Inkassolösungen spezialisiertes Unternehmen mit starker Präsenz im Bereich der Forderungsbeitreibung. Die Geschäftstätigkeit basiert auf der intensiven Analyse von Daten aus dem Kernsystem, das auf einer Oracle-Datenbank gehostet wird. Diese Daten werden in Power BI-Dashboards dargestellt und dienen als Grundlage für operative Entscheidungen.
Angesichts des wachsenden Datenvolumens und der zunehmenden Komplexität der Abfragen stieß 2Safe an Leistungsgrenzen und stieg die Oracle-Lizenzkosten. Um dieser Situation zu begegnen, suchte das Unternehmen nach einer effizienten Methode, um Analysedaten in eine optimierte und skalierbare Umgebung zu replizieren und dabei die Integrität und Aktualität der Informationen zu gewährleisten.
Geschäftliche Herausforderung
2Safe wurde benötigt, um eine schnelle und kostengünstige Abfrageumgebung für die Erstellung von Berichten und Dashboards in Power BI zu ermöglichen, ohne die Leistung der Oracle-Transaktionsumgebung zu beeinträchtigen.
Probleme:
- Hohe Belastung der Quelldatenbank durch analytische Abfragen.
- Erhöhte Lizenzierung für Oracle, auch für sekundäre Vorgänge.
- Schwierigkeiten beim Skalieren von Berichten mit zufriedenstellender Leistung.
- Komplexität der Wartung externer Pipelines für ETL.
Die Ziele von 2Safe mit der neuen Lösung:
- Replizieren Sie kontinuierlich Daten von Oracle nach PostgreSQL.
- Garantieren geringe Wartezeit zwischen der Datenaktualisierung an der Quelle und der Verfügbarkeit in Power BI.
- Verbessern analytische Abfrageleistung.
- Reduzieren Betriebskosten und Lizenzierung.
- Implementieren Sie eine skalierbare und wartbare Architektur.
Implementierte Lösung
Flexa Cloud entwickelte und implementierte eine Lösung auf Basis von AWS Managed Services mit Fokus auf operative Einfachheit, Skalierbarkeit und Kostenreduzierung.
Verwendete Architektur:
AWS Database Migration Service (DMS)
- Replikationsmodus: Vollständiges Laden + CDC (Change Data Capture).
- Hauptaufgabe: teste-cdc, erstellt für die Ausführung in der Produktion mit kontinuierlicher Replikation.
- Angewandte Transformationen: Schemaumbenennung (DRCOB_ADM → lnd), Namen in Kleinbuchstaben, präzise Kontrolle der replizierten Tabellen (insgesamt 32).
- Protokolle und Fehler werden verfolgt über Amazon CloudWatch.
AWS Schema Conversion Tool (SCT)
- Wird zum Konvertieren von Typen und Strukturen zwischen Oracle und PostgreSQL verwendet.
Amazon RDS für PostgreSQL
- Zielbank optimiert für das Lesen, mit automatische Sicherung, hohe Verfügbarkeit (Multi-AZ) und ausreichende Leistung für analytische Lasten.
Amazon VPC und Subnetzgruppe
- Isolierte und sichere Infrastruktur zur Gewährleistung der Konnektivität zwischen Oracle und PostgreSQL mithilfe von Subnetzgruppen in DMS.
Technische Herausforderungen und Lösungen
| Herausfordern | Angewandte Lösung |
| CDC in Oracle aktivieren (Zusätzliche Protokollierung nicht aktiviert) | Manuelle Konfiguration der globalen und tabellenbezogenen Zusatzprotokollierung (einschließlich ALLER Spalten für Tabellen ohne PK) |
| Zeitweise Ausfälle an Sonntagen | Vollständiges Zurücksetzen der Aufgabe und vollständige Bereinigung des LND-Schemas mit geplantem Neustart. Die Überwachung wurde in die Verantwortung des Supports übernommen. |
| Tabellen mit einer großen Anzahl von LOBs | Begrenzte Replikationskonfiguration von LOBs bis zu 32 KB, wodurch die Leistung gewährleistet wird, ohne dass der vollständige LOB-Modus erforderlich ist |
| Typkompatibilität zwischen Oracle und PostgreSQL | Behandelt über SCT und manuelles Mapping mit technischer Überwachung |
Erhaltene Ergebnisse
Operativ
- Replikationsaufgabe mit Parallelisierung in 8 gleichzeitige Teilaufgaben, Optimierung der Volllast.
- CDC mit geringe Wartezeit, wodurch Änderungen nahezu in Echtzeit synchronisiert werden.
- Zentralisierte und nachvollziehbare Protokolle über CloudWatch.
Analytisch
- Power BI-Dashboards funktionieren jetzt mit replizierte Daten sicher, ohne Oracle zu belasten.
- Deutliche Leistungssteigerung von Abfragen.
Financeiro
- Reduzierung der Nutzung von Oracle-Lizenzen, da analytische Abfragen an PostgreSQL gerichtet wurden.
- Kosten unter Kontrolle durch Verwendung einer optimierten DMS-Instanz (~65 US-Dollar/Monat N. Virginia, ~130 US-Dollar/Monat São Paulo).
Ergebnisse in Zahlen
- 🔄 32 replizierte Tabellen mit ~200 MB Daten.
- ️ 2 Stunden Anfangslast (Volllast).
- 💡 Aktualisierte Daten in nahezu Echtzeit über CDC.
- 📉 Keine Auswirkungen in der Oracle-Datenbank nach der Migration des analytischen Verbrauchs.
Vorteile der AWS-Architektur für KMUs
- Einfache Bedienung mit Managed Services
- Skalierbarkeit ohne Code-Neuschreiben
- Vorhersehbare und bedarfsgerechte Kosten
- Sicherheit mit vollständiger Netzwerkkontrolle (VPC)
- Integrierte Überwachung über CloudWatch
- Unterstützung für zukünftige Entwicklungen mit entkoppelter Architektur
Über FlexaCloud
Flexa Cloud ist ein AWS-Partner, der sich auf Lösungen für KMU spezialisiert hat und sich auf hocheffiziente Projekte, Automatisierung, Datenanalyse und Cloud-Migration konzentriert. Wir arbeiten mit einem zertifizierten technischen Team und Methoden, die agile und gut dokumentierte Ergebnisse gewährleisten.
