Transformatie van analyselagen met AWS DMS en RDS PostgreSQL
Over de klant
2Safe is een bedrijf dat gespecialiseerd is in oplossingen voor schuldinvordering, met een sterke positie in de sector van kredietherstel. De bedrijfsvoering is gebaseerd op intensieve data-analyse uit het kernsysteem, dat draait op een Oracle-database. Deze data worden gebruikt om dashboards in Power BI te vullen en operationele beslissingen te onderbouwen.
Door de groei van het datavolume en de toenemende complexiteit van de query's kreeg 2Safe te maken met prestatieknelpunten en stijgende Oracle-licentiekosten. Om dit probleem op te lossen, zocht het bedrijf naar een efficiënte manier om analytische data te repliceren naar een geoptimaliseerde en schaalbare omgeving , met behoud van de integriteit en actualiteit van de informatie.
Zakelijke uitdaging
2Safe moest een snelle en kostenefficiënte queryomgeving mogelijk maken voor het vullen van rapporten en dashboards in Power BI, zonder de prestaties van de Oracle-transactieomgeving te beïnvloeden.
Problemen die zich voordoen:
- Hoge belasting van de bron database vanwege analytische query's.
- Verhoogde licentiekosten voor Oracle, zelfs voor secundaire bewerkingen.
- Moeilijkheden bij het schalen van rapporten met bevredigende prestaties.
- Complexiteit van het onderhouden van externe pijplijnen voor ETL.
Doelstellingen van 2Safe met de nieuwe oplossing:
- Repliceer continu gegevens van Oracle naar PostgreSQL.
- Garantie lage latentie tussen gegevensvernieuwing bij de bron en beschikbaarheid in Power BI.
- Verbeteren analytische queryprestaties.
- Verminderen operationele kosten en licenties.
- Implementeer een schaalbare en onderhoudbare architectuur.
Geïmplementeerde oplossing
Flexa Cloud heeft een oplossing voorgesteld en geïmplementeerd die gebaseerd is op beheerde AWS-services, met de nadruk op operationele eenvoud, schaalbaarheid en kostenbesparing.
Gebruikte architectuur:
AWS-databasemigratieservice (DMS)
- Replicatiemodus: Volledige belasting + CDC (wijzigingsgegevens vastleggen).
- Hoofdtaak: teste-cdc, gemaakt om in productie te draaien met continue replicatie.
- Toegepaste transformaties: schema hernoemen (DRCOB_ADM → lnd), namen in kleine letters, nauwkeurige controle van gerepliceerde tabellen (32 in totaal).
- Logs en fouten worden bijgehouden via Amazon Cloud Watch.
AWS Schema Conversie Tool (SCT)
- Wordt gebruikt voor het converteren van typen en structuren tussen Oracle en PostgreSQL.
Amazon RDS voor PostgreSQL
- Doelbank geoptimaliseerd voor lezen, met automatische back-up, hoge beschikbaarheid (Multi-AZ) en voldoende prestaties voor analytische belastingen.
Amazon VPC en subnetgroep
- Geïsoleerde en veilige infrastructuur om connectiviteit tussen Oracle en PostgreSQL te garanderen met behulp van subnetgroepen in DMS.
Technische uitdagingen en oplossingen
| Uitdaging | Toegepaste oplossing |
| CDC inschakelen in Oracle (aanvullende logging niet ingeschakeld) | Handmatige configuratie van globale en per-tabel aanvullende logging (inclusief ALLE kolommen voor tabellen zonder PK) |
| Af en toe storingen op zondag | Volledige taakreset en volledige opschoning van het lnd-schema, met geplande herstart. Monitoring werd de verantwoordelijkheid van support. |
| Tabellen met een groot aantal LOB's | Beperkte replicatieconfiguratie van LOB's tot 32 KB, waardoor de prestaties worden gegarandeerd zonder dat de volledige LOB-modus nodig is |
| Typecompatibiliteit tussen Oracle en PostgreSQL | Behandeld via SCT en handmatige mapping met technische monitoring |
Resultaten verkregen
Operationeel
- Replicatietaak met parallelisatie in 8 gelijktijdige subtaken, optimalisatie van volledige belasting.
- CDC met lage latentie, waarbij wijzigingen bijna in realtime worden gesynchroniseerd.
- Gecentraliseerde en traceerbare logs via CloudWatch.
Analytisch
- Power BI-dashboards werken nu met gerepliceerde gegevens veilig, zonder belasting voor Oracle te genereren.
- Aanzienlijke verbetering van de prestaties van vragen.
Financieel
- Vermindering van het gebruik van Oracle-licenties, omdat analytische query's naar PostgreSQL werden gericht.
- Kosten onder controle dankzij gebruik van een geoptimaliseerde DMS-instantie (~US$65/maand N. Virginia, ~US$130/maand São Paulo).
Resultaten in cijfers
- 🔄 32 gerepliceerde tabellen met ~200MB aan data.
- 2 uur initiële belasting (volledige belasting).
- 💡 Bijgewerkte gegevens in bijna realtime via CDC.
- 📉 Nul impact in de Oracle-database na migratie van analytisch verbruik.
Voordelen van AWS-architectuur voor het MKB
- Operationele eenvoud met beheerde services
- Schaalbaarheid zonder code herschrijven
- Voorspelbare en op aanvraag beschikbare kosten
- Beveiliging met volledige netwerkcontrole (VPC)
- Geïntegreerde monitoring via CloudWatch
- Ondersteuning voor toekomstige evolutie met ontkoppelde architectuur
Over Flexa Cloud
Flexa Cloud is een AWS-partner die gespecialiseerd is in oplossingen voor het mkb, met een focus op zeer efficiënte projecten, automatisering, data-analyse en cloudmigratie. We werken met een gecertificeerd technisch team en methodologieën die garant staan voor flexibele en goed gedocumenteerde opleveringen.
