Transformatie van analyselagen met AWS DMS en RDS PostgreSQL
Over de klant
A 2Veilig is een bedrijf dat gespecialiseerd is in incassooplossingen en een sterke positie heeft in de incassosector. De activiteiten zijn gebaseerd op intensieve analyse van gegevens uit het hoofdsysteem, gehost op een Oracle-database, om Power BI-dashboards te voeden en operationele beslissingen te sturen.
Door de toenemende datavolumes en de toenemende complexiteit van query's, kreeg 2Safe te maken met prestatieknelpunten en stijgende Oracle-licentiekosten. Om dit aan te pakken, zocht het bedrijf een efficiënte manier om analytische gegevens te repliceren naar een geoptimaliseerde en schaalbare omgeving, waarbij de integriteit en actualiteit van de informatie behouden blijven.
Zakelijke uitdaging
2Veilig nodig om een veilige omgeving mogelijk te maken snel en voordelig consult om rapporten en dashboards in Power BI te voeden, zonder de prestaties van de Oracle-transactieomgeving te beïnvloeden.
Problemen die zich voordoen:
- Hoge belasting van de bron database vanwege analytische query's.
- Verhoogde licentiekosten voor Oracle, zelfs voor secundaire bewerkingen.
- Moeilijkheden bij het schalen van rapporten met bevredigende prestaties.
- Complexiteit van het onderhouden van externe pijplijnen voor ETL.
Doelstellingen van 2Safe met de nieuwe oplossing:
- Repliceer continu gegevens van Oracle naar PostgreSQL.
- Garantie lage latentie tussen gegevensvernieuwing bij de bron en beschikbaarheid in Power BI.
- Verbeteren analytische queryprestaties.
- Verminderen operationele kosten en licenties.
- Implementeer een schaalbare en onderhoudbare architectuur.
Geïmplementeerde oplossing
Flexa Cloud heeft een oplossing voorgesteld en geïmplementeerd op basis van AWS-managed services, met de focus op operationele eenvoud, schaalbaarheid en kostenreductie.
Gebruikte architectuur:
AWS-databasemigratieservice (DMS)
- Replicatiemodus: Volledige belasting + CDC (wijzigingsgegevens vastleggen).
- Hoofdtaak: teste-cdc, gemaakt om in productie te draaien met continue replicatie.
- Toegepaste transformaties: schema hernoemen (DRCOB_ADM → lnd), namen in kleine letters, nauwkeurige controle van gerepliceerde tabellen (32 in totaal).
- Logs en fouten worden bijgehouden via Amazon Cloud Watch.
AWS Schema Conversie Tool (SCT)
- Wordt gebruikt voor het converteren van typen en structuren tussen Oracle en PostgreSQL.
Amazon RDS voor PostgreSQL
- Doelbank geoptimaliseerd voor lezen, met automatische back-up, hoge beschikbaarheid (Multi-AZ) en voldoende prestaties voor analytische belastingen.
Amazon VPC en subnetgroep
- Geïsoleerde en veilige infrastructuur om connectiviteit tussen Oracle en PostgreSQL te garanderen met behulp van subnetgroepen in DMS.
Technische uitdagingen en oplossingen
| Uitdaging | Toegepaste oplossing |
| CDC inschakelen in Oracle (aanvullende logging niet ingeschakeld) | Handmatige configuratie van globale en per-tabel aanvullende logging (inclusief ALLE kolommen voor tabellen zonder PK) |
| Af en toe storingen op zondag | Volledige taakreset en volledige opschoning van het lnd-schema, met geplande herstart. Monitoring werd de verantwoordelijkheid van support. |
| Tabellen met een groot aantal LOB's | Beperkte replicatieconfiguratie van LOB's tot 32 KB, waardoor de prestaties worden gegarandeerd zonder dat de volledige LOB-modus nodig is |
| Typecompatibiliteit tussen Oracle en PostgreSQL | Behandeld via SCT en handmatige mapping met technische monitoring |
Resultaten verkregen
Operationeel
- Replicatietaak met parallelisatie in 8 gelijktijdige subtaken, optimalisatie van volledige belasting.
- CDC met lage latentie, waarbij wijzigingen bijna in realtime worden gesynchroniseerd.
- Gecentraliseerde en traceerbare logs via CloudWatch.
Analytisch
- Power BI-dashboards werken nu met gerepliceerde gegevens veilig, zonder belasting voor Oracle te genereren.
- Aanzienlijke verbetering van de prestaties van vragen.
Financieel
- Vermindering van het gebruik van Oracle-licenties, omdat analytische query's naar PostgreSQL werden gericht.
- Kosten onder controle dankzij gebruik van een geoptimaliseerde DMS-instantie (~US$65/maand N. Virginia, ~US$130/maand São Paulo).
Resultaten in cijfers
- 🔄 32 gerepliceerde tabellen met ~200MB aan data.
- 2 uur initiële belasting (volledige belasting).
- 💡 Bijgewerkte gegevens in bijna realtime via CDC.
- 📉 Nul impact in de Oracle-database na migratie van analytisch verbruik.
Voordelen van AWS-architectuur voor het MKB
- Operationele eenvoud met beheerde services
- Schaalbaarheid zonder code herschrijven
- Voorspelbare en op aanvraag beschikbare kosten
- Beveiliging met volledige netwerkcontrole (VPC)
- Geïntegreerde monitoring via CloudWatch
- Ondersteuning voor toekomstige evolutie met ontkoppelde architectuur
Over Flexa Cloud
A Flexa-wolk is een AWS-partner die gespecialiseerd is in oplossingen voor het MKB, met een focus op zeer efficiënte projecten, automatisering, data-analyse en cloudmigratie. We werken met een gecertificeerd technisch team en methodologieën die zorgen voor flexibele, goed gedocumenteerde leveringen.
