Trasformazione del livello di analisi con AWS DMS e RDS PostgreSQL
Informazioni sul cliente
A 2Sicuro è un'azienda specializzata in soluzioni di recupero crediti, con una forte presenza nel settore. Le sue attività si basano sull'analisi intensiva dei dati estratti dal suo sistema principale, ospitato su un database Oracle, per alimentare i dashboard di Power BI e guidare le decisioni operative.
Con il crescente volume di dati e la crescente complessità delle query, 2Safe ha dovuto affrontare colli di bottiglia nelle prestazioni e costi crescenti delle licenze Oracle. Per risolvere questo problema, l'azienda ha cercato un modo efficiente per replicare i dati analitici in un ambiente ottimizzato e scalabile, mantenendo l'integrità e l'attualità delle informazioni.
Sfida aziendale
2Safe necessario per consentire un ambiente sicuro consulenza rapida ed economica per alimentare report e dashboard in Power BI, senza compromettere le prestazioni dell'ambiente transazionale Oracle.
Problemi riscontrati:
- Carico elevato sul database di origine dovuto a query analitiche.
- Licenze elevate per Oracle, anche per operazioni secondarie.
- Difficoltà nel ridimensionare i report con prestazioni soddisfacenti.
- Complessità della manutenzione di pipeline esterne per ETL.
Gli obiettivi di 2Safe con la nuova soluzione:
- Replicare continuamente i dati da Oracle a PostgreSQL.
- Garantire bassa latenza tra l'aggiornamento dei dati all'origine e la disponibilità in Power BI.
- Ottimizzare prestazioni delle query analitiche.
- Per ridurre costi operativi e licenze.
- Implementare un'architettura scalabile e manutenibile.
Soluzione implementata
Flexa Cloud ha proposto e implementato una soluzione basata sui servizi gestiti AWS, focalizzandosi su semplicità operativa, scalabilità e riduzione dei costi.
Architettura utilizzata:
Servizio di migrazione del database AWS (DMS)
- Modalità di replicazione: Carico completo + CDC (Change Data Capture).
- Attività principale: teste-cdc, creato per essere eseguito in produzione con replica continua.
- Trasformazioni applicate: rinominazione dello schema (DRCOB_ADM → lnd), nomi in minuscolo, controllo preciso delle tabelle replicate (32 in totale).
- Registri e guasti monitorati tramite Amazon Cloud Watch.
Strumento di conversione degli schemi AWS (SCT)
- Utilizzato per convertire tipi e strutture tra Oracle e PostgreSQL.
Amazon RDS per PostgreSQL
- Target bank ottimizzato per la lettura, con backup automatico, alta disponibilità (Multi-AZ) e prestazioni adeguate per carichi analitici.
Amazon VPC e gruppo di sottoreti
- Infrastruttura isolata e sicura per garantire la connettività tra Oracle e PostgreSQL, utilizzando gruppi di subnet in DMS.
Sfide e soluzioni tecniche
| sfida | Soluzione applicata |
| Abilita CDC in Oracle (registrazione supplementare non abilitata) | Configurazione manuale della registrazione supplementare globale e per tabella (incluse TUTTE le colonne per le tabelle senza PK) |
| Guasti intermittenti la domenica | Reimpostazione completa delle attività e pulizia completa dello schema lnd, con riavvio programmato. Il monitoraggio è diventato responsabilità del supporto. |
| Tabelle con un gran numero di LOB | Configurazione di replica limitata di LOB fino a 32 KB, garantendo prestazioni senza richiedere la modalità Full LOB |
| Compatibilità di tipo tra Oracle e PostgreSQL | Trattato tramite SCT e mappatura manuale con monitoraggio tecnico |
Risultati ottenuti
operativo
- Attività di replicazione con parallelizzazione in 8 sottoattività simultanee, ottimizzando il carico completo.
- CDC con bassa latenza, sincronizzando le modifiche quasi in tempo reale.
- Registri centralizzati e tracciabili tramite CloudWatch.
Analitico
- I dashboard di Power BI ora funzionano con dati replicati in modo sicuro, senza generare carico su Oracle.
- Miglioramento significativo delle prestazioni di consultazioni.
Financeiro
- Riduzione dell'utilizzo delle licenze Oracle, poiché le query analitiche erano dirette a PostgreSQL.
- Costi sotto controllo con l'uso di un'istanza DMS ottimizzata (~US$65/mese Virginia settentrionale, ~US$130/mese San Paolo).
Risultati in numeri
- 🔄 32 tabelle replicate con ~200 MB di dati.
- ️ 2 ore. carico iniziale (carico completo).
- 💡 Dati aggiornati in tempo quasi reale tramite CDC.
- 📉 Impatto zero nel database Oracle dopo la migrazione del consumo analitico.
Vantaggi dell'architettura AWS per le PMI
- Semplicità operativa con servizi gestiti
- Scalabilità senza riscrittura del codice
- Costi prevedibili e on-demand
- Sicurezza con controllo completo della rete (VPC)
- Monitoraggio integrato tramite CloudWatch
- Supporto per l'evoluzione futura con architettura disaccoppiata
Informazioni su Flexa Cloud
A Flexa Nuvola è un partner AWS specializzato in soluzioni per le PMI, focalizzato su progetti ad alta efficienza, automazione, analisi dei dati e migrazione al cloud. Collaboriamo con un team tecnico certificato e metodologie che garantiscono consegne agili e ben documentate.
