Transformation de la couche analytique avec AWS DMS et RDS PostgreSQL
À propos du client
2Safe est une entreprise spécialisée dans les solutions de recouvrement de créances, avec une forte présence dans le secteur du recouvrement de crédit. Son fonctionnement repose sur une analyse approfondie des données extraites de son système central, hébergé sur une base de données Oracle, afin d'alimenter des tableaux de bord dans Power BI et d'orienter les décisions opérationnelles.
Face à l'augmentation du volume de données et à la complexité croissante des requêtes, 2Safe a rencontré des problèmes de performance et une hausse des coûts de licences Oracle. Pour y remédier, l'entreprise a recherché une solution efficace pour répliquer ses données analytiques dans un environnement optimisé et évolutif , tout en préservant l'intégrité et la mise à jour des informations.
Défi commercial
2Safe était nécessaire pour permettre un environnement de requête rapide et économique pour alimenter les rapports et les tableaux de bord dans Power BI, sans affecter les performances de l'environnement transactionnel Oracle.
Problèmes rencontrés :
- Charge élevée sur la base de données source en raison de requêtes analytiques.
- Licences élevées pour Oracle, même pour les opérations secondaires.
- Difficulté à mettre à l'échelle les rapports avec des performances satisfaisantes.
- Complexité de la maintenance des pipelines externes pour ETL.
Objectifs de 2Safe avec la nouvelle solution :
- Répliquer en continu les données d’Oracle vers PostgreSQL.
- Garantir faible latence entre l'actualisation des données à la source et la disponibilité dans Power BI.
- Améliorer performances des requêtes analytiques.
- Réduire coûts d'exploitation et licences.
- Mettre en œuvre une architecture évolutive et maintenable.
Solution mise en œuvre
Flexa Cloud a proposé et mis en œuvre une solution basée sur les services gérés d'AWS, axée sur la simplicité opérationnelle, l'évolutivité et la réduction des coûts.
Architecture utilisée :
Service de migration de base de données AWS (DMS)
- Mode de réplication : Chargement complet + CDC (capture des données modifiées).
- Tâche principale : teste-cdc, créé pour fonctionner en production avec réplication continue.
- Transformations appliquées : renommage de schéma (DRCOB_ADM → lnd), noms en minuscules, contrôle précis des tables répliquées (32 au total).
- Journaux et échecs suivis via Amazon Cloud Watch.
Outil de conversion de schéma AWS (SCT)
- Utilisé pour convertir des types et des structures entre Oracle et PostgreSQL.
Amazon RDS pour PostgreSQL
- Banque cible optimisée pour la lecture, avec sauvegarde automatique, haute disponibilité (Multi-AZ) et des performances adéquates pour les charges analytiques.
Amazon VPC et groupe de sous-réseaux
- Infrastructure isolée et sécurisée pour assurer la connectivité entre Oracle et PostgreSQL, en utilisant des groupes de sous-réseaux dans DMS.
Défis techniques et solutions
| Défi | Solution appliquée |
| Activer la CDC dans Oracle (journalisation supplémentaire non activée) | Configuration manuelle de la journalisation supplémentaire globale et par table (y compris TOUTES les colonnes pour les tables sans PK) |
| Pannes intermittentes le dimanche | Réinitialisation complète des tâches et nettoyage complet du schéma lnd, avec redémarrage programmé. La surveillance est désormais assurée par le support. |
| Tables avec un grand nombre de LOB | Configuration de réplication limitée des LOB jusqu'à 32 Ko, garantissant des performances sans nécessiter le mode LOB complet |
| Compatibilité de type entre Oracle et PostgreSQL | Traité via SCT et cartographie manuelle avec suivi technique |
Les résultats obtenus
Opérationnel
- Tâche de réplication avec parallélisation dans 8 sous-tâches simultanées, optimisation de la pleine charge.
- CDC avec faible latence, synchronisant les changements en temps quasi réel.
- Journaux centralisés et traçables via CloudWatch.
Analytique
- Les tableaux de bord Power BI fonctionnent désormais avec données répliquées en toute sécurité, sans générer de charge sur Oracle.
- Amélioration significative des performances de consultations.
Financier
- Réduction de l'utilisation des licences Oracle, puisque les requêtes analytiques étaient dirigées vers PostgreSQL.
- Coûts maîtrisés grâce à l'utilisation d'une instance DMS optimisée (~65 USD/mois en Virginie du Nord, ~130 USD/mois à São Paulo).
Résultats en chiffres
- (I.e. 32 tables répliquées avec ~200 Mo de données.
- ️ 2 heures charge initiale (pleine charge).
- 💡 Données mises à jour en temps quasi réel par l'intermédiaire du CDC.
- (I.e. Zéro impact dans la base de données Oracle après la migration de la consommation analytique.
Avantages de l'architecture AWS pour les PME
- Simplicité opérationnelle avec services gérés
- Évolutivité sans réécriture de code
- Coût prévisible et à la demande
- Sécurité avec contrôle total du réseau (VPC)
- Surveillance intégrée via CloudWatch
- Prise en charge de l'évolution future avec une architecture découplée
À propos de Flexa Cloud
Flexa Cloud est un partenaire AWS spécialisé dans les solutions pour PME, axé sur les projets à haute efficacité, l'automatisation, l'analyse de données et la migration vers le cloud. Notre équipe technique certifiée et nos méthodologies garantissent des livraisons agiles et parfaitement documentées.
