Transformação da camada analítica com AWS DMS e RDS PostgreSQL
Sobre o Cliente
A 2Safe é uma empresa especializada em soluções de cobrança, com forte atuação no setor de recuperação de crédito. Sua operação depende de análise intensiva de dados extraídos do seu sistema principal, hospedado em banco de dados Oracle, para alimentar dashboards no Power BI e orientar decisões operacionais.
Com o crescimento do volume de dados e a complexidade crescente das consultas, a 2Safe enfrentava gargalos de performance e aumento de custos com licenciamento Oracle. Para contornar esse cenário, a empresa buscava uma forma eficiente de replicar os dados analíticos para um ambiente otimizado e escalável, mantendo a integridade e atualidade das informações.
Desafio de Negócio
A 2Safe precisava viabilizar um ambiente de consulta rápida e econômica para alimentar relatórios e dashboards no Power BI, sem afetar a performance do ambiente transacional Oracle.
Problemas enfrentados:
- Alta carga sobre o banco de origem devido às consultas analíticas.
- Licenciamento elevado para Oracle, mesmo para operações secundárias.
- Dificuldade de escalar relatórios com performance satisfatória.
- Complexidade de manutenção de pipelines externos para ETL.
Objetivos da 2Safe com a nova solução:
- Replicar dados de forma contínua do Oracle para o PostgreSQL.
- Garantir baixa latência entre a atualização do dado na origem e a disponibilidade no Power BI.
- Melhorar performance de consultas analíticas.
- Reduzir custos operacionais e licenciamento.
- Implementar uma arquitetura escalável e de fácil manutenção.
Solução Implementada
A Flexa Cloud propôs e implementou uma solução baseada em serviços gerenciados da AWS, com foco em simplicidade operacional, escalabilidade e redução de custos.
Arquitetura Utilizada:
AWS Database Migration Service (DMS)
- Modo de replicação: Full Load + CDC (Change Data Capture).
- Task principal: teste-cdc, criada para rodar em produção com replicação contínua.
- Transformações aplicadas: renomeação de schema (DRCOB_ADM → lnd), nomes em lowercase, controle preciso de tabelas replicadas (32 no total).
- Logs e falhas rastreadas via Amazon CloudWatch.
AWS Schema Conversion Tool (SCT)
- Utilizada para conversão de tipos e estruturas entre Oracle e PostgreSQL.
Amazon RDS for PostgreSQL
- Banco de destino otimizado para leitura, com backup automático, alta disponibilidade (Multi-AZ) e performance adequada para cargas analíticas.
Amazon VPC e Subnet Group
- Infraestrutura isolada e segura para garantir conectividade entre Oracle e PostgreSQL, com uso de subnet group no DMS.
Desafios Técnicos e Soluções
| Desafio | Solução Aplicada |
| Ativar CDC no Oracle (log suplementar não habilitado) | Configuração manual de log suplementar global e por tabela (inclusive com ALL columns para tabelas sem PK) |
| Falhas intermitentes aos domingos | Reset total da task e limpeza completa do schema lnd, com reinício programado. Monitoramento passou a ser responsabilidade da sustentação |
| Tabelas com grande quantidade de LOBs | Configuração de replicação limitada de LOBs até 32KB, garantindo performance sem exigir modo Full LOB |
| Compatibilidade de tipos entre Oracle e PostgreSQL | Tratada via SCT e mapeamento manual com acompanhamento técnico |
Resultados Obtidos
Operacional
- Task de replicação com paralelização em 8 subtarefas simultâneas, otimizando o Full Load.
- CDC com baixa latência, sincronizando alterações quase em tempo real.
- Logs centralizados e rastreáveis via CloudWatch.
Analítico
- Dashboards Power BI passaram a operar com dados replicados de forma segura, sem gerar carga no Oracle.
- Melhoria significativa na performance de consultas.
Financeiro
- Redução no uso de licenças Oracle, já que as consultas analíticas foram direcionadas ao PostgreSQL.
- Custos sob controle com uso de instância DMS otimizada (~US$ 65/mês N. Virginia, ~US$ 130/mês São Paulo).
Resultados em Números
- 🔄 32 tabelas replicadas com ~200MB de dados.
- ⏱️ 2 horas de carga inicial (Full Load).
- 💡 Dados atualizados em tempo quase real via CDC.
- 📉 Zero impacto no banco Oracle após migração do consumo analítico.
Benefícios da Arquitetura AWS para SMB
- Simplicidade operacional com serviços gerenciados
- Escalabilidade sem reescrever código
- Custo previsível e sob demanda
- Segurança com controle total de rede (VPC)
- Monitoramento integrado via CloudWatch
- Suporte para evolução futura com arquitetura desacoplada
Sobre a Flexa Cloud
A Flexa Cloud é uma parceira AWS especializada em soluções para PMEs, com foco em projetos de alta eficiência, automação, análise de dados e migração para a nuvem. Atuamos com um time técnico certificado e metodologias que garantem entregas ágeis e bem documentadas.
