使用 AWS DMS 和 RDS PostgreSQL 进行分析层转换
关于客户
A 2Safe 是一家专注于债务催收解决方案的公司，在信用追偿领域拥有强大的影响力。其运营依赖于对从托管在 Oracle 数据库上的主系统中提取的数据进行深入分析，以将数据提供给 Power BI 仪表板并指导运营决策。
随着数据量和查询复杂性的不断增长，2Safe 面临着性能瓶颈和 Oracle 许可成本不断上升的问题。为了解决这个问题，该公司寻求一种 将分析数据复制到优化且可扩展的环境的有效方法，维护信息的完整性和时效性。
商业挑战
2Safe 需要创造安全的环境 快速且经济的咨询 在 Power BI 中提供报告和仪表板， 不会影响 Oracle 事务环境的性能.
面临的问题：
- 由于分析查询导致源数据库负载过高。
- 提升 Oracle 的许可，甚至对于二次操作也是如此。
- 难以以令人满意的性能扩展报告。
- 维护 ETL 外部管道的复杂性。
2Safe 新解决方案的目标：
- 持续将数据从 Oracle 复制到 PostgreSQL。
- 以保证 低延迟 源数据刷新和 Power BI 中的可用性之间。
- 提升 分析查询性能.
- 减少 运营成本和许可.
- 实施可扩展且可维护的架构。
实施的解决方案
Flexa Cloud 提出并实施了基于 AWS 托管服务的解决方案，重点关注 操作简单， 可扩展性 并降低成本.
所用架构：
AWS 数据库迁移服务 (DMS)
- 复制模式： 满载 + CDC（变更数据捕获）.
- 主要任务：teste-cdc，创建用于在生产中运行并持续复制。
- 应用的转换：模式重命名（DRCOB_ADM → lnd）、小写名称、复制表的精确控制（总共 32 个）。
- 通过以下方式跟踪日志和故障 亚马逊CloudWatch.
AWS Schema 转换工具 (SCT)
- 用于在 Oracle 和 PostgreSQL 之间转换类型和结构。
适用于PostgreSQL的Amazon RDS
- 针对阅读进行了优化的目标库， 自动备份, 高可用性（多可用区） 并具有足够的分析负载性能。
Amazon VPC 和子网组
- 独立且安全的基础架构，使用 DMS 中的子网组来确保 Oracle 和 PostgreSQL 之间的连接。
技术挑战和解决方案
| 挑战 | 应用解决方案 |
| 在 Oracle 中启用 CDC（未启用补充日志记录） | 手动配置全局和每个表的补充日志记录（包括没有 PK 的表的所有列） |
| 周日间歇性故障 | 完成任务重置，并彻底清理 lnd 架构，并按计划重启。监控工作由支持部门负责。 |
| 具有大量 LOB 的表 | LOB 的复制配置限制为最多 32KB，无需使用完整 LOB 模式即可确保性能 |
| Oracle 和 PostgreSQL 之间的类型兼容性 | 通过 SCT 和手动映射进行治疗，并进行技术监控 |
获得的结果
操作
- 并行复制任务 8个同时进行的子任务，优化满载。
- 疾病预防控制中心 低延迟，近乎实时地同步变化。
- 通过 CloudWatch 集中且可追踪的日志。
分析型
- Power BI 仪表板现在可与 复制数据 安全地，不会对 Oracle 产生负载。
- 性能显著提升 的查询。
Financeiro
- 减少 Oracle 许可证的使用，因为分析查询被定向到 PostgreSQL。
- 通过使用优化的 DMS 实例来控制成本（北弗吉尼亚州每月约 65 美元，圣保罗每月约 130 美元）。
数字结果
- 🔄 32个复制表 数据量约为 200MB。
- ⏱️ 2小时 初始负载（满载）。
- 💡 更新数据 近乎实时 通过 CDC。
- 📉 零影响 在迁移分析消费后的 Oracle 数据库中。
AWS 架构对中小企业的优势
- 通过托管服务简化操作
- 无需重写代码即可实现扩展
- 可预测且按需的成本
- 具有完全网络控制 (VPC) 的安全性
- 通过 CloudWatch 进行集成监控
- 通过解耦架构支持未来演进
关于 Flexa 云
A 弹性云 是 AWS 的合作伙伴，专注于为中小企业提供解决方案，专注于高效项目、自动化、数据分析和云迁移。我们拥有一支经过认证的技术团队，并采用多种方法，确保交付敏捷且记录完善的项目。
