Преобразование аналитического уровня с помощью AWS DMS и RDS PostgreSQL
О клиенте
2Safe — компания, специализирующаяся на решениях для взыскания долгов, с сильными позициями в секторе возврата кредитов. Ее деятельность основана на интенсивном анализе данных, извлекаемых из основной системы, размещенной на базе данных Oracle, для заполнения панелей мониторинга в Power BI и принятия оперативных решений.
В связи с ростом объёма данных и усложнением запросов компания 2Safe столкнулась с проблемами производительности и ростом стоимости лицензирования Oracle. Для преодоления этой проблемы компания искала эффективный способ репликации аналитических данных в оптимизированную и масштабируемую среду , сохраняя при этом целостность и актуальность информации.
Бизнес-вызов
Для обеспечения быстрой и экономичной среды запросов для формирования отчетов и панелей мониторинга в Power BI без ущерба для производительности транзакционной среды Oracle , 2Safe требовалось создать такую среду.
Возникшие проблемы:
- Высокая нагрузка на исходную базу данных из-за аналитических запросов.
- Расширенные условия лицензирования Oracle, даже для второстепенных операций.
- Сложность масштабирования отчетов с удовлетворительной производительностью.
- Сложность обслуживания внешних трубопроводов для ETL.
Цели 2Safe с новым решением:
- Непрерывно реплицируйте данные из Oracle в PostgreSQL.
- гарантия низкая задержка между обновлением данных в источнике и доступностью в Power BI.
- Улучшать производительность аналитических запросов.
- Чтобы уменьшить эксплуатационные расходы и лицензирование.
- Реализуйте масштабируемую и удобную в обслуживании архитектуру.
Реализованное решение
Компания Flexa Cloud предложила и внедрила решение на основе управляемых сервисов AWS, ориентированное на простоту эксплуатации, масштабируемость и снижение затрат.
Используемая архитектура:
Сервис миграции баз данных AWS (DMS)
- Режим репликации: Полная загрузка + CDC (сбор данных об изменениях).
- Основная задача: teste-cdc, созданный для работы в производственной среде с непрерывной репликацией.
- Примененные преобразования: переименование схемы (DRCOB_ADM → lnd), строчные имена, точный контроль реплицированных таблиц (всего 32).
- Журналы и сбои отслеживаются через Amazon CloudWatch.
Инструмент преобразования схем AWS (SCT)
- Используется для преобразования типов и структур между Oracle и PostgreSQL.
Amazon RDS для PostgreSQL
- Целевой банк оптимизирован для чтения, с автоматическое резервное копирование, высокая доступность (Multi-AZ) и достаточная производительность для аналитических нагрузок.
Amazon VPC и группа подсетей
- Изолированная и безопасная инфраструктура для обеспечения связи между Oracle и PostgreSQL с использованием групп подсетей в DMS.
Технические проблемы и решения
| Desafio | Прикладное решение |
| Включить CDC в Oracle (дополнительное ведение журнала не включено) | Ручная настройка глобального и потабличного дополнительного журналирования (включая ВСЕ столбцы для таблиц без PK) |
| Периодические сбои по воскресеньям | Полный сброс задачи и полная очистка схемы lnd с запланированным перезапуском. Мониторинг перешёл в зону ответственности службы поддержки. |
| Таблицы с большим количеством LOB-объектов | Ограниченная конфигурация репликации LOB-объектов размером до 32 КБ, обеспечивающая производительность без необходимости использования режима Full LOB |
| Совместимость типов между Oracle и PostgreSQL | Лечение с помощью SCT и ручного картирования с техническим мониторингом |
Полученные результаты
эксплуатационный
- Задача репликации с распараллеливанием в 8 одновременных подзадач, оптимизируя полную загрузку.
- CDC с низкая задержка, синхронизируя изменения практически в реальном времени.
- Централизованные и отслеживаемые журналы через CloudWatch.
Аналитический
- Панели мониторинга Power BI теперь работают с реплицированные данные безопасно, не создавая нагрузку на Oracle.
- Значительное улучшение производительности запросов.
Финансовый
- Сокращение использования лицензий Oracle, поскольку аналитические запросы были направлены в PostgreSQL.
- Расходы под контролем благодаря использованию оптимизированного экземпляра DMS (~65 долл. США в месяц в Северной Вирджинии, ~130 долл. США в месяц в Сан-Паулу).
Результаты в числах
- 🔄 32 реплицированные таблицы с ~200 МБ данных.
- 🇧🇷 2 часов начальная нагрузка (полная нагрузка).
- 💡 Обновленные данные почти в реальном времени через CDC.
- 📉 Нулевое воздействие в базе данных Oracle после миграции аналитического потребления.
Преимущества архитектуры AWS для малого и среднего бизнеса
- Простота эксплуатации с управляемыми услугами
- Масштабируемость без переписывания кода
- Предсказуемая и доступная по запросу стоимость
- Безопасность с полным сетевым контролем (VPC)
- Интегрированный мониторинг через CloudWatch
- Поддержка будущей эволюции с помощью разъединенной архитектуры
Об облаке Flexa
Flexa Cloud — партнер AWS, специализирующийся на решениях для малых и средних предприятий, уделяющий особое внимание высокоэффективным проектам, автоматизации, анализу данных и миграции в облако. Мы работаем с сертифицированной технической командой и используем методологии, гарантирующие гибкую и хорошо документированную реализацию проектов.
