Преобразование аналитического уровня с помощью AWS DMS и RDS PostgreSQL
О клиенте
A 2Безопасно — компания, специализирующаяся на решениях для взыскания задолженностей и имеющая сильные позиции в секторе взыскания кредитов. Её деятельность основана на интенсивном анализе данных, извлекаемых из основной системы, размещённой в базе данных Oracle, для использования в панелях мониторинга Power BI и принятия операционных решений.
Из-за роста объёма данных и усложнения запросов 2Safe столкнулась с проблемами производительности и ростом стоимости лицензирования Oracle. Чтобы решить эту проблему, компания искала решение. эффективный способ репликации аналитических данных в оптимизированную и масштабируемую среду, сохраняя целостность и актуальность информации.
Бизнес-вызов
2Безопасность необходима для обеспечения безопасной среды быстрая и экономичная консультация для подачи отчетов и информационных панелей в Power BI, без ущерба для производительности транзакционной среды Oracle.
Возникшие проблемы:
- Высокая нагрузка на исходную базу данных из-за аналитических запросов.
- Расширенные условия лицензирования Oracle, даже для второстепенных операций.
- Сложность масштабирования отчетов с удовлетворительной производительностью.
- Сложность обслуживания внешних трубопроводов для ETL.
Цели 2Safe с новым решением:
- Непрерывно реплицируйте данные из Oracle в PostgreSQL.
- гарантия низкая задержка между обновлением данных в источнике и доступностью в Power BI.
- Улучшать производительность аналитических запросов.
- Чтобы уменьшить эксплуатационные расходы и лицензирование.
- Реализуйте масштабируемую и удобную в обслуживании архитектуру.
Реализованное решение
Flexa Cloud предложила и внедрила решение на основе управляемых сервисов AWS, уделяя особое внимание простота эксплуатации, масштабируемость и снижение затрат.
Используемая архитектура:
Сервис миграции баз данных AWS (DMS)
- Режим репликации: Полная загрузка + CDC (сбор данных об изменениях).
- Основная задача: teste-cdc, созданный для работы в производственной среде с непрерывной репликацией.
- Примененные преобразования: переименование схемы (DRCOB_ADM → lnd), строчные имена, точный контроль реплицированных таблиц (всего 32).
- Журналы и сбои отслеживаются через Amazon CloudWatch.
Инструмент преобразования схем AWS (SCT)
- Используется для преобразования типов и структур между Oracle и PostgreSQL.
Amazon RDS для PostgreSQL
- Целевой банк оптимизирован для чтения, с автоматическое резервное копирование, высокая доступность (Multi-AZ) и достаточная производительность для аналитических нагрузок.
Amazon VPC и группа подсетей
- Изолированная и безопасная инфраструктура для обеспечения связи между Oracle и PostgreSQL с использованием групп подсетей в DMS.
Технические проблемы и решения
| Desafio | Прикладное решение |
| Включить CDC в Oracle (дополнительное ведение журнала не включено) | Ручная настройка глобального и потабличного дополнительного журналирования (включая ВСЕ столбцы для таблиц без PK) |
| Периодические сбои по воскресеньям | Полный сброс задачи и полная очистка схемы lnd с запланированным перезапуском. Мониторинг перешёл в зону ответственности службы поддержки. |
| Таблицы с большим количеством LOB-объектов | Ограниченная конфигурация репликации LOB-объектов размером до 32 КБ, обеспечивающая производительность без необходимости использования режима Full LOB |
| Совместимость типов между Oracle и PostgreSQL | Лечение с помощью SCT и ручного картирования с техническим мониторингом |
Полученные результаты
эксплуатационный
- Задача репликации с распараллеливанием в 8 одновременных подзадач, оптимизируя полную загрузку.
- CDC с низкая задержка, синхронизируя изменения практически в реальном времени.
- Централизованные и отслеживаемые журналы через CloudWatch.
Аналитический
- Панели мониторинга Power BI теперь работают с реплицированные данные безопасно, не создавая нагрузку на Oracle.
- Значительное улучшение производительности запросов.
Финансовый
- Сокращение использования лицензий Oracle, поскольку аналитические запросы были направлены в PostgreSQL.
- Расходы под контролем благодаря использованию оптимизированного экземпляра DMS (~65 долл. США в месяц в Северной Вирджинии, ~130 долл. США в месяц в Сан-Паулу).
Результаты в числах
- 🔄 32 реплицированные таблицы с ~200 МБ данных.
- 🇧🇷 2 часов начальная нагрузка (полная нагрузка).
- 💡 Обновленные данные почти в реальном времени через CDC.
- 📉 Нулевое воздействие в базе данных Oracle после миграции аналитического потребления.
Преимущества архитектуры AWS для малого и среднего бизнеса
- Простота эксплуатации с управляемыми услугами
- Масштабируемость без переписывания кода
- Предсказуемая и доступная по запросу стоимость
- Безопасность с полным сетевым контролем (VPC)
- Интегрированный мониторинг через CloudWatch
- Поддержка будущей эволюции с помощью разъединенной архитектуры
Об облаке Flexa
A Флекса Облако — партнёр AWS, специализирующийся на решениях для малого и среднего бизнеса, уделяющий особое внимание высокоэффективным проектам, автоматизации, анализу данных и миграции в облако. Мы работаем с сертифицированной технической командой и применяем методологии, обеспечивающие гибкую и хорошо документированную реализацию проектов.
