Пример из практики | 2Safe

Преобразование аналитического уровня с помощью AWS DMS и RDS PostgreSQL

О клиенте

2Safe — компания, специализирующаяся на решениях для взыскания долгов, с сильными позициями в секторе возврата кредитов. Ее деятельность основана на интенсивном анализе данных, извлекаемых из основной системы, размещенной на базе данных Oracle, для заполнения панелей мониторинга в Power BI и принятия оперативных решений.

В связи с ростом объёма данных и усложнением запросов компания 2Safe столкнулась с проблемами производительности и ростом стоимости лицензирования Oracle. Для преодоления этой проблемы компания искала эффективный способ репликации аналитических данных в оптимизированную и масштабируемую среду , сохраняя при этом целостность и актуальность информации.

Бизнес-вызов

Для обеспечения быстрой и экономичной среды запросов для формирования отчетов и панелей мониторинга в Power BI без ущерба для производительности транзакционной среды Oracle , 2Safe требовалось создать такую ​​среду.

Возникшие проблемы:

  • Высокая нагрузка на исходную базу данных из-за аналитических запросов.
  • Расширенные условия лицензирования Oracle, даже для второстепенных операций.
  • Сложность масштабирования отчетов с удовлетворительной производительностью.
  • Сложность обслуживания внешних трубопроводов для ETL.

Цели 2Safe с новым решением:

  • Непрерывно реплицируйте данные из Oracle в PostgreSQL.
  • гарантия низкая задержка между обновлением данных в источнике и доступностью в Power BI.
  • Улучшать производительность аналитических запросов.
  • Чтобы уменьшить эксплуатационные расходы и лицензирование.
  • Реализуйте масштабируемую и удобную в обслуживании архитектуру.

Реализованное решение

Компания Flexa Cloud предложила и внедрила решение на основе управляемых сервисов AWS, ориентированное на простоту эксплуатации, масштабируемость и снижение затрат.

Используемая архитектура:

Сервис миграции баз данных AWS (DMS)

  • Режим репликации: Полная загрузка + CDC (сбор данных об изменениях).
  • Основная задача: teste-cdc, созданный для работы в производственной среде с непрерывной репликацией.
  • Примененные преобразования: переименование схемы (DRCOB_ADM → lnd), строчные имена, точный контроль реплицированных таблиц (всего 32).
  • Журналы и сбои отслеживаются через Amazon CloudWatch.

Инструмент преобразования схем AWS (SCT)

  • Используется для преобразования типов и структур между Oracle и PostgreSQL.

Amazon RDS для PostgreSQL

  • Целевой банк оптимизирован для чтения, с автоматическое резервное копирование, высокая доступность (Multi-AZ) и достаточная производительность для аналитических нагрузок.

Amazon VPC и группа подсетей

  • Изолированная и безопасная инфраструктура для обеспечения связи между Oracle и PostgreSQL с использованием групп подсетей в DMS.

Технические проблемы и решения

DesafioПрикладное решение
Включить CDC в Oracle (дополнительное ведение журнала не включено)Ручная настройка глобального и потабличного дополнительного журналирования (включая ВСЕ столбцы для таблиц без PK)
Периодические сбои по воскресеньямПолный сброс задачи и полная очистка схемы lnd с запланированным перезапуском. Мониторинг перешёл в зону ответственности службы поддержки.
Таблицы с большим количеством LOB-объектовОграниченная конфигурация репликации LOB-объектов размером до 32 КБ, обеспечивающая производительность без необходимости использования режима Full LOB
Совместимость типов между Oracle и PostgreSQLЛечение с помощью SCT и ручного картирования с техническим мониторингом

Полученные результаты

эксплуатационный

  • Задача репликации с распараллеливанием в 8 одновременных подзадач, оптимизируя полную загрузку.
  • CDC с низкая задержка, синхронизируя изменения практически в реальном времени.
  • Централизованные и отслеживаемые журналы через CloudWatch.

Аналитический

  • Панели мониторинга Power BI теперь работают с реплицированные данные безопасно, не создавая нагрузку на Oracle.
  • Значительное улучшение производительности запросов.

Финансовый

  • Сокращение использования лицензий Oracle, поскольку аналитические запросы были направлены в PostgreSQL.
  • Расходы под контролем благодаря использованию оптимизированного экземпляра DMS (~65 долл. США в месяц в Северной Вирджинии, ~130 долл. США в месяц в Сан-Паулу).

Результаты в числах

  • 🔄 32 реплицированные таблицы с ~200 МБ данных.
  • 🇧🇷 2 часов начальная нагрузка (полная нагрузка).
  • 💡 Обновленные данные почти в реальном времени через CDC.
  • 📉 Нулевое воздействие в базе данных Oracle после миграции аналитического потребления.

Преимущества архитектуры AWS для малого и среднего бизнеса

  • Простота эксплуатации с управляемыми услугами
  • Масштабируемость без переписывания кода
  • Предсказуемая и доступная по запросу стоимость
  • Безопасность с полным сетевым контролем (VPC)
  • Интегрированный мониторинг через CloudWatch
  • Поддержка будущей эволюции с помощью разъединенной архитектуры

Об облаке Flexa

Flexa Cloud — партнер AWS, специализирующийся на решениях для малых и средних предприятий, уделяющий особое внимание высокоэффективным проектам, автоматизации, анализу данных и миграции в облако. Мы работаем с сертифицированной технической командой и используем методологии, гарантирующие гибкую и хорошо документированную реализацию проектов.

Flexa

Новости

Статьи родственный

Безопасность и эффективность в цифровой розничной торговле: как AWS может защитить ваш бизнес 

Прочитайте статью полностью.

Как компании используют генеративный ИИ для ускорения выполнения заказов

Прочитайте статью полностью.

Ученые используют новый подход для моделирования роста нейронов

Прочитайте статью полностью.

Генеративный ИИ за пределами чат-ботов: преобразование знаний в принятие решений.

Прочитайте статью полностью.