تحويل طبقة التحليلات باستخدام AWS DMS وRDS PostgreSQL
عن العميل
A 2آمن شركة متخصصة في حلول تحصيل الديون، ولها حضور قوي في قطاع استرداد الائتمان. تعتمد عملياتها على تحليل مكثف للبيانات المستخرجة من نظامها الرئيسي، المُستضاف على قاعدة بيانات أوراكل، لتغذية لوحات معلومات Power BI وتوجيه القرارات التشغيلية.
مع تزايد حجم البيانات وتعقيد الاستعلامات، واجهت شركة 2Safe اختناقات في الأداء وارتفاعًا في تكاليف ترخيص Oracle. ولمعالجة ذلك، سعت الشركة إلى طريقة فعالة لتكرار البيانات التحليلية في بيئة مُحسّنة وقابلة للتطوير، الحفاظ على سلامة وحداثة المعلومات.
تحدي الأعمال
2- هناك حاجة إلى الأمان لتمكين بيئة آمنة استشارة سريعة واقتصادية لتغذية التقارير ولوحات المعلومات في Power BI، دون التأثير على أداء بيئة المعاملات الخاصة بـ Oracle.
المشاكل التي واجهتها:
- ارتفاع الحمل على قاعدة البيانات المصدر بسبب الاستعلامات التحليلية.
- ترخيص مرتفع لشركة Oracle، حتى بالنسبة للعمليات الثانوية.
- صعوبة توسيع نطاق التقارير مع الأداء المرضي.
- تعقيد صيانة خطوط الأنابيب الخارجية لعملية استخراج وتحويل وتحميل البيانات.
أهداف 2Safe مع الحل الجديد:
- تكرار البيانات بشكل مستمر من Oracle إلى PostgreSQL.
- يضمن قليل من الكمون بين تحديث البيانات عند المصدر والتوفر في Power BI.
- لتحسين أداء الاستعلام التحليلي.
- خفض تكاليف التشغيل والترخيص.
- تنفيذ بنية قابلة للتطوير والصيانة.
الحل المطبق
اقترحت Flexa Cloud ونفذت حلاً يعتمد على خدمات AWS المُدارة، مع التركيز على البساطة التشغيلية، قابلية التوسع وخفض التكلفة.
الهندسة المعمارية المستخدمة:
خدمة ترحيل قاعدة بيانات AWS (DMS)
- وضع التكرار: الحمل الكامل + CDC (التقاط بيانات التغيير).
- المهمة الرئيسية: teste-cdc، تم إنشاؤها لتشغيلها في الإنتاج مع التكرار المستمر.
- التحويلات التطبيقية: إعادة تسمية المخطط (DRCOB_ADM → lnd)، الأسماء الصغيرة، التحكم الدقيق في الجداول المتماثلة (32 في المجموع).
- السجلات والأخطاء التي تم تعقبها عبر الأمازون CloudWatch.
أداة تحويل مخطط AWS (SCT)
- يستخدم لتحويل الأنواع والهياكل بين Oracle وPostgreSQL.
أمازون RDS لـ PostgreSQL
- تم تحسين بنك الهدف للقراءة، مع النسخ الاحتياطي التلقائي, توفر عالي (متعدد مناطق التوافر) والأداء المناسب للأحمال التحليلية.
مجموعة Amazon VPC و Subnet
- بنية تحتية معزولة وآمنة لضمان الاتصال بين Oracle وPostgreSQL، باستخدام مجموعات الشبكة الفرعية في DMS.
التحديات والحلول التقنية
| تحد | الحل التطبيقي |
| تمكين CDC في Oracle (التسجيل التكميلي غير ممكّن) | التكوين اليدوي للتسجيل التكميلي العالمي والخاص بكل جدول (بما في ذلك جميع الأعمدة للجداول بدون مفتاح رئيسي) |
| أعطال متقطعة يوم الأحد | أُعيد ضبط المهام بالكامل، وأُجري تنظيف كامل لمخطط lnd، مع إعادة تشغيل مُجدولة. أصبحت المراقبة مسؤولية الدعم. |
| الجداول التي تحتوي على عدد كبير من LOBs | تكوين تكرار محدود لـ LOBs يصل إلى 32 كيلوبايت، مما يضمن الأداء دون الحاجة إلى وضع LOB الكامل |
| توافق النوع بين Oracle وPostgreSQL | تم العلاج عن طريق SCT والرسم اليدوي مع المراقبة الفنية |
النتائج التي تم الحصول عليها
عملي
- مهمة التكرار مع التوازي في 8 مهام فرعية متزامنة، تحسين التحميل الكامل.
- مركز السيطرة على الأمراض والوقاية منها مع قليل من الكمونمزامنة التغييرات في الوقت الحقيقي تقريبًا.
- سجلات مركزية وقابلة للتتبع عبر CloudWatch.
تحليلي
- تعمل لوحات معلومات Power BI الآن مع البيانات المكررة بأمان، دون توليد حمل على Oracle.
- تحسن كبير في الأداء من الاستفسارات.
مالي
- الحد من استخدام تراخيص Oracle، حيث تم توجيه الاستعلامات التحليلية إلى PostgreSQL.
- التكاليف تحت السيطرة مع استخدام نموذج DMS المحسن (~65 دولارًا أمريكيًا شهريًا في فيرجينيا الشمالية، و~130 دولارًا أمريكيًا شهريًا في ساو باولو).
النتائج بالأرقام
- 🔄 32 جدولًا مكررًا مع حوالي 200 ميجا بايت من البيانات.
- ⏱️ ساعات 2 الحمل الأولي (الحمل الكامل).
- 💡 تم تحديث البيانات في الوقت الحقيقي تقريبًا عبر مركز السيطرة على الأمراض.
- 📉 تأثير صفري في قاعدة بيانات Oracle بعد ترحيل الاستهلاك التحليلي.
فوائد بنية AWS للشركات الصغيرة والمتوسطة
- البساطة التشغيلية مع الخدمات المُدارة
- إمكانية التوسع دون إعادة كتابة الكود
- تكلفة متوقعة وحسب الطلب
- الأمان مع التحكم الكامل في الشبكة (VPC)
- المراقبة المتكاملة عبر CloudWatch
- دعم التطور المستقبلي باستخدام الهندسة المعمارية المنفصلة
حول Flexa Cloud
A فليكس كلاود شريكٌ لـ AWS، متخصصٌ في حلول الشركات الصغيرة والمتوسطة، مع التركيز على المشاريع عالية الكفاءة، والأتمتة، وتحليل البيانات، والانتقال إلى السحابة. نعمل مع فريقٍ فنيٍّ معتمدٍ ومنهجياتٍ تضمن تسليمًا سريعًا وموثقًا جيدًا.
