تحويل طبقة التحليلات باستخدام AWS DMS وRDS PostgreSQL
عن العميل
شركة 2Safe متخصصة في حلول تحصيل الديون، ولها حضور قوي في قطاع استرداد الائتمان. وتعتمد عملياتها على تحليل مكثف للبيانات المستخرجة من نظامها الأساسي، والمستضاف على قاعدة بيانات أوراكل، لتعبئة لوحات المعلومات في برنامج Power BI وتوجيه القرارات التشغيلية.
مع تزايد حجم البيانات وتعقيد الاستعلامات، واجهت شركة 2Safe اختناقات في الأداء وارتفاع تكاليف تراخيص أوراكل. وللتغلب على هذا الوضع، سعت الشركة إلى إيجاد طريقة فعّالة لنسخ البيانات التحليلية إلى بيئة مُحسّنة وقابلة للتوسع ، مع الحفاظ على سلامة المعلومات وتحديثها باستمرار.
تحدي الأعمال
كان من الضروري أن توفر 2Safe بيئة استعلام سريعة وفعالة من حيث التكلفة لتغذية التقارير ولوحات المعلومات في Power BI، دون التأثير على أداء بيئة المعاملات في Oracle.
المشاكل التي واجهتها:
- ارتفاع الحمل على قاعدة البيانات المصدر بسبب الاستعلامات التحليلية.
- ترخيص مرتفع لشركة Oracle، حتى بالنسبة للعمليات الثانوية.
- صعوبة توسيع نطاق التقارير مع الأداء المرضي.
- تعقيد صيانة خطوط الأنابيب الخارجية لعملية استخراج وتحويل وتحميل البيانات.
أهداف 2Safe مع الحل الجديد:
- تكرار البيانات بشكل مستمر من Oracle إلى PostgreSQL.
- يضمن قليل من الكمون بين تحديث البيانات عند المصدر والتوفر في Power BI.
- لتحسين أداء الاستعلام التحليلي.
- خفض تكاليف التشغيل والترخيص.
- تنفيذ بنية قابلة للتطوير والصيانة.
الحل المطبق
اقترحت شركة Flexa Cloud ونفذت حلاً قائماً على خدمات AWS المُدارة، مع التركيز على البساطة التشغيلية وقابلية التوسع وخفض التكاليف.
الهندسة المعمارية المستخدمة:
خدمة ترحيل قاعدة بيانات AWS (DMS)
- وضع التكرار: الحمل الكامل + CDC (التقاط بيانات التغيير).
- المهمة الرئيسية: teste-cdc، تم إنشاؤها لتشغيلها في الإنتاج مع التكرار المستمر.
- التحويلات التطبيقية: إعادة تسمية المخطط (DRCOB_ADM → lnd)، الأسماء الصغيرة، التحكم الدقيق في الجداول المتماثلة (32 في المجموع).
- السجلات والأخطاء التي تم تعقبها عبر الأمازون CloudWatch.
أداة تحويل مخطط AWS (SCT)
- يستخدم لتحويل الأنواع والهياكل بين Oracle وPostgreSQL.
أمازون RDS لـ PostgreSQL
- تم تحسين بنك الهدف للقراءة، مع النسخ الاحتياطي التلقائي, توفر عالي (متعدد مناطق التوافر) والأداء المناسب للأحمال التحليلية.
مجموعة Amazon VPC و Subnet
- بنية تحتية معزولة وآمنة لضمان الاتصال بين Oracle وPostgreSQL، باستخدام مجموعات الشبكة الفرعية في DMS.
التحديات والحلول التقنية
| تحد | الحل التطبيقي |
| تمكين CDC في Oracle (التسجيل التكميلي غير ممكّن) | التكوين اليدوي للتسجيل التكميلي العالمي والخاص بكل جدول (بما في ذلك جميع الأعمدة للجداول بدون مفتاح رئيسي) |
| أعطال متقطعة يوم الأحد | أُعيد ضبط المهام بالكامل، وأُجري تنظيف كامل لمخطط lnd، مع إعادة تشغيل مُجدولة. أصبحت المراقبة مسؤولية الدعم. |
| الجداول التي تحتوي على عدد كبير من LOBs | تكوين تكرار محدود لـ LOBs يصل إلى 32 كيلوبايت، مما يضمن الأداء دون الحاجة إلى وضع LOB الكامل |
| توافق النوع بين Oracle وPostgreSQL | تم العلاج عن طريق SCT والرسم اليدوي مع المراقبة الفنية |
النتائج التي تم الحصول عليها
عملي
- مهمة التكرار مع التوازي في 8 مهام فرعية متزامنة، تحسين التحميل الكامل.
- مركز السيطرة على الأمراض والوقاية منها مع قليل من الكمونمزامنة التغييرات في الوقت الحقيقي تقريبًا.
- سجلات مركزية وقابلة للتتبع عبر CloudWatch.
تحليلي
- تعمل لوحات معلومات Power BI الآن مع البيانات المكررة بأمان، دون توليد حمل على Oracle.
- تحسن كبير في الأداء من الاستفسارات.
مالي
- الحد من استخدام تراخيص Oracle، حيث تم توجيه الاستعلامات التحليلية إلى PostgreSQL.
- التكاليف تحت السيطرة مع استخدام نموذج DMS المحسن (~65 دولارًا أمريكيًا شهريًا في فيرجينيا الشمالية، و~130 دولارًا أمريكيًا شهريًا في ساو باولو).
النتائج بالأرقام
- 🔄 32 جدولًا مكررًا مع حوالي 200 ميجا بايت من البيانات.
- ⏱️ ساعات 2 الحمل الأولي (الحمل الكامل).
- 💡 تم تحديث البيانات في الوقت الحقيقي تقريبًا عبر مركز السيطرة على الأمراض.
- 📉 تأثير صفري في قاعدة بيانات Oracle بعد ترحيل الاستهلاك التحليلي.
فوائد بنية AWS للشركات الصغيرة والمتوسطة
- البساطة التشغيلية مع الخدمات المُدارة
- إمكانية التوسع دون إعادة كتابة الكود
- تكلفة متوقعة وحسب الطلب
- الأمان مع التحكم الكامل في الشبكة (VPC)
- المراقبة المتكاملة عبر CloudWatch
- دعم التطور المستقبلي باستخدام الهندسة المعمارية المنفصلة
حول Flexa Cloud
فليكسا كلاود شريك معتمد لدى AWS، متخصص في حلول الشركات الصغيرة والمتوسطة، ويركز على المشاريع عالية الكفاءة، والأتمتة، وتحليلات البيانات، والهجرة إلى الحوسبة السحابية. نعمل بفريق تقني معتمد ومنهجيات تضمن تسليمات سريعة وموثقة بشكل كامل.
