Published: 2026-11-21
مطور بيانات كبير
الهدف: مسؤول عن تصميم وتطوير وصيانة عمليات ETL لدعم جهود تكامل البيانات والتحليل، مما يمكن المعالجة الفعالة والدقيقة للبيانات من أجل التحليل والتقارير.
المسؤوليات:
- تصميم وتطوير وصيانة عمليات ETL لدعم جهود تكامل البيانات والتحليل.
- فهم متطلبات البيانات وترجمتها إلى مواصفات ETL.
- تطوير وصيانة وثائق ETL، بما في ذلك وثائق التصميم والمواصفات الفنية وتخطيط البيانات.
- إجراء اختبار الوحدة واختبار التكامل لعمليات ETL لضمان دقة واكتمال البيانات.
- استكشاف وحل المشكلات المتعلقة بـ ETL، بما في ذلك تحسين الأداء.
- مراقبة عمليات ETL في الإنتاج وتحديد وحل المشكلات بشكل استباقي لضمان دقة البيانات وتوافرها.
- المشاركة في تصميم وتطوير نماذج البيانات، وهندسة البيانات، ومبادرات البيانات الأخرى ذات الصلة.
- إجراء جلسات تدريبية للمستخدمين النهائيين.
- الإبلاغ عن حالة المشروع بشكل دوري إلى قائد التقنية/ المسؤول.
المتطلبات:
- درجة بكاليوس في علوم الكمبيوتر، أو تكنولوجيا المعلومات، أو الهندسة، أو مجال ذي صلة.
- 5–7 سنوات من الخبرة العملية في هندسة البيانات، وتطوير ETL/ELT، وتكامل البيانات.
- خبرة قوية مع Apache Spark (Java Spark) وSpark Structured Streaming لمعالجة البيانات على نطاق واسع.
- مهارات برمجة قوية في Java وPython، مع خبرة في بناء تطبيقات معالجة البيانات القابلة للتوسع.
- خبرة قوية مع Apache Hadoop (HDFS) ومفاهيم معالجة البيانات الموزعة.
- خبرة مع خطوط بيانات Apache Kafka وKafka Connect.
- خبرة عملية في تنفيذ حلول التقاط بيانات التغيير (CDC) باستخدام تقنيات مثل Debezium وOracle Log Miner وSQL Server CDC.
- فهم قوي لمفاهيم تخزين البيانات، بما في ذلك النمذجة البعدية، ومخططات النجوم والثلج، وجداول الحقائق والأبعاد، والأبعاد المتغيرة ببطء.
- مهارات SQL قوية وخبرة في العمل مع قواعد البيانات العلائقية مثل Oracle وSQL Server وPostgreSQL أو MySQL.
- معرفة بنمذجة البيانات، وجودة البيانات، وإدارة البيانات الوصفية، وأفضل الممارسات في حوكمة البيانات.
- معرفة بأدوات وتقنيات ETL مثل DataStage أو Informatica.
- الإلمام بـ Docker، وتعبئة الحاويات، وبيئات Linux هو ميزة إضافية.
- القدرة على استغلال أدوات الذكاء الاصطناعي ونماذج اللغة الكبيرة (LLMs).
- خبرة في العمل في بيئات تطوير Agile/Scrum.