هندسة البيانات وإدارة البيانات باستخدام بايثون – من الصفر إلى الاحتراف

تقدّم هذه الدورة مسارًا عمليًا متكاملًا لتعلّم هندسة البيانات (Data Engineering) وإدارة البيانات باستخدام Python خطوة بخطوة، بدءًا من أساسيات التعامل مع البيانات، مرورًا بتنظيفها وتحويلها وبناء خطوط معالجة (Data Pipelines)، وصولًا إلى تخزينها بكفاءة وإتاحتها للتحليلات والتقارير. سيركّز المتدرب على المهارات المطلوبة في سوق العمل مثل قراءة البيانات من مصادر متعددة (ملفات/واجهات API/قواعد بيانات)، معالجة البيانات باستخدام مكتبات بايثون، تصميم قواعد بيانات وجداول منظمة، وأتمتة المهام وجدولة التشغيل، مع تطبيق أفضل الممارسات في الجودة، التوثيق، وإدارة الإصدارات. بنهاية الدورة سيكون المتدرب قادرًا على بناء مشروع هندسة بيانات كامل قابل للتوسع والاعتماد عليه في بيئات العمل.

أهداف الدورة

• بناء أساس قوي في بايثون موجه للتعامل مع البيانات.

• فهم دورة حياة البيانات من الاستخراج حتى التخزين والاستهلاك.

• إنشاء Data Pipelines عملية (ETL/ELT) مع توثيق وجودة بيانات.

• التعامل مع قواعد البيانات وواجهات API وأتمتة وتشغيل المهام بكفاءة.

ماذا ستتعلم؟

• أساسيات Python اللازمة لهندسة البيانات (أنواع البيانات، الدوال، الملفات، الاستثناءات).

• التعامل مع البيانات:

  • قراءة وكتابة CSV/Excel/JSON

  • تنظيف البيانات ومعالجة القيم المفقودة والتكرارات

  • تحويل البيانات وتجهيزها للتحليل

• التعامل مع قواعد البيانات:

  • أساسيات SQL

  • الاتصال بقواعد البيانات من بايثون وتنفيذ الاستعلامات

  • تصميم الجداول والفهارس وتحسين الاستعلامات (مبادئ)

• استخراج البيانات من مصادر متعددة:

  • APIs (Requests) + التعامل مع Pagination وRate Limits (مبادئ)

  • Web data basics (اختياري حسب المستوى)

• بناء خطوط معالجة بيانات (Pipelines):

  • تصميم مراحل Extract / Transform / Load

  • تسجيل السجلات (Logging) ومعالجة الأخطاء وإعادة المحاولة (Retries)

  • اختبار جودة البيانات (Data Validation)

• التخزين وإدارة الملفات:

  • تنظيم المجلدات، الإصدارات، وNaming Conventions

  • صيغ التخزين المناسبة (مثل Parquet كمفهوم)

• الأتمتة والتشغيل:

  • جدولة المهام (Cron/Task Scheduler) أو أدوات تشغيل (حسب البيئة)

  • إنشاء تقارير تشغيلية بسيطة ومراقبة التنفيذ

• أفضل الممارسات:

  • Git وإدارة الإصدارات

  • كتابة كود نظيف وقابل للصيانة

  • التوثيق وبناء مشروع نهائي Portfolio-ready

محاور الدورة (Outline مختصر)

1. مدخل إلى هندسة البيانات ودورة حياة البيانات

2. Python لبيانات: ملفات، استثناءات، تنظيم المشروع

3. تنظيف وتحويل البيانات عمليًا

4. SQL وقواعد البيانات + ربطها ببايثون

5. استخراج البيانات من APIs ودمج مصادر متعددة

6. تصميم وبناء ETL Pipeline كامل مع Logging & Validation

7. التخزين وتحسين الأداء (مبادئ)

8. الأتمتة وجدولة التشغيل + Git وأفضل الممارسات

9. المشروع النهائي: بناء Pipeline من مصدرين وتخزينه في قاعدة بيانات + تقرير تشغيل

مخرجات الدورة

• مشروع نهائي متكامل يصلح للـ Portfolio (Pipeline حقيقي + قاعدة بيانات + توثيق).

• مجموعة تمارين ومشاريع صغيرة (Cleaning / API / DB / ETL).

• جاهزية للبدء كـ Junior Data Engineer أو تطوير مهارات Analyst نحو Data Engineering.

الفئة المستهدفة

• مبتدئون يرغبون بدخول مجال هندسة البيانات من الصفر.

• محللو بيانات يريدون تطوير مهاراتهم لبناء Pipelines وإدارة البيانات.

• مطورو برمجيات يرغبون بالانتقال لمسار البيانات.

المتطلبات

• لا يشترط خبرة مسبقة (يُفضّل معرفة بسيطة بالحاسوب).

• جهاز كمبيوتر واتصال إنترنت.