Cart
الدورات في السلة 0
السلة فارغة
جميع الدورات

هندسة البيانات: مراحل بناء خطوط البيانات والفرق عن التحليل

نُشرت بواسطة: معهد مسارتك للتدريب 24 Oct 2026
مسارتك | دليل تطبيقي للسوق السعودي

هندسة البيانات: مراحل بناء خطوط البيانات والفرق عن التحليل

قد تمتلك المنشأة أنظمة تسجيل ومبيعات وحضور وتقارير، لكن بياناتها لا تصل إلى لوحة القرار في الوقت المناسب أو بالشكل الصحيح. هنا يأتي دور هندسة البيانات في تصميم مسارات الجمع والنقل والتحويل والتخزين والمراقبة.

الإجابة المختصرة: هندسة البيانات هي بناء البنية والمسارات التي تجعل البيانات قابلة للاستخدام الموثوق. مهندس البيانات يهيئ التدفق والبنية والجودة، بينما يستخدم محلل البيانات هذه المخرجات للإجابة عن أسئلة الأعمال.
المستوىدليل عملي للمؤسسات
السوقالسعودية، بأمثلة افتراضية
التطبيقجداول ومؤشرات وخطوات

ما هي هندسة البيانات Data Engineering؟

هندسة البيانات تخصص يركز على تصميم الأنظمة التي تستقبل البيانات من مصادر مختلفة وتنقلها وتحولها وتخزنها وتتيحها للفرق المصرح لها. لا تقتصر المهمة على كتابة استعلامات SQL أو نسخ ملفات؛ بل تشمل الاعتمادية ومراقبة الأعطال وتوثيق المصدر والتحكم في الوصول. والنتيجة المستهدفة بيانات مناسبة للغرض ويمكن الاعتماد عليها.

في مؤسسة تدريبية، قد تأتي البيانات من منصة الحجز ونظام الحضور ونظام الفواتير وأداة متابعة خدمة العملاء. إن اختلفت أسماء الحقول أو تكررت المعرفات فلن تنتج لوحة الإدارة مؤشرًا صحيحًا. يتعامل مهندس البيانات مع هذه المشكلات قبل أن يراها مستخدم التقرير.

هندسة البيانات مقابل تحليل البيانات وعلم البيانات

يسأل محلل البيانات غالبًا: ماذا حدث ولماذا؟ ويستخدم التقارير والمقارنات والتصورات لتفسير الأداء. يهتم عالم البيانات ببناء نماذج واستنتاجات تنبؤية عندما تتوافر شروطها. أما مهندس البيانات فيهيئ مصادر البيانات ومساراتها ونماذج التخزين والمراقبة كي تعمل المهام الأخرى بصورة قابلة للتكرار.

لا تعني هذه الحدود أن الأدوار منفصلة تمامًا؛ فقد ينفذ المحلل بعض التحويلات ويكتب المهندس استعلامات تحليلية. الاختلاف الأساسي هو مسؤولية بناء النظام الذي يُنتج بيانات موثوقة بصورة مستمرة مقابل مسؤولية تفسير البيانات واتخاذ القرار.

الدور السؤال الأساسي المخرج المعتاد
مهندس البيانات كيف تصل البيانات صحيحة ومتاحة؟ Pipeline وجداول موثوقة ومراقبة
محلل البيانات ماذا يحدث في الأداء؟ تقرير ومؤشرات وتوصيات
عالم البيانات ما الأنماط أو التوقعات الممكنة؟ نموذج وتقييم افتراضات

المراحل الست لمسار البيانات من المصدر إلى القرار

يبدأ المسار بتحديد سؤال الأعمال ومصدره، ثم استخراج البيانات أو استقبالها، والتحقق من صيغها وحقوق استخدامها، وتحويلها إلى بنية موحدة، وتخزينها، وتقديمها للتقارير أو التطبيقات. تضاف طبقة مراقبة لمعرفة وقت التحديث ونسبة السجلات الفاشلة وأسبابها. تختلف الأدوات لكن منطق المسؤولية ثابت.

إذا أرادت الإدارة معرفة معدل إتمام الدورات، يجب الاتفاق أولًا على معنى «الإتمام»: حضور كل الجلسات أم اجتياز تقييم؟ لا يمكن إصلاح تعريف غامض بمجرد أداة تقنية. وثّق تعريف المؤشر قبل بناء الـPipeline، ثم اربطه بمصدر موثوق ومعيار جودة.

المرحلة سؤال التصميم مخرج قابل للاختبار
تحديد الغرض ما القرار المطلوب؟ تعريف مؤشر ومصدر
الاستقبال من أين تأتي السجلات؟ عقد بيانات ومعدل وصول
التحويل ما القواعد المطلوبة؟ قواعد تحويل موثقة
التخزين من يملك الوصول؟ نموذج تخزين وصلاحيات
التقديم من يستهلك البيانات؟ جدول موثوق أو واجهة
المراقبة كيف نكتشف التأخير؟ تنبيهات ومؤشرات تشغيل

ETL وELT: ما الفرق ومتى تختار؟

في ETL تُستخرج البيانات ثم تُحوّل قبل تحميلها إلى الوجهة. وفي ELT تُستخرج وتُحمّل أولًا، ثم تُجرى التحويلات داخل بيئة التخزين أو المعالجة. كلا النهجين صحيح في سياقات مختلفة، ويعتمد الاختيار على أحجام البيانات والأدوات ومتطلبات الحوكمة والتكلفة وموقع المعالجة.

لا تعني ELT أن البيانات الخام يمكن إتاحتها بلا ضوابط؛ ينبغي تحديد صلاحياتها وفترات الاحتفاظ وسياسة التعامل مع البيانات الشخصية. ولا تعني ETL أن جميع التحويلات يجب أن تكون معقدة. ابدأ بالحد الأدنى الذي يخدم الاستخدام المطلوب ويمكن اختباره.

البند ETL ELT
توقيت التحويل قبل التحميل بعد التحميل
المرونة تدفق مضبوط مسبقًا احتفاظ ببيانات أولية تحت ضوابط
الاعتبار الأهم سعة التحويل والقيود صلاحيات التخزين وكلفة المعالجة

Batch أم Streaming: أيهما تحتاج المؤسسة؟

المعالجة على دفعات Batch مناسبة عندما تكفي تحديثات مجدولة، مثل تقرير حضور يومي أو تجميع فواتير نهاية اليوم. أما Streaming فتتعامل مع تدفقات مستمرة أو شبه فورية، وتناسب الاستخدامات التي تتأثر بالزمن مثل مراقبة خدمة رقمية. لا تختَر البث اللحظي لمجرد أنه أحدث؛ فقد يضيف تعقيدًا وتكلفة دون فائدة عملية.

اتفق مع صاحب القرار على «الحداثة المطلوبة» للبيانات: هل تأخير ساعة مقبول أم يجب أن يظهر الحدث خلال دقائق؟ ثم صمم آلية التعويض عند تأخر المصدر أو تكرار إرسال السجل. التوقيت جزء من تعريف الجودة وليس خاصية واجهة فقط.

مثال سعودي افتراضي: رحلة بيانات المتدرب

لنفترض وجود ثلاثة أنظمة: حجز الدورة، الحضور، والفواتير. يبدأ المسار بمعرف تسجيل داخلي موحد لا يعتمد على الاسم، ثم يجمع حالة الحجز وحضور الجلسات وحالة السداد. تُوحّد صيغ التاريخ، وتُزال التكرارات بحسب قواعد معلنة، وتُسجل السجلات المرفوضة لمراجعتها. بعدها يُنتج جدولًا لقياس نسبة الإتمام حسب الدورة والفترة.

لا يُنقل إلى لوحة الإدارة اسم المتدرب أو رقم هويته ما لم تكن هناك حاجة مشروعة. يمكن تقديم مؤشرات مجمعة مع صلاحيات محددة. هذا مثال تعليمي افتراضي لا يصف أنظمة مسارتك الفعلية ولا يعني أن مشاركة كل هذه البيانات مباحة دون أساس نظامي.

عقد البيانات Data Contract: اتفاق يمنع اختلاف المعاني

عقد البيانات وصف متفق عليه بين منتج البيانات ومستهلكها، يحدد أسماء الحقول وأنواعها ومعانيها وتواتر التحديث والمالك وطريقة التعامل مع القيم المفقودة. لا يلزم أن يكون مستندًا معقدًا؛ يكفي جدول واضح قابل للتحديث يوضح ما الذي يُعد تغييرًا يكسر التقارير.

مثال: الحقل course_status يقبل «مسجل» و«بدأ» و«أكمل» و«أُلغي»، مع تعريف لكل حالة. إذا أضاف المصدر قيمة جديدة دون إخطار، يجب أن يظهر تنبيه بدل إدراجها ضمن «أكمل» خطأ. بذلك تصبح الجودة جزءًا من التعاقد التشغيلي بين الفرق.

مراقبة خطوط البيانات: مؤشرات لا غنى عنها

راقب نسبة نجاح التشغيل، وتأخر التحديث، وعدد السجلات المستبعدة، وحجم البيانات غير المعتاد، وتغير المخطط، والفرق بين أعداد المصدر والوجهة. وجود خط يعمل تقنيًا لا يعني أن البيانات صحيحة؛ فقد تنجح المهمة بينما تُسقط سجلات مهمة أو تضاعف الأرقام.

ضع عتبات تنبيه مرتبطة بحجم المخاطر. مثال افتراضي: إذا تأخر تحديث التقرير أكثر من المدة المتفق عليها، يظهر تنبيه للمالك ولا تُعرض البيانات القديمة على أنها لحظية. واحتفظ بسجل للأخطاء والإصلاحات ومَن اعتمد إعادة المعالجة.

الأمن والخصوصية في مسارات البيانات

يجب حصر البيانات الشخصية وتصنيفها وتقليل ما يُنقل منها، وتحديد صلاحيات القراءة والتعديل والتصدير. استخدم بيئات اختبار ببيانات مصطنعة أو منزوعة الهوية عند الملاءمة بدل نسخ سجلات المتدربين الفعلية دون حاجة. ينبغي أيضًا توثيق مدة الاحتفاظ وآلية الحذف ومعالجة طلبات أصحاب البيانات حسب الالتزامات المنطبقة.

في السعودية راجع نظام حماية البيانات الشخصية وأدلته الرسمية إذا كان المسار يعالج بيانات أفراد. لا تفترض أن استخدام خدمة سحابية أو تشفير ملف وحده يكفي لإثبات الامتثال؛ المطلوب حوكمة الغرض والصلاحيات والتدفقات والعقود وفق السياق.

خطة بناء أول Pipeline في أربع خطوات

ابدأ بمؤشر واحد مهم ومصدرين على الأكثر، وحدد تعريفًا موحدًا للحقول والنتيجة. أنشئ مسارًا تجريبيًا محدود البيانات، واختبر حالات نقص الحقول والتكرار وتأخر المصدر. بعد نجاح الاختبارات، فعّل المراقبة وسجلًا للملكية والتغييرات قبل إضافة مصادر جديدة.

احرص على وجود مسار تراجع عندما يؤدي تعديل التحويل إلى نتائج خاطئة. سجّل نسخة قواعد التحويل المستخدمة في كل تشغيل حتى يمكن تفسير تغير الأرقام. النجاح ليس في جمع أكبر قدر من البيانات، بل في توفير بيانات قابلة للتتبع والتحقق تلبي سؤالًا واضحًا.

أخطاء شائعة عند بناء خطوط البيانات

من الأخطاء الاعتماد على الاسم كمفتاح فريد، وخلط التاريخ الهجري والميلادي دون توحيد، واعتبار الفراغ صفرًا، وإهمال تكرار إرسال الأحداث، وبناء لوحات قبل تعريف المؤشرات. وقد تتسبب الصلاحيات الواسعة في تسرب بيانات لا يحتاجها مستخدم التقرير.

افصل بين «فشل نقل البيانات» و«فشل معناها». قد يصل الملف كاملًا لكن حقوله تحمل تفسيرًا مختلفًا بين الأنظمة. لذلك اجعل مراجعة الجودة وتعريفات الأعمال جزءًا من التصميم الأولي لا مهمة مؤجلة بعد إطلاق لوحة المؤشرات.

كيف تختار الأدوات دون الارتباط بمنتج واحد؟

حدد أولًا حجم البيانات، وتواتر التحديث، والخبرة المتاحة، وحاجة المراقبة، وسياسات الاستضافة والصلاحيات. قد يكفي SQL وجدولة موثوقة لمشروع محدود، بينما تتطلب البيئات الأكبر أدوات لإدارة تدفقات معقدة. تعلّم المبادئ قبل شراء تراخيص أو بناء بنية تتجاوز حاجة المشروع.

لا تقيّم الأدوات بعدد الخصائص التسويقية وحده. اختبر سهولة استعادة التشغيل بعد فشل، وقدرة الفريق على فهم التحويلات، وتكلفة الصيانة، ووضوح سجلات التدقيق. ثم اربط اختيار الأداة بأهداف الأعمال ومخاطرها.

الأسئلة الشائعة

هل هندسة البيانات هي تحليل البيانات؟

لا؛ هندسة البيانات تركز بناء مسارات وبنية موثوقة، والتحليل يركز تفسير النتائج لدعم القرارات.

ما الفرق بين ETL وELT؟

في ETL يتم التحويل قبل التحميل، وفي ELT يتم التحويل بعد تحميل البيانات إلى بيئة مناسبة.

هل تحتاج هندسة البيانات إلى Python؟

تساعد Python في الأتمتة والمعالجة، لكن الأدوات تختلف وقد يبدأ بعض المسارات بـSQL وأدوات تكامل.

هل يجب أن يكون كل Pipeline لحظيًا؟

لا؛ تختار المعالجة على دفعات أو تدفقًا مستمرًا بحسب الحاجة الفعلية إلى حداثة البيانات.

كيف أعرف أن خط البيانات يعمل بصورة صحيحة؟

بفحوص جودة ومعادلات مطابقة المصدر والوجهة ومراقبة التأخر والأخطاء وتعريفات الأعمال.

المصادر والمراجع

المراجع تدعم المفاهيم الواردة، والأمثلة والنماذج في المقال افتراضية للتعليم وليست بيانات فعلية عن مؤسسة بعينها.

أُعدّت المسودة بتاريخ 2026-10-20، ولم يُحدد تاريخ نشر لها على الموقع.