لماذا لا يتم الاستفادة من مشاريع البيانات

0

هل اجتهدت في أحد مشاريع البيانات ولم تستفد منه شركتك؟ كم بنيت تقرير أو Dashboard ولم تحز على الاهتمام الذي كنت تأمل فيه؟ هل توقفت للحظة لمعرفة أين الخلل؟  هل هو في القادة ام في فريق العمل؟ ان ما يحدث في بيئتنا من اجتهاد، وأنفاق، على مشاريع البيانات ثم تكون النتيجة ضعيفة ومشاريع ركيكة له أسباب بلا شك. فما هي؟

في البداية لا اعتقد ان لدي الحل الشافي. لكن يظهر لي عدة أسباب ولها حلول. ارى انها الأساسية في هذه المشكلة ولها أكثر من جانب أو بعد هي:
1. البيانات
2. فريق البيانات
3. الطريقة المستخدمة
4. متخذي القرار


البيانات: 

الصدمة التي تلقها مجتمع البيانات من دقة البيانات كبيرة ومخيبة للآمال. وكم رأيت في بعض المنظمات توقعات كبيرة في بياناتها أو قدرتها على جمع البيانات التي تساعدها على معرفة الواقع. ثم مع بداية المشروع تكون خيبة الأمل. ولقد رأيت تغييرات ادارية وسحب مشاريع بجملة لاعتقاد متخذي القرار بان الخلل ليس في البيانات. 

ان البيانات المتوفرة في كثير من منظماتنا لا تساعدنا على تحليلها وتعطي مؤشرات غير مرتبطة بالواقع. وفي بعض الأحيان حتى تصحيح البيانات يصعب وقد لا نحقق المأمول. ومن المضحك المبكي عندما تراجع التقارير السابقة للمنشأة وإذا بها بيانات لم تعد موجودة أو ان الأرقام التي بها ليس لها علاقة بالبيانات المتوفرة في قواعد بياناتها. ولا اريد الخوض في حالة الهستيريا والصراع السياسي بين الإدارات مع ظهور هذه المشكلة. كما ان دمج البيانات من أكثر من جهة تواجه مشاكل كبيرة من حيث ما هو المعرف الأساسي بينها مثل رقم السجل المدني أو رقم المنشأة وغيره. وطبعا كارثة توحيد المسميات والتصنيفات حدث ولا حرج. وفي حالات لا تساعدنا التقنية في حل مشاكل اللغة العربية أو التاريخ الهجري وكثير من الملفات هي عبارة عن صورة من الماسح الضوئي وإلى الان استخراج البيانات من هذه الملفات يعد تحدي ومكلف جدا. وغيرها من المشكلات التي تعاني منها بيانات مجتمعنا.


الحل: 

ان تطبق الجهة مفهوم Data Driven وهو ان تقوم البيانات بقيادة المنظمات وليس الحدس أو الخبرات الشخصية. بحيث يتم اعادة تصميم الأنظمة التقنية وتغيير الأنظمة الإدارة بحيث تراعي احتياج التحليلات وتتبع الأخطاء وكشفها وحلها بما يسمح بجمع بيانات تعكس الواقع والتنبؤ الصحيح للمستقبل. وهذا القرار استراتيجي وليس حل سريع حيث يحتاج للقرار جرئ ودراسة. لكن فيما يبدو لي ان ضروري ولا مفر منه.  وهذا الموضوع يستحق مزيد من الدراسة والبحث اتمنى التركيز عليه من قبل الباحثين.


فريق البيانات: 

ان ضعف التدريب وقلة الخبرة لها عامل كبير في سوء المنتجات والاعتماد على مجموعة من حديث التخرج ضعفي التدريب من دون توفر الخبير أو الجهة الاستشارية المحترفة يقود إلى مشاريع ركيكة حتما. وأرجوا ان لا يفهم اني ضد توظيف حديثي التخرج لكن في اعتقاد انه لابد من وجود مدير خبير او مجموعة خبراء مع هؤلاء الشباب لتوجيههم.

ان ما نراه من توجه لتدريب الشباب لهو شئ جميل لكن اختزال تخصص تحليل البيانات في دورات على احد منتجات عرض البيانات والتسويق لهذا المنتج على انه تحليل للبيانات يضر اكثر من نفعه. ان تحليل البيانات بدون تعلم كثير من مبادئ الاحصاء و مهارة التعامل مع قواعد البيانات وبعض لغات البرمجة ينتج موظف غير جاهز للتعامل مع البيانات. وهذا في نظري اضعف الإيمان مع ان هناك مهارات يجب مراعاتها مثل تحليل الأنظمة وعلم الاستراتيجية والقدرة على ادارة المشاريع وجودة البيانات. وطبعا لا يتوجب على كل فريق البيانات الإلمام بها لكن على اقل تقدير يكون في الفريق من يجيد مثل هذه المهارات. وأمل من الجهات التعليمية ان تتبنى مسارات كاملة وليس ما يحدث لان من نظرة قاصرة لتخصص البيانات.


الحل: 

لا يوجد في نظري الا ان يتم توظيف احد ممن لديهم الخبرة والمعرفة لقيادة هذا الفريق الخطير على المنشأة أو الاستعانة بخبرات الشركات المحترفة في هذا المجال أو بهما جميع. وعلى أقل تقدير توفير التدريب الجيد لفريق البيانات والاستثمار فيهم. كما يجدر الإشارة بأهمية علم ادارة المشاريع في تحسين الأداء ومسار فريق العمل فاغلب المشاريع الحالية تدار وكأنها تجارب جامعية أهدافها محدودة. 


الطريقة المستخدمة: 

ان تصغير مشاريع البيانات واختزالها في برامج عرض البيانات مثل Tableau أو Power BI واعتقاد المنشأة ان لديها مشروع بيانات دون استخدام الاحصاء أو علم البيانات أو تحديد الأهداف من المشروع يعد من الممارسات المنتشرة للأسف. وكذلك بناء مشاريع البيانات على أنها مشروع من مرحلة واحدة. وتجاهل ان مشاريع البيانات تبنى على عدة مراحل وتحتاج وقت وجهد ودعم مالي هي محاولات ستؤدي الى ضعف المنتج النهائي.


الحل: 

تحديد الأهداف وبناء الاستراتيجيات والاهتمام المباشرة والدائم من متخذي القرار واختيار الحلول التقنية المناسبة للمنشأة. وفي هذا المجال بحر واسع لا يسع المجال إلى ذكره. يمكن اختزاله في استراتجية البيانات. من المواضيع التي تحتاج مزيد من البحث والدراسة.


متخذي القرار: 

يقول كيفن كوين (Kevin Quinn) وهو أحد خبراء إدارة البيانات ولديه خبرة أكثر من 25 سنة: كثير من التقارير التي يعدها خبراء البيانات يتم تجاهل والنظر فيها بمجرد تسلمها ثم عدم العودة لها! من الممارسات المنتشرة. وأجزم ألا يوجد أحد يعمل في مجال البيانات الا وتم تجاهل تقاريره بعد فترة من تسليمها. ويرجع كيفن كوين ان السبب بسيط جدا أن ما يقولونه وما يقصدون هما شيئان مختلفان. ويرى أنه يجب على متخذ القرار الاعتماد على خبير في البيانات يشرح له المشكلة التي يبحث عن حل لها ثم يقوم خبير البيانات بتحديد ماذا يناسب لها من البيانات وكيف سيتم عرض البيانات. واضيف له يفضل ان يزيد متخذ القرار من مهارته في التعامل مع البيانات واستيعاب مشاكلها واحتياجاتها. وفي هذا الجانب أتمنى ان يظهر دورات مخصصة لمتخذي القرار في التعامل مع البيانات مثل الدورات التي في المالية والمحاسبة لغير المتخصصين.

ان الوهم السائد بأن توفر البيانات والتقارير يحل كثير من مشاكله يسيطر على كثير من متخذي القرار . فكثير منهم يحلم ان يتم إنشاء له منصات يستطيع من خلالها استعرض البيانات ومتابعتها دون إلمامه بتفاصيل النظم الإدارية في منشأته يجعله يغرق في التفاصيل وفقد الثقة في منظمته وموظفيه ومعتقداً ان الجميع فاشل أو انه يريد تظليله. فمثلا هو لا يعلم بكل السياسات والإجراءات المتبعة في نظام شؤون الموظفين لديه. مما يجعله يظن ان الأرقام الظاهرة له مليئة بالأخطاء حتى يتم شرح له اسبابها تكون هنا الصدمة. ثم يحاول حل المشاكل التي يعتقد عن طريق لبس قبعة مدير شؤون الموظفين دون خبرة في هذا المجال لتبدأ الفوضى في المنشأة. 


الحل: 

الاعتماد على خبراء البيانات والمتخصصين في المجال المستهدف (مثل شؤون الموظفين) لتقييم البيانات والتأكد من منطقيتها والرضا بنتائج هذا الفريق ثم يحدد ماهي الأهداف والمشكلات التي يبحث عن حل لها. وترك المجال للمتخصصين في حلها. بعبارة أخرى يفسح المجال للبيانات بقيادة المنظمة عن طريق ما يعرف Data Driven.

في الختام اؤمن أني لم أغطي كل المشاكل في مشاريع البيانات لكن هذه ما اعتقد انه الأكثر تأثيرًا على نجاح المشروع من عدمه. كما أمل من المتخصصين تغطية هذا الجانب بمزيد من الدراسة والبحث.




فخ المروحة (Fan Trap)

0
في المقالة السابق تم الحديث عن فخ الهوة أو الفجوة (Chasm Trap) واستكمل الحديث في هذه المقالة عن فخ أخر يجب الحذر منه.

تنويه: ستحقق هذه المقالة فائدة اكبر في حال معرفتك بالعلاقات بين الجداول ولغة SQL لذا ننصح بمراجعة دروس في قواعد البيانات 
وكمراجعة بسيطة يوجد 4 علاقات بين الجداول هي على النحو التي:
1.      علاقة واحد الى واحد (One to One) مثل جدول الموطنين وجدول جوازات السفر فلكل مواطن جواز سفر واحد والعكس.
2.      علاقة واحد الى متعدد (One to Many) مثل جدول الموظفين وجدول الرواتب.
3.      علاقة متعدد الى واحد (Many to One) مثل جدول الموظفين وجدول الإدارات.
4.      علاقة متعدد الى متعدد (Many to Many) مثل جدول البضائع وجدول المبيعات.

فخ المروحة (Fan Trap):
تظهر هذه المشكلة مع العلاقة واحد الى متعدد (One To Many) إذا كانت 3 مستويات أو أكثر بحيث تكون عبارة عن جدول يرتبط بجدول بالعلاقة واحد الى متعدد (One To Many) ثم يرتبط بجدول ثالث بالعلاقة واحد الى متعدد (One To Many). تصبح المجاميع في الجدول أو الجداول التي في المنتصف خاطئة.
مثال:


جدول العملاء (Customers) وجدول الطلبات (Orders) وجدول تفاصيل الطلبات (OrderDetails)
العلاقة بين جدول العملاء (Customers) وجدول الطلبات (Orders) واحد الى متعدد (One to Many) والعلاقة بين وجدول الطلبات (Orders) وجدول تفاصيل الطلبات (OrderDetails) واحد الى متعدد (One to Many).

والبيانات على النحو التالي:
جدول العملاء (Customers)
CustomerID
CustomerName
1
Fahad
2
Nasser
جدول الطلبات (Orders)
CustomerID
OrderID
OrderValue
1
34
2
1
35
2
1
36
2
2
37
4
2
38
4
2
39
4
جدول تفاصيل الطلبات (OrderDetails)
OrderID
OrderQuantity
34
20
34
5
34
5
35
20
36
20
37
40
38
40
39
40
39
5
39
5
39
5
عند محاولة عرض البيانات في جدول واحد تظهر المشكلة كما هو موضح في هذه الصورة

كما هو واضح الارقام الخاطئة في حالة الدمج في المربع الأحمر. وعند فصل البيانات تظهر الأرقام الصحيحة في المربع الأخضر.
هذه الأخطاء واضحة في قاعدة البيانات لكن ما هو الوضع عند عرضها في برامج تصوير البيانات (Data Visualization) ولقد تم اختبارها على 2 منها هي Tableau – Power BI وظهرت النتائج التالية:

Tableau:
يوجد في Tableau حالتين لجلب البيانات إما Live وهي الربط المباشر مع قاعدة البيانات أو Extract وهي تحمل البيانات في نفس ملف ولا حاجة للربط المباشر مع قاعدة البيانات. ولقد عرض Tableau البيانات مع الأخطاء في كلتا الحالتين حتى عند فصل البيانات وليس فقط عند الدمج كما هو في الصورة التالية:


Power BI:
أستطع Power BI في كلتا الحالتين Direct Query وهي الربط المباشر مع قاعدة البيانات وImport وهي حفظ البيانات في نفس الملف من عدم الوقوع في Fan Tarp عند الدمج ولكن أظهر الأرقام الخطأ عند جلبها عن طريق جملة SQL بشكل مباشر وهي على النحو التالي:
SELECT A.[CustomerID]
       ,sum(B.OrderValue) SumOrderValue
,sum(C.OrderQuantity) SumOrderQuantity
  FROM [Fan Trap].[dbo].[Customers] A
  join [Fan Trap].[dbo].Orders B on (A.CustomerID=B.CustomerID)
  join [Fan Trap].[dbo].OrderDetails C on (B.OrderID=C.OrderID)
  group by A.CustomerID

الاستنتاجات:
·         في التجربة السابقة يظهر التقدم التقني في Power BI أكثر من Tableau الا أنه مازال يتمتع بمميزات أكثر من Power BI ولم يصل Power BI الى مرحلة النضج الكامل ولكن سيصل لها قريبا.
·         فخ المروحة (Fan Trap) يمكن أن تحميك منه بعض البرامج الحديثة الا أنه مازال خطير عند استخدام جمل SQL.
·         يوجد عدة حلول لهذا الفخ اختر ما يناسب حسب الحاجة يمكن البحث عنها في الانترنت.
·         الحماية في أفضل حالتها هي الالمام بهذا الفخ وليس الاعتماد على التقنية الحديثة خاصة في الوقت الراهن.
·         الالمام بقواعد البيانات السطحي دون التعمق فيها ربما يقودك لمثل هذه المشاكل.
·         مراعاة الهندسة البرمجية لقواعد البيانات التي أنت بصدد تحليلها أمر أساسي ومهم.

في الختام كانت مفاجأة لي اختلاف القدرات بين برامج تصوير البيانات (Data Visualization) في التعامل مع البيانات لذا يجب عدم الثقة المفرطة في نتائجها والأفضل اختبار الأرقام والنتائج عبر أكثر من طريقة. الامر الاخر سرت العادة أن يقوم مبرمج النظام بتجهيز جمل SQL لمحلل البيانات أو بناء View لاستخراج البيانات وخاصة عند طلب البيانات من جهة خارجية لذا دائما أطلب مخطط العلاقات ERD (Entity Relation Diagram) مع جمل SQL للتأكد من خلوها من المشاكل.