جودة البيانات كأساس للذكاء الاصطناعي: خمسة معايير لتحقيق عائد حقيقي على الاستثمار في الذكاء الاصطناعي

جودة البيانات ليست مهمة تقع على عاتق قسم تكنولوجيا المعلومات وحده. فهي تحتاج إلى « حوكمة البيانات» كأساس تنظيمي: مسؤوليات واضحة، ومعايير محددة، وثقافة مؤسسية تعامل البيانات كأصل. وعندما تفشل مشاريع الذكاء الاصطناعي في تحقيق النتائج المرجوة، فإن السبب يكمن في الغالب في جودة البيانات. فالشركات التي تعتمد الذكاء الاصطناعي تستثمر بشكل كبير في النماذج والبنية التحتية والتدريب. ومما غالبًا ما يُستهان به في هذا السياق هو جودة البيانات. فهي تحدد، حتى قبل التدريب الأول للنموذج، ما إذا كان المشروع سيحقق العائد الموعود على الاستثمار أم لا. فالبيانات الخاطئة أو غير المتسقة أو غير المكتملة لا تؤدي إلى نماذج سيئة يمكن إصلاحها. بل تؤدي إلى نماذج خاطئة بشكل منهجي، يصعب اكتشاف أخطائها ويصعب تصحيحها أكثر.

ما تعنيه جودة البيانات – وما لا تعنيه

جودة البيانات ليست حالة ثنائية. فالبيانات ليست ببساطة «جيدة» أو «سيئة». كما أن جودتها تعتمد بشكل كبير على الغرض من استخدامها. وهذا ما يميز مفهوم جودة البيانات من منظور تحليلي عن التصور العام لها. وبالتالي، يمكن تقييم جودة البيانات على مستويات مختلفة.

وقد ثبت في الممارسة العملية أن هناك خمسة أبعاد للجودة ذات أهمية حاسمة:

المعيار 1: الاكتمال

تعني البيانات الكاملة أن جميع القيم المتوقعة لخاصية ما موجودة بالفعل. وتعد القيم المفقودة في مجموعات البيانات الأساسية — مثل الحقول الفارغة في ملفات تعريف العملاء، أو الفئات غير المملوءة في قواعد بيانات المنتجات، أو الطوابع الزمنية المفقودة في بيانات السجلات — هي القاعدة وليس الاستثناء في العديد من قواعد بيانات الشركات.

لماذا يؤثر ذلك على مشاريع الذكاء الاصطناعي:

تفسر نماذج الذكاء الاصطناعي التي يتم تدريبها على بيانات غير كاملة الثغرات المنهجية على أنها أنماط. وعندئذٍ لا يقوم النموذج بالتصنيف وفقًا لما تريد قياسه، بل وفقًا لما لم يتم قياسه.

تدابير التحسين:

• التأكد من ملء الحقول الإلزامية في نماذج الإدخال بشكل ثابت
• دمج عمليات التحقق الآلية من اكتمال البيانات في مسارات ETL
• التحقق من الثغرات التاريخية وتوثيقها – لا ملؤها بشكل أعمى

المعيار 2: الاتساق

يجب أن تكون هذه المعلومات متطابقة عبر جميع الأنظمة. وفي الواقع العملي، غالبًا ما توجد في الشركات عشرات الأنظمة التي تخزن أسماء العملاء أو تسميات المنتجات أو بيانات المواقع بطريقة تختلف قليلاً من نظام لآخر.

أمثلة نموذجية على عدم الاتساق:

• اسم العميل في نظام إدارة علاقات العملاء (CRM): «Müller GmbH»، وفي نظام تخطيط موارد المؤسسة (ERP): «Mueller GmbH»، وفي قسم المحاسبة: «Müller Gesellschaft mbH»
• فئة المنتج في النظام أ: «مكيفات الهواء»، في النظام ب: «HVAC»، في النظام ج: فارغة
• تنسيقات التاريخ: DD.MM.YYYY مقابل MM/DD/YYYY مقابل ISO 8601

لماذا يؤثر ذلك على مشاريع الذكاء الاصطناعي:

إذا تعامل نموذج ما مع نفس العميل ثلاث مرات على أنه كيانات مختلفة، فإن جميع التنبؤات المبنية على قاعدة بيانات هذا العميل — مثل درجات احتمالية انقطاع الخدمة، والتوصيات، والتقسيمات — تكون معيبة من الناحية الهيكلية.

المعيار 3: الحداثة

قد تكون البيانات القديمة ضارة تمامًا مثل البيانات الخاطئة. فعندما يتم تدريب نموذج الذكاء الاصطناعي على أنماط تاريخية تغيرت بفعل التغيرات في السوق أو ظهور منتجات جديدة أو عمليات إعادة الهيكلة التنظيمية، فإنه يقدم تنبؤات بشأن واقع لم يعد موجودًا.

مؤشرات عملية لمشاكل التحديث:

• لا يتم تحديث البيانات الأساسية إلا عند وجود سبب محدد، وليس بشكل منهجي
• مصادر البيانات ليس لها دورة تحديث محددة
• يتم استبدال البيانات التاريخية دون تحديد إصدارات

المعيار 4: الدقة

تصف الدقة مدى دقة البيانات في عكس الواقع. قد يبدو هذا أمراً بديهياً، لكنه يصعب ضمانه في الممارسة العملية: فأخطاء الإدخال، والقيم المرجعية القديمة، وأخطاء القياس، والروابط الخاطئة بين مجموعات البيانات تتراكم بمرور الوقت.

مشاكل الدقة الشائعة:

• أرقام المبيعات التي لا تأخذ عمليات الإلغاء في الحسبان
• الرموز البريدية التي أصبحت قديمة منذ إجراء إصلاح إداري
• بيانات المنتج التي لا تعكس تغييرًا في المواصفات

الإجراءات:

• إجراء عمليات فحص عشوائي منتظمة لمجموعات البيانات الحساسة (أخذ العينات من البيانات)
• التحقق المتبادل باستخدام مصادر مرجعية خارجية
• عملية محددة بوضوح لتصحيح البيانات دون فقدان القيمة الأصلية (سجل التدقيق)

المعيار 5: الوضوح

تعد التكرارات مشكلة يُستخف بها. فعندما تظهر نفس الكيان — سواء كان عميلاً أو منتجاً أو مورداً — عدة مرات في البيانات، تتشوه جميع التحليلات المجمعة. وفيما يتعلق بنماذج الذكاء الاصطناعي، يؤدي ذلك إلى تمثيل مفرط أو ناقص لبعض المجموعات في مجموعة بيانات التدريب.

الآثار المترتبة على نماذج الذكاء الاصطناعي:

• يبدو أحد شرائح العملاء أكبر مما هو عليه في الواقع → ويقوم النموذج بترجيحه
• يتم احتساب المعاملات التاريخية مرتين → مما يؤدي إلى تضخم توقعات الإيرادات
• تؤدي التكرارات في بيانات التدريب والاختبار إلى دقة نموذج مرتفعة بشكل مصطنع (تسرب البيانات)

التدابير الموصى بها:

• تحديد الكيانات وإدارة البيانات الرئيسية (MDM) كإجراء هيكلي
• إجراءات إزالة التكرار الآلية في مسارات نقل البيانات
• تعريف «السجلات الذهبية» (Golden Records) باعتبارها «المصدر الوحيد للحقيقة»

الطريق نحو قاعدة بيانات أفضل: اتباع نهج تدريجي

لا تتحسن جودة بياناتكم من خلال مشروع تنظيف البيانات لمرة واحدة، بل من خلال التغييرات الهيكلية. وهي تغييرات تهدف إلى تحسين عملية جمع البيانات وصيانتها واستخدامها. وقد أثبتت الخطوات التالية فعاليتها:

1. تقييم الوضع الحالي (تدقيق البيانات): ما هي مصادر البيانات الموجودة؟ أي منها سيتم تضمينها في مشاريع الذكاء الاصطناعي المخطط لها؟ ما مدى اكتمالها واتساقها وحداثتها؟

2. تحديد الأولويات حسب مدى أهمية البيانات بالنسبة للذكاء الاصطناعي: ليست جميع البيانات متساوية في الأهمية. ركز إجراءات ضمان الجودة على البيانات التي تعتبر فعليًّا حاسمة بالنسبة لتطبيق الذكاء الاصطناعي الخاص بك.

3. تنفيذ الإجراءات الفنية: إنشاء قواعد ETL، ومنطق التحقق من الصحة، وإجراءات إزالة التكرار، ولوحات معلومات المراقبة.

4. الترسخ التنظيمي: توضيح ملكية البيانات – كل عنصر بيانات مهم يحتاج إلى شخص أو وحدة مسؤولة عنه.

5. المراقبة المستمرة: جودة البيانات ليست حالة خاصة بمشروع ما، بل هي جانب تشغيلي مستمر.

الأسئلة الشائعة: جودة البيانات وعائد الاستثمار في الذكاء الاصطناعي

ما هو حجم البيانات الذي أحتاجه لتدريب نموذج الذكاء الاصطناعي بشكل فعال؟

الحجم أقل أهمية من الجودة. فمجموعة البيانات المنقحة والمتسقة التي تضم 50,000 سجل توفر عادةً نتائج نمذجة أفضل من مجموعة غير منقحة تضم مليون سجل. ويعتمد الحجم الأدنى بشكل كبير على حالة الاستخدام المحددة وبنية النموذج.

ما الفرق بين تحسين جودة البيانات وتنقية البيانات؟

تنقية البيانات هي إجراء رد فعل يتم اتخاذه مرة واحدة. أما تحسين جودة البيانات فيعني إجراء تغيير هيكلي في العمليات بحيث لا تنشأ البيانات الرديئة من الأساس . ويُعد النهج الثاني ضروريًا لتحقيق نجاحات مستدامة في مجال الذكاء الاصطناعي.

ما هو الدور الذي يلعبه إطار حوكمة البيانات في مشاريع الذكاء الاصطناعي؟

توفر حوكمة البيانات الإطار التنظيمي اللازم: من يحق له ماذا يفعل بأي بيانات؟ من المسؤول عن جودة البيانات؟ كيف يتم تطبيق المبادئ التوجيهية؟ وبدون هذا الإطار، تظل جودة البيانات مجرد مبادرة تقنية فردية دون تأثير دائم.

فحص قاعدة البيانات – تقوم Axsos بتحليل جودة البيانات في شركتك وترسي الأساس لتحقيق عائد حقيقي على الاستثمار في الذكاء الاصطناعي.

تم إنشاء هذا المحتوى بمساعدة الذكاء الاصطناعي، لكنه خضع لمراجعة تحريرية وتنقيح قبل نشره.