خدعة الـ 99%.. لماذا لا تكفي "الدقة" وحدها؟

 


هل تفرح إذا أخبرتك أن نموذج الذكاء الاصطناعي الخاص بك حقق دقة 99%؟

 

تريث قليلاً قبل الاحتفال. في عالم البيانات، رقم "الدقة" (Accuracy) قد يكون أكبر كذبة، وقد يخفي وراءه كارثة حقيقية. اليوم سنتعلم كيف نقرأ النتائج بذكاء، وكيف نكتشف الأخطاء التي لا تظهر في الرقم النهائي.

 

1. فخ "الأغلبية الساحقة"

لنفترض أننا نبني نظاماً لكشف "الاحتيال البنكي". في الواقع، 99% من العمليات البنكية سليمة، و1% فقط هي عمليات سرقة.

لو صممتُ لك "نموذجاً غبياً" لا يفعل أي شيء سوى أن يقول لكل عملية: "هذه عملية سليمة" (يبصم بالموافقة دائماً).

ماذا ستكون النتيجة؟ سيكون هذا النموذج الغبي دقيقاً بنسبة 99%! (لأنه أصاب في العمليات السليمة كلها). لكنه فشل بنسبة 100% في اكتشاف السرقة (وهذا هو هدفه الأساسي!).

 

الدرس هنا: عندما تكون البيانات غير متوازنة (المرض نادر، الاحتيال نادر)، لا تثق أبداً بمقياس "الدقة" العام.

 

2. نوعان من الخطأ: أيهما أخطر؟

بدلاً من النظر للنتيجة النهائية، يجب أن ننظر إلى "نوع الخطأ". في لغة البيانات، هناك خطآن رئيسيان، ويجب أن تقرر أيهما تتقبله:

الخطأ الأول:

الإنذار الكاذب (False Positive) مثال: النظام يخبرك أن رسالة إيميل مهمة هي "Spam". النتيجة: مزعجة، لكنها ليست كارثة. ستذهب وتخرج الرسالة من سلة المهملات.

 

الخطأ الثاني:

 الخطر الخفي (False Negative) مثال: النظام يخبر مريضاً مصاباً بمرض خطير أنه "سليم تماماً". النتيجة: كارثة. المريض سيعود لبيته ولن يتعالج، وقد يموت.

 

مصفوفة الحيرة (Confusion Matrix): كاشفة الأسرار

 

 

لكي لا نقع في الفخ، نستخدم جدولاً بسيطاً يسمى "مصفوفة الحيرة". هو جدول 2×2 يخبرنا بالتفصيل:

 

كم مرة أصاب النموذج في "نعم"؟ كم مرة أصاب في "لا"؟ كم مرة أعطاني "إنذاراً كاذباً"؟ كم مرة "فوت الخطر"؟


الخلاصة


عندما تقيم أي مشروع ذكاء اصطناعي، لا تسأل فقط "كم الدقة؟". بل اسأل السؤال الأذكى: "ما هو نوع الخطأ الذي يرتكبه هذا النظام؟".

إذا كنت تصمم نظاماً طبياً أو أمنياً، فالخطأ في تفويت الخطر (False Negative) ممنوع تماماً، حتى لو كانت الدقة العامة منخفضة قليلاً.

أما إذا كنت تقترح أفلاماً للمشاهدة، فالخطأ ليس مشكلة كبيرة.

 

 

تعليقات

المشاركات الشائعة من هذه المدونة

بداية الحكاية

حين اخترت أن أسمو

عندما تُغاث الروح