تقسيم البيانات (Training vs Testing)

 


الطالب الذي يغش في الامتحان )بيانات التدريب vs بيانات الاختبار(

 

هل سبق لك أن قابلت طالباً يحفظ الكتاب المدرسي عن ظهر قلب، لكنه يرسب إذا جاء السؤال بصيغة مختلفة قليلاً؟

في عالم الذكاء الاصطناعي، هذه المشكلة شائعة جداً، وتسمى "Overfitting" (الفرط في التوافق). ولكي نتجنب بناء "موديل غبي" يقوم بالحفظ بدلاً من الفهم، نستخدم حيلة ذكية جداً تسمى: تقسيم البيانات.

 

اليوم سنتعلم كيف نمتحن الذكاء الاصطناعي لنكشف: هل هو ذكي فعلاً أم مجرد "ببغاء"؟

 

1. الفكرة ببساطة: الكتاب والامتحان

تخيل أنك معلم، وتريد تعليم طالبك "الرياضيات". لديك كتاب يحتوي على 1000 مسألة مع حلولها.

السيناريو الخاطئ (الكارثة): تعطي الطالب الـ 1000 مسألة ليذاكرها. ثم في يوم الامتحان، تعطيه نفس المسائل التي ذاكرها بالضبط! النتيجة: سيحصل الطالب على 100%، لكنك لن تعرف أبداً هل فهم الرياضيات أم حفظ الإجابات فقط.

 

السيناريو الصحيح (الذكاء الاصطناعي): تقوم بإخفاء 200 مسألة في خزانتك (لا يراها الطالب أبداً). تعطيه 800 مسألة فقط ليذاكر منها (بيانات التدريب). في يوم الامتحان، تختبره في الـ 200 مسألة المخبأة (بيانات الاختبار).

 

إذا نجح في حل المسائل التي لم يرها من قبل، فهو "فهم" القاعدة. إذا رسب فيها (رغم أنه حل مسائل التدريب بامتياز)، فهو مجرد "حافظ".

 

2. المصطلحات التقنية: ماذا نفعل بالبيانات؟

عندما يكون لدينا جدول بيانات (مثلاً 1000 صف لبيانات أسعار منازل)، لا نستخدمها كلها لتعليم الآلة. بل نقسمها دائماً إلى قسمين:

القسم الأول:

 بيانات التدريب (Training Data) الحجم: عادة تمثل 70% إلى 80% من البيانات. الوظيفة: هي "الكتاب المدرسي". نغذيها للخوارزمية لتبني القواعد وتتعلم منها (مثلاً: كلما زادت المساحة زاد السعر).

 

القسم الثاني:

 بيانات الاختبار (Testing Data) الحجم: الباقي (20% إلى 30%). الوظيفة: هي "الامتحان المفاجئ". نخبئها تماماً أثناء التدريب. وبعد أن ينتهي النموذج من التعلم، نطلب منه أن يتوقع نتائج هذه البيانات، ونقارن توقعاته بالإجابات الحقيقية التي نملكها.

 

لماذا هذا الأمر خطير ومهم؟

بدون بيانات اختبار، أنت تخدع نفسك. قد تبني نموذجاً وتظن أنه عبقري ودقيق بنسبة 99%، ولكن بمجرد أن تطلقه في السوق ويواجه عملاء جدد (بيانات لم يرها)، يفشل فشلاً ذريعاً.

 

بيانات الاختبار هي "صمام الأمان" الذي يخبرك بالحقيقة المرة قبل أن تخسر أموالك. هي التي تقول لك: "نعم، نموذجك حفظ التدريب جيداً، لكنه لا يستطيع التعميم على العالم الخارجي".

 

الخلاصة

الذكاء الحقيقي ليس في ما تعرفه مسبقاً، بل في كيفية تصرفك مع ما تراه لأول مرة.

لذلك، القاعدة الذهبية لأي مشروع ذكاء اصطناعي: "لا تختبر النموذج أبداً بنفس البيانات التي دربته عليها".

احتفظ دائماً بجزء من البيانات "في الخزانة" للامتحان النهائي.


تعليقات

إرسال تعليق

المشاركات الشائعة من هذه المدونة

بداية الحكاية

صورة
    هناك بدايات لا تعلن نفسها بصوتٍ عالٍ، ولا تأتي على هيئة قرارات مصيرية . تبدأ كوميضٍ خفيف يعبر القلب، أو كحنينٍ لا نفهم سببه… لكننا نعرف أنه يشير إلى شيء ينتظرنا .   نمرّ بلحظات نشعر فيها أن ما اعتدناه لم يعد يكفينا، وأن الروح مهما تظاهرنا بالثبات تتوق إلى مساحة أوسع، إلى طريق نختبر فيه أنفسنا من جديد، إلى حياة نكون فيها أقرب لما نطمح، لا لما اعتدناه   البدايات ليست هيئة الأشياء… بل نبرة داخلية ذلك الصوت الذي يخبرك أن هناك شيئًا أجمل ينتظرك، شيئًا يشبهك أكثر، ويهتم لأجلك أكثر مما تفعل أنت لنفسك أحيانًا   البداية ليست خطوة … البداية نية رغبة صادقة في أن نُعيد ترتيب أيامنا، أن نمنح أنفسنا فرصة، أن نؤمن بأن التغيير يبدأ من الداخل قبل أن يلمسه العالم من حولنا وحين تشتعل النية … يبدأ الكون يفتح لنا الأبواب التي كُنّا نظنها مغلقة، وتظهر علامات صغيرة تقودنا بلا ضجيج   نحو الطرق التي خُلقنا لنمرّ بها نلتقي أشخاصًا يساعدوننا، وتتساقط أشياء لم تعد تناسبنا، ويكبر في داخلنا ضوءٌ لم نعرف أننا نحمله   لأن كل ...
قراءة المزيد

حين اخترت أن أسمو

صورة
      هناك بدايات لا تصنع ضجيجًا، ولا تأتي على هيئة حدث كبير… بل تمرّ كهمسة، كضوء خفيف يعبر القلب ثم يترك أثرًا لا يمكن تجاهله بدايات سلسة خفيفة ، لكنها تغيّر اتجاه الروح   لم يكن السمو قرارًا صريحًا، ولا لحظة إعلان، بل كان استجابة لنداء داخلي يطلب منّي أن أرى الحياة من زاوية أخر زاوية أليق بها، وتشبه ما أحتاجه حقًا   أحيانًا نكبر فجأة… ليس لأن شيئًا مدهشًا حدث، بل لأننا توقّفنا عن العيش بطريقة تؤذينا، وقررنا أن نمنح أنفسنا فرصة أن نصبح أقرب لما نتمناه، لا لما اعتدنا عليه   كنت أعرف في تلك اللحظة الصامتة أن ما أتجاوزه دون مواجهة يعود إليّ ثِقلاً، وأن ما أواجهه بصدق يعود إليّ نورًا ونقاءً. وحين اخترتُ أن أسمو، كنت أختار أن أرتفع فوق النسخة التي سمحتُ لها أن تجرّني للخلف، وأقترب من النسخة التي أعرف في داخلي أنها الأحق بقيادة حياتي   السمو ليس ارتفاعًا فوق الآخرين… بل ارتفاعًا فوق ما يُطفئك. فوق العادات التي تستنزفك، والعلاقات التي تستهلك طاقتك، والأفكار التي تحاصرك، والأماكن التي كبرتِ عليها ولم ت...
قراءة المزيد

عندما تُغاث الروح

صورة
    هناك لحظات لا تأتي كثيرًا في العمر، لحظات لا تشبه الفرج المعتاد ولا تشبه الحلول المنطقية . إنها اللحظات التي تُغاث فيها الروح… حين يتدخل لطفٌ خفيّ، لا يُرى بالعين، لكنه يُمسّ كما لو أنه يُعيد ترتيب نبض الإنسان من جديد .   الإغاثة الروحية ليست حدثًا خارجيًا؛ إنها حركة داخلية عميقة، تبدأ حين يتعب القلب من محاولات الفهم، وحين تصل الروح إلى نقطة لا تعرف فيها هل تمضي… أم تتوقف لتتعافى .   وفي تلك النقطة تحديدًا، تأتي الإغاثة .   تأتي بلا ضجيج، بلا إعلان، بلا خطوات تمهيدية . تأتي كأن الله يقول للنفس المنهكة: قد رأيتُك، ولم أتركك لحظة واحدة .   الإغاثة ليست معجزة تحدث فجأة، بل تغيرٌ خفيّ يبدأ بتبدل الإحساس : تنام وأنت مثقل، وتستيقظ وقلبك أخف . تدخل يومك بارتباك، وتجد صدرك أوسع بلا سبب . تظن أن كل شيء كما هو… لكنك لست كما كنت .   عندما تُغاث الروح، تتغير طريقة النظر إلى الأشياء . تُعاد قراءة خساراتٍ كنت تراها قاسية، فتكتشف أنها كانت تمهيدًا لطريق آخر . تتلاشى الحاجة إلى التفسيرات، ويتجدد الإيمان بأن ما يختاره الله لل...
قراءة المزيد