مطبخ علم البيانات.. لماذا "التنظيف" أهم من "الطبخ"؟

 


هل تعلم ما هي القاعدة رقم 1 في عالم البرمجة والبيانات؟ إنها قاعدة بسيطة جداً ومؤلمة جداً:

"Garbage In, Garbage Out" إذا أدخلت قمامة، ستخرج قمامة

كثير من المبتدئين يظنون أن الذكاء الاصطناعي هو "صندوق سحري" يمكنه التعامل مع أي شيء. الحقيقة هي أن الخوارزميات حساسة جداً. إذا أعطيتها بيانات مليئة بالأخطاء، الفجوات، أو التناقضات، ستعطيك نموذجاً غبياً، مهما كانت الخوارزمية متطورة.

اليوم سنتعلم كيف نكون "طهاة محترفين" لا يقبلون إلا أجود المكونات.

 

1.المشكلة الأولى: الثقوب السوداء (البيانات المفقودة)

تخيل أنك تملأ استبيانًا، وتركت خانة "العمر" فارغة. بالنسبة للكمبيوتر، هذه ليست مجرد مساحة فارغة، بل هي "NaN" (Not a Number)، وهي مشكلة رياضية. الكمبيوتر لا يستطيع ضرب أو جمع "لاشيء".

 

كيف نصلح هذا الثقب؟ لدينا حلان:

 

·       الحل الجذري (الحذف): إذا كان الصف مليئاً بالفجوات، نحذفه تماماً. (مثل رمي تفاحة فاسدة).

·       الحل الذكي (التعويض :(Imputation بدلاً من الحذف وخسارة البيانات، نملأ الفراغ بذكاء. مثلاً: إذا كان عمر شخص مفقوداً، يمكننا وضع "متوسط أعمار الناس" مكانه. هكذا نحافظ على الصف دون أن نشوه الحقيقة كثيراً.

 

2.المشكلة الثانية: التكرار والضجيج (Duplicates & Outliers)

أحياناً، يضغط الموظف زر "إدخال" مرتين، فتتكرر البيانات

النتيجة: النموذج سيظن أن هذا الحدث "مهم جداً" لأنه تكرر، بينما هو خطأ بسيط.

 الحل: حذف التكرار (De-duplication) فوراً.

 

وماذا عن "القيم الشاذة" (Outliers)؟ تخيل جدول رواتب الموظفين: 500، 600، 550، ... وفجأة: 1,000,000! هل هذا راتب حقيقي لمدير تنفيذي؟ أم خطأ مطبعي (أصفار زائدة)؟ إذا تركته، سيفسد "المتوسط" الحسابي للجميع. يجب عليك اكتشافه والتحقق منه: إما أنه حقيقة نادرة، أو خطأ يجب تصحيحه.

 

3. المشكلة الثالثة: فوضى النصوص

الكمبيوتر لا يفهم أن "KSA" هي نفسها "Saudi Arabia" هي نفسها "السعودية". بالنسبة له، هذه ثلاث دول مختلفة تماماً! وظيفتك هنا هي "التوحيد" (Standardization). يجب أن تجبر البيانات على التحدث بلغة واحدة قبل أن تدخلها في النموذج.

 

الخلاصة

قبل أن تفكر في "نوع الخوارزمية" أو "دقة النموذج"، انظر لبياناتك أولاً.

نظفها من الأوساخ، املأ الفراغات، ووحد المفاهيم. تذكر دائماً :نموذج بسيط مع بيانات نظيفة أفضل من نموذج عبقري مع بيانات قذرة.

البيانات النظيفة هي الوقود الحقيقي للذكاء الاصطناعي. بدونها، المحرك لن يعمل، أو سينفجر في وجهك.

 

تعليقات

إرسال تعليق

المشاركات الشائعة من هذه المدونة

بداية الحكاية

صورة
    هناك بدايات لا تعلن نفسها بصوتٍ عالٍ، ولا تأتي على هيئة قرارات مصيرية . تبدأ كوميضٍ خفيف يعبر القلب، أو كحنينٍ لا نفهم سببه… لكننا نعرف أنه يشير إلى شيء ينتظرنا .   نمرّ بلحظات نشعر فيها أن ما اعتدناه لم يعد يكفينا، وأن الروح مهما تظاهرنا بالثبات تتوق إلى مساحة أوسع، إلى طريق نختبر فيه أنفسنا من جديد، إلى حياة نكون فيها أقرب لما نطمح، لا لما اعتدناه   البدايات ليست هيئة الأشياء… بل نبرة داخلية ذلك الصوت الذي يخبرك أن هناك شيئًا أجمل ينتظرك، شيئًا يشبهك أكثر، ويهتم لأجلك أكثر مما تفعل أنت لنفسك أحيانًا   البداية ليست خطوة … البداية نية رغبة صادقة في أن نُعيد ترتيب أيامنا، أن نمنح أنفسنا فرصة، أن نؤمن بأن التغيير يبدأ من الداخل قبل أن يلمسه العالم من حولنا وحين تشتعل النية … يبدأ الكون يفتح لنا الأبواب التي كُنّا نظنها مغلقة، وتظهر علامات صغيرة تقودنا بلا ضجيج   نحو الطرق التي خُلقنا لنمرّ بها نلتقي أشخاصًا يساعدوننا، وتتساقط أشياء لم تعد تناسبنا، ويكبر في داخلنا ضوءٌ لم نعرف أننا نحمله   لأن كل ...
قراءة المزيد

حين اخترت أن أسمو

صورة
      هناك بدايات لا تصنع ضجيجًا، ولا تأتي على هيئة حدث كبير… بل تمرّ كهمسة، كضوء خفيف يعبر القلب ثم يترك أثرًا لا يمكن تجاهله بدايات سلسة خفيفة ، لكنها تغيّر اتجاه الروح   لم يكن السمو قرارًا صريحًا، ولا لحظة إعلان، بل كان استجابة لنداء داخلي يطلب منّي أن أرى الحياة من زاوية أخر زاوية أليق بها، وتشبه ما أحتاجه حقًا   أحيانًا نكبر فجأة… ليس لأن شيئًا مدهشًا حدث، بل لأننا توقّفنا عن العيش بطريقة تؤذينا، وقررنا أن نمنح أنفسنا فرصة أن نصبح أقرب لما نتمناه، لا لما اعتدنا عليه   كنت أعرف في تلك اللحظة الصامتة أن ما أتجاوزه دون مواجهة يعود إليّ ثِقلاً، وأن ما أواجهه بصدق يعود إليّ نورًا ونقاءً. وحين اخترتُ أن أسمو، كنت أختار أن أرتفع فوق النسخة التي سمحتُ لها أن تجرّني للخلف، وأقترب من النسخة التي أعرف في داخلي أنها الأحق بقيادة حياتي   السمو ليس ارتفاعًا فوق الآخرين… بل ارتفاعًا فوق ما يُطفئك. فوق العادات التي تستنزفك، والعلاقات التي تستهلك طاقتك، والأفكار التي تحاصرك، والأماكن التي كبرتِ عليها ولم ت...
قراءة المزيد

عندما تُغاث الروح

صورة
    هناك لحظات لا تأتي كثيرًا في العمر، لحظات لا تشبه الفرج المعتاد ولا تشبه الحلول المنطقية . إنها اللحظات التي تُغاث فيها الروح… حين يتدخل لطفٌ خفيّ، لا يُرى بالعين، لكنه يُمسّ كما لو أنه يُعيد ترتيب نبض الإنسان من جديد .   الإغاثة الروحية ليست حدثًا خارجيًا؛ إنها حركة داخلية عميقة، تبدأ حين يتعب القلب من محاولات الفهم، وحين تصل الروح إلى نقطة لا تعرف فيها هل تمضي… أم تتوقف لتتعافى .   وفي تلك النقطة تحديدًا، تأتي الإغاثة .   تأتي بلا ضجيج، بلا إعلان، بلا خطوات تمهيدية . تأتي كأن الله يقول للنفس المنهكة: قد رأيتُك، ولم أتركك لحظة واحدة .   الإغاثة ليست معجزة تحدث فجأة، بل تغيرٌ خفيّ يبدأ بتبدل الإحساس : تنام وأنت مثقل، وتستيقظ وقلبك أخف . تدخل يومك بارتباك، وتجد صدرك أوسع بلا سبب . تظن أن كل شيء كما هو… لكنك لست كما كنت .   عندما تُغاث الروح، تتغير طريقة النظر إلى الأشياء . تُعاد قراءة خساراتٍ كنت تراها قاسية، فتكتشف أنها كانت تمهيدًا لطريق آخر . تتلاشى الحاجة إلى التفسيرات، ويتجدد الإيمان بأن ما يختاره الله لل...
قراءة المزيد