الذكاء الاصطناعي وتعلّم الآلة · مسابقة تنبؤ بمجموعة اختبار علنية وأخرى مخفية

🤖 طريقة اللعب: Overfit

يشارك فريقك في مسابقة بنك وادي للتنبؤ بسداد القروض. لوحة الصدارة العلنية مرئية، أما مجموعة الاختبار المخفية فهي التي تحسم.

انضم إلى لعبة أدِرها كميسّر اطبع هذا الدليل

هدفك

تفوز بجمع أكبر عدد من نقاط الاختبار المخفي على مدى ثلاث جولات. في كل جولة يُدرَّب نموذجك فعليًا على بيانات القروض نفسها المولّدة ببذرة ثابتة مثل الجميع. تأتي النقاط من الدقة على 1,500 قرض حديث مخفي، لا من النتيجة العلنية. حافظ على فجوة صغيرة بين العلنية والمخفية، وعامل المتقدمين من الرجال والنساء بعدالة.

تدير فريق علوم بيانات واحدًا. تتدرب كل الفرق على 240 قرضًا تاريخيًا نفسها، وترى الدقة على المجموعة العلنية نفسها من 150 قرضًا، وتُقيَّم على المجموعة المخفية نفسها.

انضم خلال 30 ثانية

امسح رمز QR على الشاشة الكبيرة بكاميرا هاتفك، أو افتح صفحة اللعبة واكتب الرمز المكوّن من 4 أحرف.
اكتب اسمك الأول. لا تطبيق ولا حساب.
انضم إلى فريق أو أنشئ فريقًا وسمِّه، ويحصل كل عضو على دور. في الوضع الفردي تدير فريق علوم بيانات خاصًا بك.
إذا أُغلق هاتفك أو أُعيد تحميل الصفحة، افتحها من جديد: ستعود إلى مكانك نفسه.

أدوار الفريق

القائد: يدير نقاش الفريق ويرسل القرار النهائي. إذا توقف هاتف القائد يمكن لأي عضو أن يتولى الدور. في هذه اللعبة: حدّدوا ما الذي تحسّنونه: الدقة المخفية، لا الرقم العلني على الشاشة.
المحلل: مسؤول عن الأرقام وعن توقع الفريق لنتيجة الجولة. في هذه اللعبة: قارن دقة التدريب والدقة العلنية والمخفية: الفجوة الكبيرة بين التدريب والاختبار تعني فرط التخصيص.
أمين الصندوق: يراقب الميزانية والتكاليف قبل أن يلتزم الفريق. في هذه اللعبة: اشترِ بيانات إضافية فقط عندما يكون النموذج معقدًا بما يكفي ليحتاجها.
مسؤول المخاطر والأخلاقيات: ينبه إلى الأضرار ويعترض قبل أن يلتزم الفريق. في هذه اللعبة: اسأل عن كل ميزة: هل هي معروفة وقت القرار، وهل هي بديل عن الجنس؟
المتحدث: يتواصل مع الفرق الأخرى ويعرض قصة الفريق في جلسة النقاش. في هذه اللعبة: كن مستعدًا لتشرح للجنة الأخلاقيات لماذا يكون استخدام كل ميزة عادلًا.

الجولات الثلاث

في كل جولة تتوقع نتيجتك، وتتخذ قراراتك خلال نحو 8 دقائق، ثم يكشف النموذج ما حدث. وبين الجولات تظهر بطاقة حدث.

1
الجولة 1 · النموذج الأول
اختر الميزات والتعقيد والتنظيم والبيانات والعتبة وهل تستخدم الجنس. ترى في نتائجك دقة التدريب والدقة العلنية والمخفية.
انتبه إلى: قارن دقة التدريب بالدقة المخفية بين الفرق. نادرًا ما تتصدر الفرق صاحبة أكثر الميزات في المجموعة المخفية.
2
الجولة 2 · الضبط
اضبط نموذجك مستعينًا بلوحة الصدارة العلنية للجولة السابقة على هاتفك. فحص المجموعة العلنية مرات كثيرة مسموح ومغرٍ.
انتبه إلى: مخطط الأعمدة للدقة العلنية ناقص المخفية. الفرق التي أجرت 20 فحصًا تُظهر عادةً أكبر فجوة موجبة.
3
الجولة 3 · النهائي وتدقيق العدالة
النموذج النهائي على المجموعة المخفية. تفرض لجنة الأخلاقيات غرامة 8 نقاط على فجوة في معدل الموافقة تتجاوز 10 نقاط بين الرجال والنساء الذين سددوا فعلًا، و5 نقاط إضافية على استخدام الجنس.
انتبه إلى: تبدّل الترتيب بين الترتيب العلني والنقاط النهائية. أي الفرق دفعت غرامات التدقيق؟

قراراتك

ما الذي يفعله كل عنصر تحكم على هاتفك، وكيف تفكر فيه.

الميزات المستخدمة	كل جولة	اختر أيًا من ثماني ميزات (تسع بعد حدث التسرب). الإيراد ونسبة الدين والدفعات المتأخرة تحمل إشارة حقيقية؛ وسنوات النشاط أضعف؛ وسعر الهاتف يعكس الإيراد؛ والاستخدام الليلي والمتابعون ضوضاء خالصة؛ ورمز الحي بديل عن الجنس. ابدأ بالإشارات القوية. كل ميزة ضوضاء تضيف أوزانًا يستطيع النموذج بها حفظ ضوضاء التدريب.
تعقيد النموذج	كل جولة	الخطي يستخدم وزنًا واحدًا لكل ميزة. التربيعي يضيف كل مربع وكل زوج (4 ميزات ← 14 وزنًا). التكعيبي يضيف المكعبات أيضًا. النمط الحقيقي فيه تفاعل واحد ومنحنى واحد، لذا تفيد مرونة قليلة. التربيعي على ميزات جيدة قليلة هو الأفضل غالبًا. التكعيبي على ميزات كثيرة يحفظ الضوضاء ما لم تضف بيانات أو تنظيمًا.
التنظيم (L2)	كل جولة	بلا تنظيم (λ = 0)، أو خفيف (0.003)، أو متوسط (0.03)، أو قوي (0.3). العقوبة λ/2·‖w‖² تسحب الأوزان نحو الصفر. كلما زادت الأوزان احتجت إلى تنظيم أكثر. راقب الفجوة بين التدريب والمخفية في نتائجك.
بيانات تدريب إضافية	كل جولة	لا شيء، أو +240، أو +720 قرضًا مقابل نقطتين أو 5 نقاط في هذه الجولة (بنصف السعر بعد حدث البيانات الرخيصة، لكن تلك البيانات متحيزة ضد النساء). تهم البيانات الإضافية أكثر للنماذج المعقدة وبعد حدث الدفعة ذات التصنيفات الخاطئة. أما النموذج الخطي الصغير فنادرًا ما يستفيد منها.
عتبة القرار	كل جولة	من 0.2 إلى 0.8. يُوافق على القرض عندما تكون احتمالية السداد المتوقعة مساوية للعتبة أو أكبر. تحتسب الدقة الموافقات والرفض على حد سواء. 0.5 بداية معقولة. لا تحرّكها إلا لسبب، مثل انجراف يخفض السداد في القروض الحديثة.
الميزة الحساسة: الجنس	كل جولة	استخدم الجنس أو احذفه. سجّلت التصنيفات القديمة بعض القروض التي سددتها النساء على أنها متعثرة، لذا يتعلم الجنس هذا التحيز. وهو يكلف الثقة، وفي الجولة 3 غرامة 5 نقاط. حذف الجنس لا يكفي إذا أبقيت رمز الحي، فهو يحمل كثيرًا من المعلومات نفسها.
فحوص لوحة الصدارة العلنية	كل جولة	1 أو 5 أو 20. كل فحص إضافي يجرّب نسخة (غالبًا بحذف ميزة واحدة، وتحريك العتبة حتى 0.1) ويحتفظ بالنسخة صاحبة أفضل نتيجة علنية. مع 150 قرضًا علنيًا فقط، يكون أفضل 20 فحصًا محظوظًا في الغالب. يرفع النتيجة العلنية أكثر من المخفية.

ما تراه على هاتفك

البيانات: قروض التدريب (240)، والقروض الإضافية للبيع (720)، ومجموعة الاختبار العلنية (150)، ومجموعة الاختبار المخفية (1,500)، ونسبة قروض التدريب التي سُددت.
دليل الميزات: كل ميزة يمكنك استخدامها مع ملاحظة: إشارة حقيقية، أو إشارة ضعيفة، أو ضوضاء خالصة، أو بديل عن الجنس، أو بعد حدث التسرب عمود لا يُعرف إلا بعد التعثر.
ما يحدث عند التقديم: حلقة التدريب بلغة Python مختصرة: توسيع الميزات، ثم 600 خطوة Adam على دفعات من 20 مع التنظيم L2، ثم الموافقة عندما تبلغ احتمالية السداد المتوقعة العتبة.
نموذجك ولوحة الصدارة العلنية: من الجولة 2: دقة التدريب والدقة العلنية والمخفية، وفجوة العدالة، وحجم النموذج، مع لوحة الصدارة العلنية للجولة السابقة.

كيف تُحتسب نقاطك

تستخدم كل ألعاب المكتبة لوحة النقاط نفسها. نتيجتك في كل جولة هي نقاط الاختبار المخفي (نقطة)، وتضيف لوحة الصدارة المرونة والثقة.

النقاط = 100 × (0.5 × الأداء + 0.25 × المرونة + 0.25 × الثقة) + نقاط التوقع

الأداء: نقاط الاختبار المخفيالنقاط = 200 × (الدقة المخفية − 0.5)، ناقص تكلفة البيانات (2 أو 5)، ناقص نقطتين لكل ميزة شخصية بعد قاعدة الخصوصية، ناقص غرامات تدقيق الجولة 3 (8 لفجوة عدالة تتجاوز 10 نقاط، و5 لاستخدام الجنس). دقة مخفية 78% بلا تكاليف تعطي 56 نقطة.

المرونة (0–100)القدرة على التعميم. في كل جولة يتحرك R نصف المسافة نحو 100 ناقص 4 لكل نقطة مئوية من الفجوة بين الدقة العلنية والمخفية. فجوة 5 نقاط تعطي هدفًا قدره 80، وفجوة 25 نقطة تعطي 0.

الثقة (0–100)العدالة والخصوصية. في كل جولة يتحرك T نصف المسافة نحو 100 ناقص 3 لكل نقطة من فجوة معدل الموافقة بين الرجال والنساء الذين سددوا، ناقص خصومات الخصوصية: الجنس 25، ورمز الحي 8، والاستخدام الليلي 6، والمتابعون 6 (وكلها ×1.5 بعد قاعدة الخصوصية).

الأداء هو مجموع نقاط الاختبار المخفي عبر الجولات، مُعايَرًا من الأدنى إلى الأعلى في القاعة. وقبل كل جولة تتوقع أيضًا «نقاطك في هذه الجولة (المجموعة المخفية)»: إذا اقتربت من النتيجة تحصل على ما يصل إلى 10 نقاط إضافية، وإذا أخطأت بالكامل فلا نقاط. ويمكن للميسّر تغيير الأوزان قبل بدء اللعبة.

نصائح

الدقة المخفية هي التي تُحتسب، والدقة العلنية للاسترشاد فقط. المجموعة العلنية الصغيرة كثيرة الضوضاء.
اقرأ ثلاثة أرقام معًا: التدريب والعلنية والمخفية. إذا كانت دقة التدريب أعلى بكثير من المخفية فهذا فرط تخصيص.
لا تضف أوزانًا إلا إذا أضفت بيانات أو تنظيمًا يضبطها.
اسأل هل كل ميزة معروفة لحظة اتخاذ قرار القرض.
ابحث عن المتغيرات البديلة. الميزة التي تتبع الجنس تعيد التحيز التاريخي.

أخطاء شائعة

استخدام كل الميزات مع نموذج تكعيبي بلا تنظيم. ترتفع دقة التدريب كثيرًا وتنخفض الدقة المخفية.
إجراء 20 فحصًا ثم الثقة بالنتيجة العلنية الناتجة.
استخدام مؤشر التحصيل بعد حدث التسرب. يبدو مثاليًا على البيانات القديمة ولا يفيد مع القروض الجديدة.
حذف الجنس مع إبقاء رمز الحي، ثم الإخفاق في تدقيق العدالة.

مثال تطبيقي

في إحدى الجلسات يستخدم فريق الإيراد ونسبة الدين والدفعات المتأخرة وسنوات النشاط، مع نموذج تربيعي وتنظيم خفيف وبلا بيانات إضافية وعتبة 0.5 ومن دون الجنس. للنموذج 14 وزنًا دُرّبت على 240 قرضًا: دقة التدريب 72.9%، والعلنية 77.3%، والمخفية 78.1%، فتكون النقاط = 200 × (0.781 − 0.5) = 56.1. ويستخدم منافس الميزات الثماني كلها بنموذج تكعيبي بلا تنظيم: دقة التدريب 82.9%، والعلنية 78.0%، لكن المخفية 72.1% فقط، أي نحو 44 نقطة.

صدمات قد تحدث

يسحب الميسّر بطاقة حدث واحدة قبل الجولتين 2 و3، وتغيّر السوق ابتداءً من تلك الجولة.

انجراف البيانات. يضرب تباطؤ اقتصادي المشاريع الصغيرة. في المجموعة المخفية ينخفض الإيراد ويصعب السداد. ولا تتغير بيانات التدريب.
دفعة بتصنيفات خاطئة. قلب خطأ في إدخال البيانات نتيجة نحو 15% من قروض التدريب الأساسية البالغة 240. أما البيانات الإضافية المشتراة فسليمة.
ميزة مسرّبة. يظهر عمود جديد في بيانات التدريب والبيانات العلنية: مؤشر التحصيل. يبدو قويًا جدًا في التنبؤ، لكنه لا يُفعَّل إلا بعد تعثر القرض.
قاعدة خصوصية جديدة. تفرض قاعدة جديدة لحماية البيانات الحصول على الموافقة لاستخدام البيانات الشخصية. أصبح استخدام الجنس ورمز الحي واستخدام التطبيق ليلًا ومتابعي وسائل التواصل يكلف نقطتين لكل منها، ويرتفع خصم الثقة الخاص بها بمقدار النصف.
بيانات رخيصة لكنها متحيزة. يعرض وسيط بيانات قروض إضافية بنصف السعر. في هذه البيانات سُجّل 30% من القروض التي سددتها النساء على أنها متعثرة.

النموذج وراء اللعبة

انحدار لوجستي مع توسيع الميزات، يُدرَّب بخوارزمية Adam على دفعات صغيرة مع التنظيم L2. يُدرَّب نموذج كل فريق فعليًا على القروض الاصطناعية نفسها المولّدة ببذرة ثابتة. الحدود الإضافية تسمح للنموذج بأن ينحني مع بيانات التدريب، بما فيها ضوضاؤها. والتنظيم والبيانات الإضافية يعيدانه إلى الاعتدال. تأتي المجموعة المخفية من قروض حديثة، لذا تتوقف الاختصارات التي نجحت مع البيانات القديمة فقط.

p = σ(w·x + b) ؛ loss = −mean[y·log p + (1−y)·log(1−p)] + λ/2·‖w‖² ؛ الموافقة إذا p ≥ العتبة ؛ النقاط = 200·(الدقة المخفية − 0.5) − تكلفة البيانات − الغرامات

فرط التخصيص: نموذج يلائم الضوضاء في بيانات تدريبه، فيحقق نتيجة جيدة فيها وأسوأ على البيانات الجديدة.
التنظيم (L2): عقوبة على الأوزان الكبيرة، λ/2·‖w‖²، تبقي النموذج المرن أبسط.
الانحدار اللوجستي: نموذج يحوّل مجموعًا موزونًا من الميزات إلى احتمال باستخدام الدالة السينية (sigmoid).
مجموعة الاختبار العلنية مقابل المخفية: تعطي المجموعة العلنية ملاحظات أثناء المسابقة، وتعطي المخفية النتيجة النهائية غير المتحيزة.
تسرب البيانات: استخدام معلومات لن تكون متاحة وقت إجراء التنبؤ.
المتغير البديل: ميزة تحل محل خاصية حساسة، مثل رمز الحي بديلًا عن الجنس.
تكافؤ الفرص: اختبار عدالة: من سيسدد فعلًا يجب أن يُوافق عليه بمعدلات متقاربة في كل مجموعة.
انجراف البيانات: حين تختلف البيانات الجديدة عن البيانات التي دُرّب عليها النموذج.

للميسّرين 3 جولات · نحو 50 دقيقة

التحضير

يعمل وضع الفرق أفضل مع أربعة إلى ثمانية فرق؛ وتملأ الروبوتات القاعة حتى أربعة فرق.
خصص 8 دقائق لكل جولة. تحتاج الجولة 1 وقتًا لقراءة دليل الميزات.
قبل الجولة 1، اشرح الأرقام الثلاثة: دقة التدريب والعلنية والمخفية، وأن الدقة المخفية وحدها تُحتسب.
اذكر أن كل نموذج يُدرَّب فعليًا على البيانات نفسها، فتستطيع الفرق مقارنة اختياراتها بإنصاف.

أوضاع اللعب

فريق: نموذج واحد لكل فريق. يختار المحلل الميزات والتعقيد، ويحدد مسؤول المخاطر التنظيم والعتبة، ويشتري أمين الخزينة البيانات، ويقرر المتحدث بشأن الجنس، ويحدد القائد عدد الفحوص.
فردي: يدرّب كل لاعب نموذجه الخاص على البيانات نفسها. تزدحم لوحة الصدارة العلنية، فيكبر تبدّل الترتيب في الجولة 3. تنضم الروبوتات فقط إذا انضم أقل من أربعة لاعبين.
مختلط: يقدّم كل لاعب نموذجه وحده داخل فريق، وتعرض لوحة الفريق متوسط درجات أعضائه. يستطيع زملاء الفريق مقارنة اختياراتهم لأن البيانات متطابقة.

جدول الجلسة

قبل المحاضرة	افتح لوحة الميسّر على حاسوب جهاز العرض، واختر وضع اللعب من الإعدادات، وتأكد من ظهور رمز QR.
0–5 دقيقة	ينضم الطلاب بمسح الرمز. اقرأ الموقف بصوت عالٍ أثناء تكوين الفرق، ونبّههم إلى أدوارهم على الهواتف.
5–15 دقيقة	الجولة 1: 8 دقائق للقرار والتوقع، ثم إعلان النتائج. اقرأ العنوان الرئيسي وسطرًا لافتًا من نتائج أحد الفرق.
بين الجولات	اسحب بطاقة الحدث أو اخترها، وامنح الفرق 30 ثانية لقراءتها قبل فتح الجولة التالية.
15–25 دقيقة	الجولة 2، ثم إعلان النتائج.
27–37 دقيقة	الجولة 3، ثم النتائج النهائية: منصة الفائزين والجوائز ومخطط النقاط.
آخر 12 دقيقة	ناقش الأسئلة أدناه، ثم افتح التأملات (4 دقائق)، ونزّل ملف CSV.

ما يحدث عادة

فرق تختار كل الميزات والنموذج التكعيبي. اطلب منها مقارنة دقة التدريب بالدقة المخفية.
الإفراط في الفحوص في الجولة 2. اعرض أعمدة الدقة العلنية ناقص المخفية واسأل من طارد الضوضاء.
فرق تحذف الجنس وتبقي رمز الحي. أشر إلى فجوة العدالة لديها.
بعد حدث التسرب سيستخدم أحدهم مؤشر التحصيل. اسأل متى يُسجَّل هذا المؤشر.

أسئلة النقاش

من كانت نتيجته العلنية أعلى بكثير من نتيجته المخفية، وماذا فعل في الجولة 2 ليصل إلى ذلك؟
هل جعل حذف الجنس نموذجك عادلًا؟ وماذا فعل رمز الحي؟
متى ساعدت البيانات الإضافية أو التنظيم الأقوى، ومتى كانت هدرًا؟

أسئلة متابعة

لماذا يمكن أن ترتفع النتيجة العلنية بينما تنخفض المخفية؟
أي اختيار أفاد دقتك المخفية أكثر: ميزات أقل أم تنظيم أم بيانات أكثر؟
هل النموذج الذي لا يستخدم الجنس عادل تلقائيًا؟ ما الدليل لديك؟
متى تشتري بيانات رخيصة تعرف أنها متحيزة، إن كان ذلك ممكنًا أصلًا؟
ماذا ستضع في بطاقة النموذج للجنة الأخلاقيات في البنك؟

التأمل والأدلة

اكتب بطاقة نموذج قصيرة لنموذجك النهائي: الميزات المستخدمة ولماذا، والتعقيد والتنظيم، ودقة التدريب مقابل الدقة العلنية والمخفية، وفجوة العدالة، وشيئًا واحدًا كنت ستغيّره قبل أن يقرر هذا النموذج قروضًا حقيقية.

يكتب الطلاب 80–120 كلمة على هواتفهم. ويصدّر تبويب البيانات كل قرار ونتيجة وتوقع وتأمل في ملف CSV واحد للتقييم.

أدوات لوحة التحكم

إيقاف المؤقت مؤقتًا أو تمديده أو ضبطه، والرجوع جولة إلى الوراء
سحب بطاقة الحدث أو اختيارها أو كتابتها
نقل اللاعبين وتعيين القائد وإضافة لاعبين من الحاسوب
منح نقاط أو خصمها مع سبب يظهر على الهواتف
إرسال رسالة إلى كل الشاشات، وإخفاء الأسماء، وإبراز فريق
اختصارات: P وضع العرض، Q رمز الانضمام