تقييم النماذج: كيف تعرف أن نظامك تحسن لا أنك اعتدت عليه

ابن المجموعة من الواقع

أفضل مجموعة اختبار تنشأ من الاستعمال الفعلي: كل شكوى من مخرج خاطئ تضاف إليها بإجابتها الصحيحة. وهكذا تنمو المجموعة في الاتجاه الذي يخطئ فيه نظامك فعلا، لا في الاتجاه الذي تظنه صعبا.

وابدأ بخمسين حالة تغطي الشائع والحدي والخاطئ المتوقع. والخمسون المكتوبة بعناية أنفع من خمسمئة مولدة آليا.

اختر المقياس المناسب للمهمة

التحكيم الآلي وحدوده

استعمال نموذج للحكم على مخرج نموذج آخر عملي ورخيص ويوسع التغطية. وشرطه أن يعطى المحكم معايير مكتوبة صريحة لا سؤالا عاما عن الجودة، وأن يعاير حكمه على عينة حكم عليها بشر أولا للتحقق من اتفاقه معهم.

ولا يعتمد التحكيم الآلي وحده في القرارات المهمة، بل يستعمل للفرز الواسع مع مراجعة بشرية للعينات الحرجة.

اجعله آليا وإلزاميا

1. شغل مجموعة التقييم مع كل تغيير في الأمر أو النموذج أو المصادر.
2. احفظ النتائج تاريخيا لترى الاتجاه لا اللقطة.
3. امنع النشر إن انخفضت النتيجة عن عتبة متفق عليها.
4. راجع المجموعة دوريا: احذف ما لم يعد ممثلا وأضف الجديد.

المراقبة في الإنتاج

التقييم قبل النشر لا يغني عن المراقبة بعده. سجل عينة من المخرجات الحقيقية وراجعها دوريا، وراقب مؤشرات غير مباشرة: نسبة التصعيد للبشر، ومعدل إعادة السؤال، ومعدل التعديل على المخرج. فارتفاعها إشارة تدهور قبل أن تصل الشكاوى.

أسئلة شائعة

كم حالة تكفي في مجموعة الاختبار؟

خمسون حالة نقطة بداية معقولة لنظام واحد، وتزداد مع تعدد الحالات التي يخدمها. والمعيار هو التغطية لا العدد: هل تمثل المجموعة كل نوع مدخل يواجهه النظام فعلا؟

هل نستعمل بيانات حقيقية في الاختبار؟

نعم لأنها الأصدق، مع إخفاء البيانات الشخصية منها. واستعمال أمثلة مصطنعة نظيفة يعطي نتائج متفائلة لا تتحقق في الإنتاج.

كم مرة نعيد التقييم؟

مع كل تغيير مهما بدا صغيرا، ودوريا حتى بلا تغيير من طرفك — فالنموذج قد يتغير من طرف المزود. وأتمتة التشغيل تجعل هذا بلا كلفة تذكر.