Eval / Benchmarkالتقييم والمعيار

تخيّل ممتحنًا يقف خلف مكتب، وبجواره كومة مرتبة من أوراق مصحَّحة، وفي يده ورقة إجابة عليها نجمة ذهبية. كل المتقدمين أخذوا الأسئلة نفسها، وصُحّحت أوراقهم بالمفتاح نفسه، لذلك حين يقول «هذا تفوّق على ذاك» فهو لا يصف انطباعًا، بل يقرأ درجة.

كيف تعرف فعلًا أن نموذجًا أفضل من آخر؟ أو أن التعديل الذي أدخلته على تعليماتك البارحة حسّن النتائج ولم يفسد شيئًا بصمت؟ تختبر. وللاختبار اسمان:

• التقييم (Eval): مجموعة أسئلة تعرف مسبقًا شكل الإجابة الجيدة عنها. تشغّل النموذج عليها وتحسب درجته.
• المعيار (Benchmark): تقييم مشهور وموحّد يستخدمه الجميع، فتُقارن النماذج المختلفة على المسطرة نفسها.

التقييم هو الفكرة العامة، والمعيار هو الامتحان الذي يأخذه الجميع. الدرجات التي تراها في إعلان كل نموذج جديد (88% هنا، 71% هناك) هي شهادات من امتحان مشترك.

لكن الفائدة الحقيقية لك ليست في المعايير العامة، بل في تقييمك أنت. لنقل إنك بنيت مساعدًا يصنّف رسائل الدعم الواردة إلى متجرك. تجمع 50 رسالة حقيقية وتكتب أمام كل واحدة الفئة التي يجب أن تذهب إليها. هذا تقييمك. ومن الآن، كلما عدّلت التعليمات، أو بدّلت النموذج، أو غيّرت درجة الحرارة، تعيد تشغيل الخمسين وترى هل ارتفعت الدرجة أم انخفضت. من دونه أنت «تحسّن» بالحدس وتأمل؛ ومعه تعرف.

وهذا هو الحل لفخ ستقع فيه حتمًا: تعدّل التعليمات لإصلاح حالة مزعجة، فتنجح، فتطلقها، ولا تلاحظ أبدًا أنها أفسدت خمس حالات أخرى بهدوء. التقييم يلتقط ذلك. هو الفرق بين «يبدو أفضل في رأيي» و«سجّل درجة أعلى على الخمسين نفسها، كل مرة».

يقترح عليك المطوّر الانتقال إلى نموذج أرخص. بدل الجدال، تشغّلان تقييم الخمسين على النموذجين: القديم 46 صحيحة، والجديد 44. الآن القرار عن فرق محدد بثمن محدد، لا عن انطباع.

تحذير يستحق الحفظ: يمكن تدريب نموذج، عمدًا أو مصادفة، على أن يتفوّق في معيار مشهور دون أن يكون أفضل في الواقع، تمامًا كطالب يحفظ امتحانًا بعينه ولا يتعلّم شيئًا يدوم. عامل درجات المعايير في الإعلانات كإشارة تقريبية، وثق بتقييمك على مهمتك أكثر بكثير.