التقييمات قبل الإطلاق: كيف تعرف أن نظام الذكاء الاصطناعي جاهز

تصل معظم مشاريع الذكاء الاصطناعي إلى لحظة يقول فيها أحدهم: “يبدو رائعًا فعلًا، لنطلقه.” وغالبًا ما يستند هذا الحكم إلى عشرة أمثلة مختارة يدويًا جُرّبت في اجتماع. ثم يواجه النظام الاستخدام الحقيقي، فتبدأ الأسئلة. لماذا اخترع تاريخ تسليم؟ لماذا ساء بعد أن غيّرنا التعليمات؟ هل هو أفضل أم أسوأ من الشهر الماضي؟

لا يمكن الإجابة عن أي من هذه الأسئلة دون تقييمات (evals): مجموعة ثابتة من حالات الاختبار ذات إجابات صحيحة معروفة، تُشغَّل آليًا في كل مرة يتغير فيها شيء. التقييمات بالنسبة لأنظمة الذكاء الاصطناعي هي ما تمثله الاختبارات الآلية بالنسبة للبرمجيات. لن تُطلق خدمة دفع دون اختبارات، ونظام ذكاء اصطناعي يقرأ الفواتير أو يجيب العملاء يستحق الانضباط نفسه.

ابدأ من العمل، لا من النموذج

تأتي مجموعة التقييم المفيدة من العملية التي يدعمها النظام، لا من المقاييس المعيارية العامة. تخبرك لوحات الصدارة العامة بأداء النموذج في أسئلة الامتحانات، ولا تخبرك بشيء عمّا إذا كان يستخرج تاريخ الاستحقاق الصحيح من فواتير موردّيك أنت.

لذلك نبدأ بجمع حالات حقيقية، مجهّلة حيث يلزم:

• حالات نموذجية، بالنسبة التي تحدث بها فعلًا. إن كانت 70% من الطلبات الواردة إعادة طلب بسيطة، فينبغي أن تكون 70% من المجموعة كذلك.
• حالات صعبة يعرفها الخبراء: المورّد الذي يضع المجموع في الصفحة الثانية، والعميل الذي يكتب بثلاث لغات.
• حالات تكون فيها الإجابة الصحيحة “لا أعرف”: بيانات ناقصة، أو أسئلة خارج النطاق، أو مستندات متناقضة. النظام الذي يجيب دائمًا أخطر من نظام يعتذر أحيانًا.
• حالات عدائية: مدخلات تحاول دفع النظام إلى سلوك خاطئ، مثل رسالة بريد تحتوي على تعليمات موجّهة إلى الذكاء الاصطناعي.

خمسون حالة مختارة بعناية أفضل من خمسمئة حالة عشوائية. وتنمو المجموعة مع الوقت: كل خطأ يُكتشف في الإنتاج يصبح حالة اختبار جديدة، فلا يعود الخطأ نفسه بصمت.

قِس ما يهمّ العمل

تبدو “الدقة” بسيطة لكنها تخفي خيارات. بالنسبة لوكيل يعالج الفواتير، المبلغ الخاطئ أسوأ بكثير من رقم أمر شراء مفقود. وبالنسبة لمساعد معرفة، قد تكون الإجابة دون مصدر مقبولة للأسئلة الشائعة الداخلية، لكنها غير مقبولة لأسئلة الامتثال.

نتفق على المقاييس مع أصحاب العملية، وعادةً ما تكون:

• الصحة لكل حقل أو لكل إجابة، موزونة بتكلفة الخطأ.
• الاستناد إلى المصادر: هل كل عبارة مدعومة بمصدر استرجعه النظام فعلًا؟
• جودة الامتناع: هل يعتذر النظام عن الإجابة حين ينبغي، وفقط حينها؟
• زمن الاستجابة والتكلفة لكل حالة، لأن الإجابة الصحيحة التي تستغرق دقيقة أو تكلّف فرنكًا قد تفشل مع ذلك في الجدوى الاقتصادية.

لكل مقياس عتبة يجب بلوغها قبل الإطلاق. وتُكتب العتبة قبل معرفة النتائج، حتى لا يُغرى أحد بتحريك المرمى.

أتمِت التحكيم، ثم افحص المُحكِّم

بعض الإجابات يمكن فحصها آليًا: المبلغ المستخرج إما يطابق أو لا. أما الإجابات النصية الحرة فأصعب. هنا يمكن لنموذج ثانٍ أن يقوم بدور المصحّح، فيقارن الإجابة بمرجع وبمعايير تقييم. ينجح هذا جيدًا، لكن بشرط التحقق من المصحّح نفسه: نطلب من أشخاص تصحيح عيّنة، ونقارن، ولا نثق بالمصحّح الآلي إلا حيث يتفق معهم.

التقييمات لا تتوقف أبدًا

الإطلاق ليس نهاية التقييم. فالمزوّدون يحدّثون نماذجهم، والمستندات تتغير، والمستخدمون يجدون طرقًا جديدة للسؤال. ثلاث عادات تمنع الجودة من التراجع:

1. شغّل مجموعة التقييم كاملة مع كل تغيير: تعليمات جديدة، أو إصدار جديد من النموذج، أو إعداد استرجاع جديد. إن انخفضت النتيجة، لا يُطلق التغيير.
2. خذ عيّنات من الاستخدام الفعلي لمراجعة بشرية منتظمة، مع إخفاء البيانات الشخصية.
3. راقب الإشارات التي تنبئ بمشكلة: ارتفاع معدلات الامتناع، وزيادة التصحيحات البشرية، وطول الإجابات، وارتفاع التكلفة.

ماذا يعني هذا عمليًا

قبل إطلاق أي تجربة، ينبغي أن تتمكن من رؤية تقرير قصير: مجموعة التقييم، والمقاييس المتفق عليها، والعتبات، والنتائج، مع أمثلة على مواضع إخفاق النظام. إن لم يستطع المورّد أن يُريك ذلك، فالإجابة الصادقة عن سؤال “هل هو جاهز؟” هي “لا نعرف بعد”.

وهذا التقرير هو أيضًا أفضل أداة للقرار التالي. فهو يبيّن الأخطاء المتبقية، وكم ستكلّف، وما إذا كان مزيد من العمل أو نموذج مختلف أو خطوة بإشراف بشري هو أرخص طريقة لإصلاحها.