ज़्यादातर AI प्रोजेक्ट्स में एक ऐसा पल आता है जब कोई कहता है: “यह तो बहुत अच्छा लग रहा है, चलिए लाइव करते हैं।” आम तौर पर यह फ़ैसला किसी मीटिंग में आज़माए गए दर्जन भर चुनिंदा उदाहरणों पर टिका होता है। फिर सिस्टम का सामना असली ट्रैफ़िक से होता है, और सवाल शुरू हो जाते हैं। इसने डिलीवरी की तारीख़ क्यों गढ़ ली? प्रॉम्प्ट बदलने के बाद यह ख़राब क्यों हो गया? यह पिछले महीने से बेहतर है या बदतर?
इनमें से किसी भी सवाल का जवाब इवैल्युएशन (evals) के बिना नहीं दिया जा सकता: यानी टेस्ट केस का एक तय सेट, जिनके सही जवाब पहले से पता हों, और जो हर बदलाव पर अपने-आप चलें। AI सिस्टम के लिए इवैल्युएशन वही हैं जो सॉफ़्टवेयर के लिए ऑटोमेटेड टेस्ट। आप बिना टेस्ट के कोई पेमेंट सेवा लाइव नहीं करेंगे; बिल पढ़ने या ग्राहकों को जवाब देने वाला AI सिस्टम भी उसी अनुशासन का हक़दार है।
मॉडल से नहीं, काम से शुरुआत करें
एक उपयोगी इवैल्युएशन सेट उस प्रक्रिया से आता है जिसे सिस्टम सहारा देता है, न कि आम बेंचमार्क से। सार्वजनिक लीडरबोर्ड बताते हैं कि कोई मॉडल परीक्षा के सवालों पर कैसा करता है। वे यह कुछ नहीं बताते कि वह आपके सप्लायरों के बिलों से भुगतान की सही तारीख़ निकालता है या नहीं।
इसलिए हम असली मामले इकट्ठा करके शुरू करते हैं, ज़रूरत हो तो गुमनाम करके:
- आम मामले, उसी अनुपात में जिसमें वे असल में आते हैं। अगर आने वाले 70% ऑर्डर सीधे-सादे दोबारा ऑर्डर हैं, तो सेट का 70% भी ऐसा ही होना चाहिए।
- मुश्किल मामले जिन्हें विशेषज्ञ जानते हैं: वह सप्लायर जो कुल रकम दूसरे पेज पर लिखता है, वह ग्राहक जो तीन भाषाओं में लिखता है।
- ऐसे मामले जिनका सही जवाब “मुझे नहीं पता” है: अधूरा डेटा, दायरे से बाहर के सवाल, आपस में टकराते दस्तावेज़। जो सिस्टम हमेशा जवाब देता है, वह उस सिस्टम से ज़्यादा ख़तरनाक है जो कभी-कभी जवाब देने से मना कर देता है।
- विरोधी मामले: ऐसे इनपुट जो सिस्टम से ग़लत काम करवाने की कोशिश करते हैं, जैसे कोई ईमेल जिसमें AI के लिए निर्देश छिपे हों।
अच्छी तरह चुने गए पचास मामले, बेतरतीब पाँच सौ मामलों से बेहतर हैं। सेट समय के साथ बढ़ता है: प्रोडक्शन में मिली हर ग़लती एक नया टेस्ट केस बन जाती है, ताकि वही ग़लती चुपचाप लौट न सके।
वह मापें जिसकी कारोबार को परवाह है
“सटीकता” सुनने में आसान लगती है, पर इसमें कई फ़ैसले छिपे होते हैं। बिल प्रोसेस करने वाले एजेंट के लिए ग़लत रकम, छूटे हुए परचेज़ ऑर्डर नंबर से कहीं ज़्यादा बुरी है। नॉलेज असिस्टेंट के लिए बिना स्रोत का जवाब अंदरूनी सामान्य प्रश्नों में चल सकता है, पर कंप्लायंस के सवालों में नहीं।
हम मानक उन लोगों के साथ तय करते हैं जो प्रक्रिया के मालिक हैं, आम तौर पर:
- हर फ़ील्ड या हर जवाब की सटीकता, इस हिसाब से तौली हुई कि ग़लती की कीमत कितनी है।
- आधार: क्या हर बात के पीछे कोई ऐसा स्रोत है जिसे सिस्टम ने सच में निकाला था?
- जवाब से इनकार की क्वालिटी: क्या सिस्टम तब मना करता है जब उसे करना चाहिए, और सिर्फ़ तभी?
- प्रति मामला लेटेंसी और लागत, क्योंकि जो सही जवाब एक मिनट लेता है या एक फ़्रैंक खर्च करता है, वह भी कारोबार के हिसाब से नाकाम हो सकता है।
हर मानक की एक सीमा तय होती है जिसे लाइव होने से पहले पूरा करना ज़रूरी है। यह सीमा नतीजे आने से पहले लिख ली जाती है, ताकि किसी को बाद में पैमाना बदलने का लालच न हो।
जाँच को ऑटोमेट करें, फिर जाँचने वाले को जाँचें
कुछ जवाब मशीनी तरीक़े से जाँचे जा सकते हैं: निकाली गई रकम या तो मेल खाती है या नहीं। खुले टेक्स्ट वाले जवाब मुश्किल होते हैं। यहाँ दूसरा मॉडल परीक्षक बन सकता है, जो जवाब की तुलना एक संदर्भ और मूल्यांकन मानदंडों से करता है। यह अच्छा काम करता है, पर तभी जब परीक्षक ख़ुद परखा हुआ हो: हम लोगों से एक नमूने को अंक दिलवाते हैं, तुलना करते हैं, और ऑटोमेटेड परीक्षक पर वहीं भरोसा करते हैं जहाँ वह उनसे सहमत हो।
इवैल्युएशन कभी रुकते नहीं
लाइव होना इवैल्युएशन का अंत नहीं है। प्रदाता अपने मॉडल अपडेट करते हैं, दस्तावेज़ बदलते हैं, उपयोगकर्ता पूछने के नए तरीक़े ढूँढ़ लेते हैं। तीन आदतें क्वालिटी को गिरने से रोकती हैं:
- हर बदलाव पर पूरा इवैल्युएशन सेट चलाएँ: नया प्रॉम्प्ट, मॉडल का नया वर्ज़न, रिट्रीवल की नई सेटिंग। अगर कोई स्कोर गिरता है, तो वह बदलाव लाइव नहीं होता।
- प्रोडक्शन ट्रैफ़िक के नमूने लें, नियमित इंसानी समीक्षा के लिए, निजी डेटा छिपाकर।
- गड़बड़ी के संकेतों पर नज़र रखें: जवाब से इनकार का बढ़ता अनुपात, ज़्यादा इंसानी सुधार, लंबे जवाब, बढ़ती लागत।
व्यवहार में इसका मतलब
किसी पायलट के लाइव होने से पहले आपको एक छोटी रिपोर्ट देख पाना चाहिए: इवैल्युएशन सेट, तय मानक, सीमाएँ और नतीजे, उन उदाहरणों के साथ जहाँ सिस्टम चूकता है। अगर कोई प्रदाता आपको यह नहीं दिखा सकता, तो “क्या यह तैयार है?” का ईमानदार जवाब है “अभी हमें नहीं पता।”
यही रिपोर्ट अगले फ़ैसले का सबसे अच्छा औज़ार भी है। यह दिखाती है कि कौन-सी ग़लतियाँ बची हैं, उनकी कीमत क्या होगी, और उन्हें ठीक करने का सबसे सस्ता तरीक़ा और काम है, कोई दूसरा मॉडल है, या इंसानी मंज़ूरी का एक कदम।