उत्पाद डिज़ाइन आपके मॉडल की सटीकता से मेल खाना चाहिए

यहां रहना वास्तव में रोचक है। यदि मॉडल 60% समय सही होता है, तो आप एक बहुत ही अलग उत्पाद बनाते हैं, जैसे कि मॉडल 95% समय सही होता है या 99.5% समय सही होता है।

यदि आपका मशीन लर्निंग एक बिल्कुल सटीक है, तो आपके पास एक सिंगल प्ले बटन होना चाहिए, और यह कभी भी नहीं होता है। इसलिए मान लीजिए कि आपको पांच में से एक बार ही सही मिलता है, तो आपको एक ऐसा UI होना चाहिए जो कम से कम एक साथ पांच चीजों को दिखाता है, ताकि आपको एक में से कुछ प्रासंगिक मिले।

आप जज से एक ही काम करने को कह रहे हैं, एक विफलता मोड का मूल्यांकन करने को कह रहे हैं, इसलिए समस्या का दायरा बहुत छोटा है और इस LLM जज का आउटपुट पास या फ़ेल है। इसलिये यह एक बहुत ही सीमित दायरे का काम है जिसमें LLM जज बहुत विश्वसनीय तरीके से काम करने में सक्षम हैं।