Lenny Distilledİcra → Teknik Ödünler
Burada eğlenceli olan şey, modelin doğruluk oranının %60 olmasıyla çok farklı bir ürün yapılması, %95 olmasıyla veya %99,5 olmasıyla çok farklı ürünler yapılması.
Makine öğrenmenizin kalitesi, tek bir çalma düğmeniz olacaksa, yüzde yüz veya sıfır tahmin hatası olması gerekiyor. Ama böyle bir şey hiçbir zaman mümkün değil. Diyelim ki, beş şeyden biri doğru, diğer dördü yanlış, o zaman ekranda en az beş şeyi gösterecek bir kullanıcı arayüzüne ihtiyacınız var. Böylece ekranda bir şeyin ilgili olma olasılığı beşte bir olur.
LLM hakemden tek bir şey yapmasını istiyorsunuz, tek bir hata modunu değerlendirmesini istiyorsunuz. Yani problemin kapsamı çok küçük ve LLM hakemin çıktısı geçti veya kaldı. Dolayısıyla LLM hakemler çok güvenilir bir şekilde yapabilecekleri çok dar kapsamlı bir şey bu.