Mükemmellik değil, sürekli geliştirme

Değerlendirmeler, AI model veya ürün performansını geliştirme sürecinde test etmek ve ölçmek için kullanılır.

Amaç mükemmel değerlendirmeler yapmak değil, ürünü iyileştirmek için harekete geçmektir.

Sebat son derece değerlidir. Şu anda yeni bir alanda çalışan başarılı şirketler, bu konuyu öğrenme, uygulama ve neyin işe yarayıp yaramadığını anlama acısını çekiyorlar. Acı, yeni engel haline geldi.

Bir defada modele 'İşte tam olarak yapmak istediğim şey' demek yerine, bunu parçalara ayırmak daha iyi olur.

AI sistemlerindeki gerçek hatalarını analiz etme ve sınıflandırma adımına ve otomatik değerlendirmeler veya testler anlamına gelen 'evals' kavramına atıf yapılmaktadır.

Bu adımı atlamamak gerekir. Buna bu kadar zaman harcamamın nedeni, insanların burada kaybolmasıdır. Doğrudan değerlendirmelere geçip 'Hadi biraz test yazalım' diyorlar ve işler o zaman kontrolden çıkıyor.

LLM yargıçlar, diğer AI çıktılarını otomatik olarak değerlendirmek için kullanılan AI modelleridir ve 'evals' bu otomatik değerlendirme sistemlerine atıf yapar.

LLM'nizi yargıç olarak yayınlamadan önce, onun insan ile uyumlu olduğundan emin olmanız gerekir. Pek çok kişi burada duruyor ve 'Tamam, yargıç promptum hazır. Bittik.' diyor. Bunu yapmayın, çünkü bu, değerlendirmelerinizin olup bitenlerle uyuşmama ve insanların değerlendirmelerinize güvenini yitirme yollarından en hızlısıdır.