LLM Değerlendirmesi
- İngilizcesi
- LLM Evaluation
- Okunuşu
- el el em ivalüeyşın
Günlük kullanımda iki ad da yaygın.
Kısaca
LLM değerlendirmesi (evals), bir dil modelinin ya da yapay zekâ özelliğinin sabit test vakalarında ne kadar iyi çalıştığını ölçüp sürümleri karşılaştırmaktır.
LLM değerlendirmesi (evals) nedir?
LLM değerlendirmesi, kısaca evals, bir yapay zekâ modelini ya da onun üzerine kurulmuş bir özelliği sabit bir örnek kümesine karşı test etmektir. Her örneğin bir girdisi ve ya beklenen bir cevabı ya da iyi bir cevabın karşılaması gereken ölçütleri vardır. Modeli hepsinde çalıştırır, sonuçları puanlar ve puanı sürümler arasında karşılaştırırsınız: yeni bir prompt, farklı bir model ya da getirme adımında bir değişiklik.
İki ana türü vardır. Genel bilgi için MMLU ya da gerçek kodu düzeltmek için SWE-bench gibi herkese açık benchmark'lar modelleri birbiriyle karşılaştırır. Ürününüzün gerçekten gördüğü sorulardan ve belgelerden kurduğunuz kendi değerlendirmeleriniz ise özelliğin kullanıcılarınız için çalışıp çalışmadığını söyler. Cevaplar dört yaygın yolla puanlanır: birebir kontrol, çıktıyı doğrulayan kod (örneğin geçerli JSON olduğunu ya da testlerin geçtiğini), bir değerlendirme ölçütüyle hakemlik yapan başka bir dil modeli ve insan incelemesi.
Değerlendirmeler yapay zekâ özellikleri için, kod için test takımı ne ise odur. Bir sohbet penceresinde birkaç gelişigüzel deneme, bir prompt değişikliğinin işe yarayıp yaramadığını söyleyemez; tıpkı bir fonksiyonu bir kez denemenin onun çalıştığını kanıtlamaması gibi. Her değişiklikte çalıştırılan sabit bir vaka kümesi ise söyleyebilir.
Sık yapılan bir yanlış, yüksek bir benchmark puanının modelin sizin işinizde de iyi olacağı anlamına geldiği düşüncesidir. Benchmark'lar genel becerileri ölçer, soruları eğitim verisine sızabilir ve kullanıcılarınızın sorularını içermez. Kendi ürününüzden iyi seçilmiş 50 ila 100 vaka bile, sürüm kontrolünde tutulup CI'da çalıştırıldığında özelliğiniz hakkında herhangi bir sıralamadan daha çok şey söyler.
Önemli noktalar
- Değerlendirmeler bir yapay zekâ modelini ya da özelliğini sabit bir test vakası kümesinde ölçer.
- Herkese açık benchmark'lar modelleri karşılaştırır; kendi değerlendirmeleriniz özelliğinizi ölçer.
- Cevaplar birebir kontrollerle, kodla, bir LLM hakemle ya da insanlarla puanlanır.
- Değerlendirmeleri her prompt ya da model değişikliğinde, CI'daki testler gibi çalıştırın.
- Yüksek bir benchmark puanı, sizin işinizde iyi sonuç alacağınızı garanti etmez.
Örnek
cases = [
{"input": "Can I get a refund for order 1234?", "must_include": "refund"},
{"input": "How do I cancel my subscription?", "must_include": "cancel"},
{"input": "Do you ship to Canada?", "must_include": "canada"},
]
passed = 0
for case in cases:
answer = support_bot(case["input"]).lower()
if case["must_include"] in answer:
passed += 1
print(f"{passed}/{len(cases)} passed") # compare with the score before the changeSık sorulan sorular
LLM-as-a-judge nedir?
Bir dil modelini, başka bir modelin cevaplarını bir değerlendirme ölçütüne göre puanlamak için kullanmaktır. İnsan incelemesinden çok daha kolay ölçeklenir, ama hakemlerin daha uzun cevapları ya da ilk gördükleri cevabı kayırmak gibi önyargıları vardır; bu yüzden onları insan puanlarıyla karşılaştırın.
Kaç test vakasına ihtiyacım var?
Küçük başlayın: yaygın ve zorlu girdileri kapsayan iyi seçilmiş birkaç düzine vaka, gerilemelerin çoğunu yakalar. Gerçek kullanımda her hata bulduğunuzda bir vaka ekleyin, böylece aynı hata fark edilmeden geri dönemez.
Değerlendirme ile benchmark arasındaki fark nedir?
Benchmark, modelleri karşılaştırmak için kullanılan herkese açık, sabit bir değerlendirmedir. Evals ise bir ekibin kendi ürününü kontrol etmek için kurduğu özel test kümeleri de dahil daha geniş bir pratiktir.
İlgili sayfalar
- LLMYapay Zekâ ve Makine Öğrenmesi, s. 37LLM, çok büyük metin yığınlarıyla eğitilmiş ve bir sonraki en olası metin parçasını tekrar tekrar tahmin ederek dil üreten bir makine öğrenmesi modelidir.
- HalüsinasyonYapay Zekâ ve Makine Öğrenmesi, s. 33Halüsinasyon, bir LLM gibi yapay zekâ modelinin kendinden emin bir şekilde kulağa makul gelen ama yanlış, uydurma ya da kaynaksız bilgi üretmesidir.
- Prompt MühendisliğiYapay Zekâ ve Makine Öğrenmesi, s. 47Prompt mühendisliği, yapay zekâ modelinin doğru, tutarlı ve kullanışlı çıktı üretmesi için verilen yönergeleri tasarlama, test etme ve iyileştirme pratiğidir.
- Regresyon TestiTest ve Kalite, s. 21Regresyon testi, daha önce çalışan özelliklerin bozulmadığından emin olmak için bir kod değişikliğinden sonra mevcut testleri yeniden çalıştırma pratiğidir.
- Birim TestiTest ve Kalite, s. 4Birim testi, bir fonksiyonun, metodun ya da sınıfın programın geri kalanından yalıtılmış olarak doğru davrandığını doğrulayan küçük ve otomatik bir kontroldür.
- Yapay Zekâ HizalamasıYapay Zekâ ve Makine Öğrenmesi, s. 66Yapay zekâ hizalaması, yapay zekânın tasarımcılarının amaçladığı hedef ve değerlere uyup yardımsever, dürüst ve güvenli davranmasını sağlama alanıdır.
Ücretsiz · haftada bir
Yazılım ve yapay zekâ, haftada bir, sade bir dille
Haftanın haberleri, her terimi açıklanmış hâlde; üstüne öğrenecek bir terim ve kısa bir quiz. Okuması iki dakika.
Bu haftanın sayısına göz atBu sayfa hakkında
Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin
Sayfalar nasıl hazırlanıyor?