# LLM Değerlendirmesi

Adres: https://softwaredictionary.org/tr/terimler/llm-evaluation
Kategori: Yapay Zekâ ve Makine Öğrenmesi
Son güncelleme: 2026-10-18
İngilizcesi: LLM Evaluation
Okunuşu: el el em ivalüeyşın

Kısaca: LLM değerlendirmesi (evals), bir dil modelinin ya da yapay zekâ özelliğinin sabit test vakalarında ne kadar iyi çalıştığını ölçüp sürümleri karşılaştırmaktır.

## LLM değerlendirmesi (evals) nedir?

LLM değerlendirmesi, kısaca evals, bir yapay zekâ modelini ya da onun üzerine kurulmuş bir özelliği sabit bir örnek kümesine karşı test etmektir. Her örneğin bir girdisi ve ya beklenen bir cevabı ya da iyi bir cevabın karşılaması gereken ölçütleri vardır. Modeli hepsinde çalıştırır, sonuçları puanlar ve puanı sürümler arasında karşılaştırırsınız: yeni bir prompt, farklı bir model ya da getirme adımında bir değişiklik.

İki ana türü vardır. Genel bilgi için MMLU ya da gerçek kodu düzeltmek için SWE-bench gibi herkese açık benchmark'lar modelleri birbiriyle karşılaştırır. Ürününüzün gerçekten gördüğü sorulardan ve belgelerden kurduğunuz kendi değerlendirmeleriniz ise özelliğin kullanıcılarınız için çalışıp çalışmadığını söyler. Cevaplar dört yaygın yolla puanlanır: birebir kontrol, çıktıyı doğrulayan kod (örneğin geçerli JSON olduğunu ya da testlerin geçtiğini), bir değerlendirme ölçütüyle hakemlik yapan başka bir dil modeli ve insan incelemesi.

Değerlendirmeler yapay zekâ özellikleri için, kod için test takımı ne ise odur. Bir sohbet penceresinde birkaç gelişigüzel deneme, bir prompt değişikliğinin işe yarayıp yaramadığını söyleyemez; tıpkı bir fonksiyonu bir kez denemenin onun çalıştığını kanıtlamaması gibi. Her değişiklikte çalıştırılan sabit bir vaka kümesi ise söyleyebilir.

Sık yapılan bir yanlış, yüksek bir benchmark puanının modelin sizin işinizde de iyi olacağı anlamına geldiği düşüncesidir. Benchmark'lar genel becerileri ölçer, soruları eğitim verisine sızabilir ve kullanıcılarınızın sorularını içermez. Kendi ürününüzden iyi seçilmiş 50 ila 100 vaka bile, sürüm kontrolünde tutulup CI'da çalıştırıldığında özelliğiniz hakkında herhangi bir sıralamadan daha çok şey söyler.

## Önemli noktalar

- Değerlendirmeler bir yapay zekâ modelini ya da özelliğini sabit bir test vakası kümesinde ölçer.
- Herkese açık benchmark'lar modelleri karşılaştırır; kendi değerlendirmeleriniz özelliğinizi ölçer.
- Cevaplar birebir kontrollerle, kodla, bir LLM hakemle ya da insanlarla puanlanır.
- Değerlendirmeleri her prompt ya da model değişikliğinde, CI'daki testler gibi çalıştırın.
- Yüksek bir benchmark puanı, sizin işinizde iyi sonuç alacağınızı garanti etmez.

## Örnek: Küçük bir değerlendirme: bir destek botunu prompt değişikliğinden önce ve sonra puanlamak

```python
cases = [
    {"input": "Can I get a refund for order 1234?", "must_include": "refund"},
    {"input": "How do I cancel my subscription?", "must_include": "cancel"},
    {"input": "Do you ship to Canada?", "must_include": "canada"},
]

passed = 0
for case in cases:
    answer = support_bot(case["input"]).lower()
    if case["must_include"] in answer:
        passed += 1

print(f"{passed}/{len(cases)} passed")  # compare with the score before the change
```

## Sık sorulan sorular

**LLM-as-a-judge nedir?**

Bir dil modelini, başka bir modelin cevaplarını bir değerlendirme ölçütüne göre puanlamak için kullanmaktır. İnsan incelemesinden çok daha kolay ölçeklenir, ama hakemlerin daha uzun cevapları ya da ilk gördükleri cevabı kayırmak gibi önyargıları vardır; bu yüzden onları insan puanlarıyla karşılaştırın.

**Kaç test vakasına ihtiyacım var?**

Küçük başlayın: yaygın ve zorlu girdileri kapsayan iyi seçilmiş birkaç düzine vaka, gerilemelerin çoğunu yakalar. Gerçek kullanımda her hata bulduğunuzda bir vaka ekleyin, böylece aynı hata fark edilmeden geri dönemez.

**Değerlendirme ile benchmark arasındaki fark nedir?**

Benchmark, modelleri karşılaştırmak için kullanılan herkese açık, sabit bir değerlendirmedir. Evals ise bir ekibin kendi ürününü kontrol etmek için kurduğu özel test kümeleri de dahil daha geniş bir pratiktir.

## Kaynaklar

- [Liang et al.: Holistic Evaluation of Language Models (2022)](https://arxiv.org/abs/2211.09110)
- [Zheng et al.: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (2023)](https://arxiv.org/abs/2306.05685)

---

Software Dictionary: https://softwaredictionary.org/tr · https://softwaredictionary.org/tr/llms.txt
