Guardrails

Guardrails, bir uygulamanın dil modelini sınırlar içinde tutmak için çevresine ördüğü kurallar ve kontrollerdir. Girdi guardrail'leri bir isteği modele ulaşmadan önce inceler; örneğin zararlı ya da konu dışı soruları reddeder, kişisel verileri ayıklar ya da olası bir prompt injection girişimini işaretler. Çıktı guardrail'leri ise cevabı kimse görmeden ya da ona göre işlem yapılmadan önce denetler: zehirli (toxic) metni engelleyebilir, sızan gizli bilgileri yakalayabilir, cevabın getirilen kaynaklarla desteklendiğini kontrol edebilir ya da çıktının beklenen biçimde geçerli bir JSON olduğundan emin olabilir.

Genellikle en ucuzdan başlayarak katmanlar hâlinde kurulurlar. Düz kod; izin listeleri, kart numaraları için bir düzenli ifade ya da bir JSON şeması denetimi gibi kesin kuralları üstlenir. Meta'nın Llama Guard'ı gibi güvenlik sınıflandırıcıları metni zarar kategorilerine göre güvenli ya da güvensiz olarak etiketler; ikinci bir LLM de üslup ya da cevabın konudan sapıp sapmadığı gibi daha ince şeyleri değerlendirebilir. NVIDIA NeMo Guardrails gibi açık kaynak araç setleri ve büyük bulut sağlayıcılarının yapay zekâ güvenliği hizmetleri bu denetimleri hazır paketler hâlinde sunar.

Yapay zekâ ajanlarında guardrail'ler eylemleri de sınırlar: model hangi araçları çağırabilir, ne kadar harcama yapabilir ve hangi adımlar bir insanın onayını gerektirir. Dağ yolundaki bariyerler gibi direksiyonu çevirmezler; bir şeyler ters gittiğinde en kötü sonuçları önlerler. Her denetim gecikme ve maliyet ekler, fazla katı olanlar da meşru kullanıcıları engeller; bu yüzden ekipler onları gerçek trafiğe ve kendi eval'lerine göre ayarlar.

Guardrail'ler çoğu zaman hizalama (alignment) ve system prompt ile karıştırılır. RLHF gibi hizalama eğitimleri modelin kendisini değiştirerek iyi davranmaya yatkın hâle getirir; system prompt ise modelden, yine de görmezden gelebileceği kurallara uymasını ister. Guardrail'ler modelin dışında durur ve uygulamanın koduyla uygulanır; bu da onları prompt injection'a ve halüsinasyona karşı önemli bir katman yapar, ama ikisi için de tam bir çözüm değildir, çünkü saldırganlar filtrelerin kaçırdığı ifadeleri bulmaya devam eder.