A/B Testi

İngilizcesi: A/B Testing
Okunuşu: ey-bi testing

Güncellendi 30 Eylül 20262 dk okuma

Kısaca

A/B testi, bir özelliğin iki sürümünü gerçek kullanıcıların rastgele gruplarına gösterip seçilen metrikte hangisinin daha iyi sonuç verdiğini ölçen deneydir.

A/B testi nedir?

A/B testi, bir sayfa düzeni, bir özellik, bir e-posta konu satırı ya da bir öneri algoritması gibi bir şeyin iki sürümünü, her sürümü gerçek kullanıcıların farklı bir rastgele grubuna göstererek karşılaştırır. A sürümü genellikle mevcut deneyimdir ve kontrol (control) olarak adlandırılır; B sürümü ise değişikliktir ve varyant (variant) olarak adlandırılır. Ekip daha sonra kayıt oranı, ödeme dönüşümü ya da bir görevi tamamlama süresi gibi seçilen bir metrikte hangi sürümün daha iyi sonuç verdiğini ölçer.

Kullanıcılar, genellikle kararlı bir kullanıcı kimliğinin hash'i alınarak rastgele gruplara atanır; böylece her kişi aynı sürümü görmeye devam eder. Başlamadan önce ekip tek bir birincil metrik seçer ve kaç kullanıcıya ihtiyaç duyduğunu hesaplar, ardından deneyi normal haftalık kalıpları kapsayacak kadar uzun süre çalıştırır. Sonunda bir istatistiksel test, farkın anlamlı olup olmadığını, yani rastgele gürültü olma ihtimalinin düşük olup olmadığını kontrol eder. Her sürümü sunmak için olağan mekanizma feature flag'lerdir ve B öndeymiş gibi göründüğü anda deneyi erken durdurmak, yanlış kazananlar üreten klasik bir hatadır.

Bir pastanenin aynı kurabiyenin iki tarifini bir ay boyunca yan yana satıp personele hangisini sevdiklerini sormak yerine müşterilerin hangisini daha çok aldığını saymasına benzer. A/B testi ürün tasarımında, e-ticarette, pazarlamada, arama sıralamasında ve fiyatlandırmada yaygındır. Varyantlar arasında ikiden fazla sürümü karşılaştıran A/B/n testleri ve aynı anda birkaç öğeyi değiştiren çok değişkenli (multivariate) testler vardır.

Çoğu test teriminin aksine A/B testi, kodun doğru olup olmadığını kontrol etmez; halihazırda çalışan bir değişikliğe kullanıcıların nasıl tepki verdiğini ölçer. Ayrıca canary dağıtımından da farklıdır. Canary, tam sürümden önce hataları yakalamak için trafiğin küçük bir bölümünü yeni sürüme yollar; A/B testi ise iki çalışan sürüm arasındaki iş sonuçlarını karşılaştırmak için kullanıcıları bilerek böler.

Önemli noktalar

A/B testi, gerçek kullanıcılarla bir kontrolü (A) ve bir varyantı (B) karşılaştırır.
Kullanıcılar rastgele ve tutarlı biçimde tek bir sürüme atanır.
Metriği ve örneklem büyüklüğünü deney başlamadan önce seçin.
İstatistiksel anlamlılık, gerçek etkileri rastgele gürültüden ayırır.
Kodun doğruluğunu değil, kullanıcı davranışını ölçer.

Örnek

Kullanıcıları kimliklerinin hash'ini alarak kararlı bir varyanta atamakjavascript

import { createHash } from "node:crypto";

// Hash the experiment name and user ID so each user always gets the same group
function assignVariant(userId, experiment) {
  const hash = createHash("sha256").update(`${experiment}:${userId}`).digest();
  return hash[0] % 2 === 0 ? "A" : "B"; // roughly a 50/50 split
}

const variant = assignVariant("user-42", "checkout-button-text");
const buttonText = variant === "A" ? "Buy now" : "Complete purchase";

// Record which version the user saw, so conversions can be compared per group
analytics.track("experiment_viewed", { experiment: "checkout-button-text", variant });

Sık sorulan sorular

Bir A/B testi ne kadar sürmeli?

Önceden hesapladığınız örneklem büyüklüğüne ulaşacak kadar uzun ve hafta içi ile hafta sonu davranışlarının ikisinin de dahil olması için genellikle en az bir ila iki tam hafta. Sonuçlar iyi görünür görünmez bir testi bitirmek çoğu zaman yanlış sonuçlara yol açar.

A/B testinde istatistiksel anlamlılık nedir?

İki sürüm aslında aynı performansı gösterseydi gözlenen farkın ne kadar düşük olasılıklı olacağının bir ölçüsüdür. Ekipler bir kazananı ilan etmeden önce genellikle yüzde 5'lik bir anlamlılık düzeyi arar.

A/B testi ile canary sürümü arasındaki fark nedir?

Canary sürümü, herkese yaymadan önce hataları yakalamak için yeni bir sürümü trafiğin küçük bir bölümüne sunar. A/B testi ise hangisinin daha iyi sonuç verdiğini öğrenmek için kullanıcıları iki çalışan sürüm arasında böler.

İlgili sayfalar

Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin