Test Runner

Test runner, otomatik testlerinizi gerçekten çalıştıran programdır. Onu npm test, pytest ya da go test gibi tek bir komutla başlatırsınız; testleri bulur, çalıştırır ve neyin geçtiğine ve neyin başarısız olduğuna dair bir özet yazdırır. Herhangi bir test başarısız olduğunda sıfırdan farklı bir çıkış koduyla (exit code) çıkar; bir CI/CD hattı bozuk bir değişikliği bu sayede durdurması gerektiğini bilir.

Bir runner önce testleri genellikle *.test.js ya da test_*.py gibi dosya adı kalıplarıyla veya koddaki ek açıklamalarla (annotation) keşfeder. Ardından fixture'ları kurar, her testi çoğu zaman birkaç işçi süreç üzerinden paralel olarak çalıştırır, çıktıyı ve zamanlamayı yakalar ve bir rapor üretir: bir konsol özeti ya da CI sistemlerinin gösterebileceği JUnit XML gibi makine tarafından okunabilir bir dosya. Yararlı özellikler arasında dosyalar değiştiğinde testleri yeniden çalıştıran izleme modu (watch mode), ada ya da etikete göre filtreleme, yalnızca başarısız testleri yeniden çalıştırma, takılan testler için zaman aşımları ve birbirine bağımlı testleri ortaya çıkarmak için test sırasını karıştırma bulunur.

Test runner, bir turnuvadaki hakem ve skor tabelası gibidir: maçları kendisi oynamaz, ama her birinin kurallara göre oynanmasını sağlar ve sonuçları kaydeder. Her büyük dil ekosisteminin en az bir tanesi vardır ve bazıları Node.js'teki node --test, Go'daki go test ve Rust'taki cargo test gibi dilin araç zincirine yerleşiktir.

Test runner'lar sıklıkla test çerçeveleri ve assertion kütüphaneleriyle karıştırılır. Çerçeve, describe, test ve fixture hook'ları gibi test yazmak için API'yi sağlar; assertion kütüphanesi expect(x).toBe(y) gibi kontrolleri sağlar; runner ise testleri çalıştırır ve sonuçları raporlar. Pek çok popüler araç üçünü birden barındırır; adların sıklıkla birbirinin yerine kullanılmasının nedeni budur. CI sunucusu ise yine farklıdır: test runner'ı daha büyük bir hattın bir adımı olarak çalıştırır.