Konuşma Testi

Gerçek müşterilerle test etmeden önce, sentetik kullanıcı senaryolarıyla test etmek hem daha hızlı hem daha güvenlidir. Sentetik kullanıcı, belirli bir persona ve hedefle donatılmış, AI Agent ile gerçek bir konuşma yürüten ayrı bir yapay zekâ sürecidir; görüşme bittiğinde ortaya çıkan transkript, işlevsel doğruluk ve konuşma kalitesi açısından değerlendirilir. Bu sayede insan testçilerin günler süreceği yüzlerce senaryo, saatler içinde koşulabilir.

İyi bir sentetik test kütüphanesi, farklı persona ve niyet kombinasyonlarını kapsamalı: sabırsız müşteri, kararsız müşteri, art arda soru değiştiren müşteri, lehçeli ya da aksanlı konuşan müşteri, gürültülü ortamda arayan müşteri. Somut bir örnek: sabırsız müşteri rolü, AI Agent ilk cümlesini bitirmeden araya girecek, kısa ve kesik cevaplar verecek şekilde tasarlanabilir. Bu senaryoda ölçülen şey AI Agent'ın doğru bilgiyi vermesi kadar, bu sabırsızlığa nasıl tepki verdiğidir: tonunu hızlandırıyor mu, gereksiz açıklamaları atlıyor mu?

Ses tanıma kalitesini değerlendirirken tek bir doğruluk oranı yeterli değildir. Farklı yaş gruplarında, farklı bölge şivelerinde ve zayıf hat kalitesinde kelime hata oranının, yani WER'in, ayrı ayrı ölçülmesi gerekir. Bir sistem standart koşullarda %98 doğru çalışıp, arka planda trafik gürültüsü olan bir aramada %70'e düşebilir. Bu farkı bilmeden canlıya çıkmak, gerçek dünyada sürpriz yaratır.

Sık yapılan hata: Sentetik testteki yüksek başarı oranını, canlıya hazır olmanın kanıtı saymak. Sentetik kullanıcılar ne kadar çeşitli tasarlanırsa tasarlansın, yine de bir modelin ürettiği senaryolardır; gerçek insanların öngörülemezliğini birebir taşımazlar. Sentetik test, canlıya çıkmadan önceki ilk filtredir, son kanıt değildir. Yüksek bir sentetik başarı oranı, bir sonraki aşama olan pilotu atlamak için gerekçe olmamalı.

CBOT, farklı insan profilleri için ayrı roller tasarlayarak bu sentetik test kütüphanesini sürekli zenginleştirir ve genişletir. Canlıda karşılaşılan her beklenmedik senaryo, bir sonraki test setine yeni bir rol ya da senaryo olarak eklenir. Böylece Sesli Yapay Zekâ Agent'ı, geçmişte zorlandığı bir durumla bir daha karşılaştığında hazırlıklı olur.