Faz 5 · 5.1
Test Stratejisi
Bir Sesli Yapay Zekâ Agent'ını "birkaç kez konuşup iyi görünüyor" diyerek canlıya almak, kurumsal ölçekte kabul edilebilir bir risk değildir. Test stratejisi, canlıya çıkmadan önce hangi senaryolarda, hangi eşiklerle, kaç kez sınandığını tanımlayan bir çerçevedir; rastgele deneme değil, planlı bir kapsam.
Üç katmanda düşünülmeli, her birinin kendi test türü ve kendi "geçti" tanımı vardır:
| Katman | Ne test edilir | Örnek ölçüt |
|---|---|---|
| İşlevsel doğruluk | Doğru bilgiyi mi veriyor, doğru araca mı yöneliyor | Belirlenen senaryo setinde doğru araç çağrısı oranı |
| Konuşma kalitesi | Ton uygun mu, gereksiz tekrar var mı, doğal akıyor mu | İnsan değerlendirici puanlaması, örneklem üzerinden |
| Güvenlik sınırları | Yetkisi dışındaki konulara giriyor mu, hassas veriyi doğru koruyor mu | Sınır ihlali sayısı, hedef sıfır |
Bu üç katman farklı yöntemlerle test edilir. İşlevsel doğruluk büyük ölçüde otomatikleştirilebilir: yüzlerce senaryo hızlıca ve tutarlı şekilde koşulabilir, doğru araca yönelme de bu kapsamda ölçülür. Konuşma kalitesi kısmen otomatikleştirilebilir ama nüans gerektiren kısımlarda insan değerlendirmesine ihtiyaç duyar. Güvenlik sınırları ise iki yönden sınanmalıdır: bilinen tuzak sorulardan oluşan otomatik testler ve bilinçli kırma denemeleri, yani adversarial test. Sadece normal kullanıcı gibi davranan testler, kötüye kullanım senaryolarını yakalamaz.
Ne kadar test yeterlidir sorusunun sabit bir cevabı yoktur. Doğru ölçü, üretimde gerçekten karşılaşılacak dağılımı kapsamaktır: sık karşılaşılan standart senaryolar, daha az sık ama gerçekçi uç durumlar ve kötüye kullanım denemeleri. Sadece ilk gruba yoğunlaşan bir test seti, canlıda hazırlıksız yakalanır.
Sık yapılan hata: Testi büyük ölçüde "mutlu senaryo" üzerinden kurmak. Müşterinin net konuştuğu, doğru bilgiyi ilk seferde verdiği, hiçbir şeyin ters gitmediği senaryolar test edilmesi en kolay olanlardır, bu yüzden test setinin çoğunluğunu oluşturma eğilimindedir. Ama üretimde başarısızlığın gerçekleştiği yer neredeyse hiçbir zaman mutlu senaryo değildir; yanlış anlaşılma, sistemden hata dönmesi, yetki sınırını zorlayan bir soru gibi durumlardır. Sağlıklı bir test seti, mutlu senaryodan çok, bu sapmaları kapsamalıdır.
Canlıya çıkış kararı, testin kendiliğinden verdiği bir sonuç olmamalı. Hangi eşik karşılandığında "canlıya alınabilir" denileceğine kimin karar vereceği net olmalı; aksi halde test sonuçları elde var ama kararı kimin verdiği belirsiz kalır.
Otomatik değerlendirme, insan gözden geçirmesinin yerini almaz ama onu çok daha hedefli hale getirir. İnsan, otomatik testin geçtiği ama ton ve empati gibi nüans gerektiren senaryolara odaklanabilir. CBOT'un test sistemi, her prompt değişikliğini geniş bir senaryo setine karşı otomatik olarak test edecek şekilde kurgulanmıştır.