Mimari Kararlar

Bir Sesli Yapay Zekâ Agent'ı projesinin teknik mimarisi üç katmandan oluşur. Konuşma katmanı STT, LLM ve TTS zincirini kapsar. Entegrasyon katmanı kurumsal sistemlere bağlantıyı kurar. Gözetim katmanı ise izleme, güvenlik ve denetimden sorumludur. Her katmanın kendi içinde ayrı kararlar barındırdığını görmek önemli:

Konuşma katmanında ilk karar konuşma tanıma motorudur: motor tek dile mi optimize edilmiş, aksana ne kadar dayanıklı. İkinci karar hangi dil modelinin hangi görevde çalışacağıdır; basit sorgular küçük ve hızlı bir model ister, karmaşık akıl yürütme büyük ve yavaş bir model gerektirir. Üçüncü karar ses sentezinin gecikme ile doğallık arasında nereye oturacağıdır.

Entegrasyon katmanında sisteme kaç kurumsal sistemin, hangi sırayla ve senkron mu asenkron mu bağlanacağı kararlaştırılır. Senkron bir bağlantı anında yanıt bekler, bakiye sorgusu böyledir. Asenkron bir bağlantı beklemeden ilerleyebilir, bir talebin arka planda işlenmesi buna örnektir. Bu ayrımı erken yapmamak, sonradan tüm konuşma akışının yeniden tasarlanmasını gerektirebilir.

Gözetim katmanında ise loglamanın derinliği netleşir: hangi veri ne kadar süre saklanacak, izleme gerçek zamanlı mı yoksa geriye dönük mü olacak, bu verilere kim erişebilecek.

Bu kararların erken netleşmesi kritik, çünkü her biri diğerlerini etkiler. Örneğin verinin yurt dışına çıkamaması, yani veri egemenliği gereksinimi doğrudan kurulum modelini belirler; kurulum modeli entegrasyon mimarisini şekillendirir; entegrasyon mimarisi ise hangi gecikme bütçesiyle çalışılabileceğini sınırlar. Bu yüzden "sonra değiştiririz" dediğiniz tek bir karar, aslında dört-beş kararı birden yeniden açar.

Kurulum modelini seçerken düşünülmesi gereken kriterler:

Bu üçü birbirini dışlamak zorunda değil. Sahada sık görülen bir desen, hibrit bir kurulumdur: gecikmeye ve veri hassasiyetine en çok bağlı olan konuşma katmanı on-premise ya da özel bulutta tutulurken, analitik ve gözetim katmanı bulutta çalıştırılır. Doğru soru "hangisini seçelim" değil, "hangi katman hangi ortamda çalışmalı" olmalıdır.

Sık yapılan hata: Pilot için seçilen mimariyi üretim mimarisi sanmak. Bir pilot genellikle hızlı kurulabilsin diye bulutta, gevşek entegrasyonlarla başlar. Proje üretime geçtiğinde ise veri egemenliği, mevcut sistemlere derin entegrasyon ya da denetim gereksinimleri ortaya çıkar ve pilot mimarisi bunları karşılayamaz. Sonuç, sıfırdan bir yeniden kurulumdur. Bu riski önlemek için, pilot başlamadan önce üretim mimarisinin ana hatları netleştirilmelidir, özellikle kurulum modeli ve veri egemenliği; pilot bu mimarinin küçültülmüş hali olmalı, ondan tamamen bağımsız bir kısayol değil.

CBOT'un platform mimarisi bu üç katmanı tek bir kurulum modelinde birleştirir ve kurumun ihtiyacına göre bulutta, özel bulutta, tamamen on-premise ya da yukarıdaki hibrit modelde çalışabilir.