Kurum içi sesli yapay zekâ için GPU gerekir mi?

GPU ihtiyacı seçilen modellere ve iş yüklerine göre değişir. Dil modeli ve bazı konuşma iş yükleri GPU isteyebilir, diğer servisler CPU ile çalışır. Ayrıntılı boyutlandırma çözüm tasarımında yapılır.

Özel bulut ile on-premise kurulum arasındaki fark nedir?

Özel bulut genellikle izole bir bulut ortamında çalışır. On-premise kurulum ise bankanın doğrudan kontrol ettiği altyapıda, örneğin kendi veri merkezinde çalışır. Altyapı ve işletim sorumluluklarının paylaşımı seçilen mimariye göre değişir.

Kurum içi kurulumda ticari dil modelleri de kullanılabilir mi?

Evet, hibrit bir mimaride kullanılabilir. Onaylı ticari modellere erişim, kurumun belirlediği harici ya da özel uç noktalar üzerinden yönetilir. Hassas iş yükleri ise kurum içinde çalışan modellerde kalır.

Sesli Yapay Zekâ Agentları bankada giden çağrılarda da kullanılır mı?

Evet. Ödeme hatırlatmaları, tahsilat, başvuru takibi, müşteri bildirimleri ve anket çağrıları giden senaryolara örnektir. Gelen ve giden çağrılarda aynı kurumsal bilgi, sistemler ve yönetişim kuralları geçerlidir.

Kurum içi sesli yapay zekâ ne kadar sürede canlıya alınır?

Süre; kullanım senaryosuna, entegrasyonlara, görüşmenin karmaşıklığına, kurulum mimarisine, güvenlik gereksinimlerine ve test kapsamına bağlıdır. Uygulama planı, çözüm ve altyapı değerlendirmesinden sonra netleşir.

Bankalar için kurum içi sesli yapay zekâ: Veri bankada nasıl kalır?

Bankanın verisini dışarı çıkarmadan sesli yapay zekâ kullanması için ses tanıma, seslendirme, dil modeli, kurumsal bilgi ve kayıtların hepsi kurum içinde çalışmalıdır. Bu katmanlardan biri dış servise bağlı kalırsa veri o noktada bankanın onaylı ağ sınırını aşar.

Bir banka, çağrı merkezinde Sesli Yapay Zekâ Agentlarını verisini dışarı çıkarmadan kullanmak istediğinde ses tanıma, seslendirme, dil modeli, kurumsal bilgi ve kayıt katmanlarının hepsini kendi altyapısına kurar. Bu yapıda müşterinin sesi, transkript, model çıktısı ve işlem kaydı bankanın onayladığı ağ sınırında kalır. Uygulamayı kurum içine alıp modeli ya da ses servisini dışarıdan çağırmak bu hedefi karşılamaz. Belirleyici olan, zincirdeki her halkanın nerede çalıştığıdır.

On-premise Kurulum ne zaman gerekir?

Her bankacılık iş yükü aynı kontrol seviyesini istemez. Genel ürün bilgisi veren bir senaryo onaylı bulut altyapısında çalışabilir. Aşağıdaki durumlarda ise kurum içi kurulum öne çıkar:

Çağrıda kimlik doğrulama, hesap, kart ya da kredi bilgisi işlenir.
İç politika ya da sektör düzenlemesi, verinin belirli bir ortamda kalmasını şart koşar.
Bilgi güvenliği ekibi, dış bir yapay zekâ servisine zorunlu bağımlılığı kabul etmez.
Banka kendi veri merkezini ve GPU altyapısını yönetir, kapasiteyi kendisi planlamak ister.
Ses kayıtları ve transkriptler denetim amacıyla kurum içinde saklanır.

Kurulum kararı kurumun tamamı için aynı olmak zorunda değildir. Hibrit bir mimaride hassas olmayan iş yükleri onaylı bulutta, müşteri hesabına dokunan süreçler ise kurum içinde çalışır.

Mimaride neler kurum içinde kalır?

Sesli bir çağrı birkaç katmandan geçer. Kurum içi mimaride her katman bankanın kontrolündeki ortamda çalışır:

Ses tanıma (Konuşmadan Metne): Müşterinin sesini gerçek zamanlı olarak metne çevirir. Çağrı merkezi ses kalitesine, ortam gürültüsüne ve bankacılık terimlerine uyum sağlaması gerekir.
Dil modeli ve anlama: Müşterinin amacını belirler, bağlamı değerlendirir ve hangi bilgiye ya da sisteme ihtiyaç olduğuna karar verir. Model çıkarımı kurum içindeki CPU ve GPU kaynaklarında çalışır.
Kurumsal bilgi: RAG, vektör depolama ve belgeler kurum içinde durur. Ürün, ücret ve prosedür bilgisi dışarı gönderilmez.
Seslendirme (Metinden Konuşmaya): Yanıtı doğal sese çevirir, ürün adlarını ve kısaltmaları telaffuz sözlükleriyle doğru okur.
Çalışma zamanı ve iş akışı: AI Agent orkestrasyonu, iş kuralları, insan onayı ve entegrasyonlar bu katmanda yer alır.
Kayıtlar: Ses kayıtları, transkriptler, istemler, model çıktıları, analitik ve denetim izleri kurum içinde tutulur.

Bu katmanlardan biri dışarıda kalırsa veri de o noktada sınırı aşar. Bu nedenle değerlendirmede "platform kurum içine kurulabilir mi" sorusu yetmez. Model, ses ve vektör servislerinin de kurum içinde çalışıp çalışmadığı ayrıca sorulur.

Regülasyon ve veri yerelliği nasıl karşılanır?

Bankaların tabi olduğu düzenlemeler ve iç politikalar kuruma göre değişir. Bu yüzden uyum bir ürün özelliği değil, mimari ve işletim kararlarının toplamıdır. Pratikte şu başlıklar birlikte ele alınır:

Verinin nerede işlendiği ve nerede saklandığı.
Rol tabanlı erişim, kurumsal kimlik sistemleriyle bağlantı ve müşterinin yönettiği anahtarlar.
Veri maskeleme, anonimleştirme ve yapılandırılabilir saklama süreleri.
Hangi modelin hangi iş için onaylı olduğu ve dış uç noktaların kontrolü.
Denetim izi, sürüm kontrolü ve geri alma imkânı.
Yüksek etkili işlemlerde insan onayı.

Nihai uyum; kullanım senaryosuna, yapılandırmaya, veriye ve geçerli mevzuata bağlıdır. Kurulumdan önce bilgi güvenliği, uyum ve altyapı ekipleri değerlendirmeyi birlikte yapar.

IVR ve çağrı merkezi entegrasyonu

Sesli Yapay Zekâ Agentları mevcut çağrı merkezinin yerine geçmez, ona bağlanır. Tipik entegrasyon noktaları telefon ve SIP altyapısı, IVR ortamı, çağrı merkezi platformu, CRM, çekirdek bankacılık ve ödeme sistemleri ile temsilci masaüstüdür.

Geleneksel IVR müşteriyi hazır menülerde gezdirir. Sesli Yapay Zekâ Agentı ise müşterinin ihtiyacını kendi cümleleriyle dinler, işlemi tamamlar ya da çağrıyı doğru kişiye aktarır. İnsan devri sırasında belirlenen amaç, toplanan bilgi, transkript ve görüşme özeti temsilciye geçer. Müşteri derdini baştan anlatmak zorunda kalmaz.

Değerlendirme ölçütleri

Bir banka, kurum içi sesli yapay zekâ çözümünü değerlendirirken şu soruları sorar:

Ses tanıma, seslendirme ve dil modeli dahil tüm yığın kurum içinde çalışır mı, yoksa bir katman dış servise mi bağlıdır?
Ses tanıma Türkçe çağrı merkezi sesinde, gürültüde ve bankacılık terminolojisinde nasıl sonuç verir? Test bankanın kendi kayıt örnekleriyle yapılır mı?
Seslendirme ürün adlarını, tutarları ve kısaltmaları doğru okur mu, telaffuz sözlüğü banka tarafından yönetilebilir mi?
Uçtan uca gecikme gerçek zamanlı bir telefon görüşmesine uygun mudur?
Servisler trafiğe göre bağımsız ölçeklenir mi, yüksek erişilebilirlik ve felaket kurtarma desteklenir mi?
Çözüm bankanın kullandığı konteyner ortamına kurulabilir mi?
Altyapı, izleme, güvenlik ve güncelleme sorumlulukları banka ile sağlayıcı arasında nasıl paylaşılır?
Denetim izi, insan onayı ve sürüm kontrolü hangi düzeyde sunulur?

CBOT bu konuda ne sunar?

CBOT, kendi dil modeli ve konuşma teknolojisiyle tamamen kurum içine kurulabilen bir kurumsal yapay zekâ platformudur. SaaS, özel bulut, hibrit ve tamamen On-premise Kurulum seçeneklerini destekler. Ayrıntılar Kurulum Seçenekleri sayfasında yer alır.

Kendi ses teknolojisi: CBOT, konuşma tanıma ve seslendirme teknolojilerini CBOT Speech çatısı altında kendisi geliştirir. Bu teknolojiler Türkçenin dil yapısı, çağrı merkezi ve mobil ses, gürültü ve alana özel terimler için optimize edilir. Voice AI sayfası gelen ve giden çağrı senaryolarını anlatır.
Kurum içi dil modeli: CBOT LLM kurum içine kurulabilir. CBOT modelleri, desteklenen açık kaynak modeller ve kurumun kendi barındırdığı modeller harici bir ticari model API'sine bağımlı kalmadan çalışır.
Veri sınırı: Tamamen on-premise mimaride istemler, görüşmeler, ses kayıtları, belgeler, gömmeler, model çıktıları ve analitik kayıtları onaylı kurumsal ortamda kalır.
Altyapı: Docker, Kubernetes ve Red Hat OpenShift ortamlarında konteynerli kurulum desteklenir. Konuşma tanıma, seslendirme, dil modeli çıkarımı ve çalışma zamanı servisleri trafiğe göre birbirinden bağımsız ölçeklenir.
Yönetişim: Rol tabanlı erişim, veri maskeleme, denetim izleri, sürüm kontrolü ve insan onayı platformun parçasıdır. Bu katman yönetişim ve güvenlik sayfasında anlatılır.
Entegrasyon: CBOT; telefon ve SIP altyapısına, IVR ortamlarına, çağrı merkezi platformlarına, CRM'e ve çekirdek bankacılık sistemlerine onaylı entegrasyonlar ve API'ler üzerinden bağlanır.

Bankacılıktaki sesli kullanıma iki örnek vardır. Halkbank vaka çalışmasında CBOT'un ses tanıma (ASR) ve seslendirme (TTS) teknolojileri bankanın IVR sistemine entegre durumdadır ve çağrı merkezinde kullanılır. Vakada kurulum türü on-premise olarak yer alır. İşbank Maxi vaka çalışmasında ise asistan zamanla sesli asistanlara da yayılır ve metnin yanında konuşmayla da hizmet verir. Sektöre özel yetenekler bankacılık sayfasında toplanır.

Sonuç

Kurum içi sesli yapay zekâ, bankanın müşteri deneyimini telefon kanalında yenilerken verisi ve altyapısı üzerindeki kontrolü korumasını sağlar. Doğru mimari, iş yüklerinin hassasiyetine ve bankanın işletim modeline göre belirlenir. Kendi senaryonuz için CBOT ekibiyle görüşün.