Chatbotlarda Yeni Ölçüm Dönemi: Tek Skor Yetmiyor

Bir chatbotu yayına almak artık teknik olarak daha kolay; asıl zor olan, sistemin her gün doğru, güvenli, tutarlı ve maliyet açısından sürdürülebilir çalıştığını göstermek. arXiv’de yayımlanan yeni çalışma, konuşma ajanları için çok boyutlu değerlendirme, seçici yeniden test ve model kıyaslama kavramlarını tek bir değerlendirme hattında ele alıyor.

Bu yaklaşım özellikle kullanıcıyla doğrudan temas eden ürünlerde önemli. Çünkü tek bir genel skor, canlı kullanımda ortaya çıkabilecek riskleri gizleyebilir: yanlış bilgi, kişisel veri ihlali, fazla yavaş yanıt, gereksiz token maliyeti veya tutarsız üslup aynı toplam puanın içinde kaybolabilir.

Tek Skor Neden Yetmiyor?

Bir müşteri destek ajanını düşünün. Bot, sipariş durumunu doğru söyleyebilir; ancak kullanıcının T.C. kimlik numarası, telefon numarası veya adresi gibi kişisel verileri gereksiz yere tekrar ederse KVKK açısından risk oluşturur. Başka bir senaryoda teknik yanıt doğru olabilir; fakat cevap 8 paragraf uzunluğunda, kaba bir tonda veya kullanıcının işlem yapmasını sağlayacak bağlantıdan yoksun olabilir.

Bu nedenle değerlendirme yalnızca “cevap doğru mu?” sorusuna indirgenmemeli. Pratik bir test setinde en az şu eksenler ayrı ayrı ölçülmelidir:

• Doğruluk: Yanıt, şirket dokümanı, ürün verisi veya kaynak metinle uyumlu mu?
• Güvenlik: Zararlı, manipülatif, ayrımcı veya politika dışı içerik üretiyor mu?
• Uyumluluk: KVKK, şirket politikası, iade koşulları veya sektör regülasyonlarıyla çelişiyor mu?
• Kullanışlılık: Kullanıcının niyetini anlayıp işlemi tamamlamasına yardım ediyor mu?
• Tutarlılık: Aynı veya çok benzer sorularda benzer kaliteyle cevap veriyor mu?
• Maliyet: 1.000 konuşma başına tahmini API ve altyapı maliyeti kabul edilebilir seviyede mi?
• Gecikme: Ortalama yanıt süresi ve P95 gecikme, örneğin canlı destek için belirlenen 3-5 saniyelik sınırı aşıyor mu?

Türkiye’de fintech, e-ticaret, sağlık randevu sistemleri ve telekom müşteri hizmetleri gibi alanlarda bu ayrım kritiktir. Demo ortamında iyi görünen bir bot, canlı trafikte yanlış iade bilgisi verebilir, ödeme itirazını hatalı yönlendirebilir veya kişisel veriyi gereksiz biçimde ifşa edebilir.

Seçici Yeniden Değerlendirme: Her Değişiklikte Baştan Başlamayın

Çalışmanın uygulanabilir taraflarından biri selective re-evaluation, yani seçici yeniden değerlendirme yaklaşımıdır. Bir prompt, model sürümü veya bilgi tabanı değiştiğinde tüm test setini baştan çalıştırmak hem pahalı hem de yavaş olabilir. Bunun yerine yalnızca değişiklikten etkilenmesi beklenen senaryolar yeniden test edilir.

Örneğin bir e-ticaret botunda iade politikası promptunu değiştirdiyseniz, kargo takibi veya üyelik iptali senaryolarını tekrar çalıştırmanız gerekmeyebilir. Ancak şu başlıklar mutlaka yeniden test edilmelidir:

• İade süresi
• Cayma hakkı
• Ücret iadesi zamanı
• Hasarlı ürün bildirimi
• Hijyen, gıda veya dijital ürün gibi istisnai kategoriler
• Kampanyalı ürünlerde iade koşulları

Küçük bir ekip bu yaklaşımı şu şekilde kurabilir:

• Test vakalarını konu, risk seviyesi, veri kaynağı ve ilgili prompt etiketiyle sınıflandırın.
• Promptları, model sürümlerini ve bilgi tabanı dokümanlarını sürümleyin.
• Her değişiklikte hangi etiketlerin etkilendiğini belirleyen basit bir kural tablosu oluşturun.
• Yalnızca ilgili testleri çalıştırın ve sonuçları önceki sürümle karşılaştırın.
• Regülasyon veya güvenlik riski yüksek senaryolarda insan onayını zorunlu tutun.

Bu süreç için promptfoo, OpenAI Evals, LangSmith, Ragas, DeepEval, MLflow ve Weights & Biases gibi araçlar kullanılabilir. RAG tabanlı sistemlerde Ragas kaynak kullanımı ve cevap uygunluğu için; LangSmith zincir izleme ve hata analizi için; MLflow veya Weights & Biases ise model, prompt ve deney takibi için pratik seçeneklerdir.

Model Kıyaslama: En İyi Model Değil, En Uygun Model

Çalışmanın bir diğer vurgusu model benchmarking, yani model kıyaslamadır. Burada amaç yalnızca GPT-4o, Claude, Gemini, Llama veya Qwen gibi modellerden hangisinin daha yüksek puan aldığına bakmak değildir. Asıl soru şudur: Hangi model, sizin görevlerinizde, sizin maliyet ve gecikme sınırlarınız içinde, kabul edilebilir riskle çalışıyor?

Bir Türkçe müşteri destek botunda küçük veya yerel olarak çalıştırılan bir model, sık sorulan sorular için yeterli olabilir. Örneğin kargo takip bağlantısı verme, mağaza çalışma saatini söyleme veya basit üyelik adımlarını açıklama gibi görevlerde daha ucuz bir model kullanılabilir. Buna karşılık ödeme itirazı, sigorta kapsamı, sözleşme yorumu veya sağlık yönlendirmesi gibi riskli konularda daha güçlü bir modele veya insan temsilciye yönlendirme gerekebilir.

Başlangıç için uygulanabilir bir kıyaslama planı şöyle olabilir:

• Son 30 günden seçilmiş 100 gerçek kullanıcı sorusunu anonimleştirin.
• Her soru için beklenen yanıtı, kabul edilemez davranışı ve başarı kriterini yazın.
• En az 2 model ve 2 promp