Olgusallık (Factuality)

Olgusallık nedir?

Olgusallık (factuality), bir yapay zeka modelinin ürettiği içerikteki iddiaların gerçek dünyadaki doğrulanabilir bilgilerle ne kadar uyumlu olduğunu anlatan kavramdır. Bir model "Ankara Türkiye'nin başkentidir" dediğinde olgusal olarak doğru, "İstanbul Türkiye'nin başkentidir" dediğinde yanlış bir iddiada bulunur.

Olgusallık, halüsinasyonun tersi gibi düşünülebilir, ama iki kavram tam olarak aynı değildir. Olgusallık dünya bilgisiyle uyuma bakarken, sadakat (faithfulness) modelin kendisine verilen kaynağa bağlı kalıp kalmadığını ölçer. Bir model verilen belgeyi sadakatle özetleyebilir ama belge yanlışsa sonuç olgusal olarak hatalı olur.

Nasıl çalışır?

Olgusallığı ölçmek için genellikle şu adımlar izlenir:

• İddialara ayırma: Model çıktısı, tek tek doğrulanabilir atomik iddialara bölünür.
• Kanıt bulma: Her iddia için güvenilir kaynaklarda (ansiklopedi, veri tabanı, web araması) destekleyici veya çürütücü kanıt aranır.
• Puanlama: Desteklenen iddiaların toplam iddialara oranı hesaplanır.

Bu süreç insan değerlendiricilerle ya da giderek artan şekilde başka bir LLM'in hakem olarak kullanıldığı otomatik sistemlerle yapılır. Kısa cevaplı soru-cevap veri kümeleri, uzun metin üretimi testleri ve golden dataset'ler olgusallık benchmark'larının temelini oluşturur.

Olgusallığı artırmak için kullanılan teknikler arasında RAG ile güncel kaynaklara bağlanmak, modelin emin olmadığında "bilmiyorum" demesini ödüllendirmek, kaynak gösterimi (citation) ve eğitim sonrası hizalama çalışmaları yer alır.

Neden önemli?

Dil modelleri akıcı ve kendinden emin konuşur. Bu yüzden yanlış bilgi de doğru bilgi kadar ikna edici görünebilir. Sağlık, hukuk, finans ve eğitim gibi alanlarda olgusal hata ciddi zarara yol açabilir. Olgusallık ayrıca zamana bağlıdır: Eğitim tarihinde doğru olan bir bilgi, knowledge cutoff sonrasında eskimiş olabilir.

Kullanım alanları

• Model değerlendirme: Yeni modellerin halüsinasyon oranını karşılaştırmak.
• RAG sistemleri: Cevabın getirilen belgelerle desteklenip desteklenmediğini otomatik kontrol etmek.
• Haber ve içerik doğrulama: Yapay zeka destekli metinlerde iddiaları kaynaklarla eşleştirmek.
• Kurumsal asistanlar: Müşteriye yanlış politika ya da fiyat bilgisi verilmesini engellemek.
• Eğitim verisi filtreleme: Yanlış bilgi içeren içeriği eğitim setinden ayıklamak.
• Kişisel kullanım: Modelden aldığın rakam, tarih ve alıntıları kaynağından kontrol etmek; olgusallığı en ucuz artırmanın yolu hâlâ bu.