Soru-Cevap Kıyaslaması

1 phaseActive

Excel'den oluşturulan soru-cevap kıyaslaması. Bu kıyaslama, yapay zeka modellerinin metin anlama ve soru yanıtlama yeteneklerini ölçer.

Genel Bakış

Türkçe Soru-Cevap Kıyaslaması

Bu kıyaslama, yapay zeka modellerinin Türkçe metin anlama ve soru yanıtlama yeteneklerini değerlendirmek için tasarlanmıştır.

Kıyaslama Hakkında

Amaç: Modeliniz, verilen bir metin paragrafı (context) içinden sorulan soruya uygun cevabı bulmalıdır. Veri seti SQuAD formatında hazırlanmıştır.

Örnek:

Paragraf:
"Türkiye Cumhuriyeti 29 Ekim 1923'te Ankara'da ilan edildi.
Atatürk ilk cumhurbaşkanı oldu."

Soru: "Türkiye Cumhuriyeti ne zaman ilan edildi?"

Cevap: "29 Ekim 1923"

Değerlendirme Metrikleri

Ana Metrikler

Metrik	Açıklama	Yöntem
Genel Skor	Tüm metriklerin ağırlıklı ortalaması	F1, EM, ROUGE, BLEU, METEOR, BERTScore
F1 Skoru	Kelime örtüşmesi	2 × (P × R) / (P + R)
Tam Eşleşme (EM)	Birebir eşleşme	0 veya 100
ROUGE-L	En uzun ortak alt dizi	LCS tabanlı
ROUGE-1/2	Unigram/Bigram örtüşmesi	Kelime eşleşmesi
BLEU	N-gram kesinliği	Makine çevirisi standardı
BERTScore	Anlamsal benzerlik	Embedding karşılaştırması
METEOR	Sinonim farkındalıklı	Eşanlamlı kelime eşleşmesi

LLM-as-Judge Metrikleri

Not: Bu metrikler sıralamaya dahil değildir, yalnızca bilgilendirme amaçlıdır.

Metrik	Açıklama	Aralık	İdeal
Olgusal Tutarlılık	Cevabın paragrafla uyumu	0-100	Yüksek
Halüsinasyon	Uydurma bilgi oranı	0-100	Düşük
Kapsam	Önemli bilgilerin kapsanması	0-100	Yüksek
İzlenebilirlik	Cevabın kaynağa izlenebilirliği	0-100	Yüksek

Nasıl Katılırsınız?

Adım 1: Başlangıç Kiti

Sol menüden "Dosyalar" sekmesine gidin ve Başlangıç Kiti'ni indirin.

Adım 2: Model Yapılandırması

model.py dosyasındaki LLM API ayarlarını yapılandırın:

self.llm_config = {
    "api_url": "YOUR_API_URL/v1/chat/completions",
    "headers": {
        "Authorization": "Bearer YOUR_API_KEY",
        "Content-Type": "application/json"
    },
    "model_name": "your-model-name",  # örn: gpt-4, gemini-pro
    "enabled": True
}

Desteklenen API Formatları:

OpenAI uyumlu API'ler
LiteLLM proxy
Özel LLM sunucuları (OpenAI formatında)
Azure OpenAI
Google Gemini (OpenAI uyumlu)

Adım 3: Gönderim Paketi

Dosyalarınızı ZIP formatında hazırlayın:

gonderim.zip
├── model.py          # Ana model dosyası (ZORUNLU)
├── metadata          # Çalıştırma komutu
└── (ek dosyalar)     # Gerekirse

Adım 4: Gönderim

"Katıl" sekmesinden ZIP dosyanızı yükleyin.

Gönderim Formatı

{
    "soru_001": "29 Ekim 1923",
    "soru_002": "Mustafa Kemal Atatürk",
    "soru_003": "Ankara",
    "soru_004": ""
}

Alan Açıklamaları

Alan	Tip	Açıklama	Örnek
Anahtar	String	Soru ID'si (test verisiyle eşleşmeli)	"soru_001"
Değer	String	Tahmin edilen cevap metni	"29 Ekim 1923"
Cevapsız	String	Yanıtlanamayan sorular için	"" (boş string)

Önemli Kurallar

Yapılması Gerekenler:

Cevabı paragraf içinden çıkarın
UTF-8 encoding kullanın
Tüm soruları yanıtlayın
JSON formatına uyun

Yapılmaması Gerekenler:

Paragraf dışı bilgi eklemeyin
60 saniyeyi aşmayın
ID'leri karıştırmayın
Formatı değiştirmeyin

Başarılar dileriz! Sorularınız için iletişim sekmesini kullanabilirsiniz.