Zamanı anlama · kontrollü deney
Model, doğru zaman aralığını seçerken zaman bilgisini kullanıyor
Zaman bilgisi doğru verildiğinde modelin başarısı belirgin biçimde yükseldi. Metin aynı tutulduğunda da görülen bu fark, modelin yalnızca metindeki ipuçlarına dayanmadığını destekliyor.
Deney ölçütleri karşılandı · üç eğitim çalışması
Neyi araştırdık?
Model, olaylar arasındaki doğru zaman aralığını gerçekten zaman bilgisinden mi buluyor, yoksa metindeki ipuçlarından mı tahmin ediyor?
Nasıl test ettik?
Model üç kez, farklı rastgele başlangıç ayarlarıyla eğitildi. Her çalışmada doğru zaman bilgisiyle alınan sonuçlar, zamanların rastgele karıştırıldığı ve tamamen sıfırlandığı kontrollerle karşılaştırıldı. Ek bir testte metin aynı tutuldu, yalnızca zamanlar ve doğru yanıt değiştirildi. Başarı ölçütleri eğitim başlamadan belirlendi.
Ne bulduk?
Eğitimdekinden farklı zaman aralıkları içeren ana testte doğru aralığı seçme başarısı ortalama %92,75 oldu; zamanlar karıştırıldığında %29,42’ye düştü. Aradaki fark 63,33 yüzde puanı. Aynı metni taşıyan eşli örneklerin her ikisine de doğru yanıt verilen grupların oranı, doğru zaman bilgisiyle %75,33; karıştırılmış zamanlarla %2,33; sıfırlanmış zamanlarla %0 oldu. Önceden belirlenen deney ölçütleri üç çalışmada da karşılandı.
Bu sonuç neyi göstermiyor?
Bu deney yalnızca verilen seçenekler arasından zaman aralığı seçmeyi değerlendiriyor. Her tür zaman sorusunu yanıtlayan, kullanıma hazır bir dil modeli gösterilmiş değil. Önceki bir deneyde, tekrarlanan zaman aralıklarını doğru olaylarla güvenilir biçimde eşleştirme sorunu da çözülmedi.
Bu rapor hakkında
Bunlar teknik araştırma raporlarıdır; hakemli yayın değildir. Her rapor kaynaklarını, ölçüm koşullarını ve sınırlarını belirtir. Kanıt bölümü, nelerin indirilebileceğini veya tekrar üretilebileceğini açıklar.
Teknik notlar ve kaynak kayıtları
Deney kimliği: EXP011g. “Seed”, eğitimin rastgele başlangıçlarını tekrar üretmek için kullanılan ayardır; burada 42, 43 ve 44 kullanıldı. OOD, eğitimdekinden farklı koşullarla yapılan testi ifade eder. Ana ölçüm pair_acc; eşli örneklerin birlikte başarısı group_both alanıdır. Ayrıntılı ölçümler aşağıdaki tablolardadır.
Dosya adları ve SHA-256 parmak izleri, bu rapor hazırlanırken kullanılan kaynakların tam sürümünü tanımlar.
- EXP011g-placebo-gates.md
SHA-256: 8986d1842c8084791b3137047669833b67deeae00004f50919b6c0baaaa5371e