Pyrodit RM · R7 iyileştirme deneyi
Risk tespiti: eğitim devamlılığı ve bağlamsal hassasiyet
R7 çalışması, modelin tamamını koruyan eğitim devamlılığını ve daha geniş veri kapsamını önceden belirlenmiş kabul ölçütleriyle değerlendirdi. Risk tespiti ile bağlam içindeki yanlış alarmlar arasındaki dengeyi ortaya koyarken kullanımdaki R5 modelini korudu. Bulgular, dil ön eğitimi ve etiket tutarlılığı üzerine sonraki kontrollü karşılaştırmalara yön veriyor.
R7 değerlendirmesi tamamlandı · Kullanımdaki R5 korundu
Neyi araştırdık?
Modelin öğrendiklerini korumak ve daha geniş eğitim verisini geri getirmek, yanlış alarmları artırmadan ve mevcut becerileri kaybetmeden risk tespitini iyileştirir mi?
Nasıl test ettik?
24 Eylül 2026 tarihli çalışmada iki aday, R3 modelinin bütün ağırlıkları korunarak 42.969 örnek üzerinde eğitildi; her aday verinin tamamını iki kez gördü. Kabul ölçütleri eğitimden önce sabitlendi. Ayrı bir sözcük örüntüsü modeli, aynı veride incitici içerik etiketi bulunan örneklerle verinin sunduğu öğrenme sinyalini değerlendirdi.
Ne bulduk?
İki son R7 adayı, 750 CivilComments geliştirme örneğinde %5 yanlış alarm oranında riskli içeriklerin %49,33 ve %51,33’ünü tespit etti; hedef %90’dı. Kaydedilen 44 eğitim durumunda hiçbir aday, tespit kalitesi ve mevcut becerilerin korunmasına ilişkin kabul ölçütlerinin tamamını karşılamadı. R5 modeli ve mevcut giriş profili korundu; çalışma kullanımdaki modelin değiştirilmesiyle sonuçlanmadı.
Eğitim devamlılığı ve model seçimi kontrolleri
İnceleme; metin ve karar katmanlarının başlangıç durumu, eğitim verisinin kapsamı ve kayıtlı model seçiminin deney hattına etkilerini belirledi. R7 bu mekanizmaları düzenledi ve bağımsız incelenebilir kayıtları korudu. Her bir mekanizmanın model performansına ayrı katkısı bu çalışmada ölçülmedi.
Kontrol karşılaştırmasında bağlamsal hassasiyet
Sözcük örüntüsü modeli, CivilComments’ta 150 riskli örneğin 125’ini tespit etti; 600 zararsız örnekte 29 yanlış alarm verdi. Aynı eşikte, 847 zararsız bağlam örneğinin 154’ünü işaretledi. Bu karşılaştırma, tespit gücünün bağlama duyarlı hassasiyetle birlikte değerlendirilmesi gerektiğini gösteriyor. Kontrol %90 tespit hedefinin altında kaldı, kişisel saldırı tespiti için eğitilmedi ve kullanıma alınmadı.
Sonraki kontrollü karşılaştırmalar
Çalışma, sonraki karşılaştırmaları dil ön eğitimine ve kaynak veri setlerinin zararlı içeriği tanımlama farklılıklarına yönlendiriyor. Ek ön eğitim henüz değerlendirilmedi. Tekrar incelenebilir eğitim kayıtları karşılaştırmayı destekler; kullanıma kabul için kalite ölçütlerinin tamamı gerekir.
Bu sonuç neyi göstermiyor?
Bunlar İngilizce geliştirme verisi sonuçlarıdır; her değerlendirme grubu için ayrı eşik seçilmiştir. Tek bir üretim eşiğinin doğrulandığını, Türkçe, Almanca veya diğer risk alanlarında başarıyı göstermez. Bağlam kümesi daha önce incelendiği için dokunulmamış bağımsız bir test değildir. R7’de uygun aday seçilemediğinden son bağlam testi çalıştırılmadı; bu rapordaki bağlam ölçümleri ayrı sözcüksel kontrole aittir.
Bu rapor hakkında
Bunlar teknik araştırma raporlarıdır; hakemli yayın değildir. Her rapor kaynaklarını, ölçüm koşullarını ve sınırlarını belirtir. Kanıt bölümü, nelerin indirilebileceğini veya tekrar üretilebileceğini açıklar.
Teknik notlar ve kaynak kayıtları
Kaynak: risk-recovery-20260924. R7: 1e-5 ve 3e-5 öğrenme hızları, aday başına iki tam eğitim turu; toplam 12.231.040 token ve 10.744 optimizer adımı. Kaydedilen 44 durum bağımsız doğrulandı; kabul koşullarını geçen olmadı. Son Civil ROC-AUC: 0,873811 / 0,877656; AP: 0,687405 / 0,680610. Aynı verili sözcüksel kontrol 41.335 gözlenen toxicity etiketi kullandı; 1.634 bilinmeyen etiket dışarıda bırakıldı. Civil AUC: 0,954533; AP: 0,893655; bağlam yakalama: %94,68, yanlış alarm: %18,18. Recall risklerin yakalanma oranını, FPR zararsız girdilerdeki yanlış alarmı ölçer. AUC ve AP puanların sıralama başarısını özetler. Kontrol yalnız incitici içeriği, R7 ayrıca kişisel saldırıyı öğrenir; bu, tek değişkenli bir mimari karşılaştırması değildir.
Dosya adları ve SHA-256 parmak izleri, bu rapor hazırlanırken kullanılan kaynakların tam sürümünü tanımlar.
- risk-recovery-20260924/README.md
SHA-256: f34dfa887481040dbf14f4034aca218c640e9b6a63df1e8ff18197721c4d8817 - risk-recovery-20260924/r7/summary.json
SHA-256: a91e57ecc1543b601563661d3219356f469c13cacd876d78a144bc4cdd1442ba - risk-recovery-20260924/full-replay-lexical-control/README.md
SHA-256: 8cac0bf35fbb55bc7ef7c7e38fc0095c91db6e9f235f65f8039716c0bfb73873 - risk-recovery-20260924/full-replay-lexical-control/summary.json
SHA-256: 0a6633cfb73f00874eb16b90ee9262dfe77b754c3d5198fd937817a1251bd4dd