Pyrodit RM · Étude de correction R7
Détection des risques : continuité de l’entraînement et précision contextuelle
L’étude R7 a évalué la poursuite de l’entraînement du modèle complet et une couverture de données élargie selon des critères prédéfinis. Elle a précisé l’équilibre entre détection et fausses alertes contextuelles, tout en conservant R5 en service. Ses résultats orientent les prochaines comparaisons contrôlées sur le préentraînement linguistique et la cohérence des étiquettes.
Évaluation R7 terminée · R5 conservé comme modèle en service
Question de recherche
Préserver le modèle complet et rétablir des données plus variées améliore-t-il la détection sans augmenter les fausses alertes ni perdre des capacités acquises ?
Méthode
Dans l’étude du 24 septembre 2026, deux candidats ont poursuivi l’entraînement depuis le modèle R3 complet sur 42 969 exemples, avec deux passages chacun. Les critères d’acceptation ont été fixés avant l’entraînement. Un modèle lexical distinct a utilisé les mêmes exemples avec des étiquettes de toxicité observées pour évaluer le signal disponible dans les données.
Résultats
À un taux de fausses alertes de 5 %, les deux candidats R7 finaux ont détecté 49,33 % et 51,33 % des contenus à risque dans 750 exemples de développement CivilComments, pour un objectif de 90 %. Aucun des 44 états d’entraînement sauvegardés n’a satisfait tous les critères de détection et de préservation des capacités existantes. R5 et son profil d’entrée ont été conservés ; l’étude n’a pas remplacé le modèle en service.
Continuité de l’entraînement et contrôles de sélection
L’audit a identifié l’effet de l’initialisation de l’encodeur et de la couche de décision, de la couverture des données et de la sélection des états sauvegardés sur le processus expérimental. R7 a ajusté ces mécanismes et conservé des traces vérifiables indépendamment. Leur contribution individuelle aux performances n’a pas été isolée dans cette étude.
Précision contextuelle dans la comparaison témoin
Le modèle lexical a détecté 125 des 150 exemples CivilComments à risque, avec 29 fausses alertes parmi 600 exemples inoffensifs. Au même seuil, il a signalé 154 des 847 exemples contextuels inoffensifs. Cela illustre la nécessité d’évaluer la force de détection avec la précision contextuelle. Le témoin est resté sous l’objectif de 90 %, n’a pas été entraîné à détecter les attaques personnelles et n’a pas été déployé.
Prochaines comparaisons contrôlées
L’étude oriente les prochaines comparaisons vers le préentraînement linguistique et les différences d’étiquetage des contenus nuisibles entre sources. Le préentraînement supplémentaire n’a pas encore été évalué. Des traces reproductibles soutiennent la comparaison ; la mise en service exige toujours l’ensemble des critères de qualité.
Limites
Ces résultats portent sur le développement en anglais, avec un seuil distinct par groupe d’évaluation, et non un seuil de production commun validé. Ils ne démontrent pas de performance en turc, en allemand ou pour les autres catégories de risque. Le jeu de contexte avait déjà été examiné et ne constitue pas un test indépendant intact. Aucun test final de contexte n’a été exécuté pour R7, faute de candidat admissible ; les chiffres de contexte rapportés concernent le contrôle lexical distinct.
À propos de ce rapport
Il s’agit de rapports de recherche techniques, non de publications évaluées par les pairs. Chaque rapport précise ses sources, ses conditions de mesure et ses limites. La section des preuves indique ce qui peut être téléchargé ou reproduit.
Notes techniques et sources
Source : risk-recovery-20260924. R7 : taux d’apprentissage de 1e-5 et 3e-5, deux époques chacun, 12 231 040 tokens et 10 744 étapes d’optimisation au total. Les 44 checkpoints ont été vérifiés indépendamment ; aucun n’a été retenu. ROC-AUC Civil finale : 0,873811 / 0,877656 ; AP : 0,687405 / 0,680610. Le contrôle lexical sur les mêmes données a utilisé 41 335 étiquettes de toxicité connues, en excluant 1 634 inconnues. AUC Civil : 0,954533 ; AP : 0,893655 ; rappel en contexte : 94,68 %, taux de fausses alertes : 18,18 %. Le rappel mesure les risques détectés ; FPR mesure les fausses alertes parmi les entrées inoffensives. AUC et AP résument le classement des scores. Le contrôle apprend uniquement la toxicité, R7 aussi les attaques personnelles : ce n’est pas une comparaison d’architecture à variable unique.
Les noms de fichiers et les empreintes SHA-256 identifient les versions exactes des sources utilisées pour préparer ce rapport.
- risk-recovery-20260924/README.md
SHA-256: f34dfa887481040dbf14f4034aca218c640e9b6a63df1e8ff18197721c4d8817 - risk-recovery-20260924/r7/summary.json
SHA-256: a91e57ecc1543b601563661d3219356f469c13cacd876d78a144bc4cdd1442ba - risk-recovery-20260924/full-replay-lexical-control/README.md
SHA-256: 8cac0bf35fbb55bc7ef7c7e38fc0095c91db6e9f235f65f8039716c0bfb73873 - risk-recovery-20260924/full-replay-lexical-control/summary.json
SHA-256: 0a6633cfb73f00874eb16b90ee9262dfe77b754c3d5198fd937817a1251bd4dd