Pyrodit RM · Estudio de recuperación R7
Detección de riesgos: continuidad del entrenamiento y precisión contextual
El estudio R7 evaluó la continuidad del entrenamiento del modelo completo y una cobertura de datos más amplia con criterios predefinidos. Aclaró el equilibrio entre detección y falsas alarmas contextuales, manteniendo R5 en servicio. Sus resultados orientan las próximas comparaciones controladas del preentrenamiento lingüístico y la coherencia de las etiquetas.
Evaluación R7 completada · R5 se mantiene como modelo en servicio
Pregunta de investigación
¿Conservar el modelo completo y recuperar datos de entrenamiento más amplios mejora la detección sin aumentar las falsas alarmas ni perder capacidades existentes?
Método
En el estudio del 24 de septiembre de 2026, dos candidatos continuaron el entrenamiento desde el modelo R3 completo con 42.969 ejemplos, en dos pasadas cada uno. Los criterios se fijaron antes del entrenamiento. Un modelo léxico independiente usó los mismos ejemplos con etiquetas de toxicidad observadas para evaluar la señal disponible en los datos.
Resultados
Con un 5 % de falsas alarmas, los dos candidatos R7 finales detectaron el 49,33 % y el 51,33 % de contenido de riesgo en 750 ejemplos de desarrollo CivilComments, frente a un objetivo del 90 %. Ninguno de los 44 estados guardados cumplió todos los criterios de detección y conservación de capacidades. Se mantuvieron R5 y su perfil de entrada; el estudio no reemplazó el modelo en servicio.
Continuidad del entrenamiento y controles de selección
La revisión identificó cómo la inicialización del codificador y de la capa de decisión, la cobertura de datos y la selección de estados guardados afectaban al proceso experimental. R7 ajustó esos mecanismos y conservó registros verificables de forma independiente. Este estudio no aisló su contribución individual al rendimiento.
Precisión contextual en la comparación de control
El control léxico detectó 125 de 150 ejemplos CivilComments de riesgo, con 29 falsas alarmas entre 600 ejemplos inocuos. Con el mismo umbral, señaló 154 de 847 ejemplos contextuales inocuos. La comparación muestra por qué la fuerza de detección debe evaluarse junto con la precisión contextual. El control quedó por debajo del objetivo del 90 %, no se entrenó para detectar ataques personales y no se desplegó.
Próximas comparaciones controladas
El estudio orienta las próximas comparaciones hacia el preentrenamiento lingüístico y las diferencias en el etiquetado del contenido dañino entre fuentes. Aún no se ha evaluado el preentrenamiento adicional. Los registros reproducibles permiten comparar; el uso en servicio sigue exigiendo todos los criterios de calidad.
Limitaciones
Son resultados de desarrollo en inglés, con un umbral elegido por separado para cada grupo, no la validación de un umbral de producción común. No demuestran rendimiento en turco, alemán u otras categorías de riesgo. El conjunto de contexto ya se había examinado y no es una prueba independiente intacta. No se ejecutó la prueba final de contexto de R7 porque ningún candidato cumplió los requisitos; las cifras de contexto publicadas pertenecen al control léxico separado.
Acerca de este informe
Son informes técnicos de investigación, no publicaciones revisadas por pares. Cada informe identifica sus fuentes, condiciones de medición y límites. La sección de evidencias explica qué se puede descargar o reproducir.
Notas técnicas y fuentes
Fuente: risk-recovery-20260924. R7: tasas de aprendizaje 1e-5 y 3e-5, dos épocas cada una, 12.231.040 tokens y 10.744 pasos del optimizador en total. Los 44 checkpoints se verificaron de forma independiente; ninguno cumplió los criterios. ROC-AUC Civil final: 0,873811 / 0,877656; AP: 0,687405 / 0,680610. El control léxico con los mismos datos utilizó 41.335 etiquetas de toxicidad conocidas y excluyó 1.634 desconocidas. AUC Civil: 0,954533; AP: 0,893655; detección en contexto: 94,68 %, FPR: 18,18 %. Recall mide los riesgos detectados; FPR mide falsas alarmas entre entradas inocuas. AUC y AP resumen la ordenación de puntuaciones. El control aprende solo toxicidad, mientras R7 también aprende ataques personales; no es una comparación de arquitectura con una sola variable.
Los nombres de archivo y las huellas SHA-256 identifican las versiones exactas de las fuentes utilizadas para preparar este informe.
- risk-recovery-20260924/README.md
SHA-256: f34dfa887481040dbf14f4034aca218c640e9b6a63df1e8ff18197721c4d8817 - risk-recovery-20260924/r7/summary.json
SHA-256: a91e57ecc1543b601563661d3219356f469c13cacd876d78a144bc4cdd1442ba - risk-recovery-20260924/full-replay-lexical-control/README.md
SHA-256: 8cac0bf35fbb55bc7ef7c7e38fc0095c91db6e9f235f65f8039716c0bfb73873 - risk-recovery-20260924/full-replay-lexical-control/summary.json
SHA-256: 0a6633cfb73f00874eb16b90ee9262dfe77b754c3d5198fd937817a1251bd4dd