Das Modell nutzt Zeitinformationen zur Auswahl des richtigen Intervalls | Mindtro

Mit korrekten Zeitinformationen wählte das Modell deutlich häufiger das richtige Intervall. Der Effekt blieb bei identischem Text bestehen und spricht dafür, dass das Modell auch die Zeitinformationen nutzt.

Forschungsfrage

Nutzt das Modell tatsächliche Zeitinformationen, um das richtige Intervall zwischen Ereignissen auszuwählen, oder rät es anhand von Hinweisen im Text?

Methode

Das Modell wurde dreimal mit unterschiedlichen zufälligen Anfangseinstellungen trainiert. In jedem Durchlauf verglichen wir korrekte Zeitinformationen mit zufällig vertauschten und auf null gesetzten Werten. Ein weiterer Test hielt den Text gleich und änderte nur Zeiten und richtige Antwort. Die Erfolgskriterien standen vor dem Training fest.

Ergebnisse

Im Haupttest mit Zeitintervallen außerhalb der Trainingsbedingungen lag die korrekte Intervallauswahl im Mittel bei 92,75 % mit richtigen Zeitinformationen und 29,42 % mit vertauschten Zeiten: ein Unterschied von 63,33 Prozentpunkten. Bei Beispielpaaren mit identischem Text waren beide Antworten in 75,33 % der Gruppen richtig; mit vertauschten Zeiten in 2,33 % und mit Nullwerten in 0 %. Alle drei Durchläufe erfüllten die vorab festgelegten Kriterien.

Grenzen

Getestet wurde die Auswahl eines Zeitintervalls aus vorgegebenen Möglichkeiten. Ein einsatzbereites Sprachmodell für beliebige Zeitfragen ist damit nicht belegt. Ein früheres Experiment ließ auch die zuverlässige Zuordnung wiederholter Intervalle zu Ereignissen ungelöst.

Über diesen Bericht

Dies sind technische Forschungsberichte, keine begutachteten Publikationen. Jeder Bericht nennt Quellen, Messbedingungen und Grenzen. Der Evidenzabschnitt erklärt, was heruntergeladen oder reproduziert werden kann.

Technische Hinweise und Quellen

Experiment: EXP011g. Ein Seed macht zufällige Anfangseinstellungen des Trainings reproduzierbar; hier wurden 42, 43 und 44 verwendet. OOD bezeichnet Tests außerhalb der Trainingsbedingungen. Das Hauptmaß heißt pair_acc; group_both misst den gemeinsamen Erfolg bei Beispielpaaren. Einzelwerte stehen in den verlinkten Tabellen.

Dateinamen und SHA-256-Prüfsummen kennzeichnen die genauen Quellenversionen dieses Berichts.

EXP011g-placebo-gates.mdSHA-256: 8986d1842c8084791b3137047669833b67deeae00004f50919b6c0baaaa5371e

Materialien zur Reproduktion anfragen →