Wie Redback gemessen wird

Der Lösungsschlüssel

Der Lösungsschlüssel ist das Rechercheprotokoll: Jeder Wert darin wurde auf einer Seite gefunden und mit den Worten geschrieben, die ihn nennen, beim Schreiben auf dieser Seite erneut gelesen, und der Datensatz führt ihn noch. Das ist ein stärkerer Schlüssel als die Konfidenzwerte der Datensätze selbst, die unser Urteil sind und teilweise aus Werten entstanden, die später als erfunden entfernt wurden.

Die Stichprobe wird mit einer Zufallsfolge mit festem Startwert gezogen und vor jeder Recherche eingefroren, und Datensätze, die in derselben Woche bearbeitet wurden, bleiben außen vor, weil ihre Suchen und Seiten bereits im Gedächtnis sind. Die erste Messung nutzte 56 Werte zu 25 Datensätzen, jeden Datensatz, den der Schlüssel damals führte.

flowchart LR
  key["Figures already held<br/>with a checked quote"] --> sample["A fixed sample,<br/>frozen before the run"]
  sample --> hide["Each figure hidden,<br/>its page withheld"]
  hide --> run["The real research<br/>run on each"]
  run --> rules{"Evidence rules"}
  rules -->|"written"| compare{"Agrees with<br/>the held figure?"}
  rules -->|"doubt or refused"| held["Counted as held back"]:::warn
  compare -->|"yes"| right["Right"]:::ok
  compare -->|"no"| wrong["Wrong"]:::fail

Die Augenbinde

Für jeden Wert läuft die Recherche wie bei einer echten Lücke: Das Feld ist verborgen, die Seite, von der er stammt, wird zurückgehalten, und die eigenen Quellenangaben des Datensatzes werden nicht übergeben, sodass die Antwort gefunden und nicht erneut gelesen werden muss. Redbacks Lauf ist sein echter: dieselben Modelle, dieselbe Suchkette, dieselben Leser, Prüfungen und Belegregeln.

Die Bewertung

Code bewertet, nicht ein Modell. Ein geschriebener Wert ist richtig, wenn er innerhalb der Toleranz einer Rundung liegt, die jemand beim Umrechnen vorgenommen hat: 2 % oder 1 mm bei einer Länge, 3 % oder 5 g bei einer Masse. Jeder verborgene Wert endet in einem von: geschrieben und richtig, geschrieben und falsch, als Zweifel abgelegt (richtig oder falsch), abgelehnt, nicht gefunden oder nichts zu recherchieren.

Zwei Zahlen zählen, und sie werden getrennt berichtet: die Genauigkeit, der Anteil richtiger unter den geschriebenen Werten, und die Abdeckung, der Anteil der verborgenen Werte, die richtig geschrieben wurden. Ein System kann Genauigkeit mit Abdeckung erkaufen, indem es mehr ablehnt; beide zu berichten hält diesen Tausch sichtbar.

Ergebnisse

Redback lief nach jeder Runde von Korrekturen, die die Läufe selbst aufgedeckt hatten, auf denselben 56 verborgenen Werten. Jede Zeile nutzt denselben Schlüssel, sodass der Unterschied zwischen den Zeilen der Unterschied in Redback ist.

Der eine falsche Wert im letzten Lauf ist ein echter Widerspruch: das Gewicht eines Nachschlagewerks für die militärische Version eines Gewehrs gegenüber dem Herstellergewicht der zivilen Version. Fünf falsche Werte, die frühere Läufe schrieben, erreichen jetzt stattdessen als Zweifel eine Person.

Jede Runde folgte aus dem Lesen dessen, was schiefging, nicht aus dem Justieren einer Zahl: eine Umrechnung von Pfund und Unzen, die aus 771 g 454 g machte, ein Seitentitel, der aus einem Produktcode genommen wurde, eine nicht eingeordnete Airsoft-Website, ein Test eines Full-Size-Modells für einen Compact-Datensatz.

Was die Messung nicht sagen kann

Ein geführter Wert kann selbst falsch sein, daher ist ein geschriebener Fehler ein Widerspruch, der gelesen werden muss, gelegentlich zu Redbacks Gunsten. Das Netz verändert sich, daher misst ein Lauf seinen Tag. Und 56 Werte sind ein weites Intervall, keine Quote: kein falscher Wert unter 56 ist ein starkes Ergebnis, kein Beweis, dass es keinen gibt.