Was Redback lernt, und wer entscheidet

Zwei Arten von Gedächtnis

Redback behält zwischen den Läufen zwei Arten von Dingen, und sie werden absichtlich verschieden behandelt. Eine Messung (wie eine Website beim Lesen reagierte) wird so behalten, wie sie erhoben wurde, weil sie keine Behauptung über eine Waffe ist und es nichts zu prüfen gibt. Eine Behauptung (dass ein Hersteller sagt, zwei Varianten teilten einen Wert) ändert, woraus ein Wert geschrieben werden darf, und wartet deshalb auf eine Person.

flowchart TD
  reads["Every page read"] --> hosts["How each site reads<br/>measured, not reviewed"]
  proposals["A maker's statement<br/>with its page and words"] --> facts["Maker facts<br/>proposed"]
  facts --> person{"A person"}
  person -->|"accepts"| accepted["Used by the evidence rules"]:::ok
  person -->|"rejects"| rejected["Kept, never used"]:::muted
  hosts --> live["The live memory"]
  accepted --> live
  live --> pr["Proposed to the catalogue"]
  pr --> merged["Merged by a person"]:::ok
  merged --> next["Loaded by the next deployment"]
  next --> live

Wie sich jede Website lesen lässt

Jede Seite, die Redback liest, aktualisiert die Zählung ihrer Website, und die eigenen Messungen des Teams ergänzen sie: wie viele Lesevorgänge die Seite so erhielten, wie sie ausgeliefert wird, wie viele einen Browser brauchten (was nur die Messungen des Teams feststellen können), wie viele auf eine Prüfwand stießen, wie viele fehlschlugen und wie viele Seiten überhaupt Werte nannten. Daraus wird jede Website einem Wort zugeordnet: direkt lesbar, im Browser aufgebaut, Prüfwand, nicht erreichbar, keine Werte oder gemischt.

Die Recherche nutzt das, bevor sie etwas ausgibt: Die Website eines Herstellers, die Skripten mit einer Prüfwand antwortet, wird nicht durchsucht, und das Modell soll nach dem PDF des Herstellers, einem Test oder einer archivierten Kopie suchen. Eine Person kann einer Website Notizen hinzufügen (die technischen Daten nennen die Lauflänge ohne Einheit), und keine Messung überschreibt sie.

Was Hersteller angeben

Eine Herstellerangabe ist eine Aussage, mit ihrer Seite und ihren Worten, dass ein Wert über die Kaliber eines Modells gleich ist. Sie wird von einer Person oder von den Recherchewerkzeugen des Teams vorgeschlagen (die ihre Worte vor dem Ablegen auf der Seite prüfen) und erst genutzt, wenn eine Person sie in der Staff-Konsole annimmt. Sie bestätigt einen Kaliber-Zweifel für die genannten Felder und für nichts sonst: Walthers CCP M2 in .380 teilt Lauf und Länge mit dem 9-mm-Modell und sagt nichts über sein Gewicht, das abweicht.

Eine angenommene Angabe kann jederzeit auf ihrer Seite erneut gelesen werden, und eine, deren Worte von ihrer Seite verschwunden sind, bestätigt nichts mehr.

Behalten, aber nicht gelernt

Suchantworten und Seiten werden einen Tag behalten (siehe Wie Redback seine Modelle und Werkzeuge wählt). Das ist eine Ersparnis, kein Lernen: Nichts davon überdauert den Tag, und nichts darin ändert, was als Beleg zählt.

Was eine prüfende Person gesagt hat

Auch die Ablehnung einer Person ist Gedächtnis. Die abgelehnte Antwort und die Notiz der prüfenden Person stehen am Anfang der Frage an den nächsten Versuch, und ein erneut abgelegtes Ergebnis trägt den früheren Versuch mit sich, sodass eine prüfende Person beide sieht.

Was jede Aufgabe hinterlässt

Jeder Vorschlag trägt seine vollständige Spur: die Frage an jedes Modell, die gezeigten Ausschnitte, jeden Werkzeugaufruf mit seinem Ergebnis, Anbieter und Modell jedes Schritts, Tokens und Kosten und was jede Prüfung sagte. Auch eine verworfene Antwort behält ihre Spur, mit der Regel, die sie abgelehnt hat.

Jeder Modellaufruf wird außerdem einzeln mit seinem Ergebnis protokolliert, sodass die Staff-Konsole zeigen kann, welcher Anbieter geantwortet hat, welcher Schlüssel ruht und warum, und was ein Tag Recherche gekostet hat.

Vom lebenden Gedächtnis in den Katalog

Das lebende Gedächtnis liegt in der Datenbank der Plattform; der geprüfte Stand liegt im Katalog, dem Repository, in dem jeder Wert lebt. Eine Bereitstellung wird aus dem Katalog befüllt, ohne rückgängig zu machen, was die Lesevorgänge der Datenbank beigebracht haben; was die Datenbank gelernt hat (neue Messungen von Websites, angenommene Angaben), wird im selben Pull Request für den Katalog vorgeschlagen, der die angenommenen Ergebnisse trägt, und eine Person führt ihn zusammen. Eine noch nicht befüllte Datenbank schlägt nie ein leeres Gedächtnis vor.

So schreibt die Plattform nichts in den Katalog: Sie lernt in der Datenbank, eine Person prüft, und ein Pull Request bringt den geprüften Stand heim.

Wie Redback besser wird

Redback trainiert oder justiert sich nicht selbst. Es wird auf zwei Wegen besser, und beide sind sichtbar. Was es misst (wie sich Websites lesen lassen) und was eine Person entscheidet (Herstellerangaben, Ablehnungen), ändert den nächsten Lauf automatisch. Alles andere ändert sich, wenn eine Person liest, was schiefging, und eine Regel ändert.

1. Blind am Lösungsschlüssel messen (siehe Redback messen).
2. Die Spur jedes falschen oder verworfenen Werts lesen, um den Schritt zu finden, der scheiterte: die Suche, den Ausschnitt, die Lesart oder eine Regel.
3. Diesen Schritt ändern, mit einem Test aus dem Fall, nie durch Justieren der Zahl, die ihn bewertet hat.
4. Am selben Schlüssel erneut messen, sodass der Unterschied zwischen den Läufen die Änderung ist.

Jede Runde von Korrekturen in den Ergebnissen auf der Seite zur Messung stammt aus diesem Kreislauf.