Redback, der Agent, der den Katalog recherchiert

Was er ist

• Ein Agent mit einer Aufgabe: der Warteschlange zur Behebung. Schlägt eine Qualitätsprüfung bei einem Datensatz fehl, wird daraus eine Aufgabe, und Redback nimmt Aufgaben auf.
• Er läuft nach Zeitplan und wenn ein Mensch ihn startet, jeweils in kleinen Stapeln.
• Er schlägt vor und bearbeitet nie. Eine Aufgabe, die er schließt, bedeutet einen Vorschlag, der auf Prüfung wartet, keinen geänderten Datensatz.
• Jede Aufgabe behält ihr Protokoll: die Suchen, die gelesenen Seiten, was das Modell gefragt wurde und was es antwortete. Die prüfende Person liest das, keine Zusammenfassung davon.

Jeder Lauf trägt eine eigene Kennung, den Namen des Agenten und sechs Hex-Zeichen, etwa redback-3f9a2c. Diesen Namen zeigt eine beanspruchte Aufgabe.

Die Aufgaben, die er bearbeitet

Wie eine Lücke recherchiert wird

1. 1

   Er beansprucht eine Aufgabe

   Ein Lauf nimmt die nächste offene Aufgabe, die seine Richtlinie erlaubt, und hält einen Anspruch darauf, damit kein zweiter Lauf dieselbe nimmt.

2. 2

   Code sucht und liest

   Code formuliert die Suchen aus dem Datensatz selbst und liest die eigenen Quellen des Datensatzes und die Treffer. Jede Seite wird auf die Passagen gekürzt, die das Feld nennen.

3. 3

   Das Modell liest

   Das Modell erhält diese Passagen und eine Frage: Welche Passage nennt den Wert, mit welchen Worten. Den Wert, den wir führen, sieht es nie.

4. 4

   Code prüft die Antwort

   Das Zitat muss auf der Seite stehen, wie sie abgerufen wurde, der Wert muss im Zitat stehen, und die Einheit muss sich umrechnen lassen. Eine Länge ohne Einheit wird abgelehnt.

5. 5

   Eine zweite Quelle, ein zweites Modell

   Er sucht denselben Wert auf einer anderen Website, und ein Modell eines anderen Anbieters antwortet mit ja, nein oder unsicher. Ein Nein oder geringe Sicherheit geht an ein stärkeres Modell.

6. 6

   Werkzeuge, wenn Lesen nichts fand

   Nur wenn die Recherche nichts zu lesen fand, erhält ein Modell die Werkzeuge unten und einige Runden, um selbst zu suchen. Seine Antwort durchläuft dieselben Prüfungen.

7. 7

   Er reicht ein oder sagt, warum nicht

   Das Ergebnis ist ein Vorschlag mit Quelle, Zitat, der Art der Website und dem Ergebnis jeder Prüfung, oder der Befund, dass keine Quelle den Wert nennt. Dann ruht die Aufgabe eine Weile, bevor sie erneut versucht wird.

Die Werkzeuge, die er nutzen kann

Ein Werkzeug ist der Weg, auf dem ein Modell nach etwas fragt, das es aus der Aufgabe nicht wissen kann. Das Modell berührt nie das Netz: Es nennt ein Werkzeug, unser Worker entscheidet, ob es ausgeführt wird, führt es aus, und das Modell erhält das Ergebnis. Es gibt zwölf Werkzeuge in fünf Gruppen.

Die Quellen, die er gewichtet

Jede Seite, die Redback liest, wird danach eingeordnet, welche Art von Website sie veröffentlicht hat, und die Art wird für die prüfende Person am Vorschlag vermerkt. Die Reihenfolge unten, höchste zuerst, gilt im ganzen Katalog: Ein Wert wird nach der besten Art von Quelle gewichtet, die ihn nennt, nie danach, wie viele Websites ihn wiederholen. Eine Website, die zu keiner passt, wird als other vermerkt.

1. manufacturer: Die eigene Produktseite, Anleitung, das Datenblatt oder der Katalog des Herstellers. Die Autorität für alles, was der Hersteller veröffentlicht.
2. standards_body: SAAMI, C.I.P. oder eine NATO-Norm. Die Autorität für Patronenmaße und -drücke.
3. government: Ein Beschaffungsdokument, eine technische Vorschrift, die Seite einer Truppe, ein Nationalmuseum. Jeder <code>.mil</code>- oder <code>.gov</code>-Host wird per Regel hier eingeordnet.
4. reference: Eine unabhängige Referenz, die nennt, woher ihre Zahlen stammen: eine Enzyklopädie, Modern Firearms, Forgotten Weapons, eine Museumssammlung, Jane's.
5. aggregator: Eine Seite, die Zahlen aus anderen Quellen zusammenträgt, ohne zu sagen, aus welchen. Nützlich für Abdeckung, schwach als Beleg.
6. press: Ein Magazin, eine Testseite oder ein Blog: eine eigene Messung eines Journalisten oder eine wiederholte Herstellerangabe.
7. retailer: Ein Angebot, geschrieben um zu verkaufen. Beleg dafür, dass es das Modell gibt und wie der Markt es nennt; die Zahlen sind von anderswo kopiert.
8. community: Ein Forum, Wiki oder eine Fanseite. Beleg nur für Existenz und Benennung, nie die einzige Quelle für eine Zahl.

Die Quellenhierarchie in der Feldreferenz

Arbeit mit mehreren KI-Anbietern

• Modelle passen zur Arbeit. Jede Art von Aufgabe hat ein dafür geeignetes Modell, von einer Betreiberin oder einem Betreiber geprüft und ohne Release änderbar.
• Kein einzelner Anbieter ist eine Abhängigkeit. Jede Aufgabe hat einen Ausweichpfad über Modelle anderer Anbieter, sodass ein Ausfall bei einem die Warteschlange nicht anhält.
• Die Prüfung ist unabhängig. Die zweite Meinung zu einem Wert kommt von einem anderen Anbieter als dem, der die Seite gelesen hat, damit beide nicht denselben blinden Fleck teilen.
• Die Nutzung ist gesteuert. Budgets werden vorab festgelegt und vor einem Aufruf durchgesetzt, nie im Nachhinein abgeglichen.
• Fehler bleiben begrenzt. Ein Modellaufruf lässt nie eine Aufgabe scheitern: Ist ein Anbieter nicht verfügbar, wird die Aufgabe gehalten und fortgesetzt, sobald der Dienst zurück ist.
• Jeder Aufruf wird protokolliert. Welches Modell geantwortet hat und was es gekostet hat, wird mit dem Lauf gespeichert.

Was er nie tut

• Er schreibt nie in den Katalog. Jede Änderung ist ein Vorschlag, den ein Mensch prüft und vornimmt.
• Er reicht nie einen Wert ein, dessen Zitat nicht auf der abgerufenen Seite steht.
• Er bekommt unseren Wert nie zu sehen, während er eine Seite liest.
• Er lässt nie die Sicherheit eines Modells allein entscheiden. Die Art der Quelle wird für die prüfende Person vermerkt, nicht bewertet.
• Er rät nie einen Vokabularwert oder einen korrigierten Wert. Ohne Liste oder Quelle wird die Aufgabe übersprungen.

In aktiver Entwicklung

Weiterlesen

• Redback im Bereich Datenqualität, mit der Warteschlange, die er bearbeitet
• Wie die Qualitätsprüfungen finden, woran Redback arbeitet
• Wie der Katalog geprüft wird