Diese Seite ist eine Übersetzung. Maßgeblich ist die englische Fassung: English
„Nie“ ist das teuerste Wort in der Forschung.
Null Fehler in n Versuchen heißt nicht Rate null. Es heißt, dass die Rate wahrscheinlich unter 1 − 0,051/n liegt — etwa 3/n. Alles, was auf einem „nie“ aufbaut, erbt die Lücke, und im großen Maßstab ist die Lücke Menschen.
Was haben Sie tatsächlich beobachtet?
Red-Team-Prompts, Testfälle, Evaluationsitems, Patienten, Starts — jeder Versuch, bei dem es hätte passieren können. Die Schranke liegt bei 95 %: exakt bei null (1 − 0,051/n), sonst nach Wilson.
Ein Agent sagt „nie“. Sehen Sie zu, wie das Wort reist.
Ein Orchestrator gibt eine Frage an einige Agenten weiter; jeder verteilt Teile an einige weitere. Einer von ihnen führt die Versuche aus, sieht nichts und schreibt nie. Jeder Agent darüber wiederholt das Wort und lässt die Zahl fallen, aus der es stammte — das ist das Spiel. Die auf dem Wort aufgebaute Arbeit sind die bereits bezahlten Kosten; das Wort wiederzufinden, wenn der Fall eintritt, sind die Kosten der Kurskorrektur. Legen Sie Team und Versuche fest; die Arithmetik ist dieselbe wie oben.
Versuche und Exposition kommen aus dem Rechner oben. Eine Aufgabe ist die Arbeitseinheit eines Agenten — ein Auftrag, eine Teilfrage, eine Prüfung; setzen Sie den Preis ein, den Ihre Agenten Sie pro Aufgabe kosten.
Drücken Sie auf Abspielen, um das Spiel zu starten.
Ein „nie“ ganz unten. Alles darüber erbt es.
Ein Agent testet ein Modell im Red Team mit 50 Extraktions-Prompts und sieht keine Lecks. Er schreibt „leakt nie“. Eine weitere Behauptung baut darauf auf, eine Startentscheidung darauf, und eine Million Menschen nutzen das Ergebnis. Dann tritt der Fall mit 1 von 1.000 ein.
Drücken Sie auf Abspielen.
Jede Überbehauptung, mit der Arithmetik und dem ehrlichen Satz.
„nie“ mit zu wenigen Versuchen
0 von 50 lässt immer noch 5,8 % zu. Die Ablehnung sagt das, liefert „kein Vorkommen in 50 Versuchen (95-%-Obergrenze 5,8 %)“ und wie viele Versuche 1 von 1.000 braucht (2.995).
„nie“ ohne sein n
0 von 3.000 reicht, um etwas zu sagen — aber nur, wenn der Leser die 3.000 sieht. Ein bloßes „nie“ liest sich wie null; es bedeutet „höchstens 1 von 1.000“.
„beseitigt“, „100 %“, „immer“
Nichts gezählt — oder die Zählung von etwas anderem. Benennen Sie die Messung nach dem, was sie zählt.
„kein Effekt“
Der leise Zwilling von „nie“. Bei 2.000 Items pro Arm bliebe ein Effekt von 3,6 Punkten meist unbemerkt; die Ablehnung nennt Ihnen den kleinsten Effekt, den Ihre Stichprobe hätte erkennen können.
eine Zahl aus dem Nichts
„5 Punkte besser“, wenn die Zählungen 2,8 sagen. Zahlen, die aus den Zählungen folgen — Differenzen, Prozente, Quotienten, Intervalle — gehen durch.
„signifikant“, „verursacht“, „schlägt“
Das Protokoll führt den Test auf den gebundenen Zählungen selbst aus, will ein Experiment hinter „verursacht“ und beide Seiten gemessen hinter „schlägt“.
hypgraph bound 0 50 --exposure 1000000 --unit users