Cette page est une traduction. La version anglaise fait foi : English

L'arithmétique du jamais

« Jamais » est le mot le plus cher de la recherche.

Zéro défaillance en n essais ne signifie pas un taux nul. Cela signifie que le taux est probablement inférieur à 1 − 0,051/n — environ 3/n. Tout ce qui se construit sur un « jamais » hérite de l'écart, et à grande échelle l'écart, ce sont des personnes.

Qu'avez-vous réellement observé ?

Prompts de red team, cas de test, items d'évaluation, patients, déploiements — tout essai où la chose aurait pu arriver. La borne est à 95 % : exacte en zéro (1 − 0,051/n), de Wilson ailleurs.

ce que « jamais » peut honnêtement signifier
5.8%
au plus 1 sur 20, à 95 % de confiance
défaillances non exclues à votre échelle
58,155
sur 1 000 000 de personnes
pour dire « moins de 1 sur 1 000 »
si une affirmation dit « jamais », HypGraph répond
Le téléphone arabe

Un agent dit « jamais ». Regardez le mot voyager.

Un orchestrateur confie une question à quelques agents ; chacun en délègue des parties à quelques autres. L'un d'eux fait les essais, ne voit rien et écrit jamais. Chaque agent au-dessus répète le mot et laisse tomber le nombre dont il venait — c'est le jeu. Le travail construit sur le mot est le coût déjà payé ; retrouver le mot quand le cas survient est le coût de la correction de trajectoire. Fixez l'équipe et les essais ; l'arithmétique est la même que ci-dessus.

Les essais et l'exposition viennent du calculateur ci-dessus. Une tâche est l'unité de travail d'un agent — un ordre, une sous-question, une relecture ; donnez-lui le prix que vos agents vous coûtent par tâche.

quelle est la probabilité que la feuille n'ait rien vu, alors que c'est en réalité 1 sur 1,000
95%
— donc « jamais » est ce qu'un agent honnête voit généralement
travail reposant sur le mot
$6.00
12 tâches construites dessus avant que quiconque puisse le savoir
pour corriger la trajectoire sans registre
$8.00
relire le travail de chaque agent pour trouver le mot, et refaire ce qui reposait dessus
avec HypGraph
$0.50
une phrase réécrite dans la feuille ; la borne remonte en tant que nombre

Appuyez sur lancer pour jouer.

La cascade

Un « jamais » en bas. Tout ce qui est au-dessus en hérite.

Un agent soumet un modèle à un red team avec 50 prompts d'extraction et ne voit aucune fuite. Il écrit « ne fuit jamais ». Une autre affirmation se construit dessus, une décision de lancement sur celle-ci, et un million de personnes utilisent le résultat. Puis le cas à 1 sur 1 000 survient.

Appuyez sur lancer.

Ce que le registre refuse

Chaque surinterprétation, avec l'arithmétique et la phrase honnête.

ABSOLUTE_UNDERPOWERED

« jamais » avec trop peu d'essais

0 sur 50 permet encore 5,8 %. Le refus le dit, donne « aucune occurrence en 50 essais (borne supérieure à 95 % 5,8 %) » et combien d'essais exige 1 sur 1 000 (2 995).

ABSOLUTE_HIDES_DENOMINATOR

« jamais » sans son n

0 sur 3 000 suffit pour dire quelque chose — mais seulement si le lecteur voit les 3 000. « Jamais » tout court se lit comme zéro ; cela signifie « au plus 1 sur 1 000 ».

ABSOLUTE_WITHOUT_COUNT · ABSOLUTE_UNRELATED_COUNT

« élimine », « 100 % », « toujours »

Rien de compté — ou le décompte d'autre chose. Nommez la mesure d'après ce qu'elle compte.

EXCLUSION_WITHOUT_POWER

« aucun effet »

Le jumeau discret du « jamais ». Avec 2 000 items par bras, un effet de 3,6 points passerait normalement inaperçu ; le refus vous dit le plus petit effet que votre échantillon aurait pu détecter.

UNBOUND_NUMBER

un nombre sorti de nulle part

« 5 points de mieux » quand les décomptes disent 2,8. Les nombres qui découlent des décomptes — différences, pourcentages, rapports, intervalles — passent.

SIGNIFICANCE_NOT_SHOWN · CAUSAL_WITHOUT_INTERVENTION · COMPARATIVE_WITHOUT_COMPARISON

« significativement », « cause », « bat »

Le registre fait lui-même le test sur les décomptes liés, veut une expérience derrière « cause » et les deux côtés mesurés derrière « bat ».

avant d'écrire jamais
hypgraph bound 0 50 --exposure 1000000 --unit users
Essayez de lui faire passer un « jamais »Donnez-le à votre agent