Esta página es una traducción. La versión en inglés es la de referencia: English

La aritmética del nunca

«Nunca» es la palabra más cara de la investigación.

Cero fallos en n ensayos no significa una tasa de cero. Significa que la tasa probablemente está por debajo de 1 − 0,051/n — unos 3/n. Todo lo que se construye sobre un «nunca» hereda la diferencia, y a escala la diferencia son personas.

¿Qué observaste en realidad?

Prompts de red team, casos de prueba, ítems de evaluación, pacientes, lanzamientos — cualquier ensayo en el que la cosa pudiera haber ocurrido. La cota es del 95 %: exacta en cero (1 − 0,051/n), de Wilson en los demás casos.

lo que «nunca» puede significar honestamente
5.8%
como mucho 1 de cada 20, con un 95 % de confianza
fallos no descartados a tu escala
58,155
en 1.000.000 de personas
para decir «por debajo de 1 de cada 1.000»
si una afirmación dice «nunca», HypGraph responde
El teléfono escacharrado

Un agente dice «nunca». Mira cómo viaja la palabra.

Un orquestador pasa una pregunta a unos pocos agentes; cada uno reparte partes a unos pocos más. Uno de ellos hace los ensayos, no ve nada y escribe nunca. Cada agente por encima repite la palabra y suelta el número del que salió — ese es el juego. El trabajo construido sobre la palabra es el coste ya pagado; volver a encontrar la palabra cuando aparece el caso es el coste de corregir el rumbo. Fija el equipo y los ensayos; la aritmética es la misma que arriba.

Los ensayos y la exposición salen de la calculadora de arriba. Una tarea es la unidad de trabajo de un agente — una orden, una subpregunta, una revisión; ponle el precio que te cuestan tus agentes por tarea.

qué probabilidad hay de que la hoja no viera nada, cuando en realidad es 1 de cada 1,000
95%
— así que «nunca» es lo que suele ver un agente honesto
trabajo que se apoya en la palabra
$6.00
12 tareas construidas sobre ella antes de que nadie pudiera saberlo
para corregir el rumbo sin un registro
$8.00
releer el trabajo de cada agente para encontrar la palabra, y rehacer lo que se apoyaba en ella
con HypGraph
$0.50
una frase reescrita en la hoja; la cota sube como un número

Pulsa reproducir para jugar.

La cascada

Un «nunca» abajo. Todo lo de encima lo hereda.

Un agente hace red team a un modelo con 50 prompts de extracción y no ve fugas. Escribe «nunca filtra». Otra afirmación se construye sobre ella, una decisión de lanzamiento sobre esa, y un millón de personas usan el resultado. Entonces aparece el caso de 1 entre 1.000.

Pulsa reproducir.

Lo que rechaza el registro

Cada sobreafirmación, con la aritmética y la frase honesta.

ABSOLUTE_UNDERPOWERED

«nunca» con muy pocos ensayos

0 de 50 todavía permite un 5,8 %. El rechazo lo dice, da «ninguna ocurrencia en 50 ensayos (cota superior del 95 % 5,8 %)» y cuántos ensayos necesita 1 de cada 1.000 (2.995).

ABSOLUTE_HIDES_DENOMINATOR

«nunca» sin su n

0 de 3.000 basta para decir algo — pero solo si el lector ve los 3.000. «Nunca» a secas se lee como cero; significa «como mucho 1 de cada 1.000».

ABSOLUTE_WITHOUT_COUNT · ABSOLUTE_UNRELATED_COUNT

«elimina», «100 %», «siempre»

Nada contado — o el recuento de otra cosa. Nombra la medición por lo que cuenta.

EXCLUSION_WITHOUT_POWER

«sin efecto»

El gemelo discreto del «nunca». Con 2.000 ítems por brazo, un efecto de 3,6 puntos normalmente pasaría desapercibido; el rechazo te dice el efecto más pequeño que tu muestra podría haber detectado.

UNBOUND_NUMBER

un número salido de la nada

«5 puntos mejor» cuando los recuentos dicen 2,8. Los números que se siguen de los recuentos — diferencias, porcentajes, cocientes, intervalos — pasan.

SIGNIFICANCE_NOT_SHOWN · CAUSAL_WITHOUT_INTERVENTION · COMPARATIVE_WITHOUT_COMPARISON

«significativamente», «causa», «supera»

El registro hace él mismo la prueba sobre los recuentos ligados, quiere un experimento detrás de «causa» y ambos lados medidos detrás de «supera».

antes de escribir nunca
hypgraph bound 0 50 --exposure 1000000 --unit users
Intenta colarle un «nunca»Dáselo a tu agente