5 revisores.
Cada uno se gana su voto.
El panel que marcó caídas en la ejecución tess-pi-men-s1: los Sentinels y los Probes, ninguna persona. Los Sentinels funcionan con Claude (Anthropic) por defecto; se admiten otros proveedores, que se indican. Los Probes son detectores deterministas de filtro adaptado.
Las marcas y los pesos en una tabla
| Revisor | Rol | Proveedor | Peso calibrado |
|---|---|---|---|
| Sentinel · Escéptico claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Voluntario claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Cauteloso volunteer-cautious | Probe | filtro adaptado determinista | 0.40 |
| Probe · Sensible volunteer-sensitive | Probe | filtro adaptado determinista | 0.60 |
| Probe · Típico volunteer-typical | Probe | filtro adaptado determinista | 0.60 |
Los Sentinels se ejecutan en Claude (Anthropic) por defecto; se admiten otros proveedores y se etiquetan. Los Probes son detectores deterministas de filtro adaptado. Los pesos provienen de 10 curvas de luz con señales inyectadas y 10 vacías cada uno: demasiado pocas para distinguir 0,6 de 0,5.
Medido en TOI reales
Las nuevas señales del feed en directo son compatibles con ruido. El ruido por sí solo debería dar unas 12,3 señales new_candidate falsas por cada 100 objetivos revisados, frente a 15,8 por cada 100 en el feed en directo. Con esa regla anterior, un new_candidate en el feed era más probablemente ruido que una señal.
La regla más estricta del feed, prerregistrada y medida de nuevo con este código. Ahora la señal debe superar la prueba en ambos sectores revisados con una FAP inferior a 0,001 en 2000 ensayos. En la mitad reservada, el ruido por sí solo da 6,1 señales falsas por cada 100 objetivos (IC del 95% 4,0–9,4), frente a 27,8 (23,1–33,1). Eso sigue muy por encima de las 1,6 señales nuevas por cada 100 objetivos que dan las curvas de luz reales, por lo que el feed sigue dominado por falsas alarmas, y la completitud a nivel de feed bajó del 39% al 17%. Una admisión en el feed es una pista para revisión humana o de seguimiento, no un candidato con ningún estatus confirmado. Ejecutado de nuevo con este código, los 19 objetivos del feed en vivo admiten 0 señales nuevas.
Medido en un banco de pruebas declarado, no son descubrimientos. 300 planetas confirmados o conocidos (CP/KP), 300 falsos positivos y 62 falsas alarmas de la tabla de TOI (obtenida el 2026-10-19, semilla 20261019), un TOI por estrella; se muestra la mitad reservada. Panel: las tres Probes (detectores deterministas) con sus pesos calibrados congelados; BLS de todo el sector; verificación; ajuste con oscurecimiento del limbo; la tabla a nivel de feed añade la FAP del feed (200 ensayos).
- 662TOI en la muestra congelada: 300 CP/KP, 300 FP, 62 FA
- 60% 90 de 150 (52–67%)planetas recuperados en estrellas explorables (mitad reservada)
- 77% 96 de 124 (69–84%)TOI falsos positivos identificados por el panel
- 68% 65 de 96 (58–76%)de esos, rechazados o señalados como similares a binarias
| Titular: planetas recuperados en estrellas buscables (TOI CP/KP, una caída verificada en la efeméride publicada) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Planetas recuperados en todas las estrellas CP/KP (la ausencia de datos de 2 minutos cuenta como no recuperado) | 59% (90/152; 95% CI 51–67%) |
| Planetas recuperados en la primera ejecución, con el código anterior a la corrección (el registro histórico) | 57% (86/150; 95% CI 49–65%) |
| No se puede buscar (sin curva de luz SPOC de 2 minutos) | 36 estrellas (2 CP/KP, 34 FP, 0 FA) sesgado hacia FP: las filas FP describen estrellas FP que solo tienen datos de 2 minutos |
| TOI falsos positivos encontrados por el panel | 77% (96/124; 95% CI 69–84%) |
| … de ellos, rechazados o señalados como de tipo binario | 68% (65/96; 95% CI 58–76%) |
| Falsas alarmas en curvas de luz invertidas al nivel del feed (su regla completa, FAP < 0,01) | 58 por 1000 estrella-sectores (18 sobre 309; 198 caídas examinadas antes de la regla del feed) |
| Falsas alarmas en curvas de luz desordenadas al nivel del feed (su regla completa, FAP < 0,01) | 61 por 1000 estrella-sectores (19 sobre 309; 266 caídas examinadas antes de la regla del feed) |
| claude-volunteer: caídas CP/KP marcadas (submuestra de 37 estrellas) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: caídas CP/KP marcadas (submuestra de 37 estrellas) | 47% (9/19; 95% CI 27–68%) |
El error de recorte está corregido en el código que midió esto. Quedaron expuestas 27 estrellas reservadas CP/KP, 11 FP y 0 FA (profundidad mayor que 8× la dispersión); 23 de las 27 CP/KP expuestas se recuperan ahora, frente a 21 en la primera ejecución.
Resultados completos (la primera ejecución, con el código anterior a la corrección: benchmark_real_tois.md). Las disposiciones del TFOPWG son la referencia, no la verdad absoluta para cada TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Plano de calibración
Cada revisor según su tasa de falsas alarmas (x: proporción de sujetos vacíos que marcó) y su exhaustividad (y: proporción de tránsitos inyectados que encontró) en la calibración. El tamaño del punto es su peso calibrado. Las líneas unen puntos de igual peso, peso = TPR − FPR, con un mínimo de 0,05; arriba y a la izquierda es mejor. Solo valores almacenados.
Marcas por caída
Qué revisores marcaron cada caída, según la lista de revisores almacenada de la ejecución. El enlace al registro de veredictos abre las comprobaciones de la caída en su expediente.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.