Métodos, puntuados a ciegas con TOI reales.
La clasificación pública sobre la prueba congelada con TOI reales: los eventos detectados por cada entrada, puntuados por la propia clasificación solo en la mitad reservada, con intervalos de Wilson al 95 %. No es el barrido de umbrales por inyección (docs/threshold_sweep.md), que ajusta los umbrales de los Probes con curvas de luz sintéticas.
Medido sobre una prueba declarada; nada aquí es un descubrimiento. Los Sentinels funcionan con Claude (Anthropic) por defecto; se admiten otros proveedores, que se indican. Los Probes son detectores deterministas de filtro adaptado.
Mitad reservada todas las estrellas reservadas
El benchmark no puede mostrar que las Probes lean las curvas de luz mejor de lo que los metadatos del catálogo predicen las disposiciones (ΔJ pareado (suelo − Probes) = +0.039, IC del 95 % de -0,096 a +0.173, P(ΔJ ≤ 0) = 0,29).
| Puesto | Entrada | J de Youden | J de Youden, todas las estrellas | Completitud limpia, CP/KP buscables | Rechazo de FP, FP buscable | Recuperados por debajo de 4 R⊕ | Control invertido: estrellas con alguno | Control aleatorizado: estrellas con cualquier | Fiabilidad |
|---|---|---|---|---|---|---|---|---|---|
| 1el intervalo se solapa con #2 | Solo metadatos, sin curva de luz (un nivel mínimo)metadata-baseline · ajustado con tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2el intervalo se solapa con #1 | Solo Probesprobes · ajustado en ninguno | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Cada celda: la tasa, luego k/n y el intervalo de Wilson del 95%, dibujado como una barra de 0 a 100% (J de Youden de −1 a +1, con una marca en 0). Ordenado por la J de Youden en el conjunto buscable que fijó la prueba de referencia, con un mismo predicado en ambos lados (un candidato limpio: en la efeméride, aprobado, sin indicador de binaria eclipsante), de modo que llamar planeta a cada TOI, señalado o no, puntúa cero. Los controles condicionan la clasificación y no entran en J, y las listas de control son el informe propio del método. Donde los intervalos se solapan, el orden no es una diferencia medida.
La submuestra de los Sentinels 37 estrellas reservadas · sin ordenar
37 estrellas no pueden ordenar estas configuraciones: la submuestra se lista, nunca se clasifica, y cada intervalo es amplio.
| Entrada | J de Youden | J de Youden, todas las estrellas | Completitud limpia, CP/KP buscables | Rechazo de FP, FP buscable | Recuperados por debajo de 4 R⊕ | Control invertido: estrellas con alguno | Control aleatorizado: estrellas con cualquier | Fiabilidad |
|---|---|---|---|---|---|---|---|---|
| Solo Probesprobes-subsample · ajustado sobre ninguno | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · solo Skepticclaude-skeptic · tuned on none | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | no medido | no medido | 69%9/13 · 42–87% |
| Sentinel · Volunteer soloclaude-volunteer · ajustado con ninguno | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | no medido | no medido | 69%9/13 · 42–87% |
| Probes + Sentinels, ambos (regla a nivel de estrella, fijada antes de puntuar, no consenso del panel)probes-and-sentinel · tuned on none | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | no medido | no medido | 73%8/11 · 43–90% |
| Probes + Sentinels, cualquiera (regla a nivel de estrella, fijada antes de puntuar, no consenso del panel)probes-or-sentinel · ajustado sobre ninguno | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | no medido | no medido | 56%9/16 · 33–77% |
Cada celda: la tasa, luego k/n y el intervalo de Wilson al 95%, dibujado como una barra de 0 a 100% (J de Youden de −1 a +1, con una marca en 0).
Las filas de Sentinel abarcan 37 estrellas. Sus intervalos son amplios, las dos personas comparten un mismo modelo (coinciden en 35 de 37 estrellas, φ = 0,88), por lo que cuentan como un único votante correlacionado, no como dos, y nunca se ejecutaron sobre las curvas de luz de control. Las filas de Probes + Sentinels son combinaciones a nivel de estrella de resultados almacenados, establecidas antes de puntuar, no una ejecución del consenso del panel.
Reglas
- Puntuado solo en la mitad reservada de la muestra congelada (TOI por paridad de sha256(seed:TIC)); la mitad de ajuste nunca se puntúa.
- Un envío enumera, para cada estrella de su ámbito, los eventos que su método detectó en la curva de luz real y en los controles de flujo invertido y de bloques desordenados (tiempo, duración, período, su propio veredicto de aprobación y sus indicadores). La clasificación decide qué eventos caen sobre la efeméride del TOI (score_star y match_toi del benchmark) y cuenta ella misma las falsas alarmas de los controles. No se aceptan resultados autodeclarados.
- Clasificación: J de Youden sobre el conjunto buscable que fijó el benchmark (estrellas con una curva de luz SPOC de 2 minutos), con un mismo predicado en ambos lados, un candidato limpio (en la efeméride, aprobado, sin marca de binaria eclipsante): J = la proporción de estrellas CP/KP ofrecidas como candidatos limpios + la proporción de estrellas FP no ofrecidas − 1, con un intervalo de Wilson combinado por suma de cuadrados. Llamar planeta a todo TOI, con o sin marca, obtiene J = 0; una estrella buscable declarada como no buscada cuenta como no ofrecida. Al lado se muestra J sobre todas las estrellas del alcance. Donde los intervalos se solapan, el orden no es una diferencia medida.
- Los controles condicionan la clasificación y no entran en J: solo se clasifican las entradas reservadas con ambas listas de control en cada estrella buscada; las demás se listan sin clasificar. Las listas de control son el informe propio del método; la tabla de clasificación no puede recalcularlas sin las curvas de luz. La submuestra de Sentinel nunca se clasifica.
- Un umbral mínimo: la referencia solo con metadatos no usa ninguna curva de luz, solo el número TOI público, el período, la duración, los errores de efeméride y la época, con una regresión logística ajustada en la mitad de ajuste. Un método que no la supere no demuestra leer las curvas de luz mejor de lo que los propios metadatos del catálogo predicen las disposiciones.
- Un envío indica el sha256 de las entradas públicas a partir de las que se construyó (la mitad de ajuste con etiquetas, la mitad reservada sin ellas). Cualquier otro hash, un tuned_on distinto de none o tuning, un campo fuera de la lista blanca, una estrella que falte o sobre, o la falta de procedencia: se rechaza, con los motivos enumerados.
- El hash es una atestación: las etiquetas reservadas son públicas en el repositorio, así que la clasificación no puede demostrar que no se leyeron, y los veredictos de aprobación y los eventos de control de un método son su propio informe. Unas curvas de luz señuelo custodiadas por los mantenedores y una puntuación prospectiva sobre TOI aún sin disposición cerrarían estas lagunas; ninguna de las dos existe todavía.
- Rechazo de FP: estrellas FP cuya caída de TOI el método no ofreció como candidato limpio (recuperada y no señalada). Fiabilidad: la proporción de candidatos limpios en caídas de TOI que son CP/KP, con la mezcla de clases de esta muestra, que no es la del catálogo de TOI. Todas las tasas llevan intervalos de Wilson del 95%. Las disposiciones de TFOPWG son la referencia, no la verdad absoluta para cada TOI.
- Medido con un benchmark declarado; nada en esta clasificación es un descubrimiento.
Formato de envío y reglas de rechazo: docs/leaderboard/README.md. Puntúe un envío con setuhq leaderboard <file>.
La muestra congelada
- sha256 de la muestra congelada
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 de las entradas públicas
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- muestra completa (con etiquetas reservadas), sha256 canónico: rechazada si se indica
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- sha256 de la submuestra de Sentinel
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- commit del código de referencia
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Muestra: docs/results/benchmark_toi_sample.json. Entradas públicas: docs/leaderboard/tuning_inputs.json. Las disposiciones del TFOPWG son la referencia, no la verdad de referencia para cada TOI.