Métodos, avaliados às cegas em TOIs reais.
O ranking público no benchmark congelado de TOIs reais: os eventos detectados por cada entrada, avaliados pelo próprio ranking apenas na metade reservada, com intervalos de Wilson de 95%. Não é a varredura de limiares por injeção (docs/threshold_sweep.md), que ajusta os limiares dos Probes em curvas de luz sintéticas.
Medido num benchmark declarado; nada aqui é uma descoberta. Os Sentinels rodam no Claude (Anthropic) por padrão; outros provedores são suportados e identificados. Os Probes são detectores determinísticos de filtro casado.
Metade reservada todas as estrelas reservadas
O benchmark não consegue mostrar que as Probes leem curvas de luz melhor do que os metadados do catálogo preveem as disposições (ΔJ emparelhado (piso − Probes) = +0.039, IC de 95% -0,096 a +0.173, P(ΔJ ≤ 0) = 0,29).
| Posição | Entrada | J de Youden | J de Youden, todas as estrelas | Completude limpa, CP/KP pesquisáveis | Rejeição de FP, FP pesquisável | Recuperados abaixo de 4 R⊕ | Controlo invertido: estrelas com algum | Controlo baralhado: estrelas com qualquer | Fiabilidade |
|---|---|---|---|---|---|---|---|---|---|
| 1o intervalo sobrepõe-se a #2 | Apenas metadados, sem curva de luz (um limite inferior)metadata-baseline · afinado no conjunto tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2o intervalo sobrepõe-se a #1 | Apenas Probesprobes · ajustado em nenhum | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Cada célula: a taxa, depois k/n e o intervalo de Wilson a 95%, desenhado como uma barra de 0 a 100% (J de Youden de −1 a +1, com uma marca em 0). Ordenado pelo J de Youden no conjunto pesquisável que o benchmark fixou, com um único predicado em ambos os lados (um candidato limpo: na efeméride, aprovado, sem sinalização de binária eclipsante), pelo que chamar planeta a todos os TOI, sinalizados ou não, dá pontuação zero. Os controlos condicionam a ordenação e não entram no J, e as listas de controlo são o relatório do próprio método. Onde os intervalos se sobrepõem, a ordem não é uma diferença medida.
A subamostra dos Sentinels 37 estrelas reservadas · não ordenadas
37 estrelas não permitem ordenar estas configurações: a subamostra é listada, nunca classificada, e todos os intervalos são largos.
| Entrada | J de Youden | J de Youden, todas as estrelas | Completude limpa, CP/KP pesquisáveis | Rejeição de FP, FP pesquisável | Recuperados abaixo de 4 R⊕ | Controlo invertido: estrelas com algum | Controlo baralhado: estrelas com qualquer | Fiabilidade |
|---|---|---|---|---|---|---|---|---|
| Apenas Probesprobes-subsample · sem ajuste | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · apenas Skepticclaude-skeptic · tuned on none | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | não medido | não medido | 69%9/13 · 42–87% |
| Sentinel · Apenas o Volunteerclaude-volunteer · tuned on none | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | não medido | não medido | 69%9/13 · 42–87% |
| Probes + Sentinels, ambos (regra ao nível da estrela, fixada antes da pontuação, não consenso do painel)probes-and-sentinel · tuned on none | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | não medido | não medido | 73%8/11 · 43–90% |
| Probes + Sentinels, qualquer um (regra ao nível da estrela, fixada antes da pontuação, não consenso do painel)probes-or-sentinel · sem afinação | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | não medido | não medido | 56%9/16 · 33–77% |
Cada célula: a taxa, depois k/n e o intervalo de Wilson a 95%, desenhado como uma barra de 0 a 100% (J de Youden de −1 a +1, com uma marca em 0).
As linhas de Sentinel abrangem 37 estrelas. Os seus intervalos são largos, as duas personas partilham um modelo (concordam em 35 de 37 estrelas, φ = 0,88), pelo que contam como um votante correlacionado, não dois, e nunca foram executadas nas curvas de luz de controlo. As linhas Probes + Sentinels são combinações ao nível da estrela de resultados armazenados, definidas antes da pontuação, e não uma execução do consenso do painel.
Regras
- Avaliado apenas na metade reservada da amostra congelada (TOIs pela paridade de sha256(seed:TIC)); a metade de afinação nunca é avaliada.
- Uma submissão lista, para cada estrela do seu âmbito, os eventos que o seu método detetou na curva de luz real e nos controlos com fluxo invertido e com blocos baralhados (tempo, duração, período, o seu próprio veredicto de aprovação e sinalizações). A classificação decide que eventos se encontram na efeméride do TOI (score_star e match_toi do benchmark) e conta ela própria os falsos alarmes dos controlos. Não são aceites resultados autodeclarados.
- Classificação: J de Youden no conjunto pesquisável fixado pelo benchmark (estrelas com uma curva de luz SPOC de 2 minutos), com um único predicado de ambos os lados, um candidato limpo (na efeméride, aprovado, sem sinalização de binária eclipsante): J = a fração de estrelas CP/KP apresentadas como candidatos limpos + a fração de estrelas FP não apresentadas − 1, com um intervalo de Wilson por quadrado-e-soma. Chamar planeta a todos os TOI, com ou sem sinalização, dá J = 0; uma estrela pesquisável dada como não pesquisada conta como não apresentada. O J sobre todas as estrelas do âmbito é mostrado ao lado. Onde os intervalos se sobrepõem, a ordem não é uma diferença medida.
- Os controlos condicionam a classificação e não entram em J: apenas as entradas reservadas com ambas as listas de controlo em todas as estrelas pesquisadas são classificadas; as restantes são listadas sem classificação. As listas de controlo são o relatório do próprio método; a tabela de classificação não as pode recalcular sem as curvas de luz. A subamostra Sentinel nunca é classificada.
- Um patamar mínimo: a linha de base só com metadados não usa curva de luz nenhuma, apenas o número TOI público, o período, a duração, os erros de efeméride e a época, com uma regressão logística ajustada na metade de afinação. Um método que não a supere não demonstra ler as curvas de luz melhor do que os metadados do próprio catálogo preveem as disposições.
- Uma submissão indica o sha256 das entradas públicas a partir das quais foi construída (metade de afinação com rótulos, metade reservada sem eles). Qualquer outro hash, tuned_on diferente de none ou tuning, um campo fora da lista de permitidos, uma estrela em falta ou a mais, ou proveniência em falta: recusada, com os motivos listados.
- O hash é uma atestação: os rótulos reservados são públicos no repositório, pelo que a tabela de classificação não pode provar que não foram lidos, e os veredictos de aprovação e os eventos de controlo de um método são o seu próprio relato. Curvas de luz de engodo mantidas pelos responsáveis e uma pontuação prospetiva em TOIs ainda sem disposição fechariam estas lacunas; nenhuma das duas existe ainda.
- Rejeição de FP: estrelas FP cujo mergulho TOI o método não ofereceu como candidato limpo (recuperado e não sinalizado). Fiabilidade: a fração de candidatos limpos em mergulhos TOI que são CP/KP, na mistura de classes desta amostra, que não é a do catálogo TOI. Todas as taxas têm intervalos de Wilson a 95%. As disposições do TFOPWG são a referência, não a verdade absoluta para cada TOI.
- Medido num benchmark declarado; nada nesta tabela de classificação é uma descoberta.
Formato de submissão e regras de recusa: docs/leaderboard/README.md. Avalie uma submissão com setuhq leaderboard <file>.
A amostra congelada
- sha256 da amostra congelada
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 das entradas públicas
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- amostra completa (com rótulos retidos), sha256 canónico: recusado se declarado
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- sha256 da subamostra Sentinel
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- commit do código de referência
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Amostra: docs/results/benchmark_toi_sample.json. Entradas públicas: docs/leaderboard/tuning_inputs.json. As disposições do TFOPWG são a referência, não a verdade absoluta para todos os TOI.