5 revisores.
Cada um conquista o seu voto.
O painel que marcou mergulhos na execução tess-pi-men-s1: os Sentinels e os Probes, nenhuma pessoa. Os Sentinels rodam no Claude (Anthropic) por padrão; outros provedores são suportados e identificados. Os Probes são detectores determinísticos de filtro casado.
As marcas e os pesos numa tabela
| Revisor | Papel | Fornecedor | Peso calibrado |
|---|---|---|---|
| Sentinel · Cético claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Voluntário claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Cauteloso volunteer-cautious | Probe | filtro adaptado determinístico | 0.40 |
| Probe · Sensível volunteer-sensitive | Probe | filtro adaptado determinístico | 0.60 |
| Probe · Típico volunteer-typical | Probe | filtro adaptado determinístico | 0.60 |
Os Sentinels são executados no Claude (Anthropic) por predefinição; outros fornecedores são suportados e identificados. Os Probes são detetores determinísticos de filtro adaptado. Os pesos provêm de 10 curvas de luz com sinais implantados e 10 vazias cada: demasiado poucas para separar 0,6 de 0,5.
Medido em TOIs reais
Os novos sinais do feed ao vivo são compatíveis com ruído. O ruído por si só deveria dar cerca de 12,3 falsos sinais new_candidate por 100 alvos analisados, contra 15,8 por 100 no feed ao vivo. Segundo essa regra anterior, um new_candidate no feed era mais provavelmente ruído do que um sinal.
A regra mais estrita do feed, pré-registada e medida novamente neste código. O sinal tem agora de passar em ambos os setores revistos com uma FAP abaixo de 0,001 em 2.000 tentativas. Na metade reservada, só o ruído dá 6,1 sinais falsos por 100 alvos (IC de 95% 4,0–9,4), abaixo dos 27,8 (23,1–33,1) anteriores. Isto continua muito acima dos 1,6 novos sinais por 100 alvos que as curvas de luz reais dão, pelo que o feed continua dominado por falsos alarmes, e a completude ao nível do feed desceu de 39% para 17%. Uma admissão no feed é uma pista para revisão humana ou de seguimento, não um candidato com qualquer estatuto confirmado. Executado novamente neste código, os 19 alvos do feed em direto admitem 0 novos sinais.
Medido num benchmark declarado, não descobertas. 300 planetas confirmados ou conhecidos (CP/KP), 300 falsos positivos e 62 falsos alarmes da tabela TOI (obtida em 2026-10-19, semente 20261019), um TOI por estrela; mostrada a metade reservada. Painel: as três Probes (detetores determinísticos) com os seus pesos calibrados congelados; BLS em todo o setor; verificação; ajuste com escurecimento do limbo; a tabela ao nível do feed acrescenta a FAP do feed (200 ensaios).
- 662TOIs na amostra congelada: 300 CP/KP, 300 FP, 62 FA
- 60% 90 de 150 (52–67%)planetas recuperados em estrelas pesquisáveis (metade reservada)
- 77% 96 de 124 (69–84%)TOIs falsos positivos encontrados pelo painel
- 68% 65 de 96 (58–76%)destes, rejeitados ou sinalizados como semelhantes a binárias
| Destaque: planetas recuperados em estrelas pesquisáveis (TOIs CP/KP, uma queda verificada na efeméride publicada) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Planetas recuperados em todas as estrelas CP/KP (sem dados de 2 minutos conta como falhado) | 59% (90/152; 95% CI 51–67%) |
| Planetas recuperados na primeira execução, no código anterior à correção (o registo histórico) | 57% (86/150; 95% CI 49–65%) |
| Não pesquisável (sem curva de luz SPOC de 2 minutos) | 36 estrelas (2 CP/KP, 34 FP, 0 FA) enviesadas para FP: as linhas FP descrevem estrelas FP apenas com dados de 2 minutos |
| TOI falsos positivos encontrados pelo painel | 77% (96/124; 95% CI 69–84%) |
| … desses, rejeitados ou sinalizados como semelhantes a binárias | 68% (65/96; 95% CI 58–76%) |
| Falsos alarmes em curvas de luz invertidas ao nível do feed (a sua regra completa, FAP < 0,01) | 58 por 1.000 estrela-setores (18 em 309; 198 quedas examinadas antes da regra do feed) |
| Falsos alarmes em curvas de luz baralhadas ao nível do feed (a sua regra completa, FAP < 0,01) | 61 por 1.000 estrela-setores (19 em 309; 266 quedas examinadas antes da regra do feed) |
| claude-volunteer: quedas CP/KP marcadas (subamostra de 37 estrelas) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: quedas CP/KP marcadas (subamostra de 37 estrelas) | 47% (9/19; 95% CI 27–68%) |
O erro de recorte está corrigido no código que mediu isto. Foram expostas 27 estrelas reservadas CP/KP, 11 FP e 0 FA (profundidade acima de 8× a dispersão); 23 das 27 CP/KP expostas são agora recuperadas, contra 21 na primeira execução.
Resultados completos (a primeira execução, com o código anterior à correção: benchmark_real_tois.md). As classificações do TFOPWG são a referência, não a verdade absoluta para cada TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Plano de calibração
Cada revisor na sua taxa de falsos alarmes (x: fração de sujeitos vazios que marcou) e sensibilidade (y: fração de trânsitos injetados que encontrou) na calibração. O tamanho do ponto é o seu peso calibrado. As linhas unem pontos de igual peso, peso = TPR − FPR, com mínimo de 0,05; acima e à esquerda é melhor. Apenas valores armazenados.
Marcações por queda
Que revisores marcaram cada queda, a partir da lista de revisores armazenada da execução. A ligação do registo de veredictos abre as verificações da queda no respetivo processo.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.