5 bedømmere.
Hver gør sig fortjent til sin stemme.
Panelet, der markerede dyk i kørsel tess-pi-men-s1: Sentinels og Probes, ingen mennesker. Sentinels kører som standard på Claude (Anthropic); andre udbydere understøttes og mærkes. Probes er deterministiske matchede filterdetektorer.
Markeringerne og vægtene som tabel
| Bedømmer | Rolle | Udbyder | Kalibreret vægt |
|---|---|---|---|
| Sentinel · Skeptiker claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Volunteer claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Forsigtig volunteer-cautious | Probe | deterministisk matchet filter | 0.40 |
| Probe · Følsom volunteer-sensitive | Probe | deterministisk matchet filter | 0.60 |
| Probe · Typisk volunteer-typical | Probe | deterministisk matchet filter | 0.60 |
Sentinels kører som standard på Claude (Anthropic); andre udbydere understøttes og er mærket. Probes er deterministiske matched-filter-detektorer. Vægtene kommer fra 10 indplantede og 10 tomme lyskurver hver: for få til at skelne 0,6 fra 0,5.
Målt på rigtige TOI'er
Live-feedets nye signaler er forenelige med støj. Støj alene burde give omkring 12,3 falske new_candidate-signaler pr. 100 gennemgåede mål, mod 15,8 pr. 100 på live-feedet. Under den tidligere regel var en new_candidate på feedet mere sandsynligt støj end et signal.
Feedets strengere regel, forhåndsregistreret og målt igen på denne kode. Signalet skal nu bestå i begge gennemgåede sektorer med en FAP under 0,001 over 2.000 forsøg. På den tilbageholdte halvdel giver støj alene 6,1 falske signaler pr. 100 mål (95% KI 4,0–9,4), ned fra 27,8 (23,1–33,1). Det er stadig langt over de 1,6 nye signaler pr. 100 mål, som de reelle lyskurver giver, så feedet er stadig domineret af falske alarmer, og fuldstændigheden på feedniveau faldt fra 39% til 17%. En optagelse i feedet er et spor til menneskelig gennemgang eller opfølgning, ikke en kandidat med nogen bekræftet status. Kørt igen på denne kode optager det live feeds 19 mål 0 nye signaler.
Målt på et angivet benchmark, ikke opdagelser. 300 bekræftede eller kendte planeter (CP/KP), 300 falsk positive og 62 falske alarmer fra TOI-tabellen (hentet 2026-10-19, seed 20261019), én TOI pr. stjerne; den tilbageholdte halvdel vises. Panel: de tre Probes (deterministiske detektorer) med deres fastfrosne kalibrerede vægte; sektordækkende BLS; vetting; tilpasning med randformørkelse; tabellen på feed-niveau tilføjer feedets FAP (200 forsøg).
- 662TOI'er i den frosne stikprøve: 300 CP/KP, 300 FP, 62 FA
- 60% 90 af 150 (52–67%)planeter genfundet på søgbare stjerner (tilbageholdt halvdel)
- 77% 96 af 124 (69–84%)falsk positive TOI'er fundet af panelet
- 68% 65 af 96 (58–76%)af disse, afvist eller markeret som dobbeltstjernelignende
| Hovedresultat: planeter genfundet på søgbare stjerner (CP/KP-TOI'er, et vurderet dyk på den publicerede efemeride) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Planeter genfundet over alle CP/KP-stjerner (manglende 2-minutters data tæller som misset) | 59% (90/152; 95% CI 51–67%) |
| Planeter genfundet i den første kørsel, på koden før rettelsen (den historiske registrering) | 57% (86/150; 95% CI 49–65%) |
| Ikke søgbar (ingen SPOC-2-minutters lyskurve) | 36 stjerner (2 CP/KP, 34 FP, 0 FA) skævt mod FP: FP-rækkerne beskriver kun FP-stjerner med 2-minutters data |
| Falsk positive TOI'er fundet af panelet | 77% (96/124; 95% CI 69–84%) |
| … heraf afvist eller markeret som binær-lignende | 68% (65/96; 95% CI 58–76%) |
| Falske alarmer på inverterede lyskurver på feedets niveau (dets fulde regel, FAP < 0,01) | 58 pr. 1.000 stjerne-sektorer (18 over 309; 198 gennemgåede dyk før feedets regel) |
| Falske alarmer på omrokerede lyskurver på feedets niveau (dets fulde regel, FAP < 0,01) | 61 pr. 1.000 stjerne-sektorer (19 over 309; 266 gennemgåede dyk før feedets regel) |
| claude-volunteer: CP/KP-dyk markeret (delprøve på 37 stjerner) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: CP/KP-dyk markeret (delstikprøve på 37 stjerner) | 47% (9/19; 95% CI 27–68%) |
Clipping-fejlen er rettet i den kode, der målte dette. 27 CP/KP-, 11 FP- og 0 FA-stjerner fra det tilbageholdte sæt var eksponeret (dybde over 8× spredningen); 23 af de 27 eksponerede CP/KP genfindes nu, mod 21 i den første kørsel.
Fulde resultater (den første kørsel, på koden før rettelsen: benchmark_real_tois.md). TFOPWG-dispositioner er referencen, ikke den endegyldige sandhed for hver TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Kalibreringsplan
Hver bedømmer ved sin falsk-alarm-rate (x: andel af tomme emner, den markerede) og genkaldelse (y: andel af injicerede transitter, den fandt) i kalibreringen. Punktstørrelsen er dens kalibrerede vægt. Linjerne forbinder punkter med samme vægt, vægt = TPR − FPR, med nedre grænse 0,05; op og til venstre er bedre. Kun lagrede værdier.
Markeringer pr. dyk
Hvilke bedømmere der markerede hvert dyk, ud fra kørslens lagrede liste over bedømmere. Linket til domsprotokollen åbner dykkets kontroller i dets sagsmappe.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.