5 vurderere.
Hver gjør seg fortjent til sin stemme.
Panelet som markerte dypp i kjøring tess-pi-men-s1: Sentinels og Probes, ingen mennesker. Sentinels kjører som standard på Claude (Anthropic); andre leverandører støttes og merkes. Probes er deterministiske matchede filterdetektorer.
Markeringene og vektene som tabell
| Vurderer | Rolle | Leverandør | Kalibrert vekt |
|---|---|---|---|
| Sentinel · Skeptiker claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Volunteer claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Forsiktig volunteer-cautious | Probe | deterministisk tilpasset filter | 0.40 |
| Probe · Sensitiv volunteer-sensitive | Probe | deterministisk tilpasset filter | 0.60 |
| Probe · Typisk volunteer-typical | Probe | deterministisk tilpasset filter | 0.60 |
Sentinels kjører på Claude (Anthropic) som standard; andre leverandører støttes og er merket. Probes er deterministiske detektorer med tilpasset filter. Vektene kommer fra 10 innplantede og 10 tomme lyskurver hver: for få til å skille 0,6 fra 0,5.
Målt på ekte TOI-er
Livestrømmens nye signaler er forenlige med støy. Støy alene burde gi omtrent 12,3 falske new_candidate-signaler per 100 gjennomgåtte mål, mot 15,8 per 100 i livestrømmen. Under den tidligere regelen var en new_candidate i strømmen mer sannsynlig støy enn et signal.
Feedens strengere regel, forhåndsregistrert og målt på nytt med denne koden. Signalet må nå bestå i begge gjennomgåtte sektorer med en FAP under 0,001 over 2 000 forsøk. På den tilbakeholdte halvdelen gir støy alene 6,1 falske signaler per 100 mål (95% KI 4,0–9,4), ned fra 27,8 (23,1–33,1). Det er fortsatt langt over de 1,6 nye signalene per 100 mål som de ekte lyskurvene gir, så feeden er fortsatt dominert av falske alarmer, og fullstendigheten på feednivå falt fra 39% til 17%. Et opptak i feeden er et spor for menneskelig gjennomgang eller oppfølging, ikke en kandidat med noen bekreftet status. Kjørt på nytt med denne koden slipper den aktive feedens 19 mål inn 0 nye signaler.
Målt på en oppgitt referansetest, ikke oppdagelser. 300 bekreftede eller kjente planeter (CP/KP), 300 falske positiver og 62 falske alarmer fra TOI-tabellen (hentet 2026-10-19, frø 20261019), én TOI per stjerne; den tilbakeholdte halvdelen vises. Panel: de tre Probes (deterministiske detektorer) med sine fryste, kalibrerte vekter; sektorvid BLS; vetting; tilpasning med randformørkning; tabellen på feed-nivå legger til feedens FAP (200 forsøk).
- 662TOI-er i det frosne utvalget: 300 CP/KP, 300 FP, 62 FA
- 60% 90 av 150 (52–67%)planeter gjenfunnet på søkbare stjerner (tilbakeholdt halvdel)
- 77% 96 av 124 (69–84%)falsk positive TOI-er funnet av panelet
- 68% 65 av 96 (58–76%)av disse, avvist eller flagget som dobbeltstjernelignende
| Hovedresultat: planeter gjenfunnet på søkbare stjerner (CP/KP-TOI-er, en vettet dipp på den publiserte efemeriden) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Planeter gjenfunnet over alle CP/KP-stjerner (mangler 2-minuttersdata, teller det som bom) | 59% (90/152; 95% CI 51–67%) |
| Planeter gjenfunnet i den første kjøringen, med koden før rettelsen (den historiske registreringen) | 57% (86/150; 95% CI 49–65%) |
| Ikke søkbar (ingen SPOC-lyskurve med 2-minutters oppløsning) | 36 stjerner (2 CP/KP, 34 FP, 0 FA) skjevt mot FP: FP-radene beskriver bare FP-stjerner med 2-minuttersdata |
| Falsk positive TOI-er funnet av panelet | 77% (96/124; 95% CI 69–84%) |
| … av disse, avvist eller flagget som binær-lignende | 68% (65/96; 95% CI 58–76%) |
| Falske alarmer på inverterte lyskurver på feedens nivå (hele regelen, FAP < 0,01) | 58 per 1 000 stjernesektorer (18 over 309; 198 kontrollerte dipper før feedens regel) |
| Falske alarmer på omstokkede lyskurver på strømmens nivå (dens fulle regel, FAP < 0,01) | 61 per 1 000 stjernesektorer (19 over 309; 266 kontrollerte dipper før feedens regel) |
| claude-volunteer: CP/KP-dipper markert (delutvalg på 37 stjerner) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: CP/KP-dipper markert (delutvalg på 37 stjerner) | 47% (9/19; 95% CI 27–68%) |
Klippefeilen er rettet i koden som målte dette. 27 CP/KP-, 11 FP- og 0 FA-stjerner holdt utenfor ble eksponert (dybde over 8× spredningen); 23 av de 27 eksponerte CP/KP gjenfinnes nå, mot 21 i første kjøring.
Fullstendige resultater (første kjøring, på koden før rettelsen: benchmark_real_tois.md). TFOPWG-disposisjoner er referansen, ikke fasit for hver TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Kalibreringsplan
Hver vurderer ved sin falsk-alarm-rate (x: andel tomme objekter den markerte) og gjenfinning (y: andel injiserte transitter den fant) i kalibreringen. Punktstørrelsen er den kalibrerte vekten. Linjene forbinder punkter med lik vekt, vekt = TPR − FPR, med nedre grense 0,05; opp og til venstre er bedre. Kun lagrede verdier.
Markeringer per fall
Hvilke bedømmere som markerte hvert fall, fra kjøringens lagrede liste over bedømmere. Lenken til vurderingsprotokollen åpner fallets kontroller i saksmappen.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.