Metoder, bedømt blindt på rigtige TOI'er.
Den offentlige rangliste på det fastfrosne benchmark med rigtige TOI'er: hvert bidrags detekterede hændelser, bedømt af ranglisten selv kun på den tilbageholdte halvdel, med Wilson-intervaller på 95 %. Ikke tærskelgennemsøgningen med injektioner (docs/threshold_sweep.md), som indstiller Probes' tærskler på syntetiske lyskurver.
Målt på et angivet benchmark; intet her er en opdagelse. Sentinels kører som standard på Claude (Anthropic); andre udbydere understøttes og mærkes. Probes er deterministiske matchede filterdetektorer.
Tilbageholdt halvdel hver tilbageholdt stjerne
Benchmarken kan ikke vise, at Probes læser lyskurver bedre, end katalogmetadata forudsiger dispositioner (parret ΔJ (gulv − Probes) = +0.039, 95% KI -0,096 til +0.173, P(ΔJ ≤ 0) = 0,29).
| Rang | Post | Youden J | Youden J, alle stjerner | Ren fuldstændighed, søgbare CP/KP | FP-afvisning, søgbar FP | Genfundet under 4 R⊕ | Omvendt kontrol: stjerner med nogen | Omrokeret kontrol: stjerner med nogen | Pålidelighed |
|---|---|---|---|---|---|---|---|---|---|
| 1intervallet overlapper #2 | Kun metadata, ingen lyskurve (en bundgrænse)metadata-baseline · tuned on tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2intervallet overlapper #1 | Kun Probesprobes · tunet på ingen | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Hver celle: raten, derefter k/n og Wilson-95 %-intervallet, tegnet som en bjælke fra 0 til 100 % (Youden J fra −1 til +1, med en markering ved 0). Rangeret efter Youdens J på det søgbare sæt, som benchmarken fastlagde, med ét prædikat på begge sider (en ren kandidat: på efemeriden, bestået, intet flag for formørkelsesdobbeltstjerne), så det at kalde enhver TOI en planet, markeret eller ej, giver nul. Kontrollerne er en betingelse for rangeringen og indgår ikke i J, og kontrollisterne er metodens egen rapport. Hvor intervallerne overlapper, er rækkefølgen ikke en målt forskel.
Sentinels' delstikprøve 37 tilbageholdte stjerner · ikke rangeret
37 stjerner kan ikke rangordne disse konfigurationer: delstikprøven listes, rangeres aldrig, og hvert interval er bredt.
| Post | Youden J | Youden J, alle stjerner | Ren fuldstændighed, søgbare CP/KP | FP-afvisning, søgbar FP | Genfundet under 4 R⊕ | Omvendt kontrol: stjerner med nogen | Omrokeret kontrol: stjerner med nogen | Pålidelighed |
|---|---|---|---|---|---|---|---|---|
| Kun Probesprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · Skeptiker aleneclaude-skeptic · tunet på ingen | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | ikke målt | ikke målt | 69%9/13 · 42–87% |
| Sentinel · Volunteer aleneclaude-volunteer · tunet på ingen | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | ikke målt | ikke målt | 69%9/13 · 42–87% |
| Probes + Sentinels, begge (regel på stjerneniveau, fastlagt før scoring, ikke panelkonsensus)probes-and-sentinel · tunet på ingen | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | ikke målt | ikke målt | 73%8/11 · 43–90% |
| Probes + Sentinels, en af dem (regel på stjerneniveau, fastlagt før scoring, ikke panelkonsensus)probes-or-sentinel · tunet på ingen | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | ikke målt | ikke målt | 56%9/16 · 33–77% |
Hver celle: raten, derefter k/n og Wilsons 95%-interval, tegnet som en bjælke fra 0 til 100% (Youden J fra −1 til +1, med en markering ved 0).
Sentinel-rækkerne dækker 37 stjerner. Deres intervaller er brede, de to personaer deler én model (de er enige om 35 af 37 stjerner, φ = 0,88), så de tæller som én korreleret stemmegiver, ikke to, og de blev aldrig kørt på kontrol-lyskurverne. Probes + Sentinels-rækkerne er kombinationer på stjerneniveau af gemte udfald, angivet før scoring, ikke en kørsel af panelets konsensus.
Regler
- Kun scoret på den tilbageholdte halvdel af den fastlåste stikprøve (TOI'er fordelt efter paritet af sha256(seed:TIC)); tuningshalvdelen scores aldrig.
- En indsendelse angiver for hver stjerne i sit omfang de hændelser, som dens metode detekterede på den rigtige lyskurve og på de flux-inverterede og blok-omrokerede kontroller (tid, varighed, periode, dens egen bestået-vurdering og flag). Ranglisten afgør, hvilke hændelser der ligger på TOI'ens efemeride (benchmarkets score_star og match_toi), og tæller selv kontrollernes falske alarmer. Selvrapporterede resultater accepteres ikke.
- Rangering: Youden's J på det søgbare sæt, som benchmarken fastlagde (stjerner med en SPOC-lyskurve på 2 minutter), med ét prædikat på begge sider, en ren kandidat (på efemeriden, bestået, ingen markering som formørkelsesdobbeltstjerne): J = andelen af CP/KP-stjerner tilbudt som rene kandidater + andelen af FP-stjerner, der ikke tilbydes − 1, med et square-and-add Wilson-interval. At kalde enhver TOI en planet, med eller uden markering, giver J = 0; en søgbar stjerne, der angives som ikke søgt, tæller som ikke tilbudt. J over alle stjerner i omfanget vises ved siden af. Hvor intervallerne overlapper, er rækkefølgen ikke en målt forskel.
- Kontrollerne afgør rangeringen og indgår ikke i J: kun tilbageholdte bidrag med begge kontrollister for hver søgt stjerne rangeres, andre listes urangerede. Kontrollisterne er metodens egen rapport; ranglisten kan ikke genberegne dem uden lyskurverne. Sentinel-delprøven rangeres aldrig.
- En bundgrænse: baseline kun med metadata bruger slet ingen lyskurve, kun det offentlige TOI-nummer, periode, varighed, efemeridefejl og epoke, med en logistisk regression tilpasset på tuning-halvdelen. En metode, der ikke slår den, har ikke vist, at den aflæser lyskurverne bedre, end katalogets egne metadata forudsiger dispositioner.
- En indsendelse angiver sha256 for de offentlige inputdata, den er bygget ud fra (tuningdelen med etiketter, den tilbageholdte del uden). Enhver anden hash, tuned_on anden end none eller tuning, et felt uden for hvidlisten, en manglende eller ekstra stjerne eller manglende proveniens: afvist, med årsagerne listet.
- Hashen er en attestation: de tilbageholdte labels er offentlige i repositoriet, så ranglisten kan ikke bevise, at de ikke er blevet læst, og en metodes beståelsesvurderinger og kontrolhændelser er dens egen rapport. Lokkedue-lyskurver holdt af vedligeholderne og prospektiv scoring på TOI'er, der endnu ikke har fået en disposition, ville lukke disse huller; ingen af delene findes endnu.
- FP-afvisning: FP-stjerner, hvis TOI-dyk metoden ikke tilbød som en ren kandidat (genfundet og ikke markeret). Pålidelighed: andelen af rene kandidater på TOI-dyk, der er CP/KP, med denne stikprøves klassefordeling, som ikke er TOI-katalogets. Alle rater har Wilson-intervaller på 95%. TFOPWG-dispositioner er referencen, ikke den sande værdi for hver TOI.
- Målt på et angivet benchmark; intet på denne rangliste er en opdagelse.
Indsendelsesformat og afvisningsregler: docs/leaderboard/README.md. Scor en indsendelse med setuhq leaderboard <file>.
Den frosne stikprøve
- sha256 for den fastlåste stikprøve
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 af offentlige input
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- fuld stikprøve (med tilbageholdte labels), kanonisk sha256: afvises, hvis angivet
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- Sentinel-delstikprøve sha256
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- commit af benchmarkkode
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Stikprøve: docs/results/benchmark_toi_sample.json. Offentlige input: docs/leaderboard/tuning_inputs.json. TFOPWG-dispositioner er referencen, ikke den sande facit for hver TOI.