Metoder, vurdert blindt på ekte TOI-er.

Den offentlige rangeringslisten på den fastfrosne referansetesten med ekte TOI-er: hvert bidrags detekterte hendelser, vurdert av rangeringslisten selv bare på den tilbakeholdte halvdelen, med Wilson-intervaller på 95 %. Ikke terskelsveipet med injeksjoner (docs/threshold_sweep.md), som stiller inn tersklene til Probes på syntetiske lyskurver.

Målt på en oppgitt referansetest; ingenting her er en oppdagelse. Sentinels kjører som standard på Claude (Anthropic); andre leverandører støttes og merkes. Probes er deterministiske matchede filterdetektorer.

Tilbakeholdt halvdel hver tilbakeholdte stjerne

Referansetesten kan ikke vise at Probes leser lyskurver bedre enn katalogmetadata forutsier disposisjoner (parret ΔJ (gulv − Probes) = +0.039, 95 % KI −0,096 til +0.173, P(ΔJ ≤ 0) = 0,29).

Rangering	Oppføring	Youden J	Youden J, alle stjerner	Ren fullstendighet, søkbare CP/KP	FP-avvisning, søkbar FP	Gjenfunnet under 4 R⊕	Omvendt kontroll: stjerner med noen	Omstokket kontroll: stjerner med noen	Pålitelighet
1intervallet overlapper #2	Bare metadata, ingen lyskurve (et gulv)metadata-baseline · tunet på tuning	+0.39+0.27 to +0.49	+0.46+0.35 to +0.55	76%114/150 · 69–82%	63%78/124 · 54–71%	70%32/46 · 55–81%	54%166/309 · 48–59%	54%166/309 · 48–59%	69%114/166 · 61–75%
2intervallet overlapper #1	Bare Probesprobes · innstilt på ingen	+0.35+0.23 to +0.45	+0.40+0.29 to +0.49	60%90/150 · 52–67%	75%93/124 · 67–82%	17%8/46 · 9–31%	22%67/309 · 17–27%	25%78/309 · 21–30%	72%90/125 · 64–79%

Hver celle: raten, deretter k/n og Wilson-intervallet på 95 %, tegnet som en stolpe fra 0 til 100 % (Youden J fra −1 til +1, med et merke ved 0). Rangert etter Youdens J på det søkbare settet som benchmarken fastsatte, med ett predikat på begge sider (en ren kandidat: på efemeriden, bestått, uten flagg for formørkende dobbeltstjerne), slik at det å kalle hver TOI en planet, flagget eller ikke, gir null poeng. Kontrollene avgjør om rangering tillates og inngår ikke i J, og kontrollistene er metodens egen rapport. Der intervallene overlapper, er rekkefølgen ikke en målt forskjell.

Delutvalget til Sentinels 37 tilbakeholdte stjerner · ikke rangert

37 stjerner kan ikke rangere disse konfigurasjonene: delutvalget listes opp, aldri rangert, og hvert intervall er bredt.

Oppføring	Youden J	Youden J, alle stjerner	Ren fullstendighet, søkbare CP/KP	FP-avvisning, søkbar FP	Gjenfunnet under 4 R⊕	Omvendt kontroll: stjerner med noen	Omstokket kontroll: stjerner med noen	Pålitelighet
Bare Probesprobes-subsample · tuned on none	+0.14-0.16 to +0.41	+0.14-0.16 to +0.41	42%8/19 · 23–64%	72%13/18 · 49–88%	0%0/8 · 0–32%	8%3/37 · 3–21%	22%8/37 · 11–37%	62%8/13 · 36–82%
Sentinel · Skeptiker aleneclaude-skeptic · tunet på ingen	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	ikke målt	ikke målt	69%9/13 · 42–87%
Sentinel · Volunteer aleneclaude-volunteer · innstilt på ingen	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	ikke målt	ikke målt	69%9/13 · 42–87%
Probes + Sentinels, begge (regel på stjernenivå, fastsatt før poengberegning, ikke panelkonsensus)probes-and-sentinel · justert på ingen	+0.25-0.04 to +0.50	+0.25-0.04 to +0.50	42%8/19 · 23–64%	83%15/18 · 61–94%	0%0/8 · 0–32%	ikke målt	ikke målt	73%8/11 · 43–90%
Probes + Sentinels, en av dem (regel på stjernenivå, fastsatt før scoring, ikke panelkonsensus)probes-or-sentinel · justert på ingen	+0.08-0.22 to +0.36	+0.08-0.22 to +0.36	47%9/19 · 27–68%	61%11/18 · 39–80%	0%0/8 · 0–32%	ikke målt	ikke målt	56%9/16 · 33–77%

Hver celle: raten, deretter k/n og Wilson-intervallet på 95%, tegnet som en stolpe fra 0 til 100% (Youden J fra −1 til +1, med et merke ved 0).

Sentinel-radene dekker 37 stjerner. Intervallene deres er brede, de to personaene deler én modell (de er enige om 35 av 37 stjerner, φ = 0,88), så de teller som én korrelert velger, ikke to, og de ble aldri kjørt på kontroll-lyskurvene. Probes + Sentinels-radene er kombinasjoner av lagrede utfall på stjernenivå, angitt før poengberegningen, ikke en kjøring av panelets konsensus.

Regler

Vurdert bare på den tilbakeholdte halvdelen av det frosne utvalget (TOI-er etter sha256(seed:TIC)-paritet); tuninghalvdelen vurderes aldri.
En innsending lister, for hver stjerne i sitt omfang, hendelsene metoden påviste på den ekte lyskurven og på de fluksinverterte og blokkomstokkede kontrollene (tid, varighet, periode, egen bestått-vurdering og flagg). Resultatlisten avgjør hvilke hendelser som ligger på TOI-ens efemeride (referansetestens score_star og match_toi) og teller selv falske alarmer i kontrollene. Selvrapporterte utfall godtas ikke.
Rangering: Youdens J på det søkbare utvalget som referansetesten fastsatte (stjerner med en SPOC-lyskurve på 2 minutter), med ett og samme predikat på begge sider, en ren kandidat (på efemeriden, bestått, uten flagg for formørkelsesdobbeltstjerne): J = andelen CP/KP-stjerner som tilbys som rene kandidater + andelen FP-stjerner som ikke tilbys − 1, med et Wilson-intervall kombinert ved kvadrering og addisjon. Å kalle hver TOI en planet, med eller uten flagg, gir J = 0; en søkbar stjerne som er oppgitt som ikke søkt, teller som ikke tilbudt. J over alle stjerner i omfanget vises ved siden av. Der intervallene overlapper, er rekkefølgen ikke en målt forskjell.
Kontrollene styrer rangeringen og inngår ikke i J: bare tilbakeholdte oppføringer med begge kontrollistene for hver søkte stjerne rangeres, andre listes urangert. Kontrollistene er metodens egen rapport; topplisten kan ikke beregne dem på nytt uten lyskurvene. Sentinel-utvalget rangeres aldri.
Et gulv: grunnlinjen som bare bruker metadata, bruker ingen lyskurve i det hele tatt, kun det offentlige TOI-nummeret, perioden, varigheten, efemeridefeilene og epoken, med en logistisk regresjon tilpasset på tuningdelen. En metode som ikke slår den, er ikke vist å lese lyskurvene bedre enn katalogens egne metadata forutsier klassifiseringene.
En innsending oppgir sha256 for de offentlige inndataene den ble bygget fra (tuningdelen med etiketter, den tilbakeholdte delen uten). Enhver annen hash, tuned_on med annen verdi enn none eller tuning, et felt utenfor hvitelisten, en manglende eller ekstra stjerne, eller manglende proveniens: avvist, med årsakene oppført.
Hashen er en attestasjon: de tilbakeholdte etikettene er offentlige i repositoriet, så resultatlisten kan ikke bevise at de ikke ble lest, og en metodes bestått-vurderinger og kontrollhendelser er metodens egen rapport. Lokke-lyskurver som holdes av vedlikeholderne, og prospektiv scoring på TOI-er som ennå ikke har fått noen disposisjon, ville lukket disse hullene; ingen av delene finnes ennå.
FP-avvisning: FP-stjerner der metoden ikke tilbød TOI-dippen som en ren kandidat (gjenfunnet og ikke flagget). Pålitelighet: andelen rene kandidater på TOI-dipper som er CP/KP, med dette utvalgets klassefordeling, som ikke er TOI-katalogens. Alle rater har Wilson 95%-intervaller. TFOPWG-disposisjoner er referansen, ikke fasit for hver TOI.
Målt på en oppgitt referansetest; ingenting på denne resultattavlen er en oppdagelse.

Innsendingsformat og avvisningsregler: docs/leaderboard/README.md. Gi en innsending poeng med setuhq leaderboard <file>.

Det frosne utvalget

sha256 for frosset utvalg: 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
sha256 for offentlige inndata: d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
fullt utvalg (med tilbakeholdte etiketter), kanonisk sha256: avvises hvis oppgitt: 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
Sha256 for Sentinel-delutvalget: 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
commit for benchmarkkoden: 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc

Utvalg: docs/results/benchmark_toi_sample.json. Offentlige input: docs/leaderboard/tuning_inputs.json. TFOPWG-disposisjoner er referansen, ikke fasit for hver TOI.