Metody hodnocené naslepo na skutečných TOI.

Veřejný žebříček na zmrazeném benchmarku skutečných TOI: detekované události každého příspěvku, hodnocené samotným žebříčkem pouze na odložené polovině, s 95% Wilsonovými intervaly. Nejde o prahový průzkum vkládáním (docs/threshold_sweep.md), který ladí prahy Probe na syntetických světelných křivkách.

Změřeno na uvedeném benchmarku; nic zde není objev. Sentinels ve výchozím stavu běží na Claude (Anthropic); další poskytovatelé jsou podporováni a označeni. Probes jsou deterministické detektory s přizpůsobeným filtrem.

Odložená polovina každá odložená hvězda

Benchmark nemůže ukázat, že Probes čtou světelné křivky lépe, než metadata katalogu předpovídají dispozice (párové ΔJ (floor − Probes) = +0.039, 95% CI -0,096 až +0.173, P(ΔJ ≤ 0) = 0,29).

Pořadí	Záznam	Youdenovo J	Youdenovo J, všechny hvězdy	Čistá úplnost, prohledatelné CP/KP	Zamítání FP, prohledatelné FP	Znovu nalezeno pod 4 R⊕	Obrácená kontrola: hvězdy s jakýmkoli	Kontrola s promíchanými daty: hvězdy s jakýmkoli	Spolehlivost
1interval se překrývá s #2	Pouze metadata, bez světelné křivky (spodní mez)metadata-baseline · laděno na sadě tuning	+0.39+0.27 to +0.49	+0.46+0.35 to +0.55	76%114/150 · 69–82%	63%78/124 · 54–71%	70%32/46 · 55–81%	54%166/309 · 48–59%	54%166/309 · 48–59%	69%114/166 · 61–75%
2interval se překrývá s #1	Pouze Probesprobes · laděno na: žádné	+0.35+0.23 to +0.45	+0.40+0.29 to +0.49	60%90/150 · 52–67%	75%93/124 · 67–82%	17%8/46 · 9–31%	22%67/309 · 17–27%	25%78/309 · 21–30%	72%90/125 · 64–79%

Každá buňka: míra, poté k/n a Wilsonův 95% interval, vykreslený jako pruh od 0 do 100 % (Youdenovo J od −1 do +1, se značkou na 0). Seřazeno podle Youdenova J na prohledávatelné množině, kterou benchmark stanovil, s jedním predikátem na obou stranách (čistý kandidát: na efemeridě, prošel, bez příznaku zákrytové dvojhvězdy), takže označení každého TOI za planetu, ať označeného, nebo ne, dává nulové skóre. Kontroly podmiňují pořadí a do J nevstupují; seznamy kontrol jsou vlastním výstupem metody. Kde se intervaly překrývají, pořadí není naměřený rozdíl.

Podvzorek Sentinels 37 odložených hvězd · bez pořadí

37 hvězd nedokáže tyto konfigurace seřadit: podvzorek je uveden, nikdy neřazen, a každý interval je široký.

Záznam	Youdenovo J	Youdenovo J, všechny hvězdy	Čistá úplnost, prohledatelné CP/KP	Zamítání FP, prohledatelné FP	Znovu nalezeno pod 4 R⊕	Obrácená kontrola: hvězdy s jakýmkoli	Kontrola s promíchanými daty: hvězdy s jakýmkoli	Spolehlivost
Pouze Probesprobes-subsample · tuned on none	+0.14-0.16 to +0.41	+0.14-0.16 to +0.41	42%8/19 · 23–64%	72%13/18 · 49–88%	0%0/8 · 0–32%	8%3/37 · 3–21%	22%8/37 · 11–37%	62%8/13 · 36–82%
Sentinel · pouze Skepticclaude-skeptic · laděno na: žádné	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	neměřeno	neměřeno	69%9/13 · 42–87%
Sentinel · samotný Volunteerclaude-volunteer · laděno na: nic	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	neměřeno	neměřeno	69%9/13 · 42–87%
Probes + Sentinels, obojí (pravidlo na úrovni hvězdy, stanovené před skórováním, nikoli konsenzus panelu)probes-and-sentinel · laděno na: nic	+0.25-0.04 to +0.50	+0.25-0.04 to +0.50	42%8/19 · 23–64%	83%15/18 · 61–94%	0%0/8 · 0–32%	neměřeno	neměřeno	73%8/11 · 43–90%
Probes + Sentinels, kterýkoli z nich (pravidlo na úrovni hvězdy, stanovené před hodnocením, nikoli konsenzus panelu)probes-or-sentinel · laděno na: nic	+0.08-0.22 to +0.36	+0.08-0.22 to +0.36	47%9/19 · 27–68%	61%11/18 · 39–80%	0%0/8 · 0–32%	neměřeno	neměřeno	56%9/16 · 33–77%

Každá buňka: míra, poté k/n a Wilsonův 95% interval, vykreslený jako pruh od 0 do 100 % (Youdenovo J od −1 do +1, se značkou u 0).

Řádky Sentinel pokrývají 37 hvězd. Jejich intervaly jsou široké, obě persony sdílejí jeden model (shodují se u 35 z 37 hvězd, φ = 0,88), takže se počítají jako jeden korelovaný hlasující, nikoli dva, a nikdy nebyly spuštěny na kontrolních světelných křivkách. Řádky Probes + Sentinels jsou kombinace uložených výsledků na úrovni hvězd, stanovené před skórováním, nikoli běh konsenzu panelu.

Pravidla

Hodnoceno pouze na odložené polovině zmrazeného vzorku (TOI podle parity sha256(seed:TIC)); ladicí polovina se nikdy nehodnotí.
Příspěvek uvádí pro každou hvězdu ve svém rozsahu události, které jeho metoda detekovala na skutečné světelné křivce a na tokově invertovaných a blokově promíchaných kontrolách (čas, trvání, perioda, vlastní verdikt o splnění a příznaky). Žebříček sám rozhoduje, které události leží na efemeridě TOI (score_star a match_toi z benchmarku), a sám počítá falešné poplachy na kontrolách. Výsledky uváděné samotnými autory se nepřijímají.
Pořadí: Youdenovo J na prohledatelné množině stanovené benchmarkem (hvězdy se 2minutovou světelnou křivkou SPOC), s jedním predikátem na obou stranách, čistým kandidátem (na efemeridě, prošel, bez označení zákrytové dvojhvězdy): J = podíl hvězd CP/KP nabídnutých jako čistí kandidáti + podíl hvězd FP nenabídnutých − 1, s Wilsonovým intervalem metodou square-and-add. Označení každého TOI za planetu, s označením i bez něj, dává J = 0; prohledatelná hvězda vedená jako neprohledaná se počítá jako nenabídnutá. J přes všechny hvězdy rozsahu je uvedeno vedle. Kde se intervaly překrývají, pořadí není naměřený rozdíl.
Kontroly podmiňují pořadí a nevstupují do J: řadí se pouze odložené položky s oběma kontrolními seznamy pro každou prohledanou hvězdu, ostatní jsou uvedeny bez pořadí. Kontrolní seznamy jsou vlastní zprávou metody; žebříček je bez světelných křivek nemůže přepočítat. Podvzorek Sentinel se nikdy neřadí.
Spodní mez: základní model jen z metadat nepoužívá vůbec žádnou světelnou křivku, pouze veřejné číslo TOI, periodu, délku trvání, chyby efemeridy a epochu, s logistickou regresí natrénovanou na ladicí polovině. U metody, která ho nepřekoná, není prokázáno, že čte světelné křivky lépe, než vlastní metadata katalogu předpovídají klasifikace.
Příspěvek uvádí sha256 veřejných vstupů, ze kterých byl sestaven (ladicí polovina se štítky, odložená polovina bez nich). Jakýkoli jiný hash, tuned_on jiné než none nebo tuning, pole mimo whitelist, chybějící nebo přebývající hvězda nebo chybějící původ: odmítnuto, s uvedením důvodů.
Hash je pouze osvědčení: odložené štítky jsou v repozitáři veřejné, takže žebříček nemůže prokázat, že nebyly přečteny, a verdikty „prošel“ a kontrolní události metody jsou jejím vlastním hlášením. Tyto mezery by uzavřely světelné křivky-návnady držené správci a prospektivní hodnocení na TOI, o nichž dosud nebylo rozhodnuto; ani jedno zatím neexistuje.
Zamítnutí FP: hvězdy FP, jejichž pokles TOI metoda nenabídla jako čistého kandidáta (nalezeno a neoznačeno). Spolehlivost: podíl čistých kandidátů na poklesech TOI, které jsou CP/KP, při zastoupení tříd v tomto vzorku, které neodpovídá katalogu TOI. Všechny míry mají Wilsonovy 95% intervaly. Dispozice TFOPWG jsou referencí, nikoli absolutní pravdou pro každý TOI.
Měřeno na uvedeném benchmarku; nic v tomto žebříčku není objev.

Formát odevzdání a pravidla odmítnutí: docs/leaderboard/README.md. Odevzdání ohodnotíte příkazem setuhq leaderboard <file>.

Zmrazený vzorek

sha256 zmrazeného vzorku: 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
sha256 veřejných vstupů: d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
úplný vzorek (se zadrženými štítky), kanonický sha256: odmítnuto, pokud je uveden: 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
sha256 podvzorku Sentinel: 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
commit kódu benchmarku: 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc

Vzorek: docs/results/benchmark_toi_sample.json. Veřejné vstupy: docs/leaderboard/tuning_inputs.json. Dispozice TFOPWG jsou referencí, ne skutečnou pravdou pro každý TOI.