Metoder, poängsatta blint på riktiga TOI:er.

Den offentliga topplistan på det frysta riktmärket med riktiga TOI:er: varje bidrags detekterade händelser, poängsatta av topplistan själv enbart på den undanhållna halvan, med Wilsonintervall på 95 %. Inte tröskelsvepet med injektioner (docs/threshold_sweep.md), som ställer in Probes trösklar på syntetiska ljuskurvor.

Mätt på ett angivet riktmärke; inget här är en upptäckt. Sentinels körs som standard på Claude (Anthropic); andra leverantörer stöds och märks ut. Probes är deterministiska matchade filterdetektorer.

Undanhållen halva varje undanhållen stjärna

Jämförelsetestet kan inte visa att Probes läser ljuskurvor bättre än katalogmetadata förutsäger klassificeringar (parat ΔJ (golv − Probes) = +0.039, 95 % KI −0,096 till +0.173, P(ΔJ ≤ 0) = 0,29).

Rang	Post	Youden J	Youdens J, alla stjärnor	Ren fullständighet, sökbara CP/KP	FP-avvisning, sökbara FP	Återfunna under 4 R⊕	Inverterad kontroll: stjärnor med minst en	Slumpblandad kontroll: stjärnor med någon	Tillförlitlighet
1intervallet överlappar #2	Endast metadata, ingen ljuskurva (en nedre gräns)metadata-baseline · justerad på tuning	+0.39+0.27 to +0.49	+0.46+0.35 to +0.55	76%114/150 · 69–82%	63%78/124 · 54–71%	70%32/46 · 55–81%	54%166/309 · 48–59%	54%166/309 · 48–59%	69%114/166 · 61–75%
2intervallet överlappar #1	Endast Probesprobes · tuned on none	+0.35+0.23 to +0.45	+0.40+0.29 to +0.49	60%90/150 · 52–67%	75%93/124 · 67–82%	17%8/46 · 9–31%	22%67/309 · 17–27%	25%78/309 · 21–30%	72%90/125 · 64–79%

Varje cell: andelen, sedan k/n och Wilson-intervallet på 95 %, ritat som en stapel från 0 till 100 % (Youden J från −1 till +1, med en markering vid 0). Rangordnat efter Youden's J på den sökbara mängd som riktmärket fastställde, med ett och samma predikat på båda sidor (en ren kandidat: på efemeriden, godkänd, ingen flagga för förmörkelsevariabel dubbelstjärna), så att den som kallar varje TOI en planet, flaggad eller inte, får noll. Kontrollerna villkorar rangordningen och ingår inte i J, och kontrollistorna är metodens egen rapport. Där intervallen överlappar är ordningen inte en uppmätt skillnad.

Sentinels urval 37 undanhållna stjärnor · ej rangordnade

37 stjärnor räcker inte för att rangordna dessa konfigurationer: delurvalet listas men rangordnas aldrig, och varje intervall är brett.

Post	Youden J	Youdens J, alla stjärnor	Ren fullständighet, sökbara CP/KP	FP-avvisning, sökbara FP	Återfunna under 4 R⊕	Inverterad kontroll: stjärnor med minst en	Slumpblandad kontroll: stjärnor med någon	Tillförlitlighet
Endast Probesprobes-subsample · inte justerad på något	+0.14-0.16 to +0.41	+0.14-0.16 to +0.41	42%8/19 · 23–64%	72%13/18 · 49–88%	0%0/8 · 0–32%	8%3/37 · 3–21%	22%8/37 · 11–37%	62%8/13 · 36–82%
Sentinel · endast Skepticclaude-skeptic · kalibrerad på inget	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	inte uppmätt	inte uppmätt	69%9/13 · 42–87%
Sentinel · Volunteer ensamclaude-volunteer · kalibrerad på inga	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	inte uppmätt	inte uppmätt	69%9/13 · 42–87%
Probes + Sentinels, båda (regel på stjärnnivå, fastställd före poängsättningen, inte panelens konsensus)probes-and-sentinel · kalibrerad på inget	+0.25-0.04 to +0.50	+0.25-0.04 to +0.50	42%8/19 · 23–64%	83%15/18 · 61–94%	0%0/8 · 0–32%	inte uppmätt	inte uppmätt	73%8/11 · 43–90%
Probes + Sentinels, någon av dem (regel på stjärnnivå, fastställd före poängsättning, inte panelkonsensus)probes-or-sentinel · tuned on none	+0.08-0.22 to +0.36	+0.08-0.22 to +0.36	47%9/19 · 27–68%	61%11/18 · 39–80%	0%0/8 · 0–32%	inte uppmätt	inte uppmätt	56%9/16 · 33–77%

Varje cell: andelen, sedan k/n och Wilsons 95 %-intervall, ritat som en stapel från 0 till 100 % (Youden J från −1 till +1, med en markering vid 0).

Sentinel-raderna omfattar 37 stjärnor. Deras intervall är breda, de två personorna delar en modell (de är överens om 35 av 37 stjärnor, φ = 0,88), så de räknas som en korrelerad röst, inte två, och de kördes aldrig på kontrolljuskurvorna. Raderna Probes + Sentinels är kombinationer på stjärnnivå av lagrade utfall, angivna före poängsättningen, inte en körning av panelens konsensus.

Regler

Poängsatt endast på den undanhållna halvan av det frysta urvalet (TOI:er efter paritet för sha256(seed:TIC)); inställningshalvan poängsätts aldrig.
En inlämning listar, för varje stjärna inom dess omfång, de händelser som dess metod detekterade i den verkliga ljuskurvan och i de flödesinverterade och blockomkastade kontrollerna (tid, varaktighet, period, dess egen godkänt-bedömning och flaggor). Topplistan avgör vilka händelser som ligger på TOI:ns efemerid (riktmärkets score_star och match_toi) och räknar själv kontrollernas falsklarm. Självrapporterade utfall godtas inte.
Rang: Youdens J på den sökbara mängd som riktmärket fastställde (stjärnor med en SPOC-ljuskurva på 2 minuter), med ett och samma predikat på båda sidor, en ren kandidat (på efemeriden, godkänd, ingen flagga för förmörkande dubbelstjärna): J = andelen CP/KP-stjärnor som erbjuds som rena kandidater + andelen FP-stjärnor som inte erbjuds − 1, med ett Wilson-intervall enligt kvadrera-och-addera. Att kalla varje TOI en planet, med eller utan flagga, ger J = 0; en sökbar stjärna som anges som inte genomsökt räknas som inte erbjuden. J över varje stjärna i omfånget visas bredvid. Där intervallen överlappar är ordningen inte en uppmätt skillnad.
Kontrollerna avgör rankningen och ingår inte i J: endast undanhållna bidrag med båda kontrollistorna för varje genomsökt stjärna rankas, övriga listas utan rankning. Kontrollistorna är metodens egen rapport; topplistan kan inte räkna om dem utan ljuskurvorna. Sentinel-delurvalet rankas aldrig.
Ett golv: baslinjen med enbart metadata använder ingen ljuskurva alls, bara det offentliga TOI-numret, perioden, varaktigheten, efemeridfelen och epoken, med en logistisk regression anpassad på inställningshalvan. En metod som inte slår den har inte visats läsa ljuskurvorna bättre än vad katalogens egen metadata förutsäger om klassificeringarna.
En inlämning anger sha256 för de offentliga indata den byggdes från (justeringshalvan med etiketter, den undanhållna halvan utan). Någon annan hash, tuned_on annat än none eller tuning, ett fält utanför vitlistan, en saknad eller extra stjärna, eller saknad härkomst: avvisas, med skälen listade.
Hashen är ett intygande: de undanhållna etiketterna är offentliga i kodförrådet, så topplistan kan inte bevisa att de inte lästes, och en metods godkänt-utlåtanden och kontrollhändelser är dess egen rapport. Lockbetesljuskurvor som hålls av underhållaren och prospektiv poängsättning på TOI som ännu saknar klassning skulle täppa till dessa luckor; ingetdera finns ännu.
FP-avvisning: FP-stjärnor vars TOI-dipp metoden inte erbjöd som ren kandidat (återfunnen och inte flaggad). Tillförlitlighet: andelen rena kandidater på TOI-dippar som är CP/KP, med detta urvals klassfördelning, som inte är TOI-katalogens. Alla andelar anges med Wilson-intervall på 95 %. TFOPWG:s klassificeringar är referensen, inte facit för varje TOI.
Mätt på ett angivet riktmärke; inget på denna topplista är en upptäckt.

Inlämningsformat och regler för avvisning: docs/leaderboard/README.md. Poängsätt ett bidrag med setuhq leaderboard <file>.

Det frysta urvalet

fryst urval sha256: 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
sha256 för publika indata: d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
fullständigt urval (med undanhållna etiketter), kanonisk sha256: avvisas om den anges: 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
Sentinel-delurvalets sha256: 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
commit för benchmarkkoden: 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc

Urval: docs/results/benchmark_toi_sample.json. Offentliga indata: docs/leaderboard/tuning_inputs.json. TFOPWG:s klassificeringar är referensen, inte facit för varje TOI.