Metody oceniane w ciemno na prawdziwych TOI.
Publiczny ranking na zamrożonym benchmarku prawdziwych TOI: wykryte zdarzenia każdego zgłoszenia, oceniane przez sam ranking wyłącznie na odłożonej połowie, z 95% przedziałami Wilsona. To nie jest przegląd progów metodą wstrzykiwania (docs/threshold_sweep.md), który stroi progi Probe na syntetycznych krzywych blasku.
Zmierzone na określonym benchmarku; nic tutaj nie jest odkryciem. Sentinels działają domyślnie na Claude (Anthropic); inni dostawcy są obsługiwani i oznaczani. Probes to deterministyczne detektory z filtrem dopasowanym.
Wydzielona połowa każda wydzielona gwiazda
Benchmark nie może wykazać, że Probes odczytują krzywe blasku lepiej, niż metadane katalogowe przewidują klasyfikacje (sparowane ΔJ (floor − Probes) = +0.039, 95% przedział ufności od -0,096 do +0.173, P(ΔJ ≤ 0) = 0,29).
| Pozycja | Wpis | J Youdena | J Youdena, wszystkie gwiazdy | Czysta kompletność, przeszukiwalne CP/KP | Odrzucanie FP, wyszukiwalne FP | Odzyskane poniżej 4 R⊕ | Odwrócona kontrola: gwiazdy z dowolnym | Kontrola z przemieszaniem: gwiazdy z jakimkolwiek | Wiarygodność |
|---|---|---|---|---|---|---|---|---|---|
| 1przedział nakłada się na #2 | Tylko metadane, bez krzywej blasku (dolna granica)metadata-baseline · dostrojony na tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2przedział nakłada się na #1 | Tylko Probesprobes · dostrojone na: brak | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
Każda komórka: odsetek, następnie k/n i przedział Wilsona 95%, narysowany jako pasek od 0 do 100% (J Youdena od −1 do +1, ze znacznikiem przy 0). Uszeregowane według J Youdena na przeszukiwalnym zbiorze ustalonym przez benchmark, z jednym predykatem po obu stronach (czysty kandydat: zgodny z efemerydą, zaliczony, bez flagi układu zaćmieniowego), więc uznanie każdego TOI za planetę, oznaczonego czy nie, daje wynik zero. Próby kontrolne warunkują ranking i nie wchodzą do J, a listy kontrolne są własnym raportem metody. Tam, gdzie przedziały się nakładają, kolejność nie jest zmierzoną różnicą.
Podpróbka Sentinels 37 wydzielonych gwiazd · bez rankingu
37 gwiazd nie wystarcza, by uszeregować te konfiguracje: podpróbka jest tylko wymieniona, nigdy nie szeregowana, a każdy przedział jest szeroki.
| Wpis | J Youdena | J Youdena, wszystkie gwiazdy | Czysta kompletność, przeszukiwalne CP/KP | Odrzucanie FP, wyszukiwalne FP | Odzyskane poniżej 4 R⊕ | Odwrócona kontrola: gwiazdy z dowolnym | Kontrola z przemieszaniem: gwiazdy z jakimkolwiek | Wiarygodność |
|---|---|---|---|---|---|---|---|---|
| Tylko Probesprobes-subsample · tuned on none | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · sam Skepticclaude-skeptic · tuned on none | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | niezmierzone | niezmierzone | 69%9/13 · 42–87% |
| Sentinel · tylko Volunteerclaude-volunteer · niedostrajany na żadnym zbiorze | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | niezmierzone | niezmierzone | 69%9/13 · 42–87% |
| Probes + Sentinels, oba (reguła na poziomie gwiazdy, ustalona przed oceną, nie konsensus panelu)probes-and-sentinel · tuned on none | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | niezmierzone | niezmierzone | 73%8/11 · 43–90% |
| Probes + Sentinels, którykolwiek (reguła na poziomie gwiazdy, ustalona przed oceną, nie konsensus panelu)probes-or-sentinel · niedostrajana | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | niezmierzone | niezmierzone | 56%9/16 · 33–77% |
Każda komórka: odsetek, następnie k/n i przedział Wilsona 95%, narysowany jako pasek od 0 do 100% (J Youdena od −1 do +1, ze znacznikiem przy 0).
Wiersze Sentinel obejmują 37 gwiazd. Ich przedziały są szerokie, obie persony korzystają z jednego modelu (zgadzają się co do 35 z 37 gwiazd, φ = 0,88), więc liczą się jako jeden skorelowany głos, a nie dwa, i nigdy nie uruchomiono ich na kontrolnych krzywych blasku. Wiersze Probes + Sentinels to kombinacje zapisanych wyników na poziomie gwiazd, określone przed oceną, a nie przebieg konsensusu panelu.
Reguły
- Oceniane wyłącznie na odłożonej połowie zamrożonej próbki (TOI według parzystości sha256(seed:TIC)); połowa strojenia nigdy nie jest oceniana.
- Zgłoszenie wymienia, dla każdej gwiazdy ze swojego zakresu, zdarzenia wykryte przez daną metodę na prawdziwej krzywej blasku oraz na próbach kontrolnych z odwróconym strumieniem i z blokowo przemieszanymi danymi (czas, czas trwania, okres, własny werdykt zaliczenia i flagi). Ranking sam rozstrzyga, które zdarzenia leżą na efemerydzie TOI (score_star i match_toi z benchmarku), i sam liczy fałszywe alarmy w próbach kontrolnych. Wyniki zgłaszane samodzielnie nie są akceptowane.
- Ranking: J Youdena na przeszukiwalnym zbiorze ustalonym przez benchmark (gwiazdy z 2-minutową krzywą blasku SPOC), z jednym predykatem po obu stronach, czystym kandydatem (zgodny z efemerydą, zaliczony, bez flagi układu podwójnego zaćmieniowego): J = odsetek gwiazd CP/KP podanych jako czyści kandydaci + odsetek gwiazd FP niepodanych − 1, z przedziałem Wilsona metodą square-and-add. Uznanie każdego TOI za planetę, z flagą lub bez, daje J = 0; przeszukiwalna gwiazda oznaczona jako nieprzeszukana liczy się jako niepodana. Obok pokazano J dla wszystkich gwiazd w zakresie. Tam, gdzie przedziały się nakładają, kolejność nie jest zmierzoną różnicą.
- Kontrole warunkują ranking i nie wchodzą do J: w rankingu są tylko wpisy z wydzielonego zbioru, które mają obie listy kontrolne dla każdej przeszukanej gwiazdy, pozostałe są wymienione poza rankingiem. Listy kontrolne to własny raport metody; tabela wyników nie może ich przeliczyć bez krzywych blasku. Podpróbka Sentinel nigdy nie trafia do rankingu.
- Poziom odniesienia: wzorzec oparty wyłącznie na metadanych nie korzysta w ogóle z krzywej blasku, tylko z publicznego numeru TOI, okresu, czasu trwania, błędów efemerydy i epoki, z regresją logistyczną dopasowaną na połowie strojącej. Nie wykazano, by metoda, która go nie przewyższa, odczytywała krzywe blasku lepiej, niż same metadane katalogu przewidują klasyfikacje.
- Zgłoszenie podaje sha256 publicznych danych wejściowych, z których je zbudowano (połowa strojąca z etykietami, połowa wstrzymana bez nich). Każdy inny hash, tuned_on inne niż none lub tuning, pole spoza białej listy, brakująca lub nadmiarowa gwiazda albo brak pochodzenia: odrzucone, z wymienionymi powodami.
- Skrót jest poświadczeniem: wstrzymane etykiety są publiczne w repozytorium, więc tabela wyników nie może dowieść, że nie zostały odczytane, a werdykty zaliczenia i zdarzenia kontrolne danej metody są jej własnym raportem. Te luki zamknęłyby przechowywane przez opiekunów krzywe blasku-wabiki oraz prospektywna ocena na TOI wciąż bez dyspozycji; żadne z nich jeszcze nie istnieje.
- Odrzucanie FP: gwiazdy FP, których spadku jasności TOI metoda nie zaproponowała jako czystego kandydata (odzyskany i nieoznaczony). Wiarygodność: udział czystych kandydatów na spadkach TOI, które są CP/KP, przy rozkładzie klas tej próby, który nie jest rozkładem katalogu TOI. Wszystkie odsetki mają przedziały Wilsona 95%. Klasyfikacje TFOPWG są odniesieniem, a nie prawdą bazową dla każdego TOI.
- Zmierzone na określonym benchmarku; nic w tym rankingu nie jest odkryciem.
Format zgłoszeń i zasady odrzucania: docs/leaderboard/README.md. Zgłoszenie oceń poleceniem setuhq leaderboard <file>.
Zamrożona próba
- sha256 zamrożonej próbki
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 danych wejściowych publicznych
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- pełna próba (z etykietami odłożonymi do testu), kanoniczny sha256: odmowa, jeśli podano
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- sha256 podpróbki Sentinel
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- commit kodu benchmarku
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Próbka: docs/results/benchmark_toi_sample.json. Dane publiczne: docs/leaderboard/tuning_inputs.json. Klasyfikacje TFOPWG są punktem odniesienia, a nie prawdą bazową dla każdego TOI.