5 recenzentów.
Każdy zapracowuje na swój głos.
Panel, który oznaczał spadki w przebiegu tess-pi-men-s1: Sentinels i Probes, bez ludzi. Sentinels działają domyślnie na Claude (Anthropic); inni dostawcy są obsługiwani i oznaczani. Probes to deterministyczne detektory z filtrem dopasowanym.
Oznaczenia i wagi w tabeli
| Recenzent | Rola | Dostawca | Skalibrowana waga |
|---|---|---|---|
| Sentinel · Sceptyk claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Wolontariusz claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Ostrożny volunteer-cautious | Probe | deterministyczny filtr dopasowany | 0.40 |
| Probe · Czuły volunteer-sensitive | Probe | deterministyczny filtr dopasowany | 0.60 |
| Probe · Typowy volunteer-typical | Probe | deterministyczny filtr dopasowany | 0.60 |
Sentinels domyślnie działają na Claude (Anthropic); inni dostawcy są obsługiwani i opisani etykietą. Probes to deterministyczne detektory z filtrem dopasowanym. Wagi pochodzą z 10 krzywych blasku z wstawionym sygnałem i 10 pustych krzywych blasku dla każdego: zbyt mało, by odróżnić 0,6 od 0,5.
Zmierzone na rzeczywistych TOI
Nowe sygnały z bieżącego strumienia danych są zgodne z szumem. Sam szum powinien dawać około 12,3 fałszywych sygnałów new_candidate na 100 przejrzanych celów, wobec 15,8 na 100 w bieżącym strumieniu. Według tej wcześniejszej reguły new_candidate w strumieniu był z większym prawdopodobieństwem szumem niż sygnałem.
Ostrzejsza reguła kanału, zarejestrowana z góry i zmierzona ponownie na tym kodzie. Sygnał musi teraz przejść w obu przeglądanych sektorach z FAP poniżej 0,001 przy 2000 próbach. Na odłożonej połowie sam szum daje 6,1 fałszywych sygnałów na 100 celów (95% CI 4,0–9,4), wobec wcześniejszych 27,8 (23,1–33,1). To wciąż znacznie więcej niż 1,6 nowych sygnałów na 100 celów, które dają prawdziwe krzywe blasku, więc w kanale nadal dominują fałszywe alarmy, a kompletność na poziomie kanału spadła z 39% do 17%. Przyjęcie do kanału to trop do przeglądu przez człowieka lub dalszych obserwacji, a nie kandydat o jakimkolwiek potwierdzonym statusie. Po ponownym uruchomieniu na tym kodzie 19 celów bieżącego kanału daje 0 nowych sygnałów.
Zmierzone na określonym benchmarku, nie odkrycia. 300 potwierdzonych lub znanych planet (CP/KP), 300 fałszywych pozytywów i 62 fałszywych alarmów z tabeli TOI (pobranej 2026-10-19, ziarno 20261019), jeden TOI na gwiazdę; pokazano odłożoną połowę. Panel: trzy Probes (deterministyczne detektory) z zamrożonymi skalibrowanymi wagami; BLS dla całego sektora; weryfikacja; dopasowanie z pociemnieniem brzegowym; tabela na poziomie strumienia dodaje FAP strumienia (200 prób).
- 662TOI w zamrożonej próbce: 300 CP/KP, 300 FP, 62 FA
- 60% 90 z 150 (52–67%)planet odzyskanych na gwiazdach możliwych do przeszukania (wydzielona połowa)
- 77% 96 z 124 (69–84%)TOI będących fałszywymi pozytywami wykrytych przez panel
- 68% 65 z 96 (58–76%)z nich odrzucone lub oznaczone jako podobne do układu podwójnego
| Główny wynik: planety odzyskane na przeszukiwalnych gwiazdach (TOI CP/KP, zweryfikowany spadek na opublikowanych efemerydach) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Planety odzyskane dla wszystkich gwiazd CP/KP (brak danych 2-minutowych liczy się jako pominięcie) | 59% (90/152; 95% CI 51–67%) |
| Planety odzyskane w pierwszym przebiegu, na kodzie sprzed poprawki (zapis historyczny) | 57% (86/150; 95% CI 49–65%) |
| Nie do przeszukania (brak 2-minutowej krzywej blasku SPOC) | 36 gwiazd (2 CP/KP, 34 FP, 0 FA) z przewagą FP: wiersze FP opisują gwiazdy FP wyłącznie z danymi 2-minutowymi |
| Fałszywie pozytywne TOI znalezione przez panel | 77% (96/124; 95% CI 69–84%) |
| … spośród nich odrzucone lub oznaczone jako podobne do układu podwójnego | 68% (65/96; 95% CI 58–76%) |
| Fałszywe alarmy na odwróconych krzywych blasku na poziomie kanału (jego pełna reguła, FAP < 0,01) | 58 na 1000 gwiazdo-sektorów (18 w ciągu 309; 198 zweryfikowanych spadków jasności przed regułą strumienia) |
| Fałszywe alarmy na przetasowanych krzywych blasku na poziomie kanału (jego pełna reguła, FAP < 0,01) | 61 na 1000 gwiazdo-sektorów (19 w ciągu 309; 266 zweryfikowanych spadków jasności przed regułą strumienia) |
| claude-volunteer: zaznaczone spadki CP/KP (podpróbka 37 gwiazd) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: zaznaczone spadki CP/KP (podpróbka 37 gwiazd) | 47% (9/19; 95% CI 27–68%) |
Błąd przycinania został naprawiony w kodzie, który to zmierzył. Na błąd narażonych było 27 gwiazd CP/KP, 11 FP i 0 FA z odłożonej próbki (głębokość ponad 8× rozrzutu); 23 z 27 narażonych CP/KP jest teraz odzyskanych, wobec 21 w pierwszym przebiegu.
Pełne wyniki (pierwsze uruchomienie, na kodzie sprzed poprawki: benchmark_real_tois.md). Klasyfikacje TFOPWG są punktem odniesienia, a nie prawdą absolutną dla każdego TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Płaszczyzna kalibracji
Każdy recenzent przy swoim wskaźniku fałszywych alarmów (x: odsetek pustych obiektów, które oznaczył) i czułości (y: odsetek wstrzykniętych tranzytów, które znalazł) w kalibracji. Rozmiar punktu to jego skalibrowana waga. Linie łączą punkty o równej wadze, waga = TPR − FPR, z dolnym progiem 0,05; im wyżej i bardziej w lewo, tym lepiej. Tylko zapisane wartości.
Oznaczenia dla każdego spadku
Którzy recenzenci oznaczyli każdy spadek, według zapisanej listy recenzentów przebiegu. Link do rejestru werdyktów otwiera testy spadku w jego teczce sprawy.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.