5 рецензентів.
Кожен заслуговує на свій голос.
Панель, що позначала спади в запуску tess-pi-men-s1: Sentinels і Probes, без людей. Sentinels типово працюють на Claude (Anthropic); інші постачальники підтримуються й позначаються. Probes — детерміновані детектори з узгодженим фільтром.
Позначки та ваги у вигляді таблиці
| Рецензент | Роль | Постачальник | Каліброва вага |
|---|---|---|---|
| Sentinel · Скептик claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Volunteer claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Обережний volunteer-cautious | Probe | детермінований узгоджений фільтр | 0.40 |
| Probe · Чутливий volunteer-sensitive | Probe | детермінований узгоджений фільтр | 0.60 |
| Probe · Типовий volunteer-typical | Probe | детермінований узгоджений фільтр | 0.60 |
Sentinels за замовчуванням працюють на Claude (Anthropic); інші провайдери підтримуються та позначаються. Probes — детерміновані детектори з узгодженим фільтром. Ваги отримано з 10 кривих блиску із засадженими сигналами та 10 порожніх кривих блиску для кожного: замало, щоб розрізнити 0,6 і 0,5.
Виміряно на реальних TOI
Нові сигнали живої стрічки узгоджуються з шумом. Сам лише шум мав би давати приблизно 12,3 хибних сигналів new_candidate на 100 переглянутих цілей, порівняно з 15,8 на 100 у живій стрічці. За тим попереднім правилом new_candidate у стрічці з більшою ймовірністю був шумом, ніж сигналом.
Суворіше правило стрічки, попередньо зареєстроване й повторно виміряне на цьому коді. Тепер сигнал має пройти в обох переглянутих секторах із FAP нижче 0,001 за 2 000 спроб. На відкладеній половині сам шум дає 6,1 хибних сигналів на 100 цілей (95% ДІ 4,0–9,4), порівняно з 27,8 (23,1–33,1) раніше. Це все ще набагато більше, ніж 1,6 нових сигналів на 100 цілей, які дають реальні криві блиску, тож у стрічці все ще переважають хибні тривоги, а повнота на рівні стрічки знизилася з 39% до 17%. Допуск до стрічки — це підказка для перегляду людиною або подальших спостережень, а не кандидат будь-якого підтвердженого статусу. При повторному запуску на цьому коді 19 цілей живої стрічки допускають 0 нових сигналів.
Виміряно на заявленому еталонному наборі, це не відкриття. 300 підтверджених або відомих планет (CP/KP), 300 хибнопозитивних і 62 хибних тривог із таблиці TOI (отримано 2026-10-19, seed 20261019), один TOI на зорю; показано відкладену половину. Панель: три Probes (детерміновані детектори) з їхніми зафіксованими каліброваними вагами; BLS по всьому сектору; перевірка; припасування з потемнінням до краю; таблиця рівня стрічки додає FAP стрічки (200 спроб).
- 662TOI у замороженій вибірці: 300 CP/KP, 300 FP, 62 FA
- 60% 90 з 150 (52–67%)планет відновлено на придатних для пошуку зорях (відкладена половина)
- 77% 96 з 124 (69–84%)хибнопозитивних TOI, знайдених панеллю
- 68% 65 з 96 (58–76%)з них відхилені або позначені як схожі на подвійні
| Головне: планети, відновлені на зорях, придатних для пошуку (CP/KP TOI, перевірений провал на опублікованих ефемеридах) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Планети, повторно знайдені серед усіх зір CP/KP (відсутність 2-хвилинних даних зараховується як пропуск) | 59% (90/152; 95% CI 51–67%) |
| Планети, виявлені повторно в першому запуску на коді до виправлення (історичний запис) | 57% (86/150; 95% CI 49–65%) |
| Пошук неможливий (немає 2-хвилинної кривої блиску SPOC) | 36 зір (2 CP/KP, 34 FP, 0 FA) зміщено в бік FP: рядки FP описують лише FP-зорі з 2-хвилинними даними |
| Хибнопозитивні TOI, знайдені панеллю | 77% (96/124; 95% CI 69–84%) |
| … з них відхилені або позначені як подібні до подвійних | 68% (65/96; 95% CI 58–76%) |
| Хибні тривоги на інвертованих кривих блиску на рівні стрічки (її повне правило, FAP < 0,01) | 58 на 1 000 зоре-секторів (18 за 309; 198 перевірених спадів до правила стрічки) |
| Хибні тривоги на перемішаних кривих блиску на рівні стрічки (її повне правило, FAP < 0,01) | 61 на 1 000 зоре-секторів (19 за 309; 266 перевірених спадів до правила стрічки) |
| claude-volunteer: позначено провали CP/KP (підвибірка з 37 зір) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: позначено провали CP/KP (підвибірка з 37 зір) | 47% (9/19; 95% CI 27–68%) |
Помилку обрізання виправлено в коді, яким це виміряно. Відкритими виявилися 27 CP/KP, 11 FP і 0 FA відкладених зір (глибина понад 8× розкиду); з 27 відкритих CP/KP зараз відновлено 23, проти 21 у першому запуску.
Повні результати (перший запуск, на коді до виправлення: benchmark_real_tois.md). Висновки TFOPWG є еталоном, а не істиною в останній інстанції для кожного TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Площина калібрування
Кожен рецензент за його рівнем хибних тривог (x: частка порожніх об’єктів, які він позначив) і повнотою (y: частка введених транзитів, які він знайшов) під час калібрування. Розмір точки — його калібрована вага. Лінії з’єднують точки з однаковою вагою, вага = TPR − FPR, з нижньою межею 0,05; вгору і ліворуч — краще. Лише збережені значення.
Позначки на провал
Які рецензенти позначили кожен провал, за збереженим списком рецензентів запуску. Посилання на журнал вердиктів відкриває перевірки провалу в його справі.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.