5 рецензентов.
Каждый заслуживает свой голос.
Панель, отмечавшая провалы в запуске tess-pi-men-s1: Sentinels и Probes, без людей. Sentinels по умолчанию работают на Claude (Anthropic); другие поставщики поддерживаются и помечаются. Probes — детерминированные детекторы с согласованным фильтром.
Отметки и веса в виде таблицы
| Рецензент | Роль | Поставщик | Калиброванный вес |
|---|---|---|---|
| Sentinel · Скептик claude-skeptic | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Sentinel · Volunteer claude-volunteer | Sentinel | Claude Code CLI (Claude, Anthropic) | 0.50 |
| Probe · Осторожный volunteer-cautious | Probe | детерминированный согласованный фильтр | 0.40 |
| Probe · Чувствительный volunteer-sensitive | Probe | детерминированный согласованный фильтр | 0.60 |
| Probe · Типичный volunteer-typical | Probe | детерминированный согласованный фильтр | 0.60 |
По умолчанию Sentinels работают на Claude (Anthropic); поддерживаются и другие провайдеры, они помечены. Probes — детерминированные детекторы с согласованным фильтром. Веса для каждого получены по 10 кривым блеска с внедрёнными сигналами и 10 пустым кривым блеска: этого слишком мало, чтобы отличить 0,6 от 0,5.
Измерено на реальных TOI
Новые сигналы живой ленты согласуются с шумом. Один только шум должен давать около 12,3 ложных сигналов new_candidate на 100 рассмотренных целей, против 15,8 на 100 в живой ленте. По тому прежнему правилу new_candidate в ленте с большей вероятностью был шумом, чем сигналом.
Более строгое правило ленты, предварительно зарегистрированное и заново измеренное на этом коде. Теперь сигнал должен пройти в обоих рассмотренных секторах с FAP ниже 0,001 при 2 000 испытаниях. На отложенной половине один лишь шум даёт 6,1 ложных сигналов на 100 целей (95% ДИ 4,0–9,4), против 27,8 (23,1–33,1) ранее. Это всё ещё намного больше 1,6 новых сигналов на 100 целей, которые дают реальные кривые блеска, поэтому в ленте по-прежнему преобладают ложные срабатывания, а полнота на уровне ленты снизилась с 39% до 17%. Попадание в ленту — это зацепка для проверки человеком или последующих наблюдений, а не кандидат какого-либо подтверждённого статуса. При повторном прогоне на этом коде 19 целей живой ленты дают 0 новых сигналов.
Измерено на заявленном эталонном наборе, а не открытия. 300 подтверждённых или известных планет (CP/KP), 300 ложноположительных и 62 ложных срабатываний из таблицы TOI (получена 2026-10-19, seed 20261019), по одному TOI на звезду; показана отложенная половина. Панель: три Probes (детерминированные детекторы) с зафиксированными откалиброванными весами; BLS по всему сектору; проверка; аппроксимация с потемнением к краю; таблица уровня ленты добавляет FAP ленты (200 испытаний).
- 662TOI в замороженной выборке: 300 CP/KP, 300 FP, 62 FA
- 60% 90 из 150 (52–67%)планет восстановлено на звёздах, доступных для поиска (отложенная половина)
- 77% 96 из 124 (69–84%)ложноположительных TOI, найденных панелью
- 68% 65 из 96 (58–76%)из них отклонённые или помеченные как похожие на двойные
| Главный показатель: планеты, восстановленные на звёздах, пригодных для поиска (CP/KP TOI, проверенный провал на опубликованных эфемеридах) | 60% (90/150; 95% CI 52–67%) |
|---|---|
| Повторно найденные планеты по всем звёздам CP/KP (отсутствие 2-минутных данных считается пропуском) | 59% (90/152; 95% CI 51–67%) |
| Планеты, найденные повторно в первом прогоне на коде до исправления (исторические данные) | 57% (86/150; 95% CI 49–65%) |
| Поиск невозможен (нет 2-минутной кривой блеска SPOC) | 36 звёзд (2 CP/KP, 34 FP, 0 FA) смещено в сторону FP: строки FP описывают звёзды FP только с 2-минутными данными |
| Ложноположительные TOI, найденные панелью | 77% (96/124; 95% CI 69–84%) |
| … из них отклонённые или помеченные как похожие на двойные | 68% (65/96; 95% CI 58–76%) |
| Ложные срабатывания на инвертированных кривых блеска на уровне ленты (её полное правило, FAP < 0,01) | 58 на 1 000 звездо-секторов (18 из 309; 198 проверенных провалов до правила ленты) |
| Ложные срабатывания на перемешанных кривых блеска на уровне ленты (её полное правило, FAP < 0,01) | 61 на 1 000 звездо-секторов (19 из 309; 266 проверенных провалов до правила ленты) |
| claude-volunteer: отмечены провалы CP/KP (подвыборка из 37 звёзд) | 47% (9/19; 95% CI 27–68%) |
| claude-skeptic: отмеченные провалы CP/KP (подвыборка из 37 звёзд) | 47% (9/19; 95% CI 27–68%) |
Ошибка отсечения исправлена в коде, которым это измерялось. Затронуты 27 CP/KP, 11 FP и 0 FA отложенных звёзд (глубина более 8× разброса); 23 из 27 затронутых CP/KP теперь восстанавливаются, против 21 в первом запуске.
Полные результаты (первый запуск, на коде до исправления: benchmark_real_tois.md). Диспозиции TFOPWG служат эталоном, а не истиной для каждого TOI.
Weights. A reviewer's weight is its calibration skill from injection tests: the share of planted transits it finds minus the share of empty light curves it marks, with a floor. The weight a run used is the one its record stores; when it differs from the calibrated weight, the run did not use the calibrated weights. Files and configuration ›
Калибровочная плоскость
Каждый рецензент при калибровке: доля ложных срабатываний (x: доля пустых объектов, которые он отметил) и полнота (y: доля внедрённых транзитов, которые он нашёл). Размер точки — его калиброванный вес. Линии соединяют точки равного веса, вес = TPR − FPR, с нижней границей 0,05; выше и левее — лучше. Только сохранённые значения.
Отметки на провал
Какие рецензенты отметили каждый провал, по сохранённому списку рецензентов запуска. Ссылка на журнал вердиктов открывает проверки провала в его деле.
The real-TOI leaderboard ›SetuHQ's configurations, and any method submitted, scored blind on the held-out half.
Runs and configuration ›Every search run, its errors as stored, and the configuration behind these pages.