Методы, оценённые вслепую на настоящих TOI.
Публичный рейтинг на замороженном бенчмарке настоящих TOI: обнаруженные события каждой заявки, оценённые самим рейтингом только на отложенной половине, с 95% интервалами Уилсона. Это не пороговый обзор внедрением (docs/threshold_sweep.md), который настраивает пороги Probe на синтетических кривых блеска.
Измерено на заявленном бенчмарке; ничто здесь не является открытием. Sentinels по умолчанию работают на Claude (Anthropic); другие поставщики поддерживаются и помечаются. Probes — детерминированные детекторы с согласованным фильтром.
Отложенная половина все отложенные звёзды
Бенчмарк не может показать, что Probes читают кривые блеска лучше, чем метаданные каталога предсказывают диспозиции (парная ΔJ (floor − Probes) = +0.039, 95% ДИ от -0,096 до +0.173, P(ΔJ ≤ 0) = 0,29).
| Ранг | Запись | J Юдена | Youden J, все звёзды | Чистая полнота, доступные для поиска CP/KP | Отклонение ложноположительных, находимые ложноположительные | Найдены повторно ниже 4 R⊕ | Инвертированный контроль: звёзды с любыми | Перемешанный контроль: звёзды с любым | Надёжность |
|---|---|---|---|---|---|---|---|---|---|
| 1интервал перекрывается с #2 | Только метаданные, без кривой блеска (нижняя граница)metadata-baseline · настроено на выборке tuning | +0.39+0.27 to +0.49 | +0.46+0.35 to +0.55 | 76%114/150 · 69–82% | 63%78/124 · 54–71% | 70%32/46 · 55–81% | 54%166/309 · 48–59% | 54%166/309 · 48–59% | 69%114/166 · 61–75% |
| 2интервал перекрывается с #1 | Только Probesprobes · настроено ни на чём | +0.35+0.23 to +0.45 | +0.40+0.29 to +0.49 | 60%90/150 · 52–67% | 75%93/124 · 67–82% | 17%8/46 · 9–31% | 22%67/309 · 17–27% | 25%78/309 · 21–30% | 72%90/125 · 64–79% |
В каждой ячейке: доля, затем k/n и 95% интервал Уилсона, показанный полосой от 0 до 100% (Youden J от −1 до +1, с отметкой на 0). Ранжирование по J Юдена на зафиксированном бенчмарком наборе для поиска, с одним предикатом с обеих сторон (чистый кандидат: на эфемериде, прошёл проверку, без флага затменной двойной), поэтому если назвать каждый TOI планетой, помеченный или нет, оценка будет нулевой. Контроли служат допуском к ранжированию и не входят в J, а списки контролей — собственный отчёт метода. Где интервалы перекрываются, порядок не является измеренным различием.
Подвыборка Sentinels 37 отложенных звёзд · без ранжирования
37 звёзд недостаточно, чтобы упорядочить эти конфигурации: подвыборка приводится списком, без ранжирования, и каждый интервал широк.
| Запись | J Юдена | Youden J, все звёзды | Чистая полнота, доступные для поиска CP/KP | Отклонение ложноположительных, находимые ложноположительные | Найдены повторно ниже 4 R⊕ | Инвертированный контроль: звёзды с любыми | Перемешанный контроль: звёзды с любым | Надёжность |
|---|---|---|---|---|---|---|---|---|
| Только Probesprobes-subsample · без настройки | +0.14-0.16 to +0.41 | +0.14-0.16 to +0.41 | 42%8/19 · 23–64% | 72%13/18 · 49–88% | 0%0/8 · 0–32% | 8%3/37 · 3–21% | 22%8/37 · 11–37% | 62%8/13 · 36–82% |
| Sentinel · только Skepticclaude-skeptic · без настройки | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | не измерено | не измерено | 69%9/13 · 42–87% |
| Sentinel · только Volunteerclaude-volunteer · не настроен ни на каких данных | +0.25-0.05 to +0.50 | +0.25-0.05 to +0.50 | 47%9/19 · 27–68% | 78%14/18 · 55–91% | 0%0/8 · 0–32% | не измерено | не измерено | 69%9/13 · 42–87% |
| Probes + Sentinels, оба (правило на уровне звезды, зафиксированное до оценки, а не консенсус панели)probes-and-sentinel · не настраивалось ни на чём | +0.25-0.04 to +0.50 | +0.25-0.04 to +0.50 | 42%8/19 · 23–64% | 83%15/18 · 61–94% | 0%0/8 · 0–32% | не измерено | не измерено | 73%8/11 · 43–90% |
| Probes + Sentinels, любой из них (правило на уровне звезды, зафиксированное до оценки, а не консенсус панели)probes-or-sentinel · без настройки | +0.08-0.22 to +0.36 | +0.08-0.22 to +0.36 | 47%9/19 · 27–68% | 61%11/18 · 39–80% | 0%0/8 · 0–32% | не измерено | не измерено | 56%9/16 · 33–77% |
Каждая ячейка: доля, затем k/n и 95% интервал Wilson, изображённый полосой от 0 до 100% (Youden J от −1 до +1, с отметкой на 0).
Строки Sentinel охватывают 37 звёзд. Их интервалы широки, две персоны используют одну модель (они согласны по 35 из 37 звёзд, φ = 0,88), поэтому они считаются одним коррелированным голосующим, а не двумя, и они никогда не запускались на контрольных кривых блеска. Строки Probes + Sentinels — это комбинации сохранённых результатов на уровне звёзд, заданные до оценки, а не запуск консенсуса панели.
Правила
- Оценивается только на отложенной половине замороженной выборки (TOI по чётности sha256(seed:TIC)); настроечная половина никогда не оценивается.
- Заявка перечисляет для каждой звезды из своего охвата события, обнаруженные её методом на реальной кривой блеска и на контрольных копиях с инвертированным и поблочно перемешанным потоком (время, длительность, период, собственный вердикт о прохождении и флаги). Таблица лидеров сама определяет, какие события лежат на эфемериде TOI (score_star и match_toi эталонного набора), и сама подсчитывает ложные срабатывания на контрольных данных. Самостоятельно заявленные результаты не принимаются.
- Ранжирование: J Юдена на доступном для поиска наборе, зафиксированном бенчмарком (звёзды с 2-минутной кривой блеска SPOC), с одним предикатом для обеих сторон — чистый кандидат (на эфемериде, прошёл проверку, без пометки затменной двойной): J = доля звёзд CP/KP, предложенных как чистые кандидаты, + доля звёзд FP, не предложенных, − 1, с интервалом Уилсона, объединённым методом «квадрат и сложение». Если называть каждый TOI планетой, с пометкой или без, получается J = 0; доступная для поиска звезда, отмеченная как непросмотренная, считается не предложенной. Рядом показан J по всем звёздам области. Там, где интервалы перекрываются, порядок не является измеренным различием.
- Контрольные наборы ограничивают ранжирование и не входят в J: ранжируются только отложенные записи с обоими контрольными списками для каждой исследованной звезды, остальные перечислены без ранга. Контрольные списки — собственный отчёт метода; таблица лидеров не может пересчитать их без кривых блеска. Подвыборка Sentinel никогда не ранжируется.
- Нижняя планка: базовая модель только по метаданным вообще не использует кривую блеска, а лишь публичный номер TOI, период, длительность, ошибки эфемерид и эпоху, с логистической регрессией, обученной на половине для настройки. Если метод её не превосходит, не показано, что он читает кривые блеска лучше, чем собственные метаданные каталога предсказывают диспозиции.
- В заявке указывается sha256 открытых входных данных, на которых она построена (настроечная половина с метками, отложенная половина без них). Любой другой хеш, tuned_on со значением, отличным от none или tuning, поле вне белого списка, отсутствующая или лишняя звезда либо отсутствие сведений о происхождении: отклоняется с перечислением причин.
- Хеш — это заверение: отложенные метки открыто лежат в репозитории, поэтому таблица лидеров не может доказать, что их не читали, а вердикты «пройдено» и контрольные события метода — это его собственный отчёт. Эти пробелы закрыли бы ложные кривые блеска, хранимые сопровождающими, и проспективная оценка на TOI, по которым ещё нет решения; ни того, ни другого пока нет.
- Отсев FP: звёзды с FP, чей провал TOI метод не предложил как чистый кандидат (восстановлен и не помечен). Надёжность: доля чистых кандидатов на провалах TOI, относящихся к CP/KP, при соотношении классов этой выборки, которое отличается от каталога TOI. Все доли приведены с 95% интервалами Wilson. Диспозиции TFOPWG служат эталоном, но не являются истиной в последней инстанции для каждого TOI.
- Измерено на заявленном бенчмарке; ничто в этой таблице лидеров не является открытием.
Формат отправки и правила отказа: docs/leaderboard/README.md. Оценить отправку: setuhq leaderboard <file>.
Замороженная выборка
- sha256 замороженной выборки
- 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
- sha256 открытых входных данных
- d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
- полная выборка (с отложенными метками), канонический sha256: отклоняется, если указан
- 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
- sha256 подвыборки Sentinel
- 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
- коммит кода бенчмарка
- 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc
Выборка: docs/results/benchmark_toi_sample.json. Публичные входные данные: docs/leaderboard/tuning_inputs.json. Диспозиции TFOPWG служат эталоном, а не истиной для каждого TOI.