Методи, оцінені наосліп на справжніх TOI.

Публічний рейтинг на замороженому бенчмарку справжніх TOI: виявлені події кожного подання, оцінені самим рейтингом лише на відкладеній половині, з 95% інтервалами Вілсона. Це не пороговий огляд ін'єкцією (docs/threshold_sweep.md), який налаштовує пороги Probe на синтетичних кривих блиску.

Виміряно на заявленому бенчмарку; ніщо тут не є відкриттям. Sentinels типово працюють на Claude (Anthropic); інші постачальники підтримуються й позначаються. Probes — детерміновані детектори з узгодженим фільтром.

Відкладена половина кожна відкладена зоря

Бенчмарк не може показати, що Probes читають криві блиску краще, ніж метадані каталогу передбачають диспозиції (парне ΔJ (floor − Probes) = +0.039, 95% ДІ від -0,096 до +0.173, P(ΔJ ≤ 0) = 0,29).

Ранг	Запис	Youden J	J Юдена, усі зорі	Чиста повнота, придатні для пошуку CP/KP	Відхилення FP, FP для пошуку	Виявлено повторно нижче 4 R⊕	Інвертований контроль: зорі з будь-якими	Контроль із перемішуванням: зорі з будь-яким	Надійність
1інтервал перекривається з #2	Лише метадані, без кривої блиску (нижня межа)metadata-baseline · tuned on tuning	+0.39+0.27 to +0.49	+0.46+0.35 to +0.55	76%114/150 · 69–82%	63%78/124 · 54–71%	70%32/46 · 55–81%	54%166/309 · 48–59%	54%166/309 · 48–59%	69%114/166 · 61–75%
2інтервал перекривається з #1	Лише Probesprobes · не налаштовано на жодних	+0.35+0.23 to +0.45	+0.40+0.29 to +0.49	60%90/150 · 52–67%	75%93/124 · 67–82%	17%8/46 · 9–31%	22%67/309 · 17–27%	25%78/309 · 21–30%	72%90/125 · 64–79%

Кожна клітинка: частка, потім k/n та інтервал Wilson 95%, показаний смугою від 0 до 100% (Youden J від −1 до +1, з позначкою на 0). Упорядковано за Youden J на наборі для пошуку, зафіксованому бенчмарком, з одним предикатом з обох боків (чистий кандидат: на ефемериді, пройшов, без прапорця затемнювано-подвійної), тож якщо назвати кожен TOI планетою, позначений чи ні, результат нульовий. Контролі обмежують ранжування і не входять до J, а контрольні списки — це власний звіт методу. Там, де інтервали перекриваються, порядок не є виміряною різницею.

Підвибірка Sentinels 37 відкладених зір · без ранжування

37 зір не дозволяють упорядкувати ці конфігурації: підвибірку лише наведено, без ранжування, і кожен інтервал широкий.

Запис	Youden J	J Юдена, усі зорі	Чиста повнота, придатні для пошуку CP/KP	Відхилення FP, FP для пошуку	Виявлено повторно нижче 4 R⊕	Інвертований контроль: зорі з будь-якими	Контроль із перемішуванням: зорі з будь-яким	Надійність
Лише Probesprobes-subsample · tuned on none	+0.14-0.16 to +0.41	+0.14-0.16 to +0.41	42%8/19 · 23–64%	72%13/18 · 49–88%	0%0/8 · 0–32%	8%3/37 · 3–21%	22%8/37 · 11–37%	62%8/13 · 36–82%
Sentinel · лише Skepticclaude-skeptic · tuned on none	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	не виміряно	не виміряно	69%9/13 · 42–87%
Sentinel · лише Volunteerclaude-volunteer · без налаштування	+0.25-0.05 to +0.50	+0.25-0.05 to +0.50	47%9/19 · 27–68%	78%14/18 · 55–91%	0%0/8 · 0–32%	не виміряно	не виміряно	69%9/13 · 42–87%
Probes + Sentinels, обидва (правило на рівні зорі, зафіксоване до оцінювання, а не консенсус панелі)probes-and-sentinel · tuned on none	+0.25-0.04 to +0.50	+0.25-0.04 to +0.50	42%8/19 · 23–64%	83%15/18 · 61–94%	0%0/8 · 0–32%	не виміряно	не виміряно	73%8/11 · 43–90%
Probes + Sentinels, будь-який (правило на рівні зорі, зафіксоване до оцінювання, а не консенсус панелі)probes-or-sentinel · не налаштовано ні на чому	+0.08-0.22 to +0.36	+0.08-0.22 to +0.36	47%9/19 · 27–68%	61%11/18 · 39–80%	0%0/8 · 0–32%	не виміряно	не виміряно	56%9/16 · 33–77%

Кожна клітинка: частка, потім k/n та інтервал Вілсона 95%, показаний смугою від 0 до 100% (Youden J від −1 до +1, з позначкою на 0).

Рядки Sentinel охоплюють 37 зір. Їхні інтервали широкі, дві персони використовують одну модель (вони збігаються щодо 35 з 37 зір, φ = 0,88), тож їх зараховано як одного корельованого голосувальника, а не двох, і їх ніколи не запускали на контрольних кривих блиску. Рядки Probes + Sentinels — це комбінації збережених результатів на рівні зорі, визначені до оцінювання, а не запуск консенсусу панелі.

Правила

Оцінено лише на відкладеній половині зафіксованої вибірки (TOI за парністю sha256(seed:TIC)); половина для налаштування ніколи не оцінюється.
Подання містить для кожної зорі зі своєї області події, які його метод виявив на реальній кривій блиску та на контролях з інвертованим потоком і перемішаними блоками (час, тривалість, період, власний вердикт проходження і прапорці). Таблиця лідерів сама визначає, які події лежать на ефемериді TOI (score_star і match_toi бенчмарку), і сама підраховує хибні тривоги на контролях. Самостійно повідомлені результати не приймаються.
Рейтинг: Youden's J на доступній для пошуку множині, зафіксованій бенчмарком (зорі з 2-хвилинною кривою блиску SPOC), з одним предикатом для обох сторін — чистий кандидат (на ефемериді, пройшов, без позначки затемнюваної подвійної): J = частка зір CP/KP, запропонованих як чисті кандидати + частка зір FP, не запропонованих, − 1, з інтервалом Wilson, поєднаним методом square-and-add. Якщо назвати кожен TOI планетою, з позначкою чи без, J = 0; доступна для пошуку зоря, позначена як непошукана, вважається незапропонованою. Поруч показано J для всіх зір охоплення. Там, де інтервали перекриваються, порядок не є виміряною різницею.
Контролі обмежують ранжування й не входять до J: ранжуються лише відкладені записи з обома контрольними списками для кожної дослідженої зорі, інші наведено без рангу. Контрольні списки — це власний звіт методу; таблиця лідерів не може переобчислити їх без кривих блиску. Підвибірку Sentinel ніколи не ранжують.
Нижня межа: базова модель лише за метаданими взагалі не використовує кривої блиску, лише публічний номер TOI, період, тривалість, похибки ефемерид та епоху, з логістичною регресією, підігнаною на половині для налаштування. Для методу, який її не перевершує, не показано, що він читає криві блиску краще, ніж власні метадані каталогу передбачають диспозиції.
У поданні вказується sha256 публічних вхідних даних, на основі яких його створено (половина для налаштування з мітками, відкладена половина без них). Будь-який інший хеш, tuned_on зі значенням, відмінним від none або tuning, поле поза білим списком, відсутня або зайва зоря чи відсутнє походження: відхиляється з переліком причин.
Хеш є засвідченням: відкладені мітки публічно доступні в репозиторії, тож таблиця лідерів не може довести, що їх не прочитали, а вердикти «пройдено» та контрольні події методу є його власним звітом. Ці прогалини закрили б криві блиску-приманки, що зберігаються в супровідників, і проспективне оцінювання на TOI, які ще не мають статусу; ні того, ні іншого поки немає.
Відхилення FP: зорі FP, чий провал TOI метод не запропонував як чистого кандидата (відновлено і не позначено). Надійність: частка чистих кандидатів на провалах TOI, які є CP/KP, за класовим складом цієї вибірки, що відрізняється від складу каталогу TOI. Усі частоти наведено з інтервалами Wilson 95%. Диспозиції TFOPWG є еталоном, а не беззаперечною істиною для кожного TOI.
Виміряно на заявленому бенчмарку; ніщо в цій таблиці лідерів не є відкриттям.

Формат подання та правила відмови: docs/leaderboard/README.md. Оцініть подання командою setuhq leaderboard <file>.

Заморожена вибірка

sha256 замороженої вибірки: 6f0e111ec8d2c38d3e7927505f0be4a2c7fae8b73d7cc17c37646baedf044cac
sha256 публічних вхідних даних: d0e4f2d9c5538800e9a34d018757f99e1d1672060e71ae56bbaf87fcaf0c15b4
повна вибірка (з відкладеними мітками), канонічний sha256: відхиляється, якщо зазначено: 3d420ac0bc628e2fe02b0c3b4c73b287f75a6ee2be351bf42011497d7e45c3cf
sha256 підвибірки Sentinel: 999c61bddc47cae0f47674ea77e1524c77697ad7da35d52f2abd7578924016b2
коміт коду бенчмарку: 0ae8ccf0a23502a2324759a23a7d5ca277d63bcc

Вибірка: docs/results/benchmark_toi_sample.json. Публічні вхідні дані: docs/leaderboard/tuning_inputs.json. Диспозиції TFOPWG є еталоном, а не беззаперечною істиною для кожного TOI.