Калибровка и Brier score: как оценивать вероятностный прогноз
Формула Brier score для бинарного события, пример расчёта, reliability bins и объяснение, почему одного среднего балла недостаточно для оценки калибровки.
Что означает калибровка
Вероятностный прогноз — это число от 0 до 1, а не обещание исхода. Группа прогнозов с оценкой около 70% хорошо откалибрована, если событие в этой сопоставимой группе происходит примерно в 70% случаев. Это свойство группы, а не требование, чтобы каждый отдельный матч «выиграл» с долей 70%.
Brier score — средний квадрат ошибки между заявленной вероятностью и наблюдаемым бинарным исходом. Для одного события p — прогнозная вероятность, y равно 1, если событие произошло, и 0, если нет; ошибка (p − y)². Для N прогнозов складываем значения и делим на N. В бинарном варианте меньший балл означает меньшую среднюю квадратичную ошибку, но сопоставление требует одинакового набора событий и одного определения исхода.
Пример расчёта
Вы дали исходу вероятность p = 0,70. Если он наступил (y = 1), ошибка равна (0,70 − 1)² = 0,09. Если он не наступил (y = 0), ошибка равна (0,70 − 0)² = 0,49. Для серии из четырёх прогнозов со значениями 0,70/1, 0,70/0, 0,40/0 и 0,40/1 средний Brier score будет (0,09 + 0,49 + 0,16 + 0,36)/4 = 0,275.
Значение одного прогноза зависит от его уверенности и исхода. Один проигрыш при 70% не показывает, что модель «плохо калибрована»; для такой проверки нужно много прогнозов, сопоставимый состав событий и временной контроль. Если оценки выбирались после просмотра результата или записи проигрышей отсутствуют, анализ уже смещён; начните с полного журнала прогнозов.
Reliability bins и ограничения одного числа
Разбейте замороженные прогнозы на заранее выбранные интервалы вероятности, например 0,60–0,70 и 0,70–0,80. В каждом интервале сравните среднюю заявленную вероятность с фактической долей наступления события. Если в группе прогнозов 0,70–0,80 средняя вероятность 0,74, а исход произошёл в 0,62 случаев, это признак завышения в этой группе — с оговоркой о размере выборки. Публикуйте число наблюдений: несколько матчей в бин попадают под широкую случайную неопределённость.
Средний Brier score объединяет несколько аспектов вероятностного прогноза. Классическое разложение включает надёжность (reliability), разрешающую способность (resolution) и базовую неопределённость результата. Поэтому один и тот же балл не объясняет, хорошо ли прогнозы сгруппированы по вероятностям. Смотрите вместе на reliability-график, частоту исходов и размер сегментов; сравнивайте с простой базой на тех же матчах. Базовое понятие винрейта и его ограничения разобраны в руководстве о доле побед, а неопределённость оценки частоты — в материале о доверительном интервале.
Практическая проверка
Сохраняйте вероятность, рынок, время фиксации прогноза, доступные тогда данные и итог. Сначала отделите обучающий период от отложенного временного периода, затем рассчитывайте Brier и bins только на замороженной проверочной выборке. Не переобучайте корректировку на тех же данных и не подбирайте границы интервалов после того, как увидели красивую картинку.
Brier score — средство проверки вероятностных прогнозов, а не прибыльности ставки. Даже корректная калибровка не отменяет комиссию, цену, риск и неопределённость нового матча.