Калибровка вероятностей: как проверить футбольный прогноз

Калибровка вероятностей показывает, согласуются ли заявленные шансы с частотой событий. Если модель много раз назначает командам примерно 60% на победу, такие команды должны выигрывать примерно шесть матчей из десяти на достаточно большой сопоставимой выборке. Одна победа или одно поражение не проверяют это свойство. Для футбола важно сохранять прогноз до стартового свистка, учитывать все исходы и не подбирать удобный период после просмотра результатов.

Почему правильный фаворит ещё не означает правильные шансы

Две модели называют одну команду фаворитом. Первая назначает ей 55%, вторая — 90%. Команда выигрывает, и обе получают одинаковую отметку в таблице «угадано». Но второе утверждение было гораздо сильнее первого. Если такие фавориты регулярно проигрывают, это различие нельзя увидеть по одному счётчику побед.

Доля угаданных исходов отвечает на полезный, но узкий вопрос: как часто победил выбранный вариант. Калибровка задаёт другой: соответствует ли числу на экране частота события. Модель может хорошо расставлять команды по силе и систематически завышать уверенность. Может также давать осторожные вероятности, плохо различая сильные и слабые команды. Поэтому качество нельзя свести к одному числу без объяснения задачи.

Для исхода 1X2 у матча три вероятности, сумма которых равна 100%. При ничьей нужно оценить и назначенный ей шанс, и шансы двух побед. Нельзя удалить ничьи из выборки после того, как они испортили результат: это уже другая задача. Отдельное объяснение выбора метрики есть в материале о точности футбольных прогнозов.

Учебная таблица: три группы вероятностей

Ниже полностью вымышленные данные для проверки арифметики. Это не результаты модели ГолПульса, не её параметры и не оценка предстоящих игр. Для простоты рассматриваем двоичное событие: «команда выиграла» или «не выиграла». Во всех десяти наблюдениях каждой группы вероятность одинакова.

На этой маленькой таблице назначенные вероятности совпали с долями побед. Это иллюстрация хорошего совпадения, а не доказательство устойчивой калибровки. Если в последней строке заменить одну победу поражением, наблюдаемая доля станет 70%. При десяти матчах один результат перемещает её сразу на десять процентных пунктов.

В реальном журнале прогнозы редко повторяют ровно одно число. Приходится объединять близкие вероятности в интервалы. Тогда рядом нужны средняя прогнозная вероятность, фактическая доля и число наблюдений. Строка «50–60%» без среднего скрывает различие между группой, почти целиком состоящей из 50%, и группой, сосредоточенной у 60%.

Границы интервалов выбирают до оценки. Если менять их до тех пор, пока картинка не станет аккуратной, проверка перестаёт быть независимой. Полезно показать, насколько вывод меняется при разумном другом разбиении, но не выдавать самый красивый вариант за единственный результат исследования.

Brier score: цена расстояния между вероятностью и результатом

Для двоичного события обозначим прогноз через p, результат через y: единица при победе и ноль иначе. Ошибка одного наблюдения равна (p − y)², итоговый Brier score — среднее этих ошибок. Меньше значит лучше при одинаковой задаче и одной выборке.

В первой строке учебной таблицы две победы дают ошибки (0,2 − 1)² = 0,64, восемь непобед — 0,2² = 0,04. Средняя ошибка строки составляет (2 × 0,64 + 8 × 0,04) / 10 = 0,16. Во второй строке аналогичный расчёт даёт 0,24, в третьей — 0,16. Среднее по всем тридцати событиям равно 0,1867 после округления.

Здесь хорошо видна ловушка: идеально совпавшие частоты не обнуляют Brier score. Результаты вероятностных событий различаются. Метрика одновременно отражает несколько свойств прогноза, поэтому меньший Brier сам по себе не доказывает именно лучшую калибровку. Нужны также таблица частот и понимание того, насколько модель различает ситуации разной сложности.

В задаче 1X2 можно суммировать квадраты ошибок по трём классам, затем усреднять по матчам. Встречается также деление этой суммы пополам. Обе шкалы надо подписывать: сравнивать 0,4 по одной формуле с 0,3 по другой нельзя. Для наших учебных расчётов ниже используется сумма по трём классам без деления на два; это явно заданная шкала примера, не утверждение о внутренней реализации сервиса.

Три футбольных примера без подмены вероятности выбором

Возьмём ещё три вымышленных матча. Вероятности заданы в порядке П1, Х, П2; фактические исходы указаны отдельно.

Для матча А расчёт равен (0,60 − 1)² + 0,25² + 0,15² = 0,245. Среднее трёх строк — 0,4683. Два наиболее вероятных исхода выиграли, один проиграл; доля попаданий равна двум третям. Эти два показателя описывают разные стороны одних прогнозов и не заменяют друг друга.

Не сравнивайте двоичный результат 0,1867 из предыдущего раздела с трёхклассовым 0,4683 как соревнование моделей. У них разные задачи, формулы и наблюдения. Сравнение начинается с одинакового списка матчей, одного момента фиксации и единого определения результата.

Log-loss: что происходит с чрезмерной уверенностью

Log-loss берёт отрицательный натуральный логарифм вероятности реально случившегося исхода. Если победившему исходу назначили 0,60, ошибка равна приблизительно 0,511; если только 0,10 — приблизительно 2,303. Уверенное отрицание произошедшего события получает большой штраф.

Для трёх матчей выше нужно усреднить −ln(0,60), −ln(0,50) и −ln(0,30). Получится 0,8026. Для тридцати двоичных наблюдений учебной таблицы — 0,5579. Оба результата можно воспроизвести обычным калькулятором с натуральным логарифмом. Не заменяйте его десятичным без изменения подписи шкалы.

Нулевая вероятность случившегося события делает теоретическую ошибку бесконечной. Если программа ограничивает вероятности перед вычислением, правило ограничения нужно объявить заранее. Иначе две реализации могут дать разные числа даже на одном журнале. Точные нули и единицы особенно сильны как обещания; в футболе они требуют оснований, которых обычно нет.

Как и Brier score, log-loss не является отдельным измерителем только калибровки. Он оценивает вероятностный прогноз целиком. Разбор этих различий в документации scikit-learn и исследование proper scoring rules приведены в источниках; арифметика таблиц выше выполнена специально для этого справочника.

Как организовать проверку без подсматривания

Сначала фиксируют задачу: исход основного времени, тотал или другое событие. Затем — момент получения прогноза. Предматчевую модель нельзя оценивать числом, пересчитанным после гола. Для основного времени отдельно исключают дополнительное время и серию пенальти; подробнее — о периодах футбольного матча.

Период обучения и период проверки разделяют по времени. Если способ корректировки вероятностей выбрали на результатах весны, ту же весну нельзя считать независимым тестом. После выбора настройки нужен следующий, ранее не использованный период. При обновлениях сохраняют версию метода, чтобы поздняя хорошая версия не переписала историю ранних ошибок.

Список матчей должен быть полным в пределах заранее объявленного покрытия. Нельзя оставлять только игры с удачным прогнозом, удобной лигой или красивым коэффициентом. Исключения допустимы, если понятна их причина и она применена одинаково ко всем результатам. Полезно отдельно назвать сколько игр исключено и сколько осталось.

Наконец, нужен базовый ориентир. Сравнение двух методов проводят на тех же играх; простую базовую модель описывают до расчёта. Улучшение на сотой доле метрики не следует объявлять устойчивым без оценки неопределённости и проверки по периодам. Для командных видов спорта наблюдения могут быть зависимыми: одна команда участвует во многих матчах, а два прогноза сторон относятся к одной игре.

Что можно проверить на ГолПульсе

В открытом архиве прогнозов смотрите опубликованный результат, момент фиксации и перечень учтённых матчей. Завершённая карточка помогает сопоставить прогноз и итог; общая статья о математических прогнозах объясняет назначение вероятностей. Учебные таблицы этой страницы не заменяют проверку конкретной версии модели на её реальных данных.

Проверяющий должен различать отсутствие наблюдения и поражение, технический результат и сыгранный матч, итог 90 минут и счёт после овертайма. Одна неверная конвенция способна изменить метрику без изменения качества прогноза. Поэтому подпись выборки не менее важна, чем количество знаков после запятой.

Не ищите единственный порог «хорошей модели» вне контекста лиг, периода и задачи. Сначала установите, что числа относятся к сопоставимым прогнозам. Затем проверьте частоты по группам, общие ошибки и устойчивость результата. Даже аккуратная проверка прошлого оставляет неопределённость будущего; вероятность остаётся описанием возможных исходов, а не гарантией выигрыша.