7 ошибок прогнозиста: разбор на своих данных

Главные ошибки прогнозиста — не в том, что человек «не угадал матч», а в арифметике вокруг прогноза: слишком короткая серия, точность вместо прибыли, перемноженные зависимые события, вера в форму там, где работает случайность. Ниже семь таких ошибок, и у каждой есть число: считаем по нашей базе из 12 636 матчей трёх сезонов и по открытому трек-рекорду. Седьмую разбираем на себе — живая доля угаданных исходов у нас сейчас ниже бэктестовой.

Содержание:

• Ошибка 1. Судить по двадцати прогнозам
• Ошибка 2. Путать точность с прибылью
• Ошибка 3. Не знать базовых частот
• Ошибка 4. Перемножать зависимые события
• Ошибка 5. Верить форме больше, чем регрессии
• Ошибка 6. Не смотреть на линию
• Ошибка 7. Мерить себя одной долей угаданных
• Как эти ошибки выглядят на наших числах

Ошибка 1. Судить по двадцати прогнозам

Двадцать прогнозов — это не статистика, это анекдот. Доля попаданий на короткой серии скачет так широко, что по ней нельзя отличить работающий метод от случайного тыка, и это не фигура речи, а считаемая величина.

Стандартная ошибка доли равна корню из p × (1 − p) / n. Пусть из двадцати прогнозов зашли двенадцать — 60%. Подставляем: корень из 0,6 × 0,4 / 20 — это примерно 0,110. Обычный 95-процентный интервал шире стандартной ошибки в 1,96 раза, то есть ±21,5 процентного пункта. Честная формулировка результата: истинное качество метода где-то между 38% и 82%.

Вот как интервал сжимается с ростом выборки (доля 50%, ширина в каждую сторону):

Отсюда практическое правило: месячный отчёт телеграм-канала на сорока ставках не содержит информации о качестве отбора в принципе — какой бы процент там ни стоял. Подробно про длину дистанции и разброс разбираем в отдельной статье.

Ошибка 2. Путать точность с прибылью

Проходимость и прибыль связаны слабее, чем кажется, потому что попадание оплачивается коэффициентом, а промах стоит одинаково всегда. Метод с высокой долей попаданий может терять деньги, метод с низкой — зарабатывать.

Арифметика в две строки. Серия из 75% попаданий при среднем кэфе 1,25 возвращает 0,75 × 1,25 = 0,94 рубля с поставленного рубля: минус шесть копеек на дистанции. Серия из 40% попаданий при кэфе 3,00 даёт 0,40 × 3,00 = 1,20 — плюс двадцать копеек. Отбор во втором случае почти вдвое реже угадывает и при этом выигрывает.

Отсюда следствие, неудобное для витрин: любая заявленная проходимость без среднего коэффициента бессмысленна. Что такое проходимость и как её считают честно, разбирали в статье о проходимости.

Ошибка 3. Не знать базовых частот

Прогноз всегда сравнивается с чем-то. Если точки отсчёта нет, любое число выглядит убедительно — и 51%, и 71%. Базовая частота исходов и есть эта точка. Вот она по всем завершённым матчам нашей базы за сезоны 2023–2025, это 12 636 игр пятнадцати турниров:

Самый ленивый прогнозист на свете каждый раз ставит на хозяев и оказывается прав в 44,7% случаев. Именно с этим числом сравнивается всё остальное: ценность прогнозиста — только то, что он даёт сверх базы, а не весь его процент целиком.

База, впрочем, тоже не константа. В Лиге Европы хозяева побеждают в 49,9% матчей, а в Кубке России — в 38,4%: формат турнира сдвигает домашнее преимущество на одиннадцать с лишним пунктов. Разбор базовых раскладов — в статье об исходах 1X2.

Ошибка 4. Перемножать зависимые события

Классика ошибки: «обе забьют — примерно половина матчей, тотал больше 2,5 — тоже примерно половина, значит вместе четверть». Перемножение верно только для независимых событий, а эти два зависят друг от друга сильно: голы одной команды открывают игру и тянут за собой голы другой.

Проверяем на нашей базе. Слева — произведение двух частот, как если бы события были независимы; справа — сколько раз обе ноги действительно сошлись в одном матче:

Разрыв в полтора раза, и он в одну сторону во всех четырёх строчках. Перемножение занижает вероятность связки. В экспрессе к той же ошибке добавляется вторая, уже не про зависимость: вместе с коэффициентами перемножается и маржа каждой ноги, поэтому купон обходится дороже, чем те же ставки по отдельности. Про арифметику связок — в статьях об экспрессах и о связке «обе забьют плюс тотал».

Ошибка 5. Верить форме больше, чем регрессии

Серия побед выглядит как доказательство силы. Чаще это доказательство того, что серии случаются. Команда, у которой шансы в каждом матче ровно 50 на 50, выигрывает четыре подряд в 6,3% случаев — 0,5 в четвёртой степени. В лиге из шестнадцати клубов за сезон такая серия почти неизбежно случится у кого-нибудь, и рассказ про «команду поймала волну» напишется сам.

Второй источник обмана — крупные счета. Разница в три мяча и больше встречается в 16,4% матчей нашей базы, то есть примерно каждый шестой матч заканчивается разгромом. Два разгрома подряд — не смена класса, а нормальный хвост распределения.

Что с этим делать: смотреть не на последние пять результатов, а на то, за счёт чего они получены, и ждать возврата к среднему там, где серия построена на реализации. Мы разбирали механику этой иллюзии в статьях о форме и сериях и о «горячей руке».

Ошибка 6. Не смотреть на линию

Коэффициент — это уже прогноз, причём собранный из денег тысяч людей. Прогнозист, который не сравнил свою оценку с линией, работает вслепую: он не знает, спорит он с рынком или повторяет его.

Перевод простой: подразумеваемая вероятность равна единице, делённой на коэффициент. Кэф 1,30 означает 76,9% — заметно выше базовых 44,7% из третьего раздела, и это нормально: речь о конкретном фаворите, а не о среднем матче. Сумма подразумеваемых вероятностей по всем трём исходам всегда больше 100%; излишек и есть маржа букмекера, она вшита в линию.

Практический смысл сравнения — не «согласиться или поспорить», а понять размер расхождения. Мелкое расхождение съедается маржой, крупное чаще означает, что вы чего-то не знаете: линия двигалась, и двигалась не просто так. Механику перевода кэфов и движения линии разбирали в статье о коэффициентах, о марже и о движении линии.

Ошибка 7. Мерить себя одной долей угаданных

Доля угаданных исходов — метрика бинарная и потому грубая: она одинаково штрафует прогноз «51% на хозяев» и «85% на хозяев», если хозяева проиграли. Для вероятностного прогноза важнее, совпадают ли заявленные проценты с реальными частотами. Это калибровка.

Наш полный набор метрик на бэктесте — модель прогоняется по прошлым матчам так, как будто считает их заранее, без доступа к результату:

Расшифровка одной строки: ECE 0,007 означает, что в среднем модель промахивается мимо собственного обещания на 0,7 процентного пункта. Когда на карточке написано 60%, это действительно примерно шесть случаев из десяти. Сервис, у которого нет ни одной метрики такого рода, себя просто не измерял — что с этим делать читателю, разбирали в статье о точности и о математических прогнозах.

Как эти ошибки выглядят на наших числах

Теперь честно про себя, потому что все семь ошибок легко совершить в свою пользу. Наш живой трек-рекорд — прогнозы, зафиксированные до начала матча и оценённые после финального свистка, — даёт 162 попадания в 329 матчах, это 49,2%. Бэктест на 21 544 матчах даёт 51,2%. Два процентных пункта разницы.

Соблазн номер один — объяснить разрыв составом выборки и на этом успокоиться. Состав действительно перекошен: 192 матча из 329 — квалификация еврокубков, где встречаются клубы из разных стран, никогда друг с другом не игравшие.

Соблазн номер два — прочитать эту таблицу как открытие: «в квалификации модель работает лучше». Здесь и включается первая ошибка из списка. При 137 матчах интервал вокруг 45,3% — около ±8,3 пункта, при 192 матчах вокруг 52,1% — около ±7,1. Интервалы перекрываются почти целиком, и разрез по турнирам на такой выборке ничего не доказывает. Через сотню матчей строчки могут поменяться местами — так уже бывало.

Поэтому единственный корректный вывод из живых 49,2% звучит скучно: выборка мала, разница с бэктестом укладывается в шум, судить рано. Проверять нас на этом можно в открытом трек-рекорде — он обновляется после каждого сыгранного матча, включая матчи, где модель ошиблась. Что модель говорит про ближайшие туры — в каталоге матчей.

Общее у всех семи ошибок одно: каждая заменяет расчёт впечатлением. Считать интервал, знать базу, помнить про зависимость событий и смотреть на линию — работа скучная, но именно она отделяет прогноз от истории про то, кто сегодня на кураже.