Pinnacle против FiveThirtyEight: сравнение успешности прогнозов

Александр Петраш

FiveThirtyEight — известный источник прогнозов на футбольные матчи. Насколько же верны эти прогнозы? Выигрывают ли они в сравнении с коэффициентами Pinnacle? Представляют ли они ценность для игроков? Читайте дальше и узнайте ответы на эти вопросы.

Pinnacle против FiveThirtyEight: сравнение успешности прогнозов

Pinnacle против FiveThirtyEight: сравнение успешности прогнозов

FiveThirtyEight — известный источник прогнозов на футбольные матчи. Насколько же верны эти прогнозы? Выигрывают ли они в сравнении с коэффициентами Pinnacle?

Букмекерские коэффициенты представляют собой главными образом прямые прогнозы относительно вероятности исходов спортивных состязаний. Они выражаются в десятичном формате, и нужно просто преобразовать число, чтобы узнать процент вероятности (останется только выполнить еще некоторые действия по отделению букмекерской маржи). Например, коэффициент 2,50 (из которого уже исключена маржа) подразумевает вероятность наступления определенного исхода 1/2,50; 0,4, или 40 %.

Безусловно, букмекеры могут ошибаться. Их ошибки открывают перед клиентами возможности для определения ожидаемой доходности и получения долгосрочной прибыли. Однако читателям должно быть известно мое мнение о том, что ошибки Pinnacle (по крайней мере на рынке ставок на футбольные матчи) разбросаны случайным образом и в среднем коэффициенты этого букмекера являются достоверным отражением шансов на тот или иной исход. Исходя из этого, лучшим вариантом можно считать коэффициенты линии закрытия, которые можно использовать для вычисления ожидаемой прибыли игрока.

При этом существуют другие группы прогнозистов, которые предлагают прогнозы относительно результатов футбольных матчей. Один из популярнейших ресурсов — блог Fivethirtyeight.com, посвященный прогнозам в сферах политики, экономики и спорта, который был создан Нейтом Сильвером (Nate Silver), американским статистиком, в прошлом игроком в покер и автором книги The Signal and the Noise. Нейт приобрел известность после того, как в 2008 году точно назвал результаты президентских выборов в 49 из 50 штатов, а четыре года спустя — во всех 50.

С точки зрения спортивного фаната или игрока, размещающего ставки, прогнозы исходов матчей FiveThirtyEight особенно полезны, поскольку четко обозначают возможности победы хозяев, гостей и ничьей. Преобразовав такие прогнозы, можно быстро получить чистые коэффициенты. Цель игрока, использующего стратегию ставок на завышенные коэффициенты, заключается в определении чистых коэффициентов, которые точнее отражают вероятность, чем коэффициенты букмекера. Если игроку это удается, то ему остается только размещать ставки с коэффициентами букмекера, когда последние особенно высоки. Получение долгосрочной прибыли — это верный признак использования более точных коэффициентов, чем у букмекера. Во время написания этой статьи я сотрудничал с @PlusEVAnalytics, чтобы выяснить, справляется ли FiveThirtyEight со своей задачей.

Модель прогнозирования исходов футбольных матчей FiveThirtyEight

Прогнозы исходов футбольных матчей начали публиковать на сайте FiveThirtyEight с января 2017 года, хотя их база данных результатов охватывает период с августа 2016 года. Методология авторов прогнозов основана на использовании «существенно измененной версии рейтинга Soccer Power Index (SPI) спортивного канала ESPN», изначально разработанного Нейтом Сильвером. В этом рейтинге с помощью показателя ожидаемых голов (xG) и результатов статистического анализа с распределением Пуассона генерируется матрица возможных результатов матча, позволяющая рассчитать вероятность победы хозяев, гостей и ничьей.

Авторы FiveThirtyEight считают, что их прогнозы для футбольных матчей достаточно хороши, аргументируя это большей ценностью по сравнению с догадками непрофессионалов. В этом отношении я уверен в их правоте, но превосходят ли эти прогнозы предполагаемые вероятности Pinnacle? Давайте рассмотрим этот вопрос.

Могут ли прогнозы FiveThirtyEight принести прибыль?

Совместив базу данных коэффициентов линии закрытия Pinnacle за прошедшие периоды и предполагаемые вероятности, опубликованные ресурсом FiveThirtyEight, я подготовил выборку из 16 635 матчей европейских футбольных лиг, сыгранных за период с 12 августа 2016 года по 31 марта 2019 года, и в совокупности проанализировал 49 905 пар коэффициентов для победы хозяев, гостей и ничьей.

В 20 093 случаях коэффициенты линии закрытия Pinnacle были крупнее предполагаемых вероятностей, спрогнозированных ресурсом FiveThirtyEight. Средняя величина перевеса этих коэффициентов (со средним значением 4,12) составила 16,2 %. Это означает, что размещая одноуровневые ставки с предложенными коэффициентами, мы получили бы прибыль около 16,2 % с учетом того, что коэффициенты FiveThirtyEight в среднем являются точным и эффективным отражением «истинных» коэффициентов. На деле эти коэффициенты продемонстрировали убыток на –6,0 %, еще более низкий показатель, чем убыток от размещенных со всеми 49 905 коэффициентами ставок в размере –4,3 % (хотя эта разница не считается статистически значимой).

На первой из приведенных ниже диаграмм показано, что с помощью предполагаемых шансов, выраженных в коэффициентах FiveThirtyEight, не удалось предсказать фактический доход от размещения коэффициентов линии закрытия Pinnacle. Разделив коэффициенты линии закрытия Pinnacle на величину предполагаемых шансов FiveThirtyEight, мы получим ожидаемый доход от соответствующей ставки с учетом того, что гипотеза о точности коэффициентов FiveThirtyEight верна.

Если сгруппировать ставки в соответствии с приростом ожидаемого дохода (с коэффициентом разделения 0,01), станет очевидно, что ожидаемый доход абсолютно не коррелирует с фактическим доходом от ставок. Независимо то отношения коэффициентов линии закрытия Pinnacle к предполагаемым шансам FiveThirtyEight, средний результат — это убыток в размере около –6 %. Напрашивается вывод о том, что коэффициенты FiveThirtyEight не имеют прогностической ценности в сравнении с коэффициентами линии закрытия Pinnacle.

Что будет, если посмотреть на ситуацию под другим углом? А теперь давайте представим, что FiveThirtyEight — это букмекер, а Pinnacle — прогностическая модель. Тогда ожидаемый доход будет измеряться результатом отношения коэффициентов FiveThirtyEight к чистым коэффициентам линии закрытия Pinnacle (после отделения маржи).

При размещении ставок с «коэффициентами» FiveThirtyEight в 25 557 случаях, когда они превосходили чистые коэффициенты Pinnacle, фактический доход составил 15,5 %, что приближено к средней величине перевеса 15,9 % (со средним значением коэффициентов 4,49). Диаграмма разброса данных подтверждает сильную корреляцию между ожидаемой и фактический прибылью в рамках обратной гипотезы. Показатель наклона линии тренда почти равен 1, а сама линия проходит через начало координат (см. уравнение y = mx + c на графике), что свидетельствует о средней высокой эффективности коэффициентов линии закрытия Pinnacle, а не данных FiveThirtyEight.

Яблоки и апельсины

После того как я опубликовал эти выводы в своей ленте Твиттер в апреле, мне справедливо указали на то, что мы сравниваем яблоки и апельсины. Прогнозируемые вероятности FiveThirtyEight вычисляются до начала запланированных игр, а окончательная оценка вероятности публикуется после окончания предпоследнего матча команды. До интересующей вас запланированной игры может пройти несколько дней. Качество прогнозов этого ресурса напрямую связано с качеством информации, которой располагали на тот момент времени авторы.

Коэффициенты линии закрытия Pinnacle, напротив, отражают информацию, доступную на рынке на момент начала конкретного матча. Это касается таких факторов, как травмы игроков, изменения в составе команд, погодные условия и состояние футбольного поля, которые не могут быть учтены в прогнозах FiveThirtyEight.

Чтобы подготовить абсолютно честную модель сравнения с коэффициентами линии закрытия Pinnacle, необходимо использовать спрогнозированные вероятности, публикуемые ресурсом FiveThirtyEight в аналогичный момент времени, то есть на начало матча. Но это невозможно. С другой стороны, мы можем взять коэффициенты Pinnacle, действительные на момент, когда ресурс FiveThirtyEight опубликует окончательные спрогнозированные вероятности исхода матча. К сожалению, у меня нет данных о времени расчета коэффициентов Pinnacle, а если бы они и были, могу предположить, что публикация коэффициентов линии открытия зачастую происходила бы после публикации окончательных прогнозов FiveThirtyEight.

Тем не менее использование коэффициентов линии открытия Pinnacle потенциально позволит провести более честное сравнение моделей, чем использование коэффициентов линии закрытия. Предлагаю оценить результат. В 18 952 случаях коэффициенты линии открытия Pinnacle были крупнее показателей FiveThirtyEight (в среднем — 3,97), при этом средняя величина перевеса составила 14,2 %. В этих случаях был получен убыток в размере –4,1 %, что стало несколько лучшим результатом (но не значительно со статистической точки зрения), чем убыток –4,4 % при размещении всех 49 905 ставок. И снова мы наблюдаем небольшую корреляцию между ожидаемым и фактическим доходами.

Как и ранее, при подготовке обратной модели сравнения (с использованием коэффициентов линии открытия Pinnacle в качестве «эталона истины»), корреляция оказалась намного сильнее — не такой точной, как в случае с коэффициентами линии закрытия, но приближенной к равенству. При размещении ставок с «коэффициентами» FiveThirtyEight в 25 775 случаях, когда они превосходили чистые коэффициенты Pinnacle, фактический доход составил 12,8 %, что опять-таки довольно близко к средней величине перевеса 14,8 % (со средним значением коэффициентов 4,54).

Сигнал и шум

После публикации коэффициентов линии открытия в Твиттере @PlusEVAnalytics, соавтор этой статьи, отметил, что «ответ на вопрос о превосходстве прогнозов FiveThirtyEight над коэффициентами Pinnacle лежит на поверхности».

Вероятно, мы задавались таким вопросом и получили данные, которые говорят сами за себя. Похоже, информационная недостаточность прогнозируемых вероятностей FiveThirtyEight по сравнению с коэффициентами Pinnacle объясняется их менее своевременной публикацией и тем, что бизнес-модель Pinnacle направлена в первую очередь на точность коэффициентов, в то время как ресурс FiveThirtyEight носит развлекательный характер. Перед ним не стоит цель заработать на прогнозах, по крайней мере не напрямую. Справедливости ради стоит признать, что прогнозы FiveThirtyEight подготавливаются без учета возможности размещения ставок.

Однако @PlusEVAnalytics предложил провести интересный мысленный эксперимент. Объединив обе прогностические модели, чтобы создать третью, эффективность которой будет превышать отдельно взятые коэффициенты Pinnacle, мы сможем понять, есть ли в шуме прогнозов FiveThirtyEight сигналы, дополняющие сигналы коэффициентов Pinnacle.

До сих пор наш анализ сводился к выбору одного из двух вариантов — какая из двух прогностических моделей является более точным источником достоверной информации? Результаты оказались настолько же наглядными, насколько ожидаемыми. Давайте немного усложним условия и переформулируем вопрос следующим образом:

Пусть окончательная вероятность любого выбранного исхода = Z * (вероятность этого исхода согласно FiveThirtyEight) + (1 – Z) * (вероятность этого исхода согласно Pinnacle) для каждого заданного Z, когда 0 ≤ Z ≤ 1.

Какое значение Z максимально повысит прогностическую ценность окончательных вероятностей?

Эта модель обладает достаточной гибкостью для вычисления итоговых вероятностей исключительно на основе прогнозов FiveThirtyEight (если Z = 1), прогнозов Pinnacle (если Z = 0), а также на основе любого промежуточного варианта (если Z находится в диапазоне между 0 и 1).

Каким образом можно найти оптимальное значение Z? Существует несколько возможных путей, но мы прибегнем к оценке методом максимального правдоподобия (MLE). Цель MLE — обнаружить величину(-ы) одного или нескольких параметров, которые лучше всего подходят к набору наблюдаемых данных. Каким образом определить, насколько хорошо подходит параметр? Следует изучить степень правдоподобия, зависимую от значения неизвестного параметра, при наблюдении именно за тем, что уже попадало под наблюдение ранее.

В описанной выше модели используется единственный параметр — Z. Любое отдельное значение Z позволит рассчитать набор окончательных вероятностей победы хозяев, гостей или ничьей исходя из этого значения Z для каждого матча в этом наборе данных. Для каждого матча степень правдоподобия наблюдаемых значений того, что мы уже наблюдали ранее, является итоговой вероятностью победы хозяев, гостей или ничьей, если результатом матча стали победа хозяев, гостей или ничья соответственно. Например, при ничейном результате для вероятностей победы хозяев, гостей или ничьей 0,5, 0,3 и 0,2 степень правдоподобия наблюдаемых значений того, что мы уже наблюдали ранее, составляет 0,3.

Поскольку все матчи представляют собой независимые события, степень правдоподобия при наблюдении набора исходов, аналогичного наблюдаемым ранее, является произведением степеней правдоподобия для каждого отдельного матча. Полученное произведение — это наше целевое значение, которое мы пытаемся максимизировать посредством корректировки величины Z.

К сожалению, произведение 16 635 вероятностей бесконечно мало. Только представьте себе экспресс-ставку из 16 635 частей. Это создает трудность для вычисления MLE с использованием программных средств вроде Excel, которые не позволяют рассчитать малые значения ниже определенного порога, поскольку все более низкие значения округляются до нуля.

Чтобы обойти эту трудность, можно пойти путем максимизации логарифма степени правдоподобия. Абсолютное значение степени правдоподобия неприменимо для процедуры расчета MLE (значение имеет только характер изменения степени правдоподобия в зависимости от корректировки параметров), максимизация так называемой «логарифмической функции правдоподобия» с математической точки зрения эквивалентна в данной ситуации.

Помимо логарифмов итоговых вероятностей исходов матча вместо произведения мы будем находить сумму логарифмических функций правдоподобия. Выполнив анализ на имеющемся наборе данных, мы получим указанные ниже результаты.

При использовании коэффициентов линии закрытия Pinnacle логарифмическая функция правдоподобия достигает максимума при Z = 0. Другими словами, прогнозы FiveThirtyEight не вносят значимый вклад в модель итоговых прогнозов, если учитывать только прогнозы FiveThirtyEight и Pinnacle.

При использовании коэффициентов линии открытия Pinnacle логарифмическая функция правдоподобия достигает максимума при Z = 0,04. Иначе говоря, FiveThirtyEight повышает эффективность модели итоговых прогнозов на 4 %.

Рационализм моделей

Второй результат представляет особенный интерес. Если необходимо выбрать только один источник, то коэффициенты линии открытия Pinnacle обладают прогностической ценностью, которая объективно в значительной степени превышает ценность прогнозов FiveThirtyEight. Но есть одна хитрость…

Взвешенное среднее значение из комбинации 4 % прогнозов FiveThirtyEight и 96 % коэффициентов линии открытия Pinnacle обладает более высокой прогностической ценностью, чем любой из этих прогнозов по отдельности!

Что это означает для игроков? На деле, не очень много. Доля 4 % слишком мала для того, чтобы быть полезной, и статистически может быть признана незначимой. А что, если величина Z будет больше? И как изменится ситуация, если вместо двух у нас будет множество прогнозов, каждый с собственным значением Z? Перед нами вариант теории «коллективного разума», согласно которой комбинация из отдельных прогнозов может оказаться более ценной, чем один наиболее ценный из таких прогнозов.

По сути, именно это и делает коэффициенты Pinnacles такими точными (в среднем). Значения для линий задают наиболее опытные и квалифицированный трейдеры. Помимо этого, они позволяют вступить в игру другим профессиональным игрокам, а не препятствуют их поведению, благодаря чему значения линий корректируются, а коэффициенты становятся еще более точными и обоснованными. Коэффициенты линии закрытия Pinnacle представляют собой «рациональные прогностические модели» и отражают итоговые вероятности исхода. Возможно, именно поэтому у предсказаний FiveThirtyEight не было никаких шансов победить в этой борьбе.

Остались вопросы? Спросите у наших знатоков!
Комментарии
Подписка на прогнозиста
Подписка на автора

Уведомления о новых публикациях этого автора будут приходить на электронный адрес, указанный Вами при регистрации на "РБ"

Уведомления о новых прогнозах этого эксперта будут приходить на электронный адрес, указанный Вами при регистрации на "РБ"

Подписка на автора
Подписка на прогнозиста

Это значит что вы больше не будете получать уведомления о новых публикациях этого автора на ваш электронный адрес.

Это значит что вы больше не будете получать уведомления о новых прогнозах этого эксперта на ваш электронный адрес.

«РБ» рекомендует играть только в проверенных конторах.
Вы будете перенаправлены на сайт
Перейти на сайт