Pinnacle проти FiveThirtyEight: порівняння успішності прогнозів

Pinnacle проти FiveThirtyEight: порівняння успішності прогнозів

Букмекерські коефіцієнти – це прямі прогнози щодо ймовірності результатів спортивних змагань. Вони знаходять своє вираження в десятковому форматі, і потрібно просто перетворити число, щоб дізнатися відсоток ймовірності (залишиться тільки виконати ще деякі дії щодо відділення букмекерської маржі). Наприклад, коефіцієнт 2,50 (з якого вже виключена маржа) припускає можливість настання певного результату 1/2,50; 0,4, або 40%.

Безумовно, букмекери можуть помилятися

Безумовно, букмекери можуть помилятися. Їхні помилки відкривають перед клієнтами можливості для визначення очікуваної прибутковості і отримання довгострокового прибутку. Однак читачам повинно бути відомою моя думка про те, що помилки Pinnacle (принаймні на ринку ставок на футбольні матчі) розкидані випадковим чином і в середньому коефіцієнти цього букмекера є достовірним відображенням шансів на той чи інший результат. Виходячи з цього, кращим варіантом можна вважати коефіцієнти лінії закриття, які можна використовувати для обчислення очікуваного прибутку гравця.

При цьому існують інші групи прогнозистів, які пропонують прогнози щодо результатів футбольних матчів. Один з найпопулярніших ресурсів – блог Fivethirtyeight.com, присвячений прогнозам в сферах політики, економіки та спорту, який був створений Нейтом Сільвером (Nate Silver), американським статистиком, в минулому гравцем в покер і автором книги The Signal and the Noise. Нейт став відомим після того, як в 2008 році точно назвав результати президентських виборів в 49 з 50 штатів, а через чотири роки – у всіх 50.

З точки зору спортивного фаната або гравця, який розміщує ставки, прогнози результатів матчів FiveThirtyEight особливо корисні, оскільки чітко визначають можливості перемоги господарів, гостей і нічиєї. Перетворивши такі прогнози, можна швидко отримати чисті коефіцієнти. Мета гравця, котрий використовує стратегію ставок на завищені коефіцієнти, полягає у визначенні чистих коефіцієнтів, які точніше відображають ймовірність, аніж коефіцієнти букмекера. Якщо гравцеві це вдається, то йому залишається тільки розміщувати ставки з коефіцієнтами букмекера, коли останні особливо високі. Отримання довгострокового прибутку – це правильна ознака використання точніших коефіцієнтів, аніж у букмекера. Під час написання цієї статті я співпрацював з @PlusEVAnalytics, щоб з’ясувати, чи справляється FiveThirtyEight зі своїм завданням.

Модель прогнозування результатів футбольних матчів FiveThirtyEight

Прогнози результатів футбольних матчів почали публікувати на сайті FiveThirtyEight з січня 2017 року, хоча їх база даних результатів охоплює період з серпня 2016 року. Методологія авторів прогнозів заснована на використанні «істотно зміненої версії рейтингу Soccer Power Index (SPI) спортивного каналу ESPN», спочатку розробленого Нейт Сильвером. У цьому рейтингу за допомогою показника очікуваних голів (xG) і результатів статистичного аналізу з розподілом Пуассона генерується матриця можливих результатів матчу, що дозволяє розрахувати ймовірність перемоги господарів, гостей і нічиєї.

Автори FiveThirtyEight вважають, що їх прогнози для футбольних матчів досить гарні, аргументуючи це більшою цінністю в порівнянні з припущеннями непрофесіоналів. В цьому відношенні я впевнений в їх правоті, але перевершують ці прогнози передбачувані ймовірності Pinnacle? Давайте розглянемо це питання.

Чи можуть прогнози FiveThirtyEight принести прибуток?

Поєднавши базу даних коефіцієнтів лінії закриття Pinnacle за минулі періоди і прогнозовані ймовірності, опубліковані ресурсом FiveThirtyEight, я підготував вибірку з 16 635 матчів європейських футбольних ліг, зіграних за період з 12 серпня 2016 року по 31 березня 2019 року, і в сукупності проаналізував 49 905 пар коефіцієнтів для перемоги господарів, гостей і нічиєї.

У 20 093 випадках коефіцієнти лінії закриття Pinnacle були більші прогнозованих ймовірностей, передбачених ресурсом FiveThirtyEight. Середня величина переваги цих коефіцієнтів (із середнім значенням 4,12) склала 16,2%. Це означає, що розміщуючи однорівневі ставки з запропонованими коефіцієнтами, ми отримали б прибуток близько 16,2% з урахуванням того, що коефіцієнти FiveThirtyEight в середньому є точним і ефективним віддзеркаленням «істинних» коефіцієнтів. На ділі ці коефіцієнти продемонстрували збиток на 6,0%, ще нижчий показник, ніж збиток від розміщених з усіма 49 905 коефіцієнтами ставок в розмірі -4,3% (хоча ця різниця не вважається статистично значущою).

Коефіцієнти FiveThirtyEight не мають прогностичної цінності в порівнянні з коефіцієнтами лінії закриття Pinnacle

На першій з наведених нижче діаграм показано, що за допомогою прогнозованих шансів, виражених в коефіцієнтах FiveThirtyEight, не вдалося передбачити фактичний дохід від розміщення коефіцієнтів лінії закриття Pinnacle. Розділивши коефіцієнти лінії закриття Pinnacle на величину передбачуваних шансів FiveThirtyEight, ми отримаємо очікуваний дохід від відповідної ставки з урахуванням того, що гіпотеза про точність коефіцієнтів FiveThirtyEight правильна.

Якщо згрупувати ставки відповідно до приросту очікуваного доходу (з коефіцієнтом поділу 0,01), стане очевидно, що очікуваний дохід абсолютно не корелює з фактичним доходом від ставок. Незалежно від коефіцієнтів лінії закриття Pinnacle до передбачуваних шансів FiveThirtyEight, середній результат – це збиток в розмірі близько -6%. Напрошується висновок про те, що коефіцієнти FiveThirtyEight не мають прогностичної цінності в порівнянні з коефіцієнтами лінії закриття Pinnacle.

Що буде, якщо подивитися на ситуацію під іншим кутом? А тепер давайте уявимо, що FiveThirtyEight – це букмекер, а Pinnacle – прогностична модель. Тоді очікуваний дохід буде вимірюватися результатом відношення коефіцієнтів FiveThirtyEight до чистих коефіцієнтів лінії закриття Pinnacle (після відділення маржі).

При розміщенні ставок з «коефіцієнтами» FiveThirtyEight в 25 557 випадках, коли вони перевершували чисті коефіцієнти Pinnacle, фактичний дохід склав 15,5%, що наближено до середньої величини переваги 15,9% (із середнім значенням коефіцієнтів 4,49). Діаграма розкидання даних підтверджує сильну кореляцію між очікуваним і фактичним прибутком в рамках зворотної гіпотези. Показник нахилу лінії тренду майже дорівнює 1, а сама лінія проходить через початок координат (див. рівняння y = mx + c на графіку), що свідчить про середню високу ефективність коефіцієнтів лінії закриття Pinnacle, а не даних FiveThirtyEight.

Яблука і апельсини

Після того, як я опублікував ці висновки в своїй стрічці Твіттер у квітні, мені справедливо вказали на те, що ми порівнюємо яблука і апельсини. Прогнозовані ймовірності FiveThirtyEight обчислюються до початку запланованих ігор, а остаточна оцінка ймовірності публікується після закінчення передостаннього матчу команди. До запланованої гри може пройти кілька днів. Якість прогнозів цього ресурсу безпосередньо пов’язана з якістю інформації, яку мали на той момент часу автори.

Коефіцієнти лінії закриття Pinnacle, навпаки, відображають інформацію, доступну на ринку на момент початку конкретного матчу. Це стосується таких факторів, як травми гравців, зміни в складі команд, погодні умови і стан футбольного поля, які не можуть бути враховані в прогнозах FiveThirtyEight.

Щоб підготувати абсолютно чесну модель порівняння з коефіцієнтами лінії закриття Pinnacle, необхідно використовувати спрогнозовані ймовірності, що публікуються ресурсом FiveThirtyEight в аналогічний момент часу, тобто на початок матчу. Але це неможливо. З іншого боку, ми можемо взяти коефіцієнти Pinnacle, дійсні на момент, коли ресурс FiveThirtyEight опублікує остаточні спрогнозовані ймовірності результату матчу. На жаль, у мене немає даних про час розрахунку коефіцієнтів Pinnacle, а якби вони й були, можу припустити, що публікація коефіцієнтів лінії відкриття часто відбувалася б після публікації остаточних прогнозів FiveThirtyEight.

Як і раніше, при підготовці зворотної моделі порівняння (з використанням коефіцієнтів лінії відкриття Pinnacle як «еталон істини»), кореляція виявилася набагато сильнішою – не такою точною, як у випадку з коефіцієнтами лінії закриття, але наближеною до рівності. При розміщенні ставок з «коефіцієнтами» FiveThirtyEight в 25 775 випадках, коли вони перевершували чисті коефіцієнти Pinnacle, фактичний дохід склав 12,8%, що знову ж таки досить близько до середньої величини переваги 14,8% (із середнім значенням коефіцієнтів 4,54 ).

Сигнал і шум

Після публікації коефіцієнтів лінії відкриття в Твіттері @PlusEVAnalytics, співавтор цієї статті, зазначив, що «відповідь на питання про перевагу прогнозів FiveThirtyEight над коефіцієнтами Pinnacle лежить на поверхні».

Бізнес-модель Pinnacle спрямована в першу чергу на точність коефіцієнтів, в той час як ресурс FiveThirtyEight носить розважальний характер

Ймовірно, ми ставили питання та отримали дані, які говорять самі за себе. Схоже, інформаційна недостатність прогнозованих ймовірностей FiveThirtyEight в порівнянні з коефіцієнтами Pinnacle пояснюється їх менш своєчасною публікацією і тим, що бізнес-модель Pinnacle спрямована в першу чергу на точність коефіцієнтів, в той час як ресурс FiveThirtyEight носить розважальний характер. Перед ним не стоїть мета заробити на прогнозах, принаймні не безпосередньо. Справедливості заради варто визнати, що прогнози FiveThirtyEight готуються без урахування можливості розміщення ставок.

Однак @PlusEVAnalytics запропонував провести цікавий уявний експеримент. Об’єднавши обидві прогностичні моделі, щоб створити третю, ефективність якої буде перевищувати окремо взяті коефіцієнти Pinnacle, ми зможемо зрозуміти, чи є в шумі прогнозів FiveThirtyEight сигнали, що доповнюють сигнали коефіцієнтів Pinnacle.

Досі наш аналіз зводився до вибору одного з двох варіантів – яка з двох прогностичних моделей є точнішим джерелом достовірної інформації? Результати виявилися настільки ж наочними, наскільки очікуваними. Давайте трохи ускладнити умови і сформулюємо питання наступним чином:

Нехай остаточна ймовірність будь-якого обраного результату = Z * (ймовірність цього результату, згідно з FiveThirtyEight) + (1 – Z) * ​​(ймовірність цього результату, згідно з Pinnacle) для кожного заданого Z, коли 0 ≤ Z ≤ 1.

Яке значення Z максимально підвищить прогностичну цінність остаточних ймовірностей?

Ця модель володіє достатньою гнучкістю для обчислення підсумкових ймовірностей винятково на основі прогнозів FiveThirtyEight (якщо Z = 1), прогнозів Pinnacle (якщо Z = 0), а також на основі будь-якого проміжного варіанту (якщо Z знаходиться в діапазоні між 0 і 1).

Яким чином можна знайти оптимальне значення Z? Існує кілька можливих шляхів, але ми вдамося до оцінки методом максимальної правдоподібності (MLE). Мета MLE – виявити величину (-и) одного або декількох параметрів, які найкраще підходять до набору спостережуваних даних. Яким чином визначити, наскільки добре підходить параметр? Слід вивчити ступінь правдоподібності, залежну від значення невідомого параметру, при спостереженні саме за тим, що вже потрапляло під спостереження раніше.

В описаній вище моделі використовується єдиний параметр – Z. Будь-яке окреме значення Z дозволить розрахувати набір остаточних ймовірностей перемоги господарів, гостей або нічиєї виходячи з цього значення Z для кожного матчу в цьому наборі даних. Для кожного матчу ступінь правдоподібності значення того, що ми вже спостерігали раніше, є підсумковою ймовірністю перемоги господарів, гостей або нічиєї, якщо результатом матчу стали перемога господарів, гостей або нічия відповідно. Наприклад, при нічийному результаті для ймовірностей перемоги господарів, гостей або нічиєї 0,5, 0,3 і 0,2 ступінь правдоподібності значень того, що ми вже спостерігали раніше, становить 0,3.

Коефіцієнти лінії відкриття Pinnacle володіють прогностичною цінністю, яка об’єктивно перевищує цінність прогнозів FiveThirtyEight. Але є одна хитрість…

Оскільки всі матчі є незалежними подіями, ступінь правдоподібності при спостереженні набору результатів, аналогічного спостережуваним раніше, є добутком ступенів правдоподібності для кожного окремого матчу. Отриманий добуток – це наше цільове значення, яке ми намагаємося максимізувати за допомогою коректування величини Z.

На жаль, добуток 16 635 ймовірностей нескінченно малий. Тільки уявіть собі експрес-ставку з 16 635 частин. Це створює труднощі для обчислення MLE з використанням програмних засобів на кшталт Excel, які не дозволяють розрахувати мінімальні значення нижче певного порогу, оскільки все нижчі значення округлюються до нуля.

Щоб обійти ці труднощі, можна піти шляхом максимізації логарифму ступеня правдоподібності. Абсолютне значення ступеня правдоподібності застосовується для процедури розрахунку MLE (значення має тільки характер зміни ступеня правдоподібності в залежності від коригування параметрів), максимізація так званої «логарифмічної функції правдоподібності» з математичної точки зору еквівалентна в даній ситуації.

Крім логарифмів підсумкових ймовірностей результатів матчу замість добутку ми будемо знаходити суму логарифмічних функцій правдоподібності. Виконавши аналіз на наявному наборі даних, ми отримаємо такі результати.

При використанні коефіцієнтів лінії закриття Pinnacle логарифмічна функція правдоподібності досягає максимуму при Z = 0. Іншими словами, прогнози FiveThirtyEight не вносять значний внесок в модель підсумкових прогнозів, якщо враховувати тільки прогнози FiveThirtyEight і Pinnacle.

При використанні коефіцієнтів лінії відкриття Pinnacle логарифмічна функція правдоподібності досягає максимуму при Z = 0,04. Інакше кажучи, FiveThirtyEight підвищує ефективність моделі підсумкових прогнозів на 4%.

Раціоналізм моделей

Другий результат представляє особливий інтерес. Якщо необхідно вибрати тільки одне джерело, то коефіцієнти лінії відкриття Pinnacle володіють прогностичною цінністю, яка об’єктивно перевищує цінність прогнозів FiveThirtyEight. Але є одна хитрість…

Зважене середнє значення з комбінації 4% прогнозів FiveThirtyEight і 96% коефіцієнтів лінії відкриття Pinnacle має вищу прогностичну цінність, ніж будь-який з цих прогнозів окремо!

У прогнозів FiveThirtyEight не було жодних шансів перемогти в цій боротьбі

Що це означає для гравців? На ділі, не дуже багато. Частка 4% занадто мала для того, щоб бути корисною, і статистично може бути визнана незначною. А що, якщо величина Z буде більшою? І як зміниться ситуація, якщо замість двох у нас буде безліч прогнозів, кожен з власним значенням Z? Перед нами варіант теорії «колективного розуму», згідно з якою комбінація з окремих прогнозів може виявитися ціннішою, ніж один найцінніший з таких прогнозів.

По суті, саме це і робить коефіцієнти Pinnacles такими точними (в середньому). Значення для ліній задають досвідченіші та кваліфікованіші трейдери. Крім цього, вони дозволяють вступити в гру іншим професійним гравцям, а не перешкоджають їхній поведінці, завдяки чому значення ліній коригуються, а коефіцієнти стають ще точнішими та обґрунтованішими. Коефіцієнти лінії закриття Pinnacle представляють собою «раціональні прогностичні моделі» і відбивають підсумкові ймовірності результату. Можливо, саме тому у прогнозів FiveThirtyEight не було жодних шансів перемогти в цій боротьбі.