Ошибка выжившего в истории ставок: кого не видно в успешной выборке
Почему опубликованные или сохранившиеся выигрыши не заменяют полный журнал решений и как восстановить знаменатель для честной оценки результата.
В выборке могут остаться только «выжившие» записи
Ошибка выжившего появляется, когда анализ учитывает тех людей, стратегии или ставки, которые остались видимыми, а исчезнувшие не попадают в расчёт. В истории ставок это бывает не только в публичных постах: журнал может хранить выигрышные купоны, но не удалённые прогнозы; показывать активные стратегии, но не снятые с публикации; включать только матчи, которые удалось найти в архиве.
Проблема — не просто в проигрышах, которых «не видно». Если включение в выборку зависит от результата, оценка будет смещена. Например, автор удалил бы неудачные публикации или владелец закрыл проигрывающий профиль, а историческая таблица строится только по тем, кто остался доступен. Исследования производительности фондов прямо рассматривают смещение, возникающее при анализе сохранившихся фондов вместо полной исходной группы; для ставок логика отбора похожа, хотя данные и механизмы отбора другие.
Пример с честным знаменателем
Предположим, 100 прогнозов были опубликованы до начала матчей. В позднем архиве нашлись только 60 записей, из которых выиграли 36. По сохранившейся выборке выходит 60% побед. Но ещё 40 прогнозов не исчезают из истории только потому, что их копия потеряна: если у полной исходной группы выиграли 48, фактическая доля в этой иллюстрации — 48%. Эти числа придуманы для примера; они показывают, как изменение знаменателя меняет процент.
Храните перечень решений с уникальным идентификатором и снимком времени публикации, включая проигрыши, возвраты, отмены, пропущенные матчи, удалённые посты и стратегии, которые перестали показывать. Для каждого пропуска отмечайте причину и статус: неизвестен результат, нет исходной записи или ставка была аннулирована по правилам. Не приравнивайте «результат не сохранился» к проигрышу или выигрышу.
Не смешивайте это с другими искажениями
Смещение видимых авторов отличается от перебора множества стратегий и публикации только лучшей. В первом случае из выборки могут исчезать целые участники; во втором выбирается наиболее удачная настройка после множества попыток. Они могут действовать одновременно. Исследование риска переобучения бэктеста показывает, что многократный поиск удачного исторического правила требует отдельной проверки на данных, не использованных при выборе.
Фиксируйте не только выигрыш и проигрыш, но и цену, доступную до матча, время публикации, сумму, рынок, правила расчёта, отмены и применённые комиссии. Если вы оцениваете долю побед, держите отдельно выигрышные, проигранные, возвращённые и неизвестные статусы; если считаете денежный результат, явно укажите формулу и включённые затраты. Дневник ставок с обязательными полями помогает не потерять эти записи.
Что можно и нельзя заключить
Попросите показать полный список прогнозов с временными метками, а не выборку лучших скриншотов. Сравните число опубликованных решений с числом рассчитанных и объясните каждое исключение. Учитывайте, что даже полный журнал не устраняет случайность короткой серии, различия коэффициентов и возможную ошибку в правилах рынка.
Если знаменатель восстановить нельзя, честный вывод — данных недостаточно для надёжной оценки. Это не доказывает ни плохое качество, ни хорошее; это ограничивает вывод. Чтобы сопоставить качество прогнозов, следующий материал перейдёт к оценке вероятностных прогнозов, но и она требует заранее сохранённых всех прогнозов.