Metodología
Brier Score: cómo medir
la precisión de un pronóstico
El porcentaje de aciertos no es suficiente para evaluar un modelo de predicción. El Brier Score mide algo más importante: qué tan bien calibradas están las probabilidades.
El problema del "porcentaje de aciertos"
Imagina dos modelos que predicen el mismo partido:
Modelo A
Predice: Local 55% · Empate 25% · Visitante 20%
Resultado real: gana el local ✓
Modelo B
Predice: Local 95% · Empate 3% · Visitante 2%
Resultado real: gana el local ✓
Ambos aciertan. El accuracy los trata igual. Pero el Modelo B es peligrosamente confiado — si falla, el error será enorme. El Brier Score captura esta diferencia.
Cómo se calcula el Brier Score
Para cada partido, el Brier Score se calcula como la suma de los errores cuadráticos entre la probabilidad predicha y el resultado real (1 si ocurrió, 0 si no):
BS = (P_local − R_local)² + (P_empate − R_empate)² + (P_visita − R_visita)²
Ejemplo — gana el local
El Brier Score final de un modelo es el promedio de todos los partidos evaluados. Cuanto más bajo, mejor.
¿Qué valores son buenos en fútbol?
| Referencia | Brier Score |
|---|---|
| Predicción perfecta (teórica) | 0.000 |
| Pinnacle (cierre) | ~0.183 |
| POISSON FC (Dixon-Coles) | ~0.200 |
| Modelo básico sin calibrar | ~0.220 |
| Cuota igual a 1/3 siempre | ~0.667 |
| Predicción aleatoria | ~0.667 |
La diferencia entre 0.183 (Pinnacle) y 0.200 (POISSON FC) puede parecer pequeña, pero es enorme en términos prácticos. Pinnacle incorpora la información de miles de apostadores profesionales — igualar ese benchmark es el objetivo de cualquier modelo serio.
Por qué es mejor que el accuracy
El Brier Score tiene tres ventajas clave sobre el simple porcentaje de aciertos:
- Penaliza el exceso de confianza. Un modelo que predice 90% y falla es castigado mucho más que uno que predice 55% y falla. El accuracy los trata igual.
- Recompensa la calibración. Un modelo bien calibrado —que cuando dice 60% acierta el 60% de las veces— obtiene mejor Brier Score que uno que acierte más pero con probabilidades mal escaladas.
- Usa toda la información. En cada partido evalúa las tres probabilidades (local, empate, visitante), no solo si el favorito acertó.
Walk-forward: la evaluación honesta
POISSON FC mide su Brier Score con metodología walk-forward: el modelo solo se evalúa sobre partidos que no vio durante el entrenamiento.
Esto es fundamental. Un modelo evaluado sobre sus propios datos de entrenamiento siempre dará métricas artificialmente buenas. El walk-forward replica exactamente las condiciones reales: el modelo se entrena con historia pasada y se evalúa sobre el futuro — igual que en producción.
Ver el rendimiento real del modelo
La página de rendimiento de POISSON FC muestra el Brier Score y el accuracy 1X2 por liga, calculados con metodología walk-forward sobre partidos reales.