◐ learning · kind concept · level 2 · 6h
- Requiere: Supervised Learning
- Contradice: Regularization
Ajustarse demasiado a los datos de entrenamiento y perder capacidad de generalización a datos nuevos. El problema central del aprendizaje supervisado y la razón por la que la validación es no negociable.
Mecanismo. Un modelo con demasiada capacidad (paramétricomente rico) memoriza el ruido y las particularidades del dataset de entrenamiento en lugar de aprender los patrones generales. La señal es clara: el error de entrenamiento sigue bajando mientras el error de validación empieza a subir — el punto óptimo está donde la diferencia entre ambos es mínima. Esto es el caso particular de la tradeoff bias-variance: un modelo con bajo bias (ajuste flexible) tiene alta variance, y viceversa.
Pitfall. Overfitting no solo es “demasiados parámetros” — también puede venir de features demasiado correlacionadas con el target en el entrenamiento pero no en producción (lookup features, target leakage), de un dataset de entrenamiento insuficiente para la complejidad del modelo, o de entrenar demasiado tiempo (early stopping como regularizador). Regularización L1/L2, dropout (en redes), early stopping, simplificar el modelo, y más datos son las principales mitigaciones.
Ejercicio. Ver notebooks/overfitting-essentials.ipynb para una demostración con un polinomio de grado creciente sobre datos sintéticos con ruido, mostrando cómo el ajuste se vuelve cada vez más complejo sin mejorar la capacidad de generalización.
Referencias. Hastie, Tibshirani, Friedman “The Elements of Statistical Learning” — capítulo 7 “Model Assessment and Selection.” Bishop “Pattern Recognition and Machine Learning” — capítulo 5 “Neural Networks” (sección sobre regularización).
Enlaces
- Requiere: Supervised Learning
- Contradice: Regularization