◑ applying · kind experiment · level 2 · 0h
El experimento demuestra que contar parámetros nominales es un proxy insuficiente para medir capacidad. Los polinomios multivariados sufren inestabilidad numérica y sobreajuste catastrófico mucho antes de las redes neuronales debido a la naturaleza global e ilimitada de los monomios (fenómeno de Runge). Las redes con ReLU son aproximadores locales por pedazos; añadir parámetros refina particiones sin desestabilizar el ajuste previo.
Mecanismo:
Se define sobreajuste cuantitativamente como el punto donde el error de validación deja de bajar (regla del 1-SE). En un dataset inmobiliario francés con ~37,000 filas y 3 variables numéricas limpias (size, nb_rooms, nb_bedrooms), se subsampléa a para forzar la observación del fenómeno. El polinomio colapsa a un error de validación inmenso () con ~20 parámetros (grado 3-4). La red neuronal aguanta hasta ~2,369 parámetros antes de degradarse significativamente. La matriz de diseño del polinomio alcanza números de condición en grados altos, perdiendo dígitos significativos frente a la precisión float64.
Límite: La comparación no es totalmente justa porque el entrenamiento con SGD introduce regularización implícita (soluciones de norma pequeña) que los polinomios OLS convexos carecen. Además, ambos modelos extrapolan mal fuera del dominio; el polinomio lo hace oscilando catastróficamente y la red linealmente.
Ejercicio:
Script scripts/chatgpt_export_split.py (para reconstruir hilos) o notebook de análisis generado en sesión (content/nodes/experimento-inmobiliario.ipynb).