○ planned · proyecto
Otorga nivel a: Neural ODE · Residual Networks
Usa: Ordinary Differential Equations · Backpropagation · Neural Network · Neural ODE · Residual Networks
Mariana Blas explica las Neural ODEs (NeurIPS 2018): las redes residuales equivalen a un paso del método de Euler, y lleva al límite continuo. Aplica el marco a modelar memoria publicitaria con un oscilador armónico más filtro de Kalman.
Hallazgos clave
- Las redes residuales equivalen a un paso de Euler: x_{k+1} = x_k + f(x_k); al continuo: dz/dt = f(z,t,θ).
- Las residuales evitan el desvanecimiento del gradiente porque parte del gradiente propaga la identidad (derivada = 1).
- En Neural ODEs los parámetros θ se comparten entre capas; más capas = pasos de tiempo más pequeños.
- Capas implícitas definen qué relación satisface X e Y (más poder representativo, eficiencia de memoria, interpretabilidad).
- Entrenamiento vía método adjunto: el gradiente se obtiene resolviendo otra ODE hacia atrás con el mismo solver.
- Aplicación: modela ‘Advertising Awareness’ como oscilador armónico (inversión, olvido, equity) + filtro de Kalman.
Módulos
- De redes neuronales a ecuaciones diferenciales.
- Métodos numéricos — Euler, Runge-Kutta, Taylor.
- Redes residuales — desvanecimiento del gradiente.
- Neural ODEs — equivalencia con Euler, método adjunto.
- Aplicación — memoria publicitaria (oscilador + Kalman).
Fuente: https://www.youtube.com/watch?v=XHpE4vYdHfs · Transcript local: data/cursos/datapub-neural-odes/neural-odes.srt
Enlaces
Otorga nivel a: Neural ODE · Residual Networks Usa: Ordinary Differential Equations · Backpropagation · Neural Network · Neural ODE · Residual Networks