○ planned · proyecto
Otorga nivel a: Precision, Recall & F1 · Fairness in ML
Usa: Precision, Recall & F1 · Model Evaluation · Fairness in ML · Bias Mitigation · Random Forest · Cross-Validation
Charla sobre cómo el condado de Allegheny (Pittsburgh) usa machine learning para asignar fondos limitados de asistencia de renta a las personas con mayor riesgo de quedarse sin hogar, en lugar de atender por orden de llegada. La tesis central: el modelo es solo una parte de un sistema de decisión más amplio, y el valor real está en la formulación del problema, la evaluación con precision@k/recall@k y la equidad entre grupos.
Hallazgos clave
- Antes de escribir código se hace un ejercicio de “scoping” (objetivos, acciones, análisis, datos, ética) y se formulan 5 preguntas de modelado: quién se incluye, qué resultado se predice, cuál es el output real del sistema, cuándo y con qué frecuencia se genera.
- La evaluación correcta para asignación de recursos no es precisión con umbral 0.5, sino precision@k y recall@k: se ordena a todos y se toma el top K (100 personas/mes, la restricción de recursos), calculando las métricas en ese corte exacto.
- En problemas temporales la validación cruzada k-fold aleatoria introduce data leakage; se debe estratificar por tiempo: apilar cohortes de entrenamiento (p. ej. cada 4 meses) y validar sobre una cohorte un año posterior, reconociendo asunciones (como que los eventos se registran el mismo día).
- Probar primero heurísticas simples (recency de la última vez sin hogar, número de interacciones previas) antes que ML: la heurística puede ser suficiente, más barata de mantener y desplegar; el mejor modelo (Random Forest) sobre-sirve a personas negras (~1.7x recall), lo que el partner validó por el impacto histórico desproporcionado.
- Lección final: los resultados dependen de un proceso completo; se descubrió tarde que no se había hablado con los trabajadores de outreach, y el despliegue real es manual (hojas de cálculo subidas a Teams cada semana) — hay que involucrar a la gente de campo desde el inicio.
Módulos
- Scoping de un problema de política pública — Definir objetivos, acciones, datos y consideraciones éticas antes de escribir una sola línea de código.
- Formulación del problema de modelado — Distinguir entre el resultado predicho (probabilidad) y el output del sistema (lista top-K), con su universo y frecuencia.
- Construcción de features temporales — Representar a una persona como un array de números (conteos de eventos previos) en múltiples ventanas de tiempo, cuidando data leakage.
- Evaluación con precision@k y recall@k — Por qué descartar el umbral 0.5 y calcular métricas en el corte de recursos, con curvas precision-recall de validación.
- Validación temporal y comparación contra heurísticas — Estratificar cohortes por tiempo, evitar k-fold aleatorio, y medir contra líneas base simples y selección aleatoria.
- Equidad y despliegue en el mundo real — Medir paridad de falsos negativos entre grupos, decidir over/under-serving, y diseñar el proceso de outreach con los equipos de campo.
Fuente: https://www.youtube.com/watch?v=CIEGPRlLJ3s · Transcript local: data/cursos/datapub-ml-prevencion-homelessness/ml-prevencion-homelessness.srt
Enlaces
Otorga nivel a: Precision, Recall & F1 · Fairness in ML Usa: Precision, Recall & F1 · Model Evaluation · Fairness in ML · Bias Mitigation · Random Forest · Cross-Validation