○ planned · proyecto
Otorga nivel a: Data Warehouse · ELT · dbt
Usa: Data Warehouse · ELT · dbt · Apache Airflow · Apache Kafka · Stream Processing · Data Mesh · Data Product
Charla que propone un modelo mental para razonar sobre los componentes de un data stack (extracción, almacenamiento, transformación, modelado y consumo), ilustrado con la analogía de Birdman y la historia de Hadoop, Spark y DuckDB. La tesis central es que “moderno” es un término de marketing y que migrar de tecnología solo porque es nueva es la razón equivocada.
Hallazgos clave
- Un data stack mínimo se compone de extracción/carga → almacenamiento RAW → transformación → modelado → consumo/BI; la posición de una métrica en esa pila determina el tiempo de entrega (5 minutos si ya está en un tablero, ~3 meses si está en un sistema fuente desconocido).
- “Moderno” no es “mejor”: la tecnología avanza en ciclos, no linealmente. El Nokia N95 tenía cámara de 5 MP frente a los 2 MP del primer iPhone, y QWERTY y Bash son herederos de las restricciones de un teletipo, no de buenos diseños.
- Migrar por novedad es la razón equivocada (cita de Marianne Bellotti, “Kill It with Fire”); los motivos reales son fricciones concretas: el server de Airflow se cae, los nuevos developers no escriben DAGs, las abstracciones de Dagster te hacen más ágil.
- El “Modern Data Stack” es un término de marketing: herramientas modernas como DuckDB (que comprime 21 GB a 1.7 GB y corre un query en 1.87 s frente a 6 min de Postgres) ni siquiera aparecen en moderndatastack.xyz.
Módulos
- Capas de un data stack — Extracción, almacenamiento, transformación, modelado y consumo; el ejemplo mínimo de las dos métricas.
- Del OLTP al OLAP — Postgres (row-store) vs. warehouses columnares (DuckDB, Snowflake, BigQuery) y por qué se “quema” la base de datos.
- Historia y ciclos — Google File System/MapReduce → Hadoop → Spark → DuckDB; por qué lo nuevo no siempre gana.
- Herramientas del stack — Fivetran/Airbyte (EL), dbt (transformación), Dagster/Airflow (orquestación), Power BI/Rill/Hex (BI).
- Evaluar una migración — Motivos, costos y proceso QA (ej. de on-prem a Snowflake en 3 años).
- Modern Data Stack como marketing — Cómo evaluar herramientas sin hype y la “virtud inesperada de la ignorancia”.
Fuente: https://www.youtube.com/watch?v=h5bq3gsDDd0 · Transcript local: data/cursos/datapub-stack-moderno-de-datos/stack-moderno-de-datos.srt
Enlaces
Otorga nivel a: Data Warehouse · ELT · dbt Usa: Data Warehouse · ELT · dbt · Apache Airflow · Apache Kafka · Stream Processing · Data Mesh · Data Product