○ planned · proyecto
Otorga nivel a: Docker · Kubernetes
Usa: Docker · Kubernetes · CD · Python · Apptainer · Virtualization · High-Performance Computing · Reproducibility
En supercómputo los recursos son compartidos y se accede por colas y políticas de uso; el cómputo científico exige ambientes portables y reproducibles. Apptainer (antes Singularity) lo resuelve con un archivo .sif que encapsula SO, dependencias y datos, permitiendo desarrollar en laptop y escalar al clúster sin root, algo que Docker no puede en HPC.
Hallazgos clave
- El clúster del Barcelona Supercomputing Center tiene 168 mil cores; acceder a GPU en Miztli (DGTIC) puede tardar ~15 días: HPC es recurso compartido con colas (Slurm/HTCondor), no equipo inmediato.
- Docker no sirve en HPC porque el daemon corre como root y permite escalar privilegios; Apptainer preserva UID/GID y no deja escalar privilegios dentro del contenedor.
- Publicar el .sif con su hash permite verificar integridad y reproducir por completo un paper (contexto: crisis de reproducibilidad, ~50% de artículos no reproducibles).
- Flujo recomendado: desarrollar la imagen en laptop (donde tienes root) y escalar al clúster sin root.
- Apptainer comparte el filesystem del host y expone el .sif como un binario (pipes/redirecciones), permitiendo encadenar contenedores.
- Caso real: modelo de descarbonización para 26 países de LatAm (IPCC, AFOLU, economía circular, energía) encapsulado en .sif con configuración YAML para que ‘lo que funcionó ayer’ se replique.
Módulos
- Supercómputo y HPC — arquitectura de clúster: nodos, filesystems paralelos, colas, redes.
- Fundamentos de virtualización — hipervisores tipo 1/2, VMM, KVM, multiplexación y emulación.
- Contenedores vs máquinas virtuales — namespaces y cgroups; Docker, Podman, LXC.
- Apptainer/Singularity — portabilidad, reproducibilidad e integración con HPC; el .sif.
- Tutorial práctico — pull/build, shell, exec, run, bind mounts y archivo .def.
- Caso de uso — modelo de descarbonización y democratización del cómputo científico.
Fuente: https://www.youtube.com/watch?v=kN_5bUbd_5Q · Transcript local: data/cursos/datapub-virtualizacion-contenedores/virtualizacion-contenedores.srt
Enlaces
Otorga nivel a: Docker · Kubernetes Usa: Docker · Kubernetes · CD · Python · Apptainer · Virtualization · High-Performance Computing · Reproducibility