Descripción
Curso para que varios equipos usen las mismas GPU en un clúster de Kubernetes: el modelo en producción, los cuadernos de ciencia de datos y los entrenamientos. Se instala el GPU Operator de NVIDIA, se reparte una tarjeta por turnos, otra en trozos con MIG y se montan colas por equipo con Kueue, todo en un clúster de laboratorio con GPU.
Datos del curso
| Código SIXE: SXIA12 | Categoría: Inteligencia Artificial / Infraestructura de IA |
| Modalidad: Online y presencial | Duración: 2 días |
Para quién es
Administradores de sistemas y equipos de plataforma que gestionan servidores con GPU de NVIDIA y tienen que repartirlas entre varios equipos o aplicaciones.
Requisitos
Administración de Kubernetes (despliegues, nodos, etiquetas y Helm) y Linux. Si el equipo empieza con Kubernetes, el punto de partida es el curso de Kubernetes con MicroK8s.
Qué vas a aprender
- El GPU Operator: controladores, toolkit de contenedores, device plugin y exportador DCGM en cada nodo, y cómo actualizar el controlador sin parar el clúster entero.
- Formas de repartir una GPU: por turnos (time-slicing), con MPS y con MIG: qué aísla cada una, qué tarjetas admiten MIG y cómo se configuran sus perfiles.
- Pedir GPU con DRA: la asignación dinámica de recursos que Kubernetes trae de serie desde la 1.34 y el controlador DRA de NVIDIA, para pedir una GPU por sus características en lugar de por número.
- Colas y cuotas con Kueue: una cola por equipo, préstamo de lo que otro no usa y prioridad para que producción recupere sus tarjetas.
- Medir el uso: métricas de DCGM en Prometheus y Grafana por equipo, que es el dato para ajustar las cuotas o decidir si hace falta otra tarjeta.
Se trabaja en un clúster con GPU y termina con una tarjeta partida con MIG, otra repartida por turnos, colas para tres equipos con préstamo entre ellas y un panel de uso por equipo.
Qué te llevas
- Configuraciones del GPU Operator para MIG y para time-slicing.
- Definiciones de Kueue para varios equipos, listas para adaptar.
- Un panel de Grafana con el uso de GPU por equipo.
Si preferís que lo montemos nosotros, es nuestro servicio de GPU compartida en Kubernetes. Y para servir modelos sobre ese clúster está el curso de vLLM y llm-d en Kubernetes.
Preguntas frecuentes
¿Cuánto dura el curso?
2 días.
¿Es online o presencial?
Las dos cosas: en vuestras oficinas o en remoto, con instructor en directo.
¿Qué necesito saber antes?
Administración de Kubernetes (despliegues, nodos, etiquetas y Helm) y Linux. Si el equipo empieza con Kubernetes, el punto de partida es el curso de Kubernetes con MicroK8s.
¿Qué GPU admiten MIG?
La A100, la A30, la H100, la H200, la B200 y la B300, además de la RTX PRO 6000 Blackwell. La L4 y la L40S no lo admiten; en esas tarjetas se reparte por turnos o por GPU enteras.
¿Hace falta tener GPU propias?
Para el curso no: el laboratorio tiene GPU. Si ya tenéis servidores con GPU, las prácticas se pueden hacer sobre ellos.
¿Se puede adaptar a mi equipo?
Sí. Ajustamos ejemplos y prácticas a las herramientas y procesos del equipo, y podemos combinarlo con otros cursos de IA.
