Descripción
Curso para el equipo de plataforma que tiene que llevar un modelo de la prueba con Ollama a un servicio que use toda la empresa: vLLM sirviendo el modelo en Kubernetes, llm-d repartiendo la carga entre réplicas y las GPU compartidas entre equipos. Todo se monta en un clúster de laboratorio con GPU y se mide con carga, para saber qué aporta cada pieza antes de llevarla a producción.
Datos del curso
| Código SIXE: SXIA08 | Categoría: Inteligencia Artificial / Plataforma de IA |
| Modalidad: Online y presencial | Duración: 3 días |
Para quién es
Equipos de plataforma, SRE y sistemas que ya administran Kubernetes y van a operar modelos de lenguaje para varios equipos de la empresa.
Requisitos
Kubernetes con soltura (despliegues, servicios y Helm) y Linux. Ayuda haber servido un modelo con Ollama o vLLM; si no, el curso de LLM en local e infraestructura GPU cubre esa base.
Qué vas a aprender
- De Ollama a vLLM: qué cambia al servir a mucha gente: la memoria de cada conversación, los lotes continuos (las peticiones entran y salen de la GPU sin esperar a las demás) y la API compatible con OpenAI.
- vLLM en Kubernetes: el GPU Operator de NVIDIA, el despliegue con KServe o con Helm y los modelos en un almacenamiento compartido para no descargarlos en cada arranque.
- Repartir la carga con llm-d: enrutado según lo que cada réplica tiene ya en memoria, separación de la lectura de la pregunta y la escritura de la respuesta, y cuándo compensa frente a un balanceador normal.
- Compartir las GPU: cuotas y prioridades con Kueue para que varios equipos usen las mismas tarjetas sin pisarse.
- Operarlo: métricas de vLLM en Prometheus (tiempo hasta la primera palabra y tokens por segundo), alertas y cómo probar una versión nueva de vLLM antes de actualizar.
Se trabaja con un modelo abierto en un clúster con GPU y termina con dos réplicas detrás de llm-d, un panel de métricas y una prueba de carga que compara el antes y el después.
Qué te llevas
- Manifiestos de despliegue de vLLM y llm-d que se pueden reutilizar.
- Un panel con las métricas de servicio del modelo.
- Un guion de prueba de carga y el procedimiento para actualizar vLLM.
Si preferís que lo montemos y lo soportemos nosotros, es nuestro servicio de inferencia de IA en tus servidores. Y si el equipo todavía no ha elegido modelo ni GPU, empezad por el curso de LLM en local e infraestructura GPU.
Preguntas frecuentes
¿Cuánto dura el curso?
3 días.
¿Es online o presencial?
Las dos cosas: en vuestras oficinas o en remoto, con instructor en directo.
¿Qué necesito saber antes?
Kubernetes con soltura (despliegues, servicios y Helm) y Linux. Ayuda haber servido un modelo con Ollama o vLLM; si no, el curso de LLM en local e infraestructura GPU cubre esa base.
¿Hace falta tener GPU propias?
Para el curso no: el laboratorio tiene GPU. Si ya tenéis servidores con GPU, las prácticas se pueden hacer sobre ellos.
¿En qué se diferencia del curso de LLM en local?
El de LLM en local elige el modelo, lo sirve en un servidor y dimensiona la GPU. Este parte de ahí y lo lleva a Kubernetes para mucha gente y varios equipos.
¿Se puede adaptar a mi equipo?
Sí. Ajustamos ejemplos y prácticas a las herramientas y procesos del equipo, y podemos combinarlo con otros cursos de IA.
