vLLM · llm-d · Kubernetes
Tus modelos abiertos, servidos a toda tu empresa con vLLM y Kubernetes y con la misma API que OpenAI, sin que los datos salgan de tu CPD. Si ya los has probado con Ollama, este es el siguiente paso.
Es el primer paso: el modelo que funcionaba en un portátil pasa a vLLM en un servidor con GPU, y un equipo o un departamento empieza a usarlo con una API como la de OpenAI. Desde el primer día queda medido cuánto se usa y cuánto tarda en responder.
Cuando llega un segundo modelo o un segundo equipo, lo razonable es que compartan las mismas GPU en vez de comprar otra máquina. Para eso montamos Kubernetes con el GPU Operator de NVIDIA, KServe para desplegar cada modelo y Kueue para repartir cuotas, y guardamos los modelos en Ceph.
Si un modelo lo usan cientos de personas, una sola réplica de vLLM se queda corta. llm-d se coloca delante y manda cada petición a la réplica que ya tiene esa conversación en memoria, lo que ahorra trabajo a la GPU, y además puede leer la pregunta en una tarjeta y escribir la respuesta en otra.
A estas alturas la IA es un servicio del que depende la gente, así que se trata como tal: métricas de cada modelo, trazas de cada petición, cada versión nueva de vLLM probada antes de tocar producción y un contrato de soporte anual.
Los servidores
La GPU se elige por el tamaño del modelo y por cuánta gente lo va a usar a la vez, y por eso lo medimos antes de que compres nada. Si ya tienes servidores, trabajamos sobre los tuyos. Las cuentas están en nuestra guía Servidor para IA: cómo elegirlo.
Para empezar
SupermicroAS-5126GS-TNRT-01-G22x RTX PRO 6000 · 1,5 TB
LenovoThinkSystem SR650a V4Hasta 4 RTX PRO 6000 · Intel Xeon 6Configurar un servidor a medida →Todos los servidores Supermicro para IA →Todos los servidores Lenovo para IA →
Cómo funciona
Soporte
El sistema operativo lo soportan Canonical o CIQ, y Kubernetes, KServe y Ceph tienen soporte de Canonical. Servir los modelos no lo cubre ningún fabricante, así que esa parte la soportamos nosotros, con contrato anual.
Cómo trabajamos
Servimos tu modelo con tu carga real y medimos cuánto tarda en salir la primera palabra y cuántas conversaciones aguanta a la vez. Con esos datos se decide cuántas GPU hacen falta.
Configurar un servidor →Instalamos el servidor, el sistema, Kubernetes y vLLM, y llm-d o KServe cuando hacen falta, hasta dejar tu modelo sirviendo con tus datos.
Kubernetes y contenedores →vLLM y llm-d publican versiones a menudo, así que cada una se prueba antes de llegar a producción. Y si tu equipo quiere operarlo por su cuenta, tiene un curso para eso.
Curso de vLLM y llm-d →Preguntas frecuentes
Ollama es lo más cómodo para probar un modelo en un portátil o en un servidor, y para eso es estupendo. vLLM está hecho para servirlo a mucha gente a la vez, porque reparte la memoria de la GPU entre las conversaciones y le saca más partido a la tarjeta. Lo normal es probar con Ollama y pasar a vLLM cuando el uso crece. Lo comparamos en detalle en nuestra guía vLLM vs Ollama.
Es un proyecto de código abierto que reparte el trabajo de vLLM entre varias réplicas en Kubernetes: manda cada petición a la réplica que ya tiene en memoria el principio de esa conversación y puede separar la lectura de la pregunta y la escritura de la respuesta en GPU distintas. Hace falta cuando un modelo atiende a mucha gente a la vez; para un equipo pequeño basta con vLLM.
Los modelos abiertos más usados, como Llama, Qwen, Mistral, Gemma, DeepSeek o gpt-oss, tal cual o reducidos a 8 o 4 bits para que ocupen menos memoria. Qué modelo y en qué formato depende de la tarea y de las GPU, y es lo primero que medimos.
Depende del tamaño del modelo y de cuánta gente lo use a la vez, porque cada conversación ocupa su propia memoria en la GPU. Un modelo de 70.000 millones de parámetros en 8 bits cabe en una tarjeta de 96 GB, pero solo con unas pocas conversaciones largas a la vez; para más gente hacen falta más GPU o llm-d. Por eso lo medimos con tu carga antes de que compres. Configurador de servidores para IA →
Para pruebas o para modelos pequeños con poca gente, vLLM también funciona con CPU, incluso en IBM Power. Para servir a varias personas a la vez con tiempos de respuesta razonables hace falta GPU. vLLM en IBM Power, sin GPU →
Siguiente paso
Cuéntanos qué modelo te interesa, para cuánta gente y qué servidores tienes, si ya tienes alguno, y te proponemos cómo medirlo y qué hace falta para servirlo.
SIXE garantiza que tus infraestructuras basadas en tecnologías IBM®, Red Hat®, Canonical® y SUSE® permanezcan estables, seguras y optimizadas durante todo el tiempo que las necesites.
En SIXE, nos comprometemos con la sostenibilidad. Por eso te ayudamos a diseñar, implementar y mantener soluciones tecnológicas duraderas y eficientes.
