IA en local · Guía

vLLM vs OllamaCuál usar según cuánta gente vaya a usar el modelo, qué pasa cuando entran varios a la vez y qué cambia al pasar de uno a otro.

Si vas a probar un modelo en tu portátil o a dar servicio a una sola persona, usa Ollama. Si lo van a usar varias personas a la vez sobre una GPU de servidor, usa vLLM. Muchos equipos usan los dos, uno para probar y otro para producción, porque la diferencia está en cómo reparte cada uno la tarjeta cuando llegan varias peticiones juntas.

Qué hace cada uno

Con Ollama, un modelo funciona en cinco minutos. Lo instalas, escribes ollama run con el nombre del modelo y lo tienes respondiendo, con los pesos ya reducidos para que quepan en un equipo normal y sin tener que elegir nada. Funciona en portátiles, en estaciones de trabajo y sin GPU, aunque entonces más despacio.

vLLM es un servidor de inferencia que saca todo lo posible de cada GPU. Agrupa las peticiones que llegan a la vez y, en lugar de esperar a que acabe una tanda, va metiendo peticiones nuevas en cuanto otra termina. Eso es lo que permite atender a mucha gente con la misma tarjeta, a cambio de pedir más de ti: hay que elegir los pesos, ajustar memoria y parámetros, y saber qué estás haciendo con la GPU.

Los dos ofrecen una API como la de OpenAI, así que tu aplicación no sabe qué motor tiene detrás. Puedes desarrollar contra Ollama y desplegar contra vLLM cambiando poco más que una dirección.

Qué pasa cuando entran varios a la vez

La prueba más citada es la de Red Hat, con una NVIDIA A100, Llama 3.1 de 8.000 millones de parámetros y hasta 256 usuarios simultáneos. vLLM llegó a 793 tokens por segundo y Ollama se quedó en 41, incluso después de ajustarlo para que atendiera más peticiones en paralelo. En Ollama, además, el tiempo hasta la primera palabra subía mucho porque las peticiones hacían cola.

Eso acaba en dinero: si la misma tarjeta atiende a más gente a la vez, hacen falta menos tarjetas para dar el mismo servicio, y las GPU son la parte más cara de la máquina.

Son de versiones de 2025 y de una carga llevada al extremo, y otras comparaciones sacan diferencias bastante menores porque usan otras tarjetas, otros modelos y otra cuantización, que es el grado en que se reducen los pesos. Con un solo usuario la distancia casi desaparece, y Ollama puede incluso ir mejor. Lo que sí se repite en todas es la dirección: cuantos más usuarios simultáneos, más se aleja vLLM.

Si vas a quedarte con Ollama para un equipo pequeño, mira un ajuste. Según su documentación, OLLAMA_NUM_PARALLEL atiende por defecto una sola petición por modelo, y si lo subes, la memoria crece en proporción, porque cada petición en paralelo reserva su propio contexto. Ese valor ha cambiado entre versiones, así que compruébalo en la tuya. Si Ollama te parece lento con varios usuarios, empieza por aquí: puede que estén esperando turno.

Cuándo usar cuál

El número de usuarios simultáneos es lo que más pesa, y no el de personas con acceso: cien empleados que preguntan de vez en cuando pueden ser tres peticiones a la vez. Dónde está el límite depende del modelo, de la tarjeta y de lo largas que sean las preguntas, así que lo fiable es medir tu hora punta, y es lo primero que hacemos antes de recomendar una máquina.

SituaciónOllamavLLM

Probar un modeloLo mejor: funciona en minutosDemasiado trabajo para esto

Una persona, sin GPU de servidorSíSolo si ya lo tienes montado

Equipo pequeño, pocas peticiones a la vezVale, ajustando el paraleloVale, y aguantará si crece

Varias personas a la vez en producciónSe forman colasSí, es para lo que está hecho

Sacar más de una GPU caraNo es su objetivoSí

Cuando ya tienes vLLM y la carga no cabe en una máquina, el siguiente paso es Kubernetes con llm-d, que reparte las peticiones entre réplicas.

Si tus máquinas son IBM Power, no hace falta comprar otras para empezar: vLLM funciona en Power sin GPU, y eso permite probar modelos sobre el hardware que ya tienes.

Qué cambia al pasar de Ollama a vLLM

En la aplicación, casi nada. Cambias el puerto, que en Ollama suele ser el 11434 y en vLLM el 8000, y el nombre del modelo, porque Ollama usa sus etiquetas y vLLM el nombre de Hugging Face:

from openai import OpenAI

# Ollama
cliente = OpenAI(base_url="http://localhost:11434/v1", api_key="nada")
modelo = "llama3.1:8b"
# vLLM
cliente = OpenAI(base_url="http://localhost:8000/v1", api_key="nada")
modelo = "meta-llama/Llama-3.1-8B-Instruct"

Lo que cambia está debajo. Los modelos de Ollama vienen en formato GGUF, que vLLM solo admite de forma experimental, así que en producción hay que descargar los pesos en el formato que espera. vLLM también trabaja con pesos cuantizados, pero según cuál elijas el mismo modelo puede ocupar más memoria, y por eso conviene hacer las cuentas de memoria y usuarios antes de comprar nada.

También cambia la forma de usar la tarjeta. vLLM reserva por defecto el 92 % de la memoria de la GPU al arrancar, tenga o no trabajo, y eso sorprende cuando compartes la máquina con otros procesos. Si la vas a repartir entre varios equipos, lo que necesitas es GPU compartida en Kubernetes.

Y antes de abrirlo a la red, ponle puerta. Ollama escucha por defecto solo en 127.0.0.1 y no trae autenticación, de modo que para compartirlo hay que poner delante un proxy que la pida. vLLM admite claves con --api-key, aunque solo protegen las rutas de la API, así que en un servicio real también conviene una pasarela con usuarios.

Si quieres que lo montemos nosotros, servimos modelos con vLLM en tu propia infraestructura, y si prefieres que lo lleve tu equipo, tenemos el curso vLLM y llm-d en Kubernetes.

Preguntas frecuentes

¿Es mejor vLLM u Ollama?

Depende de la carga. Ollama es mejor para probar modelos y para una sola persona porque se instala en minutos. vLLM es mejor cuando varias personas usan el modelo a la vez sobre una GPU de servidor.

¿vLLM necesita GPU?

Está pensado para GPU, y es ahí donde saca su ventaja, pero también puede funcionar sin ella en algunas arquitecturas, como IBM Power.

¿Puedo usar los modelos de Ollama en vLLM?

Para producción, no. Ollama usa GGUF y vLLM trabaja con los pesos en el formato de Hugging Face. Tiene soporte experimental para GGUF, pero lo normal es descargar el modelo de nuevo.

¿Cuántos usuarios aguanta Ollama?

Por defecto atiende una petición por modelo y deja las demás en cola. Se puede subir con OLLAMA_NUM_PARALLEL, a costa de más memoria, y sirve para un equipo pequeño, pero no escala como vLLM.

¿Cambia mi aplicación al pasar de Ollama a vLLM?

Muy poco. Los dos ofrecen una API compatible con la de OpenAI, así que basta con cambiar la dirección y el nombre del modelo.

SIXE

¿Cuántos usuarios va a tener tu modelo?

Dinos qué modelo quieres servir y para cuánta gente, y te decimos qué motor y qué máquina necesitas, con el despliegue y el soporte incluidos.

Cuéntanos tu caso WhatsApp

Inferencia con vLLM en tu infraestructura · sixe.es