Ir a las preguntas frecuentes
IA en local · Guía

Servidor para IA: cómo elegirloPrimero el modelo, luego la gente que lo va a usar a la vez y al final lo que aguanta tu CPD. Estas son las cuentas que hacemos antes de recomendar una máquina.

80GBle bastan a gpt-oss-120b
2,5GBpor conversación larga en un modelo de 70.000 millones
14,3kWun servidor de 8 GPU B200 a tope

gpt-oss-120b, el modelo abierto de OpenAI, tiene 117.000 millones de parámetros y cabe en una sola GPU de 80 GB. Lo consigue con el formato: guarda casi todos sus números en 4 bits en lugar de 16, y eso cambia la máquina que necesitas más que cualquier novedad de catálogo.

Si todavía estás en el «¿y para qué quiero yo la IA en casa?», lo contamos en por qué las empresas montan sus propios servidores de IA.

Cuánta memoria ocupa el modelo


Un modelo de lenguaje es una lista enorme de números (los parámetros) que tienen que estar cargados todo el rato en la memoria de la GPU. La cuenta es una multiplicación: los parámetros por lo que ocupa cada uno, que son dos bytes en el formato original de 16 bits, uno en 8 bits y medio en 4 bits. Así, un modelo de 70.000 millones de parámetros (un 70B, con la B de billion, mil millones en inglés) pide 140 GB tal como sale de fábrica, unos 70 en 8 bits y unos 35 en 4 bits.

Llama 3.3 70B: lo que ocupa solo el modelo

16 bitsL4 · 24 GBL40S · 48 GBH100 · 80 GBRTX PRO 6000 · 96 GB16 bits140 GB8 bits8 bits70 GB4 bits4 bits35 GB
Las líneas marcan la memoria de cada tarjeta. En 8 bits, el 70B cabe en una H100 o en una RTX PRO 6000; en 4 bits, incluso en una L40S.

En 8 bits la calidad apenas se resiente, y es por donde proponemos empezar. En 4 bits el modelo sigue acertando casi siempre, pero ese «casi» conviene comprobarlo con tus documentos antes de fiarte.

En los modelos de mezcla de expertos, muy comunes entre los abiertos, solo trabaja una parte del modelo para cada token (cada trocito en que se corta el texto, más o menos una sílaba). Responden deprisa, pero la memoria se la piden entera. Es el caso de Mistral Small 4.

ModeloParámetrosMemoria del modeloDónde cabe
gpt-oss-20b21.000 millones3.600 millones activosMenos de 16 GB, porque viene en 4 bitsUna L4 de 24 GB
Gemma 4 31B31.000 millonesUnos 31 GB en 8 bitsUna L40S de 48 GB
Llama 3.3 70B70.000 millonesUnos 70 GB en 8 bitsUna RTX PRO 6000 de 96 GB
gpt-oss-120b117.000 millones5.100 millones activosMenos de 80 GB, porque viene en 4 bitsUna H100 de 80 GB o una RTX PRO 6000
Mistral Small 4119.000 millones6.500 millones activosUnos 119 GB en 8 bitsDos RTX PRO 6000
DeepSeek-V4-Flash284.000 millones13.000 millones activosUnos 284 GB en 8 bitsCuatro RTX PRO 6000 o dos B300
DeepSeek-V3 y R1671.000 millones37.000 millones activosUnos 671 GB en 8 bitsOcho H200 o B200 unidas por NVLink

Cuánta gente lo usa a la vez


Cada conversación en curso ocupa su propio trozo de memoria en la GPU mientras el modelo le responde, porque el modelo apunta ahí lo que ya ha leído para no tener que releerlo entero con cada token que escribe. Y ese trozo crece a medida que la conversación se alarga. En Llama 3.3 70B son unos 0,3 MB por token, así que una conversación de 8.000 tokens (un informe de quince páginas y unas cuantas preguntas sobre él) se lleva unos 2,5 GB. En un modelo de 8.000 millones de parámetros como Llama 3.1 8B, la misma conversación se queda en 1 GB.

Ahora pon a veinte personas lanzando preguntas a la vez sobre documentos largos. El 70B necesita 50 GB solo para sus conversaciones, el doble de lo que le queda libre a una RTX PRO 6000 de 96 GB después de cargarlo en 8 bits. Esos 25 GB dan para unas diez conversaciones largas a la vez, o el doble si esa memoria también se guarda en 8 bits, y con preguntas cortas caben muchas más. Para cien personas en hora punta hace falta otra máquina.

Una RTX PRO 6000 de 96 GB con Llama 3.3 70B en 8 bits

Lo que cabe96 GB
Modelo · 70 GBLibre · unas 10 conversaciones largas de 2,5 GB
Veinte personas con documentos largos
Modelo · 70 GBConversaciones · 50 GB
Con veinte personas, modelo y conversaciones suman 120 GB, y la tarjeta tiene 96.

La velocidad con que aparece la respuesta depende sobre todo de lo rápida que sea esa memoria, porque para cada token el modelo lee buena parte de sus parámetros. En una H200, la memoria HBM (montada junto al chip) mueve 4,8 TB/s, unas tres veces más que en una RTX PRO 6000, y eso se nota cuando mucha gente espera la respuesta.

Cuántas tarjetas hacen falta depende de cuánta gente lo use a la vez y con qué documentos. Conviene medirlo con tu carga antes de comprar. Podemos hacerlo nosotros, o tu equipo puede aprender a hacerlo en el curso de LLM en local e infraestructura GPU.

Qué máquina sale de esas cuentas


Si el modelo es pequeño y lo usan pocas personas, o el trabajo va por lotes de noche, basta una CPU con mucha memoria. Pero en cuanto hay alguien esperando la respuesta, la GPU deja de ser opcional.

El escalón más habitual en una empresa es un servidor de rack con entre una y ocho tarjetas PCIe (las que se pinchan en una ranura del servidor). La L4, de 24 GB, va bien para modelos pequeños; la L40S llega a 48 GB, y la RTX PRO 6000 Blackwell a 96 GB, suficiente para un 70B en 8 bits. Con estas tarjetas se montan desde un servidor 2U (una U son 4,45 cm de altura de armario) con hasta cuatro hasta uno 4U con ocho, donde ya caben todos los modelos de la tabla hasta DeepSeek-V4-Flash. DeepSeek-V3 cabría en memoria, pero repartido entre ocho tarjetas que solo se hablan por PCIe iría mucho más lento.

Por encima están las placas HGX: ocho GPU de centro de datos (H200, B200 o B300, de 141 a 288 GB cada una) unidas por NVLink, una conexión directa entre ellas varias veces más rápida que PCIe. Con ella, un modelo de cientos de miles de millones de parámetros se reparte entre las ocho como si fueran una sola GPU. Es la máquina para modelos como DeepSeek-V3, para cientos de usuarios o para entrenar modelos propios, y la hay con B300 y refrigeración por aire. Comprarla para que un departamento resuma contratos es matar moscas a cañonazos.

De la máquina más sencilla a la más grande

CPU con mucha memoria

sin GPU

Modelos pequeños, pocas personas o lotes de noche.

De una a cuatro tarjetas PCIe

2U

Con una RTX PRO 6000 de 96 GB, un 70B en 8 bits.

Hasta ocho tarjetas PCIe

4U

Todos los modelos de la tabla hasta DeepSeek-V4-Flash.

Placa HGX: ocho GPU con NVLink

141 a 288 GB por GPU

DeepSeek-V3 y R1, cientos de usuarios o entrenar modelos propios.

NVIDIA no es la única opción: AMD vende sus Instinct y vLLM también funciona sobre ellas, aunque casi todo el software de IA se prueba antes en NVIDIA, así que conviene comprobar que lo que vas a usar va bien en AMD.

Lo que tiene que aguantar tu CPD


La cuenta que más sustos da es la de la sala. Un servidor de ocho GPU B200 consume hasta 14,3 kW, más o menos lo que tienen contratado tres pisos con la potencia habitual de 4,6 kW. Antes de pedir nada hay que saber cuánta potencia llega al armario, si la climatización puede sacar ese calor y si el suelo aguanta el peso.

Las tarjetas PCIe son más llevaderas, aunque no tanto como parece: cada RTX PRO 6000 puede llegar a 600 W, y ocho suman casi 5 kW solo en GPU. Algunos servidores 2U las limitan a 450 W para que quepan cuatro. Y si la sala no da para más aire acondicionado, hay servidores 5U de ocho B200 con refrigeración líquida, siempre que la sala tenga o pueda tener circuito de agua.

Potencia eléctrica, en kW

Servidor de ocho GPU B20014,3 kWTres pisos de 4,6 kW13,8 kWOcho RTX PRO 6000 a 600 W4,8 kWCuatro RTX PRO 6000 a 450 W1,8 kW
Las dos últimas barras cuentan solo las tarjetas; el servidor entero consume algo más.

Si la máquina va a una oficina o a una planta sin CPD, mandan el fondo del armario y la temperatura. Hay servidores cortos, de unos 44 cm de fondo, que en algunas configuraciones aguantan hasta 55 °C con GPU pequeñas como la L4 y unos 40 °C con GPU mayores.

Quién mantiene el software


Con la máquina elegida falta el software: el sistema operativo, los controladores de la GPU y el programa que sirve el modelo. Las tres piezas tienen que ir a juego, porque un controlador de NVIDIA que no casa con la versión de CUDA convierte la GPU en un pisapapeles carísimo. Trabajamos con dos combinaciones de software. Una es Ubuntu, que desde la 26.04 LTS trae CUDA (las bibliotecas de NVIDIA para usar la GPU) en sus propios repositorios, con el soporte de Canonical. La otra es Rocky Linux en su edición RLC Pro AI, con CUDA, los controladores de red y PyTorch ya validados y el soporte de CIQ, más cómoda si tus servidores ya son de la familia Red Hat.

Encima va vLLM, el programa de código abierto que reparte la memoria entre las conversaciones. Habla el mismo idioma que la API de OpenAI, así que las aplicaciones que ya tengas apenas cambian. Si varios equipos van a compartir las GPU, se añade Kubernetes para repartirlas entre ellos, y eso se practica en el curso de vLLM en Kubernetes. Como somos partner de Canonical y de CIQ, del servidor, el sistema y el soporte se encarga el mismo equipo. Y si prefieres no pelearte con nada de esto, te lo dejamos montado como servicio de inferencia en tus servidores.

Preguntas frecuentes


¿Cuánta memoria de GPU necesita un modelo de 70.000 millones de parámetros?

Solo para el modelo, 140 GB en 16 bits, unos 70 en 8 bits y unos 35 en 4 bits. A eso se suman unos 2,5 GB por cada conversación larga. Una RTX PRO 6000 de 96 GB lo sirve en 8 bits a unas pocas personas a la vez.

¿Se puede tener IA en local sin GPU?

Sí. Con modelos pequeños, pocos usuarios o trabajos por lotes basta una CPU con memoria suficiente. Cuando hay gente esperando respuesta o el modelo crece, hace falta GPU.

¿A cuántas personas atiende un servidor con una sola GPU?

Depende del modelo y de lo largas que sean las conversaciones, porque cada una ocupa memoria. Un 70B en 8 bits en una RTX PRO 6000 atiende unas diez conversaciones largas a la vez, y un modelo de 8.000 millones en la misma tarjeta, decenas. Lo fiable es medirlo con tu carga.

¿Cuánto cuesta un servidor para IA?

Lo que más pesa en el precio es el número y la clase de GPU; después vienen la memoria, la red y los años de soporte. Por eso el precio sale del modelo que vas a servir y de cuánta gente lo va a usar. Con esos datos y el sitio donde irá la máquina, en el configurador o hablando con nosotros, te preparamos una propuesta.

Servidores para IA

¿Qué servidor te hace falta?

Dinos qué modelo quieres servir, para cuánta gente y dónde va a ir la máquina. Si hace falta, medimos tu carga antes de que compres, y del servidor, el sistema y el soporte se encarga el mismo equipo. Si prefieres hacer tú las cuentas, el configurador te deja montarla paso a paso.

Servidores para IA, con Ubuntu o Rocky Linux y soporte
SIXE