Servidor para IA: cómo elegirloPrimero el modelo, luego la gente que lo va a usar a la vez y al final lo que aguanta tu CPD. Estas son las cuentas que hacemos antes de recomendar una máquina.
gpt-oss-120b, el modelo abierto de OpenAI, tiene 117.000 millones de parámetros y cabe en una sola GPU de 80 GB. Un par de años antes, algo de ese tamaño pedía varias tarjetas. Lo consigue con el formato: guarda casi todos sus números en 4 bits en lugar de 16, y eso cambia la máquina que necesitas más que cualquier novedad de catálogo.
Por eso aquí empezamos por el modelo y por la gente que lo va a usar, y dejamos la GPU para el final, que es cuando sale casi sola. Si todavía estás en el «¿y para qué quiero yo la IA en casa?», lo contamos en por qué las empresas montan sus propios servidores de IA.
Cuánta memoria ocupa el modelo
Un modelo de lenguaje es, en el fondo, una lista enorme de números (los parámetros), y lo primero que necesita es memoria de GPU donde tenerlos cargados todo el rato. La cuenta es una multiplicación: los parámetros por lo que ocupa cada uno, que son dos bytes en el formato original de 16 bits, uno en 8 bits y medio en 4 bits. Así, un modelo de 70.000 millones de parámetros pide 140 GB tal como sale de fábrica, unos 70 en 8 bits y unos 35 en 4 bits.
Llama 3.3 70B: lo que ocupa solo el modelo
En 8 bits la calidad apenas se resiente, y es por donde proponemos empezar. En 4 bits el modelo sigue acertando casi siempre, pero ese «casi» conviene comprobarlo con tus documentos antes de fiarte.
Muchos modelos abiertos son de los llamados de mezcla de expertos, en los que para cada token solo trabaja una parte del modelo (un token es cada trocito en que se corta el texto, más o menos una sílaba o una palabra corta). Responden deprisa, pero la memoria se la piden entera. Mistral Small 4, por ejemplo, usa 6.500 millones de parámetros por token y hay que tener cargados sus 119.000 millones.
La última columna deja un margen razonable para el modelo. Lo que todavía no cuenta son las conversaciones, que vienen ahora.
Cuánta gente lo usa a la vez
Cada conversación abierta ocupa su propio trozo de memoria en la GPU, porque el modelo apunta ahí lo que ya ha leído para no tener que releerlo entero con cada token que escribe. Y ese trozo crece a medida que la conversación se alarga. En Llama 3.3 70B son unos 0,3 MB por token, así que una conversación de 8.000 tokens (un informe de quince páginas y unas cuantas preguntas sobre él) se lleva unos 2,5 GB. En un modelo de 8.000 millones de parámetros como Llama 3.1 8B, la misma conversación se queda en 1 GB.
Ahora pon a veinte personas trabajando a la vez con documentos largos. El 70B necesita 50 GB solo para sus conversaciones, el doble de lo que le queda libre a una RTX PRO 6000 de 96 GB después de cargarlo en 8 bits. Esos 25 GB dan para unas ocho conversaciones largas a la vez, o el doble si esa memoria también se guarda en 8 bits, y con preguntas cortas caben muchas más. Para cien personas en hora punta hace falta otra máquina, o una cola en la que nadie quiere estar.
Una RTX PRO 6000 de 96 GB con Llama 3.3 70B en 8 bits
La velocidad a la que cada persona ve aparecer la respuesta depende sobre todo de lo rápida que sea esa memoria, porque para escribir cada token el modelo tiene que leer buena parte de sus parámetros. La HBM de una H200 mueve 4,8 TB/s, unas tres veces más que la de una RTX PRO 6000, y eso se nota cuando hay mucha gente mirando cómo sale la respuesta palabra a palabra.
El tamaño del modelo te dice si cabe en una tarjeta; cuántas tarjetas hacen falta depende de cuánta gente lo use a la vez y con qué documentos. Eso se mide mejor de lo que se adivina, así que conviene medirlo con tu carga antes de comprar. Podemos hacerlo nosotros, o tu equipo puede aprender a hacerlo en el curso de LLM en local e infraestructura GPU.
Qué máquina sale de esas cuentas
Si el modelo es pequeño y lo usan pocas personas, o el trabajo va por lotes de noche, basta una CPU con mucha memoria. Pero en cuanto hay alguien esperando la respuesta con el café en la mano, la GPU deja de ser opcional.
El escalón más habitual en una empresa es un servidor de rack con entre una y ocho tarjetas PCIe. La L4, de 24 GB, va bien para modelos pequeños; la L40S llega a 48 GB, y la RTX PRO 6000 Blackwell a 96 GB, que es justo lo que pide hoy un 70B en 8 bits. Con estas tarjetas se montan desde el ThinkSystem SR650a V4, que lleva hasta cuatro en 2U, hasta los Supermicro de 4U con ocho, donde ya caben todos los modelos de la tabla hasta DeepSeek-V4-Flash.
Por encima están las placas HGX: ocho GPU de centro de datos (H200, B200 o B300, de 141 a 288 GB cada una) unidas por NVLink, una conexión directa entre ellas varias veces más rápida que PCIe. Con ella, un modelo de cientos de miles de millones de parámetros se reparte entre las ocho como si fueran una sola GPU. Es la máquina para modelos como DeepSeek-V3, para cientos de usuarios o para entrenar modelos propios, y en Lenovo se llama ThinkSystem SR680a V4, con B300 y refrigeración por aire. Comprarla para que un departamento resuma contratos es matar moscas a cañonazos.
De la máquina más sencilla a la más grande
CPU con mucha memoria
sin GPUModelos pequeños, pocas personas o lotes de noche.
De una a cuatro tarjetas PCIe
2UCon una RTX PRO 6000 de 96 GB, un 70B en 8 bits.
Hasta ocho tarjetas PCIe
4UTodos los modelos de la tabla hasta DeepSeek-V4-Flash.
Placa HGX: ocho GPU con NVLink
141 a 288 GB por GPUDeepSeek-V3 y R1, cientos de usuarios o entrenar modelos propios.
NVIDIA no es la única opción. AMD vende sus Instinct y vLLM también funciona sobre ellas. Eso sí, casi todo el software de IA se prueba antes en NVIDIA, así que conviene comprobar que lo que vas a usar ya funciona bien en AMD.
Las configuraciones de cada uno están en nuestras páginas de servidores Lenovo para IA y de servidores Supermicro para IA.
Lo que tiene que aguantar tu CPD
La cuenta que más sustos da es la de la sala. Un DGX B200 de NVIDIA, con ocho GPU, consume hasta 14,3 kW, que es lo que tienen contratado tres pisos con la potencia habitual de 4,6 kW. Tres casas enteras metidas en un armario. Antes de pedir nada hay que saber cuánta potencia llega al armario, si la climatización puede sacar ese calor y si el suelo aguanta el peso.
Las tarjetas PCIe son más llevaderas, aunque no tanto como parece: cada RTX PRO 6000 puede llegar a 600 W, y ocho suman casi 5 kW solo en GPU. Algunos servidores las limitan, como el SR650a V4, que admite las cuatro a 450 W. Y si la sala no da para más aire acondicionado, hay versiones con refrigeración líquida, como el SR780a V3, que mete ocho B200 en 5U.
Potencia eléctrica, en kW
Si la máquina va a una oficina o a una planta sin CPD, lo que manda es el fondo del armario y la temperatura. Para esos sitios hay servidores cortos como el ThinkEdge SE455 V3, de 438 mm de fondo, que en algunas configuraciones aguanta hasta 55 °C.
Quién mantiene el software
Con la máquina elegida queda lo que la hace funcionar: el sistema operativo, los controladores de la GPU y el programa que sirve el modelo. Las tres piezas tienen que ir a juego, porque un controlador de NVIDIA que no casa con la versión de CUDA convierte la GPU en un pisapapeles carísimo. Trabajamos con dos pilas ya probadas. Una es Ubuntu, que desde la 26.04 LTS trae CUDA (las bibliotecas de NVIDIA para usar la GPU) en sus propios repositorios, con el soporte de Canonical. La otra es Rocky Linux en su edición RLC Pro AI, con CUDA, los controladores de red y PyTorch ya validados y el soporte de CIQ, más cómoda si tus servidores ya son de la familia Red Hat.
Encima va vLLM, el programa de código abierto que reparte la memoria entre las conversaciones. Habla el mismo idioma que la API de OpenAI, así que las aplicaciones que ya tengas apenas cambian. Si varios equipos van a compartir las GPU, se añade Kubernetes para repartirlas entre ellos, que es justo lo que se practica en el curso de vLLM en Kubernetes. Como somos partner de Canonical y de CIQ, del servidor, el sistema y el soporte se encarga el mismo equipo. Y si prefieres no pelearte con nada de esto, te lo dejamos montado como servicio de inferencia en tus servidores.
Preguntas frecuentes
¿Cuánta memoria de GPU necesita un modelo de 70.000 millones de parámetros?
Solo para el modelo, 140 GB en 16 bits, unos 70 en 8 bits y unos 35 en 4 bits. A eso se suman unos 2,5 GB por cada conversación larga. Una RTX PRO 6000 de 96 GB lo sirve en 8 bits a unas pocas personas a la vez.
¿Se puede tener IA en local sin GPU?
Sí. Con modelos pequeños, pocos usuarios o trabajos por lotes basta una CPU con memoria suficiente. Cuando hay gente esperando respuesta o el modelo crece, hace falta GPU.
¿A cuántas personas atiende un servidor con una sola GPU?
Depende del modelo y de lo largas que sean las conversaciones, porque cada una ocupa memoria. Un 70B en 8 bits en una RTX PRO 6000 atiende unas ocho conversaciones largas a la vez, y un modelo de 8.000 millones en la misma tarjeta, decenas. Lo fiable es medirlo con tu carga.
¿Cuánto cuesta un servidor para IA?
Lo que más pesa en el precio es el número y la clase de GPU; después vienen la memoria, la red y los años de soporte. Por eso el precio sale del modelo que vas a servir y de cuánta gente lo va a usar. Con esos dos datos, en el configurador o hablando con nosotros, te damos una propuesta cerrada.
¿Qué servidor te hace falta?
Dinos qué modelo quieres servir, para cuánta gente y dónde va a ir la máquina. Si hace falta, medimos tu carga antes de que compres, y del servidor, el sistema y el soporte se encarga el mismo equipo. Si prefieres hacer tú las cuentas, el configurador te deja montarla paso a paso.
Servidores Lenovo y Supermicro para IA, con Ubuntu o Rocky Linux y soporte · sixe.esBlog!
Nuestra mision
SIXE garantiza que tus infraestructuras basadas en tecnologías IBM®, Red Hat®, Canonical® y SUSE® permanezcan estables, seguras y optimizadas durante todo el tiempo que las necesites.
En SIXE, nos comprometemos con la sostenibilidad. Por eso te ayudamos a diseñar, implementar y mantener soluciones tecnológicas duraderas y eficientes.
