SupermicroAS-5126GS-TNRT-01-G2

Con dos RTX PRO 6000 tienes 192 GB de memoria de GPU, suficiente para servir un modelo de unos 70.000 millones de parámetros en 8 bits a un departamento o para ajustar uno más pequeño con tus datos. Lo que la distingue de sus hermanas es el margen: el chasis admite hasta ocho GPU de doble ancho conectadas directamente a los procesadores, sin conmutador PCIe de por medio, y las seis fuentes de alimentación ya vienen montadas, así que pasar de dos a cuatro o a ocho tarjetas es cuestión de pincharlas y validar el firmware. El 1,5 TB de DDR5 también tiene sentido aquí, porque deja cargar en memoria los conjuntos de datos que alimentan el ajuste fino sin ir a disco a cada paso.

El punto flojo de la configuración de serie es la red, con un único adaptador de 10 GbE que vale para administrar y para un piloto, pero se queda corto en cuanto los datos viven en un almacenamiento compartido o quieres juntar dos nodos. Y si ya sabes que vas a necesitar ocho GPU desde el primer día, la SYS-422GA-NRT-02-G2 las trae montadas y con la red resuelta.

Lo que hacemos nosotros

La instalamos con Ubuntu o RHEL, el NVIDIA GPU Operator y vLLM, o con Slurm si la vais a usar para lanzar trabajos de entrenamiento por turnos entre varias personas. Cuando llegue el momento de ampliar, nos encargamos de pedir las GPU compatibles, actualizar BIOS y BMC y volver a validar la máquina con tu carga. Si la configuración Gold no termina de cuadrar, la armamos como servidor a medida sobre el mismo chasis.