SupermicroARS-511GD-NB-LCC-01-G2

Está pensada para el equipo que desarrolla agentes y ajusta modelos grandes y que hoy depende de reservar horas en un clúster o en la nube. La GPU tiene 252 GB de HBM3e (memoria apilada junto al propio chip) y la CPU otros 496 GB de LPDDR5X, memoria de bajo consumo que aquí lleva corrección de errores; las dos se unen por NVLink-C2C, el enlace directo de NVIDIA entre CPU y GPU, de forma que el modelo ve un único espacio de 748 GB. NVIDIA indica que esta clase de equipo trabaja con modelos de hasta un billón de parámetros, y con dos puertos de 400 GbE en una ConnectX-8 se puede conectar al almacenamiento o a otra estación sin cuellos de botella.

Hay que tener en cuenta dos cosas. La CPU es Arm, así que conviene comprobar que vuestras imágenes de contenedor y bibliotecas existen para arm64, cosa que hoy es lo habitual en la pila de NVIDIA pero no siempre en las herramientas internas. Y es una sola GPU con una sola fuente de 1.600 W, sin redundancia, por lo que encaja como herramienta de trabajo de un equipo, y para dar servicio a muchos usuarios hace falta un servidor de rack.

Lo que hacemos nosotros

La entregamos con el sistema operativo y la pila de NVIDIA instalados, con contenedores para ajuste fino y vLLM para servir lo que el equipo vaya probando, y la conectamos a vuestra red y a vuestro almacenamiento por los puertos de 400 GbE. Supermicro exige para este modelo la garantía ampliada con intervención in situ al siguiente día laborable, y nosotros nos ocupamos de coordinarla y de ser el primer contacto cuando algo falle.