Servidores IA y GPU Supermicro con NVIDIA RTX PRO 6000 Blackwell y HGX B300

La primera cifra que hay que mirar es la memoria de GPU, porque el modelo tiene que caber entero en ella con margen para la caché de contexto. Una regla útil: cada mil millones de parámetros ocupan unos 2 GB en 16 bits y 1 GB en 8 bits, de modo que un modelo de 70.000 millones necesita unos 70 GB solo para los pesos en 8 bits, y luego crece con la longitud de las conversaciones y con los usuarios simultáneos. Cada NVIDIA RTX PRO 6000 Blackwell Server Edition aporta 96 GB.

Con esa cuenta, la escala de las RTX PRO 6000 queda clara. La SYS-212GB-FNR-01-G2 y la AS-5126GS-TNRT-01-G2 salen con dos tarjetas y 192 GB, la primera en 2U para un servicio concreto y la segunda en 5U con hueco para ocho; la SYS-422GA-NRT-01-G2 sube a cuatro y 384 GB, y la SYS-422GA-NRT-02-G2 llega a ocho y 768 GB, con red de 400 GbE. Por encima están la SYS-822GS-NB3RT-01-G2 y la AS-8126GS-NB3RT-01-G2, ambas con la placa HGX B300 de ocho GPU y más de 2 TB de memoria.

La otra pregunta es si vas a servir modelos o a entrenarlos. Para inferencia, las RTX PRO 6000 conectadas por PCIe rinden muy bien y se pueden partir en instancias para varios equipos. Para entrenar o ajustar modelos grandes, las GPU intercambian datos todo el rato y ahí la HGX B300, con sus ocho GPU unidas por NVLink, juega en otra categoría.

Y no todo tiene que ir a un rack. La SYS-C542i-11302U es una torre sin GPU de serie para que un desarrollador pruebe modelos en su mesa con una RTX 5090, y la ARS-511GD-NB-LCC-01-G2, la Super AI Station con NVIDIA GB300, pone 748 GB de memoria compartida entre CPU y GPU al servicio de un equipo que desarrolla y ajusta modelos sin depender de un clúster.