SupermicroAS-8126GS-NB3RT-01-G2

Supermicro la cataloga para inferencia a gran escala y la configuración va en esa línea: las ocho GPU Blackwell Ultra suman más de 2 TB de memoria y se comunican por NVLink (el enlace directo de NVIDIA entre GPU) a través de un conmutador NVSwitch, así que un modelo de varios cientos de miles de millones de parámetros cabe entero en la máquina y aún queda sitio para la caché de contexto de muchas conversaciones simultáneas. Los EPYC 9575F son la variante de AMD que prima la frecuencia sobre el número de núcleos, y eso se nota en la parte del trabajo que sigue en la CPU, como encolar peticiones, tokenizar y alimentar a las GPU sin que esperen.

Lo que conviene pensar antes es la continuidad del servicio. Con un único nodo, una parada de mantenimiento deja el modelo fuera de línea, de modo que si va a producción el diseño serio empieza en dos máquinas, y ahí es donde los ocho puertos de 800 GbE y los dos de 200 GbE dejan de ser un lujo. Y si el modelo que vas a servir ronda los 70.000 millones de parámetros, una SYS-422GA-NRT-02-G2 con ocho RTX PRO 6000 lo mueve con holgura y ocupa la mitad de rack.

Lo que hacemos nosotros

La entregamos con RHEL o Ubuntu, los controladores de NVIDIA y el GPU Operator sobre Kubernetes u OpenShift AI, y con vLLM como servidor de inferencia, probado con el modelo que vayas a usar. Los dos puertos de 200 GbE los dejamos para el almacenamiento, normalmente un clúster Ceph donde viven los pesos de los modelos y los datos, de forma que ese tráfico nunca compita con el de las GPU. Tienes más detalle de cómo lo montamos en inferencia de IA sobre Kubernetes y Ceph.