SupermicroSYS-422GA-NRT-01-G2

Supermicro orienta esta familia a plataformas de inferencia compartidas, y es donde mejor rinde: un servidor del que tiran a la vez el equipo de datos, el que desarrolla agentes y un par de servicios en producción. Cada RTX PRO 6000 se puede partir con MIG (la división de NVIDIA de una GPU en instancias aisladas) en hasta cuatro trozos con su propia memoria, así que la máquina puede repartirse en dieciséis GPU pequeñas o funcionar con cuatro grandes según lo que pida cada carga. Los 144 núcleos de los dos Xeon 6960P sobran para el preprocesado, las bases vectoriales y el resto de servicios que rodean a un modelo.

Las cuatro GPU se comunican por un conmutador PCIe 5.0, sin la red NVLink de las máquinas HGX, y eso marca su techo. Para servir un modelo repartido entre las cuatro va bien; para entrenar un modelo grande, donde las GPU intercambian datos sin parar, la opción es una HGX B300, porque NVLink comunica las GPU mucho más rápido que PCIe. La red de serie es de 10 GbE, suficiente si los modelos viven en los discos E1.S locales y escasa si los vas a cargar desde un almacenamiento compartido.

Lo que hacemos nosotros

La integramos en OpenShift AI o en Kubernetes con el NVIDIA GPU Operator, que es quien reparte las instancias MIG entre los proyectos y deja a cada equipo pedir la GPU que necesita sin tocar la máquina. Encima montamos vLLM para los modelos en producción y los cuadernos y flujos de datos que use el equipo de datos. Si quieres ver el diseño completo, lo contamos en inferencia de IA sobre Kubernetes y Ceph.