SupermicroAS-8126GS-NB3RT-01-G2
La placa NVIDIA HGX B300 de ocho GPU acompañada de dos AMD EPYC 9575F, 3 TB de DDR5 y ocho puertos de 800 GbE, en la versión que Supermicro prepara para servir modelos grandes a mucha gente a la vez.
Rack 8U · Gold Series G2La configuración exacta
- Garantía
- 3 años de piezas y mano de obra
- Técnico in situ
- Opcional: al siguiente día laborable, durante 3 años
- Software
- Supermicro Data Center Management Suite, licencia por nodo
Servir modelos grandes a cientos de usuarios desde un solo chasis
Supermicro la cataloga para inferencia a gran escala y la configuración va en esa línea: las ocho GPU Blackwell Ultra suman unos 2,3 TB de HBM3e y se comunican por NVLink (el enlace directo de NVIDIA entre GPU) a través de un conmutador NVSwitch, así que un modelo de varios cientos de miles de millones de parámetros cabe entero en la máquina y aún queda sitio para la caché de contexto de muchas conversaciones simultáneas. Los EPYC 9575F son la variante de AMD que prima la frecuencia sobre el número de núcleos, y eso se nota en la parte del trabajo que sigue en la CPU, como encolar peticiones, tokenizar y alimentar a las GPU sin que esperen.
Con un único nodo, una parada de mantenimiento deja el modelo fuera de línea, así que si va a producción el diseño empieza en dos máquinas unidas por los ocho puertos de 800 GbE, con las dos tarjetas de 200 GbE para el almacenamiento. Y si el modelo que vas a servir ronda los 70.000 millones de parámetros, dos RTX PRO 6000 bastan: una SYS-212GB-FNR-01-G2 en 2U o una AS-5126GS-TNRT-01-G2 si quieres crecer.
Lo que hacemos nosotros
La entregamos con RHEL o Ubuntu, los controladores de NVIDIA y el GPU Operator sobre Kubernetes u OpenShift AI, y con vLLM como servidor de inferencia, probado con el modelo que vayas a usar. Las dos tarjetas de 200 GbE, con dos puertos cada una, las dejamos para el almacenamiento, normalmente un clúster Ceph donde viven los pesos de los modelos y los datos, de forma que ese tráfico nunca compita con el de las GPU. Tienes más detalle de cómo lo montamos en inferencia de IA sobre Kubernetes y Ceph.
Qué necesita tu CPD
Ocupa 8U y su chasis mide 950 mm de fondo, más de lo que admiten muchos armarios de 1.000 mm una vez puestos los cables. Lleva seis fuentes de 6.600 W Titanium en redundancia 3+3, según la ficha oficial, lo que pide seis tomas repartidas en dos circuitos independientes para que la redundancia sirva de algo. La refrigeración es por aire, con hasta doce ventiladores de alto rendimiento, y por eso revisamos contigo la potencia disponible por rack, las PDU y el confinamiento del pasillo frío antes de cerrar nada.
Frente al resto de la familia
| Modelo | Lo que lleva | Cuándo elegirlo |
|---|---|---|
| SYS-822GS-NB3RT-01-G2 | HGX B300 8-GPU · 2 TB | La HGX B300 con Intel; la opción si tu estándar es Xeon. |
| AS-5126GS-TNRT-01-G2 | 2x RTX PRO 6000 · 1,5 TB | Dos GPU hoy, hueco para ocho y memoria de sobra. |
| SYS-212GB-FNR-01-G2 | 2x RTX PRO 6000 · 512 GB | La más compacta: 2U para un servicio de dos GPU. |
| SYS-422GA-NRT-01-G2 | 4x RTX PRO 6000 · 1 TB | Cuatro GPU que MIG reparte en hasta dieciséis instancias para varios equipos. |
| SYS-422GA-NRT-02-G2 | 8x RTX PRO 6000 · 1,5 TB | El máximo en PCIe: ocho GPU y red de 400 GbE. |
| SYS-C542i-11302U | Lista para RTX 50 · 32 GB | Torre de desarrollo sin GPU de serie; eliges tú la tarjeta. |
| ARS-511GD-NB-LCC-01-G2 | Grace + B300 · 748 GB | Un nodo GB300 en torre para el equipo que ajusta modelos sin reservar clúster. |
Qué incluye la entrega
De fábrica
- Configuración montada y probada por Supermicro
- Garantía de 3 años de piezas y mano de obra
De nuestra parte
- Montaje en el rack
- Gestión remota (BMC) y firmware al día
- Sistema operativo y la pila que vaya encima
- Pruebas con tu carga antes de pasar a producción
Si lo necesitas
- Guardia 24×7 con SLA
- Técnico in situ al siguiente día laborable durante los 3 años
Cómo lo montamos
Lo que va encima de estos servidores, contado en detalle:
Soporte y formación para tu equipo
Preguntas sobre la AS-8126GS-NB3RT-01-G2
¿Qué diferencia hay con la SYS-822GS-NB3RT-01-G2?
Las dos montan la misma placa HGX B300 de ocho GPU y el mismo chasis de 8U. Esta cambia los Xeon por dos AMD EPYC 9575F, sube la memoria del sistema de 2 a 3 TB y añade dos tarjetas de 200 GbE con dos puertos cada una, además de los ocho puertos de 800 GbE. Si tu parque es AMD, o quieres una red de almacenamiento separada sin añadir tarjetas, es la que encaja.
¿Qué tamaño de modelo cabe en la HGX B300?
Como regla de bolsillo, cada mil millones de parámetros ocupan unos 2 GB en 16 bits y 1 GB en 8 bits, y encima hay que reservar memoria para la caché de contexto, que crece con la longitud de las conversaciones y con los usuarios simultáneos. Con unos 2,3 TB entre las ocho GPU entra un modelo de unos 700.000 millones de parámetros en 8 bits con margen de sobra para servirlo a mucha gente.
¿Para qué sirve cada puerto de red?
Los ocho puertos de 800 GbE, que también funcionan como InfiniBand XDR (800 Gb/s), sirven para unir varios nodos de GPU en un clúster. Las dos tarjetas de 200 GbE, con dos puertos cada una y compatibles con InfiniBand NDR (200 Gb/s), las solemos dedicar al almacenamiento, de forma que leer pesos y datos no compita con el tráfico entre GPU.
¿La AS-8126GS-NB3RT-01-G2 encaja con lo que vas a montar?
Cuéntanos la carga y el CPD donde va a ir, y te devolvemos el precio, el plazo confirmado y lo que haría falta para ponerla en marcha.
Blog!
Nuestra mision
SIXE garantiza que tus infraestructuras basadas en tecnologías IBM®, Red Hat®, Canonical® y SUSE® permanezcan estables, seguras y optimizadas durante todo el tiempo que las necesites.
En SIXE, nos comprometemos con la sostenibilidad. Por eso te ayudamos a diseñar, implementar y mantener soluciones tecnológicas duraderas y eficientes.
