RTX PRO 6000 Blackwell para IAQué cambia entre sus tres versiones, en qué servidores va, cuándo conviene más una H200 y cómo se parte en cuatro con MIG.
La RTX PRO 6000 Blackwell es una tarjeta PCIe con 96 GB de memoria, y esa cifra explica por qué aparece en tantas configuraciones de servidores de IA. En 96 GB cabe un modelo de 70.000 millones de parámetros en 8 bits con sitio para unas cuantas conversaciones, y hasta ahora eso pedía dos tarjetas o una GPU de centro de datos bastante más cara.
La llevan buena parte de los servidores de nuestro catálogo, y antes de configurar uno hay que decidir qué versión pedir, cuántas caben en cada máquina y cómo repartirla entre varios equipos.
Las tres versiones de la RTX PRO 6000
Las tres llevan el mismo chip, los mismos 96 GB de GDDR7 con corrección de errores y las mismas 24.064 unidades CUDA, y las tres admiten MIG. Lo que cambia es cuánta energía pueden gastar y cómo se refrigeran, y eso decide dónde se puede meter cada una.
Para un servidor de rack la que toca es la Server Edition, porque no lleva ventiladores y se refresca con el aire que mueve el propio chasis. La Workstation Edition saca el calor hacia dentro de la caja y está pensada para una sola tarjeta en un equipo de sobremesa. La Max-Q gasta la mitad y lo expulsa por detrás, de modo que se pueden poner varias juntas en una estación de trabajo, a cambio de rendir menos que las de 600 W.
En qué servidores va y cuántas caben
Con dos tarjetas son 192 GB, que dan para un modelo de 70.000 millones de parámetros con bastante gente a la vez o para uno de más de 100.000 en 8 bits. Es lo que llevan el Supermicro SYS-212GB-FNR, que las mete en 2U con un solo Xeon, y el AS-5126GS-TNRT, que sale con dos y deja sitio para llegar a ocho cuando haga falta.
En Lenovo, el ThinkSystem SR650a V4 admite cuatro en 2U si se limitan a 450 W, o dos a 600 W. Para cuatro u ocho a plena potencia están el SYS-422GA-NRT con cuatro, el mismo chasis con ocho y 768 GB de memoria de GPU entre todas, y el ThinkSystem SR675 V3, que también acepta ocho.
Con ocho tarjetas solo las GPU pueden pedir casi 5 kW, así que antes de elegir el chasis conviene mirar cuánta potencia llega al armario y cuánto calor puede sacar la sala. Las cuentas completas, del modelo al CPD, están en nuestra guía para elegir un servidor para IA.
RTX PRO 6000 frente a H200 y frente a RTX 5090
La H200 NVL, también en PCIe, tiene 141 GB de memoria HBM3e que se lee a 4,8 TB/s, tres veces más deprisa que la de la RTX PRO 6000. Esa velocidad es la que marca lo rápido que aparece cada palabra de la respuesta cuando hay mucha gente esperando, y además las H200 se pueden unir entre sí con puentes NVLink. Las RTX PRO 6000 no tienen NVLink y se hablan por PCIe, de modo que rinden mejor cuando cada modelo cabe en una tarjeta o en pocas.
Si vas a servir varios modelos de hasta unos 70.000 millones de parámetros, o uno así a un departamento, la RTX PRO 6000 suele bastar. Si es un modelo grande repartido entre varias GPU y lo van a usar cientos de personas, la H200 o una placa HGX con B200 o B300 compensa lo que cuesta de más. Si no lo tienes claro, podemos medirlo con tu carga antes de la compra.
La GeForce RTX 5090 sale mucho en esta comparación porque usa la misma generación de chip, pero tiene 32 GB, no admite MIG y su refrigeración está pensada para una torre de sobremesa. Para probar modelos pequeños en un puesto de trabajo va bien, y para un servidor compartido se queda corta de memoria antes que de potencia.
Partir la RTX PRO 6000 en cuatro con MIG
MIG (Multi-Instance GPU) divide la tarjeta por hardware en GPU más pequeñas, cada una con su memoria y sus núcleos, de modo que lo que pasa en una no afecta a las demás. Según la guía de MIG de NVIDIA, la RTX PRO 6000 admite hasta cuatro instancias de 24 GB, la RTX PRO 5000 hasta dos, y las H100, H200 y B200 hasta siete. Cuatro trozos de 24 GB dan para servir a la vez varios modelos pequeños, como uno de embeddings, un clasificador y uno de voz a texto, sin que se peleen por la memoria.
Para activarlo hace falta el controlador R575 (575.51.03) o posterior y una versión mínima del vBIOS, la memoria de arranque de la tarjeta. Hay RTX PRO 6000 que salieron de fábrica con un vBIOS anterior, y entonces nvidia-smi -i 0 -mig 1 responde con un «Not Supported» que no explica la causa. Se comprueba con nvidia-smi --query-gpu=vbios_version --format=csv, y si se queda corto la actualización se pide al fabricante del servidor o a quien te vendió la tarjeta.
En una estación de trabajo con una sola tarjeta, MIG necesita que trabaje en modo de cálculo, y en ese modo deja de dar imagen al monitor. En un servidor no pasa, ya que la pantalla la lleva la placa base.
Si la tarjeta va a un clúster de Kubernetes, el GPU Operator de NVIDIA configura los trozos en cada nodo y los ofrece como si fueran GPU normales. Cómo se combinan con el reparto por turnos y con las colas por equipo lo contamos en GPU compartida en Kubernetes.
Preguntas frecuentes
¿Cuánta memoria tiene la RTX PRO 6000 Blackwell?
96 GB de GDDR7 con corrección de errores, igual en sus tres versiones, con un ancho de banda de unos 1,6 TB/s.
¿Qué modelo de lenguaje cabe en una RTX PRO 6000?
Un modelo de 70.000 millones de parámetros en 8 bits ocupa unos 70 GB, así que cabe con unos 25 GB libres para conversaciones. gpt-oss-120b, que viene en 4 bits, también cabe. Para modelos de más de 100.000 millones en 8 bits hacen falta dos o más tarjetas.
¿La RTX PRO 6000 tiene NVLink?
No. Las tarjetas se comunican por PCIe 5.0, así que funcionan mejor cuando cada modelo cabe en una o en pocas. Para repartir un modelo muy grande entre ocho GPU se usan placas HGX con NVLink.
¿Qué diferencia hay entre la Server Edition y la Max-Q?
La Server Edition no tiene ventiladores, puede gastar entre 400 y 600 W y va en servidores de rack. La Max-Q se queda en 300 W, lleva un ventilador que expulsa el aire por detrás y está pensada para estaciones de trabajo con varias tarjetas.
¿Por qué no puedo activar MIG en mi RTX PRO 6000?
Lo primero que hay que mirar es el vBIOS. NVIDIA pide una versión mínima para cada edición y hay tarjetas que salieron con una anterior. Compruébalo con nvidia-smi --query-gpu=vbios_version --format=csv y revisa también que el controlador sea R575 o posterior.
¿Cuántas RTX PRO 6000 te hacen falta?
Dinos qué modelo quieres servir y para cuánta gente, y te proponemos el servidor con las tarjetas, el sistema instalado y el soporte incluido. Si prefieres hacer tú las cuentas, el configurador te deja montarlo paso a paso.
Servidores Lenovo y Supermicro con RTX PRO 6000, con Ubuntu o Rocky Linux y soporteBlog!
Nuestra mision
SIXE garantiza que tus infraestructuras basadas en tecnologías IBM®, Red Hat®, Canonical® y SUSE® permanezcan estables, seguras y optimizadas durante todo el tiempo que las necesites.
En SIXE, nos comprometemos con la sostenibilidad. Por eso te ayudamos a diseñar, implementar y mantener soluciones tecnológicas duraderas y eficientes.
