SupermicroSYS-212GB-FNR-01-G2

Es la máquina para poner en marcha un asistente interno, un buscador sobre la documentación de la empresa con recuperación aumentada (RAG, el modelo responde a partir de tus documentos) o un flujo de agentes que atiende a un departamento. Los 192 GB que suman sus dos GPU sirven un modelo de 70.000 millones de parámetros en 8 bits, y los dos discos E1.S, el formato compacto de NVMe pensado para servidores densos, guardan en la propia máquina los pesos y la base vectorial, de manera que arrancar o cambiar de modelo no depende de la red.

La contrapartida de tanta densidad es que lleva un solo procesador, con menos memoria del sistema y menos líneas PCIe que los modelos de doble zócalo. Admite hasta cuatro GPU, pero cada tarjeta puede consumir hasta 600 W y en 2U eso deja poco margen térmico, así que si piensas crecer más allá de dos te conviene más un chasis de 4U o 5U.

Lo que hacemos nosotros

La dejamos con RHEL o Ubuntu, los controladores de NVIDIA y vLLM sirviendo el modelo detrás de una API compatible con la de OpenAI, que es la que esperan casi todas las aplicaciones y frameworks de agentes. Si ya tenéis Kubernetes la unimos al clúster con el GPU Operator, y si no, la dejamos funcionando como servidor independiente con su monitorización y sus copias de la configuración.