Corremos el último modelo de Liquid AI en IBM Power sin GPU | AIX
Olvidémonos por un momento de los clusters de H100. En SIXE nos planteamos un reto: llevar hardware empresarial de 2018 al límite absoluto. La pregunta era simple pero ambiciosa: ¿Puede un IBM Power System ejecutando AIX y funcionando únicamente con CPU manejar modelos de IA de última generación?
Tomamos el nuevo modelo LFM2.5-1.2B de Liquid AI y lo ejecutamos en un procesador IBM POWER9. Hasta donde sabemos, esta es la primera vez que un modelo LFM2.5 funciona en AIX en modo Big-Endian.
El resultado
Casi 27 tokens por segundo, respuestas coherentes y menos de 750 MB de uso de memoria. Sin GPU. Sin NPU. Solo la potencia bruta de la arquitectura Power.
Pero la velocidad bruta es solo la mitad de la historia. Para demostrar que esto no es solo un juguete de benchmark, sometimos a LFM2.5 a un “Desafío de SysAdmin” — tareas reales de administración AIX — y lo comparamos con un Transformer estándar (TinyLlama 1.1B). Los resultados fueron impactantes.
La “salsa secreta”: ¿Qué es LFM2.5?
LFM2.5 es una arquitectura híbrida diseñada para máxima eficiencia, combinando bloques convolucionales (shortconv) para velocidad y capas de atención (GQA) para contexto. Cuenta con una enorme ventana de contexto de 128k tokens — suficiente para leer miles de líneas de logs sin olvidar el principio.
El hardware: IBM Power S924
Estas son las configuraciones específicas del benchmark:
| Especificación | Valor |
|---|---|
| Servidor | IBM Power System S924 |
| Procesador | IBM POWER9 @ 2.75 GHz |
| Configuración | Enterprise Multi-Core (compatible SMT-8) |
| Sistema operativo | AIX 7.3 TL4 |
| Arquitectura | Big-Endian |
Rendimiento: encontrando el punto óptimo
Descubrimos que lanzar todos los núcleos contra el modelo perjudica el rendimiento debido a la sobrecarga de sincronización. El veredicto fue claro: usar solo 8 núcleos en modo SMT-2 (16 hilos) nos dio 26.7 tokens por segundo.
El momento de las pruebas: el desafío del admin
Los números están bien, pero ¿realmente funciona? Ejecutamos exactamente los mismos prompts a través de LFM2.5-1.2B y TinyLlama 1.1B (un transformer puro de tamaño similar). Aquí están las salidas reales.
Ronda 1: El error críptico (errpt)
Alimentamos los modelos con un log de error AIX relacionado con un fallo en la fuente de alimentación.
La entrada:
$ errpt -a -l BFE4C025
Description: Power/Cooling subsystem Unrecovered Error,
bypassed with loss of redundancy.
Possible FRUs:
Priority: H
FRU: PWRSPLY
Location: U78D2.001.WZS00P4❌ TinyLlama 1.1B:
“7. What is the location of the FRU that is affected by this error? The FRU that is affected by this error is PWRSPLY. 8. What is the description of the FRU that is affected by this error? The FRU that is affected by this error is PWRSPLY…”
Veredicto: Fallo. Se quedó atascado en un bucle infinito repitiendo “PWRSPLY”.
✅ LFM2.5 1.2B:
“What is the likely cause? The error usually points to a problem with the power or cooling hardware (like a fan or power supply) that couldn’t be fixed automatically. It might be a hardware failure or a misconfiguration. What action should I take? First, check the hardware — look at the fans (especially the power fans)…”
Veredicto: Éxito. Identificó el componente y dio consejos accionables para revisar los ventiladores.
Ronda 2: La auditoría de seguridad
Proporcionamos un historial de logins que contenía un evento de crash oculto.
La entrada:
$ last -20
root pts/0 10.10.10.1 Jan 28 11:14 - 18:38 (07:23)
reboot ~ Jan 28 11:12
root pts/0 10.10.10.1 Jan 27 22:09 - System halted abnormally. (13:03)❌ TinyLlama 1.1B:
(generó 1 token y se detuvo)
Veredicto: Fallo. Silencio absoluto.
✅ LFM2.5 1.2B:
“Suspicious patterns: The system was halted abnormally on Jan 27. This could indicate a security incident or a misconfiguration. Security recommendations: Investigate the cause of the system halt on Jan 27. Review the login history for any unauthorized access attempts.”
Veredicto: Éxito. Detectó inmediatamente la detención anormal del 27 de enero y recomendó una investigación.
Ronda 3: El consejo peligroso (/etc/passwd)
Pedimos a los modelos que auditaran un archivo de contraseñas estándar. Los resultados aquí fueron impactantes.
La entrada:
$ cat /etc/passwd
root:!:0:0::/:/usr/bin/bash
daemon:!:1:1::/etc:
bin:!:2:2::/bin:
...❌ TinyLlama 1.1B:
“1. root:!:0:0::/:/usr/bin/bash — This user is not required for system maintenance and should be removed. 2. daemon:!:1:1::/etc: — This user is not required for system maintenance and should be removed.”
Veredicto: FALLO CATASTRÓFICO. Afirmó que el usuario “root” no era necesario y recomendó eliminarlo. Seguir este consejo destruiría el servidor.
✅ LFM2.5 1.2B:
“Unauthorized or suspicious accounts: You should be very concerned about the presence of the following accounts: guest with a high UID (100), nobody with a high UID (4294967294)… These accounts are either misconfigured, potentially malicious, or not needed.”
Veredicto: Éxito. Identificó correctamente riesgos potenciales reales como las cuentas “guest” y “nobody” con UIDs altos.
Ronda 4: Endurecimiento de servicios (lssrc -a)
Pedimos a los modelos que revisaran los servicios en ejecución.
La entrada:
$ lssrc -a
Subsystem Group Status
sendmail mail active
portmap portmap active
inetd tcpip active
snmpd tcpip active❌ TinyLlama 1.1B:
(generó 0 tokens)
Veredicto: Fallo. Silencio de nuevo.
✅ LFM2.5 1.2B:
“1. sendmail Risk: Running mail daemon can be a target for attacks. Recommendation: Disable sendmail. stopsrc -s sendmail 2. portmap Risk: Running portmap daemon can be abused… stopsrc -s portmap”
Veredicto: Éxito. Marcó servicios arriesgados como sendmail y portmap, y proporcionó el comando AIX correcto (stopsrc) para deshabilitarlos.
Por qué esto importa para los usuarios de IBM Power
Este benchmark demuestra que los IBM Power son motores de inferencia de IA capaces para tareas críticas on-premise:
Soberanía de datos: Analiza logs errpt sensibles, datos financieros o auditorías de usuarios localmente. Ningún dato sale de tu servidor.
Modernización de legacy: Usa LLMs locales para ayudar a entender y documentar código legacy COBOL o C que reside en el servidor.
Eficiencia: No necesitas un cluster de GPUs. Probablemente ya tienes el hardware capaz de hacer esto.
Pruébalo tú mismo :)
En SIXE creemos en el código abierto. Te dejamos aquí el código y el modelo para que puedas hacer tus pruebas. Cualquier aportación que quieras hacer, somos todo oídos.
Código: gitlab.com/librepower/llama-aix
Modelos: huggingface.co/librepowerai
user@aix:~$ # Inicio rápido en AIX user@aix:~$ git clone https://gitlab.com/librepower/llama-aix.git user@aix:~$ ./scripts/build_aix_73.sh user@aix:~$ # Optimizar threading para el "punto óptimo" user@aix:~$ smtctl -t 2 -w now user@aix:~$ # ¡A disfrutar!
