Corremos el último modelo de Liquid AI en IBM Power sin GPU | AIX
Olvidémonos por un momento de los clusters de H100. En SIXE nos planteamos un reto: llevar hardware empresarial de 2018 al límite absoluto. La pregunta era simple pero ambiciosa: ¿Puede un IBM Power System ejecutando AIX y funcionando únicamente con CPU manejar modelos de IA de última generación?
Tomamos el nuevo modelo LFM2.5-1.2B de Liquid AI y lo ejecutamos en un procesador IBM POWER9. Hasta donde sabemos, esta es la primera vez que un modelo LFM2.5 funciona en AIX en modo Big-Endian.
El resultado
Casi 27 tokens por segundo, respuestas coherentes y menos de 750 MB de uso de memoria. Sin GPU. Sin NPU. Solo la potencia bruta de la arquitectura Power.
El hardware: IBM Power S924
Estas son las configuraciones específicas del benchmark:
| Especificación | Valor |
|---|---|
| Servidor | IBM Power System S924 |
| Procesador | IBM POWER9 @ 2.75 GHz |
| Sistema operativo | AIX 7.3 TL4 |
| Arquitectura | Big-Endian |
Rendimiento: encontrando el punto óptimo
Descubrimos que lanzar todos los núcleos contra el modelo perjudica el rendimiento debido a la sobrecarga de sincronización. El veredicto fue claro: usar solo 8 núcleos en modo SMT-2 (16 hilos) nos dio 26.7 tokens por segundo.
Esto es posible porque LFM2.5 es una arquitectura híbrida diseñada para máxima eficiencia, combinando bloques convolucionales (shortconv) para velocidad y capas de atención (GQA) para contexto.
El momento de las pruebas: el desafío del admin
Los números están bien, pero ¿realmente funciona? Para demostrar que esto no es solo un juguete de benchmark, sometimos LFM2.5 a tareas reales de administración AIX y lo comparamos con un Transformer estándar (TinyLlama 1.1B).
Ronda 1: El error críptico (errpt)
Alimentamos los modelos con un log de error AIX relacionado con un fallo en la fuente de alimentación.
❌ TinyLlama 1.1B: Fallo. Se quedó atascado en un bucle infinito repitiendo “PWRSPLY”.
✅ LFM2.5 1.2B: Éxito. Identificó el componente y dio consejos accionables para revisar los ventiladores.
Ronda 2: La auditoría de seguridad
Proporcionamos un historial de logins que contenía un evento de crash oculto.
❌ TinyLlama 1.1B: Fallo. Silencio absoluto; generó un token y se detuvo.
✅ LFM2.5 1.2B: Éxito. Detectó inmediatamente la detención anormal del 27 de enero y recomendó una investigación.
Ronda 3: El consejo peligroso (/etc/passwd)
Pedimos a los modelos que auditaran un archivo de contraseñas estándar. Los resultados aquí fueron impactantes.
❌ TinyLlama 1.1B: FALLO CATASTRÓFICO. Afirmó que el usuario “root” no era necesario y recomendó eliminarlo. Seguir este consejo destruiría el servidor.
✅ LFM2.5 1.2B: Éxito. Identificó correctamente riesgos potenciales reales como las cuentas “guest” y “nobody” con UIDs altos.
Ronda 4: Endurecimiento de servicios (lssrc -a)
Pedimos a los modelos que revisaran los servicios en ejecución.
❌ TinyLlama 1.1B: Fallo. Silencio de nuevo.
✅ LFM2.5 1.2B: Éxito. Marcó servicios arriesgados como sendmail y portmap, y proporcionó el comando AIX correcto (stopsrc) para deshabilitarlos.
Por qué esto importa para los usuarios de IBM Power
Este benchmark demuestra que los IBM Power son motores de inferencia de IA capaces para tareas críticas on-premise:
Soberanía de datos: Analiza logs errpt sensibles, datos financieros o auditorías de usuarios localmente. Ningún dato sale de tu servidor.
Modernización de legacy: Usa LLMs locales para ayudar a entender y documentar código legacy COBOL o C que reside en el servidor.
Eficiencia: No necesitas un cluster de GPUs. Probablemente ya tienes el hardware capaz de hacer esto.
Pruébalo tú mismo :)
En SIXE creemos en el código abierto. Te dejamos aquí el código y el modelo para que puedas hacer tus pruebas. Cualquier aportación que quieras hacer, somos todo oídos.
Código: gitlab.com/librepower/llama-aix
Modelos: huggingface.co/librepowerai
# Inicio rápido en AIX git clone https://gitlab.com/librepower/llama-aix.git ./scripts/build_aix_73.sh # Optimizar threading para el "punto óptimo" smtctl -t 2 -w now
