LLM en IBM i sin Linux ni GPU: llama.cpp vía PASE
Ejecutamos un LLM en IBM i. Sin Linux. Sin nube. Sin GPU.
llama.cpp ya viene en el repositorio base PASE del propio IBM y corre directamente en IBM i. Tus programas RPG pueden llamar a un modelo de lenguaje local sin añadir infraestructura y sin enviar datos a la nube. En SIXE te enseñamos a hacerlo ;)
Si administras un IBM i, ya sabes lo que viene cada vez que alguien pregunta por inteligencia artificial: "monta un LPAR Linux", "usa OpenAI", "mira Wallaroo". Todas las respuestas implican salir del entorno, añadir capas, y en algún momento enviar datos de negocio a un servidor que no controlas.
Hay 150.000 sistemas IBM i procesando transacciones de banca, seguros y sanidad. La respuesta no puede ser siempre "añade más infraestructura". Así que probamos otra cosa.
Qué hicimos exactamente
Tomamos llama.cpp — el motor de inferencia LLM open source más usado — lo instalamos directamente desde el repositorio PASE del propio IBM en una partición IBM i V7R5 y le pasamos un modelo GGUF big-endian. Funcionó al primer intento. Después lo hemos verificado también en IBM i 7.6.
$ uname -a
OS400 WWW 5 7 007800001B91
$ /QOpenSys/pkgs/bin/python3 -c "import platform; print(platform.platform())"
OS400-5-007800001B91-powerpc-64bit
$ /QOpenSys/pkgs/bin/python3 -c "import sys; print('Byte order:', sys.byteorder)"
Byte order: bigIBM i V7R5 en pub400.com — un sistema IBM i público. Big-endian, powerpc-64bit, OS400. No Linux, no AIX. IBM i.
Qué tipo de binario es
$ file /QOpenSys/pkgs/bin/llama-cli
/QOpenSys/pkgs/bin/llama-cli: 64-bit XCOFF executable or object moduleXCOFF de 64 bits: el formato ejecutable nativo de AIX, que PASE ejecuta tal cual. En IBM i el binario llega directamente del repositorio base PASE de IBM (yum install llama-cpp); en AIX seguimos manteniendo nuestra propia build junto a los modelos GGUF big-endian en aix.librepower.org y huggingface.co/librepowerai.
Primera ejecución
$ llama-cli --help
usage: llama-cli [options]
-m, --model FNAME ruta al modelo
-p, --prompt STRING prompt inicial
--no-cnv desactiva el modo conversación (one-shot)
...El binario carga, enlaza libggml y libllama, parsea argumentos y responde. Todo dentro de PASE. Para lanzar inferencia real, le pasas un modelo GGUF big-endian:
$ llama-cli \
-m models/tinyllama-1.1b-chat-be.gguf \
-p "¿Qué es IBM i?" -n 100 -t 4 --no-cnv
Por qué tiene sentido para un equipo IBM i
En 2026 la conversación sobre IA en IBM i está más viva que nunca. IBM acaba de lanzar Bob (el sucesor de WCA for i), un asistente de codificación para desarrolladores RPG. El 70% de los clientes IBM i prevé actualizaciones de hardware este año. Y hay una pregunta que sigue sin tener respuesta directa:
¿Cómo integro un modelo de lenguaje en mis aplicaciones IBM i sin depender de servicios externos?
Las opciones habituales, a día de hoy:
| Opción | Qué implica | El problema |
|---|---|---|
| LPAR Linux | Montar un LPAR aparte, ejecutar el LLM ahí, llamarlo desde RPG vía API | Infraestructura nueva, coste adicional, los datos viajan entre particiones |
| API cloud | Llamar a OpenAI, Azure o AWS desde RPG | Los datos de negocio salen de la máquina. En banca, seguros o sanidad esto es un problema serio |
| Wallaroo | La opción 1 empaquetada como servicio | 500 $/mes. Sigue siendo un LPAR Linux con marca |
| PASE + llama.cpp | El LLM corre dentro del propio IBM i vía PASE | Sin hardware adicional. Los datos no salen de la partición. |
Bob es para el desarrollador: ayuda a entender, documentar y generar código RPG desde el IDE. Lo que describimos aquí es para la aplicación en producción: un LLM corriendo en la misma partición al que cualquier programa RPG puede llamar como si fuera una API local. Son herramientas complementarias, no alternativas.
PASE: el puente que ya tenías instalado
PASE (Portable Application Solutions Environment) es un entorno de ejecución integrado en IBM i que ejecuta binarios AIX de forma nativa. No es emulación — es una capa que expone las llamadas al sistema AIX directamente sobre el kernel de IBM i. Si algo corre en AIX, puede correr en IBM i vía PASE.
En IBM i, llama.cpp ya está en el repositorio base PASE del propio IBM — no hace falta añadir ningún port de terceros. Para sistemas AIX seguimos manteniendo nuestra propia build a través de el repositorio AIX de LibrePower, junto con más de 30 paquetes open source instalables con DNF. PASE hace el resto.
No necesitas instalar nada especial en el sistema operativo. PASE ya está activo. En IBM i, yum install llama-cpp descarga el binario directamente del repositorio PASE de IBM. Le añades un modelo GGUF big-endian y listo — el LLM corre como cualquier otro proceso PASE, sin tocar el entorno nativo IBM i.
El problema del big-endian (y cómo lo resolvimos)
Hay una razón por la que nadie había hecho esto de forma sencilla antes: el orden de bytes. IBM i y AIX son big-endian. La práctica totalidad del software de IA — x86, ARM, Linux ppc64le — asume little-endian. Un archivo GGUF descargado de HuggingFace directamente no funciona en IBM i: los bytes están en el orden equivocado.
Esto ya lo habíamos resuelto en nuestro trabajo con AIX. La solución: convertir los modelos antes de distribuirlos. Los publicamos en huggingface.co/librepowerai, validados en hardware AIX real y listos para cargar directamente en IBM i PASE.
| Modelo | Tamaño | Cuantización |
|---|---|---|
| TinyLlama 1.1B Chat | 668 MB | Q4_K_M |
| LFM 1.2B Instruct | 695 MB | Q4_K_M |
| LFM 1.2B Thinking | 731 MB | Q4_K_M |
| Y 7 modelos más | — | — |
Son los mismos modelos que corremos en AIX POWER y se cargan sin conversión en IBM i vía PASE. En IBM i POWER10 la aceleración por hardware MMA está disponible a través de OpenBLAS. Los benchmarks se publicarán aparte cuando los números estén validados de principio a fin.
Del experimento a producción
Ejecutar --help prueba que el binario carga. El camino real hasta que esto es útil para tus aplicaciones tiene tres pasos, y el primero ya está disponible.
Paso 1: Inferencia directa (ya disponible)
Desde cualquier sesión SSH o QSH en el IBM i:
# Inferencia one-shot desde línea de comandos
llama-cli \
-m /ruta/al/modelo.gguf \
-p "Resume este albarán" -n 200 -t 8 --no-cnv--no-cnv desactiva el modo conversación — úsalo para prompts one-shot dentro de scripts (jobs por lotes, llamadas desde CL, cron). Útil para scripts CL, jobs por lotes, o simplemente para verificar que el modelo carga y responde bien en tu hardware concreto antes de ir más allá.
Paso 2: Servidor con API compatible con OpenAI (a corto plazo)
llama.cpp incluye llama-server, que levanta un endpoint HTTP compatible con la API de OpenAI. Una vez activo en PASE, cualquier programa RPG puede llamarlo usando QSYS2.HTTP_POST como lo haría con cualquier otra API:
# Arrancar el servidor en IBM i vía PASE
llama-server \
-m /ruta/al/modelo.gguf \
--host 0.0.0.0 --port 8080 -t 8// Llamada desde RPG — el LLM está en localhost
dcl-s url varchar(256) inz('http://localhost:8080/v1/chat/completions');
dcl-s cuerpo varchar(65535);
dcl-s respuesta varchar(65535);
// QSYS2.HTTP_POST — sin salir de IBM iLa parte importante: localhost. El modelo está en la misma máquina. Los datos no abandonan la partición.
Paso 3: Integración con aplicaciones de negocio (en desarrollo)
- Análisis de documentos: pasar informes Db2 al LLM para generar resúmenes automáticos
- Consultas en lenguaje natural: el usuario escribe en español, el LLM devuelve SQL
- Modernización de código RPG: el LLM analiza y documenta programas existentes sin salir de IBM i
- Monitorización inteligente: analizar mensajes QSYSOPR y logs de trabajos con contexto semántico
Cómo probarlo
Si tienes acceso a un IBM i con PASE activo, son tres pasos.
1. Instalar llama.cpp
En IBM i: llama.cpp ya está en el repositorio base PASE del propio IBM — no hace falta un port de terceros.
# Desde QSH o SSH en el IBM i
yum install llama-cppEn AIX: usa nuestro port desde aix.librepower.org (fuente y empaquetado en gitlab.com/librepower/aix, bajo llama-aix/RPMS/).
# En AIX con DNF configurado contra aix.librepower.org
dnf install llama-cpp2. Descargar un modelo big-endian
# Repositorio del modelo: https://huggingface.co/librepowerai/tinyllama-1.1b-chat-be
# Copia el enlace del .gguf desde la pestaña "Files" y descárgalo:
curl -LO https://huggingface.co/librepowerai/tinyllama-1.1b-chat-be/resolve/main/<archivo>.ggufTinyLlama es un buen punto de partida: pequeño, carga rápido y sirve para verificar que todo funciona antes de pasar a modelos más grandes.
3. Lanzar la inferencia
llama-cli \
-m tinyllama-1.1b-chat-be.gguf \
-p "¿Qué es IBM i?" \
-n 150 -t 4 --no-cnvEn la primera ejecución verás algo del estilo ggml_backend_load_best: search path does not exist. Es cosmético — llama.cpp está buscando backends opcionales que no están instalados. La inferencia funciona igual, puedes ignorarlo.
En SIXE llevamos años dando soporte a entornos IBM i. Si quieres ver si esta aproximación encaja con tu arquitectura — o entender qué implica para tus aplicaciones RPG — hablemos, sin compromiso.
Qué viene después
Esto es una prueba de concepto, no un producto terminado. Eso sí, tenemos claro qué queremos hacer a continuación:
- llama-server en IBM i — el servidor API HTTP corriendo en PASE, documentado y empaquetado para que puedas levantarlo en minutos
- Ejemplos de integración con RPG — código real de llamadas al LLM desde programas RPG con
QSYS2.HTTP_POST - Benchmarks en IBM i POWER10/POWER11 — mediciones sobre hardware de producción
- Modelos más grandes — pruebas con modelos 7B+ en particiones con memoria suficiente
- vLLM para IBM i — nuestro paquete vLLM para ppc64le, adaptado para correr en PASE
Otros proyectos de LibrePower
| Proyecto | Qué hace |
|---|---|
| aix.librepower.org | Más de 30 paquetes open source para AIX (llama.cpp incluido), instalables con DNF |
| huggingface.co/librepowerai | Modelos GGUF big-endian listos para AIX e IBM i PASE |
| linux.librepower.org | Repositorio APT con vLLM para Linux ppc64le (Ubuntu/Debian) |
| gitlab.com/librepower/aix | Fuente, parches y empaquetado del port AIX (RPMs en llama-aix/RPMS/) |
Prueba el LLM en tu propia partición
En IBM i, llama.cpp está a un yum install llama-cpp — viene en el repositorio base PASE del propio IBM. Los modelos big-endian están en HuggingFace. Si tienes acceso a PASE y unos minutos, puedes replicar exactamente este blog :)
