Descripción
Curso de big data con Apache Spark para preparar los datos que alimentan modelos y asistentes de IA sobre vuestro propio almacenamiento: Ceph, almacenamiento compatible con S3 o sistemas de ficheros paralelos, no un servicio de nube. Se construye una canalización que se puede repetir sin duplicar datos y que explica de dónde sale cada resultado.
Datos del curso
| Código SIXE: SXIA06 | Categoría: Inteligencia Artificial / Datos |
| Modalidad: Online y presencial | Duración: 3 días |
Para quién es
Ingenieros de datos, analistas avanzados y equipos de plataforma que tienen que mover y preparar volúmenes grandes de datos para entrenar o alimentar modelos.
Requisitos
Python y SQL básicos. No hace falta experiencia previa con Spark ni con Hadoop.
Qué vas a aprender
- Diseñar la canalización: esquemas, contratos de datos, formatos como Parquet y controles de calidad desde la entrada.
- Spark por dentro: particiones, shuffle y por qué un trabajo va lento; cuándo basta con Python y cuándo compensa distribuir.
- Leer y escribir en vuestro almacenamiento: Spark contra almacenamiento compatible con S3, como Ceph, y cómo afectan la red y el disco al rendimiento.
- Cargas incrementales: procesar solo lo nuevo, ejecutar dos veces sin duplicar y recuperar una carga que se cortó.
- Datos en tiempo real: eventos con Spark Structured Streaming, ventanas y datos que llegan tarde.
Se trabaja con tres fuentes de ejemplo (un CSV, una API y un flujo de eventos) y termina con una canalización en Spark lista para alimentar un modelo, con su linaje y sus controles.
Qué te llevas
- Una canalización en Spark con contratos y controles de calidad.
- El registro de linaje y de cada carga.
- Una prueba de recuperación de una carga interrumpida.
El almacenamiento es casi siempre el cuello de botella de estas cargas: lo explicamos en qué almacenamiento elegir para IA y HPC. Si usáis Ceph, tenemos formación de Ceph y soporte de Ceph para IA y HPC.
Preguntas frecuentes
¿Cuánto dura el curso?
3 días.
¿Es online o presencial?
Las dos cosas: en vuestras oficinas o en remoto, con instructor en directo.
¿Qué necesito saber antes?
Python y SQL básicos. No hace falta experiencia previa con Spark ni con Hadoop.
¿Hace falta un clúster de Hadoop?
No. Spark funciona en local, en Kubernetes o en un clúster pequeño. En el curso se usa un entorno de laboratorio y se explica cómo llevarlo al vuestro.
¿Sirve si no tenemos Ceph?
Sí. Vale cualquier almacenamiento compatible con S3 o un sistema de ficheros compartido.
¿Se puede adaptar a mi equipo?
Sí. Ajustamos ejemplos y prácticas a las herramientas y procesos del equipo, y podemos combinarlo con otros cursos de IA.
