Python, Spark y Hadoop para Big Data

Esta capacitación en vivo con instructor en Costa Rica (en línea o presencial) está dirigida a científicos de datos e ingenieros de nivel intermedio que desean utilizar Google Colab y Apache Spark para el procesamiento y análisis de big data.

Al finalizar esta capacitación, los participantes serán capaces de:

• Configurar un entorno de big data utilizando Google Colab y Spark.
• Procesar y analizar grandes conjuntos de datos de forma eficiente con Apache Spark.
• Visualizar big data en un entorno colaborativo.
• Integrar Apache Spark con herramientas basadas en la nube.

Apache Hadoop es el marco de trabajo más popular para procesar Big Data en clústeres de servidores. En este curso de tres (opcionalmente, cuatro) días, los participantes aprenderán sobre los beneficios empresariales y los casos de uso para Hadoop y su ecosistema, cómo planificar el despliegue y el crecimiento del clúster, cómo instalar, mantener, monitorizar, solucionar problemas y optimizar Hadoop. También practicarán la carga masiva de datos del clúster, se familiarizarán con varias distribuciones de Hadoop y practicarán la instalación y gestión de herramientas del ecosistema Hadoop. El curso termina con una discusión sobre cómo asegurar el clúster con Kerberos.

«…El material estuvo muy bien preparado y cubierto en profundidad. El laboratorio fue muy útil y bien organizado»
— Andrew Nguyen, Ingeniero Principal de Integración DW, Microsoft Online Advertising

Audiencia

Administradores de Hadoop

Formato

Conferencias y laboratorios prácticos, con un equilibrio aproximado de 60% conferencias y 40% laboratorios.

Apache NiFi es una plataforma de integración de datos y procesamiento de eventos basada en flujos y de código abierto. Permite el enrutamiento automático en tiempo real, la transformación y la mediación de sistemas entre sistemas dispares, con una interfaz de usuario basada en la web y un control fino.

Esta formación en vivo, impartida por un instructor (en sitio o remota), está dirigida a administradores e ingenieros de nivel intermedio que deseen implementar, gestionar, asegurar y optimizar los flujos de datos de NiFi en entornos de producción.

Al final de esta formación, los participantes podrán:

• Instalar, configurar y mantener clústeres de Apache NiFi.
• Diseñar y gestionar flujos de datos desde diversas fuentes y destinos.
• Implementar automatización de flujos, lógica de enrutamiento y transformación.
• Optimizar el rendimiento, supervisar las operaciones y solucionar problemas.

Formato del curso

• Conferencia interactiva con discusión sobre arquitecturas del mundo real.
• Laboratorios prácticos: construcción, implementación y gestión de flujos.
• Ejercicios basados en escenarios en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, contáctenos para coordinar los detalles.

En este entrenamiento en vivo con instructor en <ubicación>, los participantes aprenderán los fundamentos de la programación basada en flujos mientras desarrollan varias extensiones de demostración, componentes y procesadores utilizando Apache NiFi.

Al finalizar este entrenamiento, los participantes podrán:

• Comprender la arquitectura de NiFi y los conceptos de flujo de datos.
• Desarrollar extensiones utilizando NiFi y API de terceros.
• Desarrollar a medida su propio procesador de Apache NiFi.
• Ingerir y procesar datos en tiempo real desde formatos de archivo y fuentes de datos dispares e inusuales.

Esta capacitación ofrece una introducción práctica para construir flujos de trabajo escalables de procesamiento de datos y Aprendizaje Automático utilizando PySpark. Los participantes aprenderán cómo Apache Spark opera dentro de los ecosistemas modernos de Big Data y cómo procesar eficientemente grandes conjuntos de datos aplicando principios de computación distribuida.

Esta capacitación en vivo dirigida por un instructor en <ubicación> (en línea o presencial) está orientada a ingenieros que deseen configurar e implementar un sistema Apache Spark para procesar grandes cantidades de datos.

Al finalizar esta capacitación, los participantes serán capaces de:

• Instalar y configurar Apache Spark.
• Procesar y analizar conjuntos de datos muy grandes de manera rápida.
• Comprender las diferencias entre Apache Spark y Hadoop MapReduce, y saber cuándo utilizar cada uno.
• Integrar Apache Spark con otras herramientas de aprendizaje automático.

Esta formación en vivo con instructores en Costa Rica (en línea o presencial) está dirigida a administradores de sistemas de nivel principiante a intermedio que deseen implementar, mantener y optimizar clústeres de Spark.

Al finalizar esta formación, los participantes podrán:

• Instalar y configurar Apache Spark en diversos entornos.
• Gestionar los recursos del clúster y monitorear las aplicaciones de Spark.
• Optimizar el rendimiento de los clústeres de Spark.
• Implementar medidas de seguridad y garantizar alta disponibilidad.
• Depurar y solucionar problemas comunes de Spark.

La curva de aprendizaje de Apache Spark es lenta al principio, y se requiere mucho esfuerzo para obtener los primeros resultados. Este curso tiene como objetivo superar esa primera etapa difícil. Tras completar este curso, los participantes comprenderán los conceptos básicos de Apache Spark, sabrán diferenciar claramente entre RDD y DataFrame, aprenderán a usar las API de Python y Scala, entenderán el funcionamiento de los executores y las tareas, entre otros aspectos. Además, siguiendo las mejores prácticas, este curso se centra intensamente en la implementación en la nube, Databricks y AWS. Los estudiantes también comprenderán las diferencias entre AWS EMR y AWS Glue, uno de los últimos servicios de Spark disponibles en AWS.

DIRIGIDO A:

Ingenieros de Datos, Profesionales de DevOps, Científicos de Datos

En esta formación en vivo con instructor en Costa Rica, los participantes aprenderán cómo usar Python y Spark juntos para analizar grandes datos, mientras realizan ejercicios prácticos.

Al final de esta capacitación, los participantes serán capaces de:

• Aprender a utilizar Spark con Python para analizar grandes datos.
• Trabajar en ejercicios que imitan casos del mundo real.
• Utilizar distintas herramientas y técnicas para el análisis de grandes datos usando PySpark.

Spark SQL es el módulo de Apache Spark diseñado para trabajar con datos estructurados y no estructurados. Spark SQL proporciona información sobre la estructura de los datos, así como sobre el cómputo que se está realizando. Esta información puede utilizarse para realizar optimizaciones. Dos usos comunes de Spark SQL son:
- ejecutar consultas SQL.
- leer datos desde una instalación existente de Hive.

En esta formación dirigida por un instructor (presencial o remota), los participantes aprenderán a analizar diversos tipos de conjuntos de datos utilizando Spark SQL.

Al finalizar esta formación, los participantes serán capaces de:

• Instalar y configurar Spark SQL.
• Realizar análisis de datos mediante Spark SQL.
• Consultar conjuntos de datos en diferentes formatos.
• Visualizar datos y resultados de consultas.

Formato del curso

• Clases interactivas y discusión.
• Amplia cantidad de ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para coordinar los detalles.

Stratio es una plataforma centrada en los datos que integra big data, IA y gobernanza en una única solución. Sus módulos Rocket e Intelligence permiten la exploración rápida de datos, transformación y análisis avanzado en entornos empresariales.

Esta formación en vivo con instructor (en línea o presencial) está dirigida a profesionales de datos de nivel intermedio que deseen utilizar los módulos Rocket e Intelligence de Stratio de manera efectiva con PySpark, centrándose en estructuras de bucle, funciones definidas por el usuario y lógica avanzada de datos.

Al finalizar esta formación, los participantes podrán:

• Navegar y trabajar dentro de la plataforma Stratio utilizando los módulos Rocket e Intelligence.
• Aplicar PySpark en el contexto de ingesta, transformación y análisis de datos.
• Utilizar bucles y lógica condicional para controlar flujos de trabajo de datos y tareas de ingeniería de características.
• Crear y gestionar funciones definidas por el usuario (UDF) para operaciones de datos reutilizables en PySpark.

Formato del curso

• Conferencia interactiva y discusión.
• Numerosos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, contáctenos para organizarlo.