Temario del curso
Introducción a Apache Iceberg
- Visión general de Apache Iceberg
- Repaso de conceptos básicos
Análisis Profundo de la Arquitectura de Iceberg
- Análisis detallado del formato de tabla de Iceberg
- Panorama detallado de la arquitectura, incluyendo metadatos y diseño de archivos
- Internos de la evolución del esquema y las particiones
Instalación y Configuración Avanzada
- Configuración de Iceberg para un rendimiento óptimo en diferentes entornos
- Integración con diversos motores de procesamiento de datos
- Configuración avanzada: seguridad, cifrado y controles de acceso
- Configuración de Iceberg en un entorno distribuido
Operaciones y Mantenimiento Avanzados
- Administración de tablas de Iceberg a gran escala
- Implementación y gestión de cambios de esquema complejos
- Manejo de la evolución de particiones y particionado oculto
- Operaciones CRUD avanzadas con cambios de esquema y particiones
Técnicas de Optimización de Consultas
- Técnicas para reducir la latencia de las consultas
- Podado de particiones y archivos
- Caché de metadatos y estrategias de optimización
- Implementación y prueba de técnicas de optimización de consultas
Ajuste de Rendimiento para Conjuntos de Datos Grandes
- Optimización del rendimiento para conjuntos de datos a gran escala
- Uso de las características integradas de Iceberg para el ajuste de rendimiento
- Estudios de casos sobre ajuste de rendimiento en escenarios del mundo real
- Ajuste de rendimiento para conjuntos de datos a gran escala
Migración y Integración Avanzadas de Datos
- Migración de estructuras de datos complejas desde otros sistemas
- Integración de Iceberg con flujos de datos en tiempo real
- Migración de conjuntos de datos complejos e integración de flujos de datos en tiempo real
Fiabilidad y Consistencia
- Garantizar la consistencia e integridad de los datos en entornos distribuidos
- Implementación y gestión de garantías transaccionales
- Manejo de fallos y mecanismos de recuperación
- Implementación de características de fiabilidad y consistencia
Características Avanzadas y Personalización
- Implementaciones de catálogo personalizadas
- Extensión de Iceberg con características personalizadas
- Implementación de catálogos personalizados y extensión de funcionalidades de Iceberg
Gobernanza y Cumplimiento de Datos
- Implementación de políticas de gobernanza de datos
- Cumplimiento con regulaciones de datos
- Gestión de rastros de auditoría y linaje de datos
- Implementación de características de gobernanza y cumplimiento
Resumen y Próximos Pasos
Requerimientos
- Familiaridad con los conceptos básicos, las operaciones fundamentales y la gestión de tablas Iceberg
Audiencia
- Ingenieros de datos
- Arquitectos de datos
- Analistas de datos
- Desarrolladores de software
Testimonios (5)
Los ejemplos en vivo
Ahmet Bolat - Accenture Industrial SS
Curso - Python, Spark, and Hadoop for Big Data
Traducción Automática
muy interactivo...
Richard Langford
Curso - SMACK Stack for Data Science
Traducción Automática
Suficiente práctica, el instructor es conocedor
Chris Tan
Curso - A Practical Introduction to Stream Processing
Traducción Automática
Aprende sobre Spark Streaming, Databricks y AWS Redshift
Lim Meng Tee - Jobstreet.com Shared Services Sdn. Bhd.
Curso - Apache Spark in the Cloud
Traducción Automática
tareas de práctica
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática