Programa del Curso

Introducción

Comprender los fundamentos de Apache Flume

  • Acerca de Apache Flume
  • Comprender cómo funciona Flume
  • Descripción de los componentes importantes de Apache Flume
  • Arquitectura de Apache Flume
  • Modo de flujo de datos
  • Confiabilidad
  • Recuperabilidad

Configurando Apache Flume

  • Configuración y configuración de un agente
  • Comenzar un agente
  • Usar variables de entorno
  • Registro de flujo de datos sin procesar
  • Instalar complementos de terceros

Ingerir datos de recursos externos

  • Usando el Mecanismo Avro RPC
  • Ejecutando Comandos
  • Explorando flujos de red

Configuración del flujo de múltiples agentes

Consolidando eventos en un solo canal

Definición de un multiplexor de flujo

Configuración de flujo

Definiendo el flujo

  • Configuración de componentes individuales
  • Agregar múltiples flujos en un agente
  • Configuración de un flujo de múltiples niveles
  • Expansión del flujo de una fuente única a múltiples canales

Implementando una Fuente de Flume

  • Usando Avro Source
  • Usando Thrift Source
  • Usando Exec Source
  • Usando JMS Source
  • Uso de Spooling Directory Source
  • Usando la Fuente Taildir
  • Usando Twitter 1% firehose Fuente
  • Usando la fuente de Kafka
  • Uso de NetCat TCP Source
  • Uso de NetCat UDP Source
  • Usando la Fuente del Generador de Secuencia
  • Usando Syslog TCP Source
  • Utilizando Multiport Syslog TCP Source
  • Utilizando Syslog UDP Source
  • Usando HTTP Source
  • Usar la fuente de estrés
  • Usando fuentes heredadas
  • Usando Custom Source
  • Usando Scribe Source

Implementando un Fregadero de Flujo

  • Usando HDFS Sink
  • Usando Hive Sink
  • Usando Logger Sink
  • Usando el fregadero de Avro
  • Utilizando Thrift Sink
  • Usando IRC Sink
  • Usando File Roll Sink
  • Usando Null Sink
  • Usando HBaseSinks
  • Usando MorphlineSolrSink
  • Usando ElasticSearchSink
  • Usando el fregadero Kite Dataset
  • Usando el fregadero Kafka
  • Usando HTTP Sink
  • Usando un fregadero personalizado

Implementando una interfaz de canal de canal

  • Usando el Canal de Memoria
  • Usando el canal JDBC
  • Usando el canal de Kafka
  • Usando el canal de archivos
  • Usando el canal de memoria derramable
  • Usando el canal de pseudo transacción
  • Usando un canal personalizado

Usar selectores de canal de canal

  • Uso del selector de canal de replicación
  • Uso del selector de canal de multiplexación
  • Usar un selector de canal personalizado

Implementación de procesadores de sumidero de canal

  • Usando el procesador Defauult Sink
  • Uso del procesador de la Consola de conmutación por error
  • Uso del procesador de sumidero de equilibrio de carga
  • Usando un procesador de sumidero personalizado

Uso de serializadores de eventos

Uso de interceptores de canal

  • Usando el interceptor de marca de tiempo
  • Usando el interceptor de host
  • Usando el interceptor estático
  • Usar el interceptor de quitar encabezado
  • Usando el interceptor UUID
  • Usando el Interceptor Morphline
  • Usando el interceptor de búsqueda y reemplazo
  • Uso del Interceptor de filtrado Regex
  • Usando el Interceptor Regex Extractor

Entender las propiedades del canal

Configuraciones de seguridad en Apache Flume

Monitoreo e Informes en Apache Flume

Usando herramientas en Apache Flume

  • Usando la herramienta de integridad de canal de archivos
  • Uso de la herramienta Validator de eventos

Comprender las consideraciones de diseño de la topología

Manejo de fallas del agente

Manejo de compatibilidad

Solución de problemas

Resumen y conclusión

Observaciones finales

Requerimientos

  • Experiencia de programación
     
  35 horas
 

Número de participantes


Comienza

Termina


Dates are subject to availability and take place between 09:30 and 16:30.
Los cursos de formación abiertos requieren más de 5 participantes.

Testimonios (5)

Cursos Relacionados

Categorías Relacionadas