Inteligencia de Negocios de Big Data para Agencias del Gobierno

Cada sesión dura 2 horas

Día 1: Sesión 1: Visión General del Negocio sobre por qué la Inteligencia de Negocios con Big Data en el Gobierno

• Estudios de caso de NIH, DoE
• Tasa de adopción de Big Data en Agencias Gubernamentales y cómo están alineando sus operaciones futuras en torno a la Analítica Predictiva de Big Data
• Áreas de aplicación a gran escala en DoD, NSA, IRS, USDA, etc.
• Interfaz de Big Data con datos legacy
• Comprensión básica de las tecnologías habilitadoras en la analítica predictiva
• Integración de Datos y visualización mediante Paneles (Dashboards)
• Gestión de Fraude
• Generación de Reglas de Negocio / Detección de Fraude
• Detección y perfilado de amenazas
• Análisis costo-beneficio para la implementación de Big Data

Día 1: Sesión 2: Introducción a Big Data-1

• Características principales de Big Data: volumen, variedad, velocidad y veracidad. Arquitectura MPP para el volumen.
• Almacenes de Datos – esquema estático, conjuntos de datos que evolucionan lentamente
• Bases de datos MPP como Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
• Soluciones basadas en Hadoop – sin condiciones sobre la estructura del conjunto de datos.
• Patrón típico: HDFS, MapReduce (crunch), recuperación desde HDFS
• Por lotes: apto para analítico/no interactivo
• Volumen: Datos de streaming CEP
• Opciones típicas – productos CEP (p. ej. Infostreams, Apama, MarkLogic, etc)
• Menos listo para producción – Storm/S4
• Bases de datos NoSQL – (columnar y clave-valor): Más adecuado como complemento analítico para almacén de datos/base de datos

Día 1: Sesión 3: Introducción a Big Data-2

Soluciones NoSQL

• Almacén KV - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• Almacén KV - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• Almacén KV (Jerárquico) - GT.m, Cache
• Almacén KV (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• Caché KV - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Almacén de Tuplas - Gigaspaces, Coord, Apache River
• Base de Datos Objetos - ZopeDB, DB40, Shoal
• Almacén de Documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Almacén Columnar Ancho - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Variedades de Datos: Introducción al problema de limpieza de datos en Big Data

• RDBMS – estructura/esquema estático, no promueve un entorno ágil y exploratorio.
• NoSQL – semi estructurado, suficiente estructura para almacenar datos sin un esquema exacto antes de almacenarlos
• Problemas de limpieza de datos

Día 1: Sesión 4: Introducción a Big Data-3: Hadoop

• ¿Cuándo seleccionar Hadoop?/li>
• DATOS ESTRUCTURADOS - Los almacenes de datos/bases de datos empresariales pueden almacenar grandes volúmenes de datos (a un costo) pero imponen estructura (no bueno para exploración activa)
• DATOS SEMI ESTRUCTURADOS – difíciles de manejar con soluciones tradicionales (DW/DB)
• Almacenar datos = ESFUERZO ENORME y estático incluso después de la implementación
• Para la variedad y volumen de datos, procesados en hardware comercial – HADOOP
• Se necesita hardware comercial para crear un Clúster Hadoop

Introducción a Map Reduce /HDFS

• MapReduce – distribución de la computación en múltiples servidores
• HDFS – hace los datos disponibles localmente para el proceso de cómputo (con redundancia)
• Datos – pueden ser no estructurados/sin esquema (a diferencia de RDBMS)
• Responsabilidad del desarrollador de dar sentido a los datos
• Programar MapReduce = trabajar con Java (pros/contras), carga manual de datos en HDFS

Día 2: Sesión 1: Ecosistema de Big Data-Construyendo ETL de Big Data: universo de Herramientas de Big Data-¿cuál usar y cuándo?/h3>

• Hadoop vs. Otras soluciones NoSQL
• Para acceso interactivo y aleatorio a datos
• Hbase (base de datos orientada a columnas) sobre Hadoop
• Acceso aleatorio a datos pero con restricciones impuestas (máx 1 PB)
• No bueno para análisis ad-hoc, bueno para registro, conteo, series temporales
• Sqoop - Importar desde bases de datos a Hive o HDFS (acceso JDBC/ODBC)
• Flume – Flujo de datos (p. ej. datos de registro) a HDFS

Día 2: Sesión 2: Sistema de Gestión de Big Data

• Moviendo partes, nodos de cómputo iniciar/fallar :ZooKeeper - Para servicios de configuración/coordinación/nombrado
• Compleja tubería/flujo de trabajo: Oozie – gestionar flujo de trabajo, dependencias, cadena daisy
• Desplegar, configurar, gestión de clúster, actualización, etc (administración de sistemas) :Ambari
• En la Nube : Whirr

Día 2: Sesión 3: Analítica predictiva en Inteligencia de Negocios -1: Técnicas Fundamentales y BI basado en Machine Learning :

• Introducción al Machine Learning
• Aprendizaje de técnicas de clasificación
• Predicción Bayesiana-preparación del archivo de entrenamiento
• Máquina de Soporte Vectorial
• KNN p-Tree Algebra & minado vertical
• Red Neuronal
• Problema de variables grandes en Big Data-Bosque Aleatorio (RF)
• Problema de automatización en Big Data – Ensemble multi-modelo RF
• Automatización a través de Soft10-M
• Herramienta de analítica de texto-Treeminer
• Aprendizaje Ágil
• Aprendizaje basado en Agentes
• Aprendizaje Distribuido
• Introducción a Herramientas de Código Abierto para analítica predictiva : R, Rapidminer, Mahut

Día 2: Sesión 4 Ecosistema de analítica predictiva-2: Problemas comunes de analítica predictiva en el Gobierno.

• Analítica de información (Insight)
• Analítica de visualización
• Analítica predictiva estructurada
• Analítica predictiva no estructurada
• Perfilado de Amenazas/Fraudadores/Proveedores
• Motor de Recomendaciones
• Detección de patrones
• Descubrimiento de Reglas/Scenarios –fallas, fraude, optimización
• Descubrimiento de causa raíz
• Análisis de sentimiento
• Analítica CRM
• Analítica de Red
• Analítica de Texto
• Revisión asistida por tecnología
• Analítica de Fraude
• Analítica en Tiempo Real

Día 3 : Sesión 1 : Analítica en Tiempo Real y Escalable sobre Hadoop

• Por qué los algoritmos de analítica comunes fallan en Hadoop/HDFS
• Apache Hama- para cómputo distribuido por lotes sincrónico
• Apache SPARK- para cómputo de clúster para analítica en tiempo real
• CMU Graphics Lab2- Enfoque asincrónico basado en grafos para cómputo distribuido
• Enfoque basado en KNN p-Algebra desde Treeminer para reducir el costo de hardware de operación

Día 3: Sesión 2: Herramientas para eDiscovery y Forensics

• eDiscovery sobre Big Data vs. datos Legacy – una comparación de costo y desempeño
• Codificación predictiva y revisión asistida por tecnología (TAR)
• Demostración en vivo de un producto Tar (vMiner) para entender cómo funciona la TAR para un descubrimiento más rápido
• Indexación más rápida a través de HDFS –velocidad de los datos
• NLP o Procesamiento del Lenguaje Natural –varias técnicas y productos de código abierto
• eDiscovery en idiomas extranjeros-tecnología para el procesamiento de idiomas extranjeros

Día 3 : Sesión 3: Big Data BI para Ciberseguridad – Entendiendo la visión completa de 360 grados de la recopilación rápida de datos a la identificación de amenazas

• Entendiendo los básicos de la analítica de seguridad-superficie de ataque, mala configuración de seguridad, defensas del host
• Infraestructura de Red / Gran tubería de datos / ETL de Respuesta para analítica en tiempo real
• Prescriptiva vs predictiva – Basada en reglas fijas vs auto-descubrimiento de reglas de amenaza desde los Meta datos

Día 3: Sesión 4: Big Data en USDA : Aplicación en Agricultura

• Introducción al IoT (Internet de las Cosas) para agricultura-Big Data basado en sensores y control
• Introducción a la imagen satelital y su aplicación en agricultura
• Integrando datos de sensores e imágenes para fertilidad del suelo, recomendación de cultivo y pronóstico
• Seguro agrícola y Big Data
• Pronóstico de Pérdida de Cultivo

Día 4 : Sesión 1: BI de prevención de Fraude desde Big Data en el Gobierno-Analítica de Fraude:

• Clasificación básica de Analítica de Fraude- basada en reglas vs analítica predictiva
• Machine Learning supervisado vs no supervisado para detección de patrones de Fraude
• Fraude de proveedores/cobro excesivo por proyectos
• Fraude en Medicare y Medicaid-técnicas de detección de fraude para el procesamiento de reclamos
• Fraudes en reembolsos de viajes
• Fraudes en reembolsos de IRS
• Se darán estudios de caso y demostraciones en vivo donde haya datos disponibles.

Día 4 : Sesión 2: Analítica de Medios Sociales- Recopilación y análisis de inteligencia

• ETL API de Big Data para extraer datos de medios sociales
• Texto, imagen, meta datos y video
• Análisis de sentimiento desde feed de medios sociales
• Filtrado contextual y no contextual de feed de medios sociales
• Panel (Dashboard) de Medios Sociales para integrar diversos medios sociales
• Perfilado automatizado de perfiles de medios sociales
• Se dará una demostración en vivo de cada analítica a través de la Herramienta Treeminer.

Día 4 : Sesión 3: Analítica de Big Data en procesamiento de imágenes y feeds de video

• Técnicas de Almacenamiento de Imágenes en Big Data- Solución de almacenamiento para datos que exceden los petabytes
• LTFS y LTO
• GPFS-LTFS ( Solución de almacenamiento en capas para Big image data)
• Fundamentos de analítica de imágenes
• Reconocimiento de Objetos
• Segmentación de Imágenes
• Seguimiento de Movimiento
• Reconstrucción de imágenes 3-D

Día 4: Sesión 4: Aplicaciones de Big Data en NIH:

• Áreas emergentes de Bioinformática
• Meta-genómica y problemas de minado de Big Data
• Analítica Predictiva de Big Data para Farmacogenómica, Metabolómica y Proteómica
• Big Data en el proceso de Genómica aguas abajo
• Aplicación de analítica predictiva de Big data en Salud Pública

Panel (Dashboard) de Big Data para acceso rápido a datos diversos y visualización :

• Integración de la plataforma de aplicación existente con el Panel de Big Data
• Gestión de Big Data
• Estudio de Caso de Panel de Big Data: Tableau y Pentaho
• Usar la app de Big Data para impulsar servicios basados en ubicación en el Gobierno.
• Sistema de rastreo y gestión

Día 5 : Sesión 1: Cómo justificar la implementación de Big Data BI dentro de una organización:

• Definiendo ROI para la implementación de Big Data
• Estudios de caso de ahorro de Tiempo de Analista para recopilación y preparación de Datos –aumento en la ganancia de productividad
• Estudios de caso de ganancia de ingresos por ahorro en el costo de la base de datos licenciada
• Ganancia de ingresos por servicios basados en ubicación
• Ahorro por prevención de fraude
• Un enfoque integrado de hoja de cálculo para calcular aproximadamente el gasto vs. la ganancia de ingresos/ahorros de la implementación de Big Data.

Día 5 : Sesión 2: Procedimiento paso a paso para reemplazar el sistema de datos legacy por un Sistema de Big Data:

• Entendiendo la Hoja de Ruta práctica de Migración a Big Data
• ¿Qué información importante se necesita antes de diseñar una implementación de Big Data?/li>
• ¿Cuáles son las diferentes formas de calcular el volumen, velocidad, variedad y veracidad de los datos?/li>
• Cómo estimar el crecimiento de datos
• Estudios de caso

Día 5: Sesión 4: Revisión de Proveedores de Big Data y revisión de sus productos. Sesión de Preguntas/Respuestas:

• Accenture
• APTEAN (Antes CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Antes 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (Parte de EMC)