Temario del curso
Introducción
- Visión general de los desafíos en la escalabilidad del aprendizaje profundo
- Visión general de DeepSpeed y sus características
- DeepSpeed en comparación con otras bibliotecas de aprendizaje profundo distribuido
Primeros pasos
- Configuración del entorno de desarrollo
- Instalación de PyTorch y DeepSpeed
- Configuración de DeepSpeed para entrenamiento distribuido
Características de optimización de DeepSpeed
- Pipeline de entrenamiento de DeepSpeed
- ZeRO (optimización de memoria)
- Checkpointing de activaciones
- Checkpointing de gradientes
- Paralelismo de pipeline
Escalar modelos con DeepSpeed
- Escalado básico usando DeepSpeed
- Técnicas avanzadas de escalado
- Consideraciones de rendimiento y mejores prácticas
- Técnicas de depuración y resolución de problemas
Temas avanzados de DeepSpeed
- Técnicas avanzadas de optimización
- Uso de DeepSpeed con entrenamiento de precisión mixta
- DeepSpeed en diferentes tipos de hardware (por ejemplo, GPUs, TPUs)
- DeepSpeed con múltiples nodos de entrenamiento
Integración de DeepSpeed con PyTorch
- Integración de DeepSpeed con flujos de trabajo de PyTorch
- Uso de DeepSpeed con PyTorch Lightning
Resolución de problemas
- Depuración de problemas comunes de DeepSpeed
- Monitoreo y registro de eventos
Resumen y próximos pasos
- Repaso de conceptos clave y características
- Mejores prácticas para usar DeepSpeed en producción
- Recursos adicionales para aprender más sobre DeepSpeed
Requerimientos
- Conocimientos intermedios de los principios del aprendizaje profundo
- Experiencia con PyTorch o marcos de aprendizaje profundo similares
- Familiaridad con la programación en Python
Público objetivo
- Científicos de datos
- Ingenieros de aprendizaje automático
- Desarrolladores
Testimonios (3)
Me gustó mucho el final donde tuvimos la oportunidad de experimentar con CHAT GPT. La sala no estaba muy bien preparada para esto; en lugar de una gran mesa, varias mesas pequeñas nos habrían permitido formar grupos pequeños y generar ideas de manera más efectiva.
Nola - Laramie County Community College
Curso - Artificial Intelligence (AI) Overview
Traducción Automática
Trabajando desde principios fundamentales de manera enfocada y pasando a aplicar estudios de caso en el mismo día
Maggie Webb - Department of Jobs, Regions, and Precincts
Curso - Artificial Neural Networks, Machine Learning, Deep Thinking
Traducción Automática
Que se estuviera aplicando datos reales de la empresa. El formador tenía un enfoque muy bueno al hacer que los participantes colaboraran y competieran.
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Curso - Applied AI from Scratch in Python
Traducción Automática