Contacta con nosotros

Temario del curso

Introducción

  • Visión general de los desafíos en la escalabilidad del aprendizaje profundo
  • Visión general de DeepSpeed y sus características
  • DeepSpeed en comparación con otras bibliotecas de aprendizaje profundo distribuido

Primeros pasos

  • Configuración del entorno de desarrollo
  • Instalación de PyTorch y DeepSpeed
  • Configuración de DeepSpeed para entrenamiento distribuido

Características de optimización de DeepSpeed

  • Pipeline de entrenamiento de DeepSpeed
  • ZeRO (optimización de memoria)
  • Checkpointing de activaciones
  • Checkpointing de gradientes
  • Paralelismo de pipeline

Escalar modelos con DeepSpeed

  • Escalado básico usando DeepSpeed
  • Técnicas avanzadas de escalado
  • Consideraciones de rendimiento y mejores prácticas
  • Técnicas de depuración y resolución de problemas

Temas avanzados de DeepSpeed

  • Técnicas avanzadas de optimización
  • Uso de DeepSpeed con entrenamiento de precisión mixta
  • DeepSpeed en diferentes tipos de hardware (por ejemplo, GPUs, TPUs)
  • DeepSpeed con múltiples nodos de entrenamiento

Integración de DeepSpeed con PyTorch

  • Integración de DeepSpeed con flujos de trabajo de PyTorch
  • Uso de DeepSpeed con PyTorch Lightning

Resolución de problemas

  • Depuración de problemas comunes de DeepSpeed
  • Monitoreo y registro de eventos

Resumen y próximos pasos

  • Repaso de conceptos clave y características
  • Mejores prácticas para usar DeepSpeed en producción
  • Recursos adicionales para aprender más sobre DeepSpeed

Requerimientos

  • Conocimientos intermedios de los principios del aprendizaje profundo
  • Experiencia con PyTorch o marcos de aprendizaje profundo similares
  • Familiaridad con la programación en Python

Público objetivo

  • Científicos de datos
  • Ingenieros de aprendizaje automático
  • Desarrolladores
 21 Horas

Número de participantes


Precio por participante

Testimonios (3)

Próximos cursos

Categorías Relacionadas