Optimización del rendimiento de redes neuronales con CANN SDK

Resumen de las capacidades de optimización de CANN

• Cómo se maneja el rendimiento de inferencia en CANN
• Objetivos de optimización para sistemas de IA en la periferia y embebidos
• Comprensión de la utilización del AI Core y la asignación de memoria

Uso del Graph Engine para el análisis

• Introducción al Graph Engine y la tubería de ejecución
• Visualización de los grafos de operadores y las métricas de tiempo de ejecución
• Modificación de grafos computacionales para la optimización

Herramientas de perfilado y métricas de rendimiento

• Uso de la herramienta de perfilado de CANN (profiler) para el análisis de carga de trabajo
• Análisis del tiempo de ejecución del kernel y los cuellos de botella
• Perfilado de acceso a memoria y estrategias de teselado (tiling)

Desarrollo de operadores personalizados con TIK

• Resumen de TIK y el modelo de programación de operadores
• Implementación de un operador personalizado utilizando TIK DSL
• Pruebas y medición del rendimiento del operador

Optimización avanzada de operadores con TVM

• Introducción a la integración de TVM con CANN
• Estrategias de ajuste automático (auto-tuning) para grafos computacionales
• Cuándo y cómo cambiar entre TVM y TIK

Técnicas de optimización de memoria

• Gestión de la disposición de la memoria y la ubicación de búferes
• Técnicas para reducir el consumo de memoria en el chip
• Buenas prácticas para la ejecución asíncrona y la reutilización

Despliegue en el mundo real y estudios de casos

• Estudio de caso: ajuste de rendimiento para la tubería de cámaras de una ciudad inteligente
• Estudio de caso: optimización de la pila de inferencia para vehículos autónomos
• Directrices para el perfilado iterativo y la mejora continua

Resumen y próximos pasos