Contacta con nosotros

Temario del curso

Introducción a Mistral a escala

  • Visión general de Mistral Medium 3.
  • Compensaciones entre rendimiento y costo.
  • Consideraciones a escala empresarial.

Patrones de implementación para LLM

  • Topologías de servicio y decisiones de diseño.
  • Implementaciones en instalaciones propias frente a la nube.
  • Estrategias híbridas y multi-cloud.

Técnicas de optimización de inferencia

  • Estrategias de agrupación para alto rendimiento.
  • Métodos de cuantización para reducción de costos.
  • Uso de aceleradores y GPU.

Escalabilidad y confiabilidad

  • Escalamiento de clústeres de Kubernetes para inferencia.
  • Balanceo de carga y enrutamiento de tráfico.
  • Tolerancia a fallos y redundancia.

Marco de ingeniería de costos

  • Medición de la eficiencia de costos de inferencia.
  • Dimensionamiento adecuado de recursos de cómputo y memoria.
  • Monitoreo y alertas para optimización.

Seguridad y cumplimiento en producción

  • Seguridad de implementaciones y APIs.
  • Consideraciones de gobernanza de datos.
  • Cumplimiento normativo en ingeniería de costos.

Casos de estudio y mejores prácticas

  • Arquitecturas de referencia para Mistral a escala.
  • Lecciones aprendidas de implementaciones empresariales.
  • Tendencias futuras en inferencia eficiente de LLM.

Resumen y próximos pasos

Requerimientos

  • Conocimiento sólido del despliegue de modelos de aprendizaje automático.
  • Experiencia con infraestructura en la nube y sistemas distribuidos.
  • Conocimiento de estrategias de ajuste de rendimiento y optimización de costos.

Público objetivo

  • Ingenieros de infraestructura.
  • Arquitectos de nube.
  • Líderes de MLOps.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas