Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 35 horas
Temario del curso
Introducción y fundamentos del diagnóstico
- Resumen de los modos de fallo en sistemas LLM y problemas específicos de Ollama comunes.
- Establecimiento de experimentos reproducibles y entornos controlados.
- Kit de herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislación en sandbox.
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos de fallo mínimos y semillas (seeds).
- Interacciones con estado (stateful) vs. sin estado (stateless): aislamiento de errores relacionados con el contexto.
- Determinismo, aleatoriedad y control del comportamiento no determinista.
Evaluación del comportamiento y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y sustitutos de la perplejidad.
- Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
- Verificaciones de fidelidad específicas por tarea y criterios de aceptación.
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo.
- Creación de suites de regresión y baselines de ejemplos dorados.
- Integración de CI/CD para actualizaciones de modelos en Ollama y puertas de validación automatizadas.
Observabilidad y monitoreo
- Registro estructurado, trazas distribuidas e identificadores de correlación.
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
- Alertas, paneles de control (dashboards) y SLIs/SLOs para servicios respaldados por modelos.
Análisis avanzado de causa raíz
- Trazado a través de prompts graficados, llamadas a herramientas y flujos de múltiples turnos.
- Diagnóstico comparativo A/B y estudios de ablación.
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por los datos.
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, anclaje (grounding), aumento por recuperación y andamiaje de prompts (prompt scaffolding).
- Patrones de reversión (rollback), despliegues canarios y rollouts progresivos para actualizaciones de modelos.
- Revisiones post-mortem, lecciones aprendidas y bucles de mejora continua.
Resumen y próximos pasos
Requerimientos
- Sólida experiencia en la construcción y el despliegue de aplicaciones de LLM.
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos.
- Familiaridad con Python, Docker y herramientas básicas de observabilidad.
Público objetivo
- Ingenieros de IA
- Profesionales de ML Ops
- Equipos de QA responsables de sistemas LLM en producción