Ponte en Contacto
 Duración 35 horas

Temario del curso

Introducción y fundamentos del diagnóstico

  • Resumen de los modos de fallo en sistemas LLM y problemas específicos de Ollama comunes.
  • Establecimiento de experimentos reproducibles y entornos controlados.
  • Kit de herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislación en sandbox.

Reproducción y aislamiento de fallos

  • Técnicas para crear ejemplos de fallo mínimos y semillas (seeds).
  • Interacciones con estado (stateful) vs. sin estado (stateless): aislamiento de errores relacionados con el contexto.
  • Determinismo, aleatoriedad y control del comportamiento no determinista.

Evaluación del comportamiento y métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y sustitutos de la perplejidad.
  • Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
  • Verificaciones de fidelidad específicas por tarea y criterios de aceptación.

Pruebas automatizadas y regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo.
  • Creación de suites de regresión y baselines de ejemplos dorados.
  • Integración de CI/CD para actualizaciones de modelos en Ollama y puertas de validación automatizadas.

Observabilidad y monitoreo

  • Registro estructurado, trazas distribuidas e identificadores de correlación.
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
  • Alertas, paneles de control (dashboards) y SLIs/SLOs para servicios respaldados por modelos.

Análisis avanzado de causa raíz

  • Trazado a través de prompts graficados, llamadas a herramientas y flujos de múltiples turnos.
  • Diagnóstico comparativo A/B y estudios de ablación.
  • Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por los datos.

Seguridad, robustez y estrategias de remediación

  • Mitigaciones: filtrado, anclaje (grounding), aumento por recuperación y andamiaje de prompts (prompt scaffolding).
  • Patrones de reversión (rollback), despliegues canarios y rollouts progresivos para actualizaciones de modelos.
  • Revisiones post-mortem, lecciones aprendidas y bucles de mejora continua.

Resumen y próximos pasos

Requerimientos

  • Sólida experiencia en la construcción y el despliegue de aplicaciones de LLM.
  • Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos.
  • Familiaridad con Python, Docker y herramientas básicas de observabilidad.

Público objetivo

  • Ingenieros de IA
  • Profesionales de ML Ops
  • Equipos de QA responsables de sistemas LLM en producción

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas