Contacta con nosotros

Temario del curso

Introducción y fundamentos del diagnóstico

  • Visión general de los modos de fallo en sistemas LLM y problemas comunes específicos de Ollama.
  • Establecimiento de experimentos reproducibles y entornos controlados.
  • Kit de herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislamiento (sandboxing).

Reproducción y aislamiento de fallos

  • Técnicas para crear ejemplos mínimos de fallo y semillas.
  • Interacciones con y sin estado: aislamiento de errores relacionados con el contexto.
  • Determinismo, aleatoriedad y control del comportamiento no determinista.

Evaluación del comportamiento y métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad.
  • Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
  • Comprobaciones de fidelidad específicas para la tarea y criterios de aceptación.

Pruebas automatizadas y regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenario y de extremo a extremo.
  • Creación de suites de regresión y líneas base con ejemplos dorados.
  • Integración en CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizada.

Observabilidad y monitoreo

  • Registro estructurado, rastreo distribuido e identificadores de correlación.
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
  • Alertas, paneles de control y ISL/Objetivos de Nivel de Servicio (SLI/SLO) para servicios basados en modelos.

Análisis avanzado de la causa raíz

  • Rastreo a través de prompts graficados, llamadas a herramientas y flujos multironda.
  • Diagnóstico comparativo A/B y estudios de ablación.
  • Procedencia de datos, depuración de conjuntos de datos y solución de fallos inducidos por el dataset.

Seguridad, robustez y estrategias de remediación

  • Mitigaciones: filtrado, fundamentación, aumento de recuperación y andamio de prompts.
  • Patrones de reversión, despliegue piloto (canary) y rollout por fases para actualizaciones de modelos.
  • Lecciones aprendidas de las post-mortem y bucles de mejora continua.

Resumen y próximos pasos

Requerimientos

  • Sólida experiencia en la creación e implementación de aplicaciones de LLM.
  • Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos.
  • Comodidad con Python, Docker y herramientas básicas de observabilidad.

Audiencia objetivo

  • Ingenieros de IA.
  • Profesionales de ML Ops.
  • Equipos de QA responsables de los sistemas de LLM en producción.
 35 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas