Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y fundamentos del diagnóstico
- Visión general de los modos de fallo en sistemas LLM y problemas comunes específicos de Ollama.
- Establecimiento de experimentos reproducibles y entornos controlados.
- Kit de herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislamiento (sandboxing).
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos de fallo y semillas.
- Interacciones con y sin estado: aislamiento de errores relacionados con el contexto.
- Determinismo, aleatoriedad y control del comportamiento no determinista.
Evaluación del comportamiento y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad.
- Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
- Comprobaciones de fidelidad específicas para la tarea y criterios de aceptación.
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenario y de extremo a extremo.
- Creación de suites de regresión y líneas base con ejemplos dorados.
- Integración en CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizada.
Observabilidad y monitoreo
- Registro estructurado, rastreo distribuido e identificadores de correlación.
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
- Alertas, paneles de control y ISL/Objetivos de Nivel de Servicio (SLI/SLO) para servicios basados en modelos.
Análisis avanzado de la causa raíz
- Rastreo a través de prompts graficados, llamadas a herramientas y flujos multironda.
- Diagnóstico comparativo A/B y estudios de ablación.
- Procedencia de datos, depuración de conjuntos de datos y solución de fallos inducidos por el dataset.
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, fundamentación, aumento de recuperación y andamio de prompts.
- Patrones de reversión, despliegue piloto (canary) y rollout por fases para actualizaciones de modelos.
- Lecciones aprendidas de las post-mortem y bucles de mejora continua.
Resumen y próximos pasos
Requerimientos
- Sólida experiencia en la creación e implementación de aplicaciones de LLM.
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos.
- Comodidad con Python, Docker y herramientas básicas de observabilidad.
Audiencia objetivo
- Ingenieros de IA.
- Profesionales de ML Ops.
- Equipos de QA responsables de los sistemas de LLM en producción.
35 Horas