Contacta con nosotros

Temario del curso

Soberanía de IA y Despliegue Local de LLM

  • Riesgos de los LLMs en la nube: retención de datos, entrenamiento con entradas, jurisdicción extranjera.
  • Arquitectura de Ollama: servidor de modelos, registro y API compatible con OpenAI.
  • Comparación con vLLM, llama.cpp y Text Generation Inference.
  • Licenciamiento de modelos: términos de Llama, Mistral, Qwen y Gemma.

Instalación y Configuración de Hardware

  • Instalación de Ollama en Linux con soporte CUDA y ROCm.
  • Plan B solo con CPU y optimización AVX/AVX2.
  • Despliegue con Docker y mapeo de volúmenes persistentes.
  • Configuración multi-GPU y estrategias de asignación de VRAM.

Gestión de Modelos

  • Extracción de modelos desde el registro de Ollama: ollama pull llama3.
  • Importación de modelos GGUF desde HuggingFace y TheBloke.
  • Niveles de cuantización: compensaciones entre Q4_K_M, Q5_K_M, Q8_0.
  • Cambio de modelos y límites de carga concurrente de modelos.

Modelfiles Personalizados

  • Escribir sintaxis de Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ajuste de temperatura, top_p y repeat_penalty.
  • Ingeniería de indicaciones del sistema para comportamiento específico del rol.
  • Creación y publicación de modelos personalizados en el registro local.

Integración de API

  • Endpoint /v1/chat/completions compatible con OpenAI.
  • Respuestas en streaming y modo JSON.
  • Integración con LangChain, LlamaIndex y aplicaciones personalizadas.
  • Autenticación y límite de tasa mediante proxy inverso.

Optimización del Rendimiento

  • Tamaño de la ventana de contexto y gestión de KV cache.
  • Inferencia por lotes y manejo de solicitudes en paralelo.
  • Asignación de hilos de CPU y conciencia de NUMA.
  • Monitoreo de utilización de GPU y presión de memoria.

Seguridad y Cumplimiento

  • Aislamiento de red para endpoints de servicio de modelos.
  • Pipelines de filtrado de entradas y moderación de salidas.
  • Registro de auditoría de indicaciones y completados.
  • Procedencia del modelo y verificación de hash.

Requerimientos

  • Administración intermedia de Linux y contenedores.
  • Comprensión a alto nivel de aprendizaje automático y modelos transformadores.
  • Conocimiento de APIs REST y JSON.

Público Objetivo

  • Ingenieros de IA y desarrolladores que reemplazan APIs de LLM en la nube.
  • Organizaciones con sensibilidad de datos que impide el uso de modelos en la nube.
  • Equipos gubernamentales y de defensa que requieren modelos de lenguaje aislados de la red (air-gapped).
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas