Contacta con nosotros

Temario del curso

Implementación de EXO sin conexión

  • Uso de la variable EXO_OFFLINE para prevenir el acceso a Internet en tiempo de ejecución
  • Carga previa de modelos en EXO_MODELS_READ_ONLY_DIRS mediante espejos internos confiables
  • Verificación de la integridad de los pesos del modelo con sumas de comprobación SHA-256 y tarjetas de modelo firmadas
  • Ejecución de EXO en redes aireadas (air-gapped) sin dependencias de HuggingFace

Control de acceso al panel de control y a la API

  • Instalación y configuración de proxies inversos (nginx, Caddy) con terminación TLS
  • Implementación de control de acceso basado en roles para el panel de control de EXO y la REST API
  • Uso del llavero de macOS o Linux pass para almacenar secretos de autenticación de API
  • Restricción de los puntos de acceso administrativos a rangos específicos de direcciones IP de origen

Aislamiento del clúster y seguridad de la red

  • Segmentación de clústeres EXO con EXO_LIBP2P_NAMESPACE y VLANs
  • Configuración de firewalls anfitrión (firewall de aplicaciones en macOS, iptables, nftables) para los puertos de EXO
  • Prevención del descubrimiento no autorizado de dispositivos e inyección de nodos maliciosos
  • Cifrado del tráfico libp2p entre nodos cuando no hay RDMA disponible

Gobernanza y procedencia de modelos

  • Construcción de un registro interno de modelos con listas de modelos aprobados y metadatos
  • Etiquetado y versionado de pesos cuantizados (4-bit, 8-bit) junto con los puntos de control originales
  • Hacer cumplir que solo repositorios específicos de HuggingFace o artefactos internos puedan ser cargados
  • Documentación de la linaje del modelo, términos de licencia y políticas de uso aceptable

Registro de auditoría y cumplimiento

  • Configuración del reenvío de registros de EXO a registros inmutables (SIEM, almacenamiento WORM)
  • Correlación de los registros de llamadas a la API con la identidad del usuario y la marca de tiempo
  • Captura de eventos de creación, eliminación y solicitudes de inferencia de instancias de modelos
  • Generación de informes periódicos de cumplimiento para auditores internos y externos

Modelado de amenazas y respuesta a incidentes

  • Identificación de amenazas: exfiltración de datos a través de las salidas del modelo, inyección de prompt y fugas por canales laterales
  • Implementación de monitoreo de prompts y pipelines de filtrado de contenido
  • Creación de manuales de respuesta a incidentes para escenarios de compromiso del clúster
  • Aislamiento de los nodos afectados, preservación de registros forenses y reconstrucción de entornos limpios

Seguridad física y límites de hardware

  • Protección de los puertos Thunderbolt contra conexiones de cable RDMA no autorizadas
  • ​;
  • Uso de enclaves seguros y atestación de hardware Apple Silicon cuando sea aplicable
  • Control del acceso físico a los Mac en clúster y al almacenamiento compartido
  • Documentación del ciclo de vida del hardware y procedimientos de desmantelamiento

Consideraciones regulatorias

  • Mapeo de las implementaciones de EXO a los requisitos GDPR, HIPAA y SOC 2
  • Mantenimiento de la residencia de datos manteniendo la inferencia en instalaciones propias
  • Documentación de riesgos en la cadena de suministro del proveedor (MLX, EXO, pesos del modelo)
  • Preparación para marcos de gobernanza de IA como el Artículo 53 de la Ley de IA de la UE

Requerimientos

  • Experiencia con EXO u otro entorno de ejecución de LLM local
  • Conocimiento de los permisos del sistema de archivos Unix y las ACLs de red
  • Familiaridad con la gestión de certificados TLS/SSL y conceptos básicos de cifrado

Público objetivo

  • Ingenieros de seguridad
  • Oficiales de cumplimiento
  • Administradores de infraestructura de IA que manejan datos sensibles
 14 Horas

Número de participantes


Precio por participante

Reseñas (1)

Próximos cursos

Categorías Relacionadas