Ponte en Contacto

Temario del curso

El panorama de amenazas de IA

  • Por qué la seguridad de IA es diferente: no determinismo, razonamiento opaco e instrucciones como superficie de ataque
  • Taxonomía de ataques: durante el entrenamiento vs. durante la inferencia vs. cadena de suministro
  • Modelo de adversarios de ML: quién ataca a los sistemas de IA y por qué

Las diez principales de OWASP para aplicaciones LLM

  • Inyección de instrucciones: vectores de ataque directos e indirectos
  • Manejo inseguro de salidas y falsificación de solicitudes entre complementos
  • Envenenamiento de datos de entrenamiento y vulnerabilidades de la cadena de suministro
  • Denegación de servicio del modelo, divulgación de información confidencial y agencia excesiva
  • Laboratorio práctico: explotación de cada categoría de OWASP contra una aplicación de prueba

Pruebas de red para inyección de instrucciones y evasión de restricciones (jailbreak)

  • Taxonomía de técnicas de inyección: directa, indirecta, multironda y multimodal
  • Pruebas de red automatizadas con Giskard, Garak y herramientas personalizadas de fuzzing
  • Clasificación de evasión de restricciones (jailbreak) y evaluación de defensas
  • Desarrollo de un entorno de pruebas de red para la seguridad continua de LLM

Ataques y defensas a nivel de modelo

  • Extracción de modelos: robo de pesos y funcionalidad del modelo mediante consultas de API
  • Inferencia de membresía: determinar si los datos estuvieron en el conjunto de entrenamiento
  • Ejemplos adversarios: perturbaciones que engañan a clasificadores e incrustaciones (embeddings)
  • Envenenamiento de datos: corrupción de datos de entrenamiento para inducir puertas traseras o degradar el rendimiento

Controles de seguridad de entrada y salida

  • Sanitización de entrada más allá de las defensas web tradicionales
  • Filtrado de salida: toxicidad, filtración de información personal identificable (PII), ejecución de código alucinado
  • Guardrails como infraestructura de seguridad: NeMo, Guardrails AI y políticas personalizadas
  • Aplicación de salidas estructuradas como un límite de seguridad

Seguridad de la cadena de suministro de IA

  • Origen del modelo: verificación de la autenticidad e integridad del modelo
  • Análisis de dependencias para frameworks de ML y formatos de modelos
  • Servicio seguro de modelos: contenedorización (sandboxing), aislamiento de red y acceso de mínimo privilegio
  • Evaluación de modelos refinados (fine-tuned) y de la comunidad para detectar malware incrustado

Seguridad operacional para sistemas de IA

  • Control de acceso para puntos de conexión de modelos, almacenes vectoriales y herramientas de agentes
  • Registros de auditoría para cada interacción y decisión del modelo
  • Respuesta a incidentes para brechas específicas de IA: cuando el propio modelo está comprometido
  • Pruebas de seguridad continuas en CI/CD para tuberías (pipelines) de ML

Desarrollo de un programa de seguridad de IA

  • Modelo de madurez y hoja de ruta para la seguridad de IA
  • Integración de la seguridad de IA en programas existentes de AppSec y seguridad en la nube
  • Marco de gobernanza y regulaciones emergentes para sistemas de IA
  • Creación y mantenimiento de un plan de seguridad de IA organizacional

Requerimientos

  • Experiencia implementando modelos de ML o aplicaciones LLM en producción.
  • Conocimiento de conceptos de seguridad, incluida la autenticación, la autorización y la modelación de amenazas.
  • Competencia en Python para los ejercicios de pruebas adversarias.

Público objetivo

  • Ingenieros de seguridad que se expanden hacia las superficies de amenazas de IA/ML.
  • Ingenieros de ML responsables de la seguridad y robustez de los modelos.
  • Miembros de equipos de prueba de red que incorporan sistemas de IA en su alcance de pruebas.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas