Temario del curso
Módulo 1 — Cómo fallan las aplicaciones de IA
Práctica: ninguna — recorrido por la arquitectura y discusión
El modelo mental del constructor frente a la superficie de ataque.
Temas:
- Arquitecturas LLM, RAG y agente desde la perspectiva del desarrollador
- El ciclo de vida de solicitud/respuesta de una función de IA
- Flujo del prompt: mensajes del sistema, desarrollador, usuario y herramienta
- Dónde ingresan (y reingresan) los datos no confiables al modelo
- Los límites de confianza que el desarrollador posee frente a los que hereda
- Por qué los ataques de IA son semánticos, no sintácticos
- Mapeo de los OWASP LLM Top 10 al código que escribes
Incluyente clave: Cada lugar donde el texto no confiable llega al modelo — o la salida del modelo llega a tu código — es un límite que tú posees.
Módulo 2 — Inyección de prompts para constructores
Práctica: Práctica 01 — 01-Inyeccion-Prompts
El «momento de inyección SQL» para la IA — pero no puedes escapar completamente de él.
Temas:
- Inyección de prompts directa vs. indirecta
- Instrucciones ocultas en documentos, páginas web y salidas de herramientas
- Jailbreaks (rompimiento de restricciones) y confusión de roles
- Por qué importa la separación de instrucciones/datos
- Diseño defensivo de prompts (delimitadores, estructura, autoridad mínima)
- Por qué la prevención es parcial — diseñar para contención
Prácticas:
- Ataca tu propio chatbot
- Bypasa un filtro ingenuo
- Reestructura el prompt para reducir el radio de explosión
Módulo 3 — Tratar la salida del modelo como no confiable
Práctica: Práctica 02 — 02-Manejo-Salida
La clase de errores que los desarrolladores subestiman más.
Temas:
- Salida del modelo como entrada no confiable para el resto de la aplicación
- Manejo inseguro de la salida (LLM02): XSS, SSRF, inyección de comandos/SQL downstream
- Nunca eval/exec/renderizar salida cruda del modelo
- Salidas estructuradas y validación de esquema
- Codificación de salida y listas de permisos
- Renderizado seguro en contextos web/UI
Prácticas:
- Encuentra y corrige un error de manejo inseguro de la salida
- Aplica un esquema JSON a las respuestas del modelo
Módulo 4 — Seguridad RAG
Práctica: Práctica 03 — 03-Seguridad-RAG
Una de las superficies de ataque más nuevas — y está bajo tu responsabilidad construirla.
Temas:
- Amenazas a Bases de Datos Vectoriales y recuperación
- Sanitización durante la ingestión
- Procedencia del documento y puntuación de confianza
- Agrupación de recuperación y aislamiento de metadatos
- Instrucciones ocultas en el contenido recuperado (inyección indirecta)
- Filtración de datos vía recuperación
Prácticas: Envenena un pipeline RAG con un documento malicioso; agrega sanitización de ingestión y agrupación de recuperación para defenderlo.
Módulo 5 — Seguridad de Agentes y Herramientas
Práctica: Práctica 04 — 04-Seguridad-Agentes
Donde un error se convierte en una acción.
Temas:
- Agencia excesiva (LLM06) y abuso de herramientas
- Mínimo privilegio para agentes
- Listas de permisos de herramientas y validación de argumentos
- Puertas de aprobación e intervención humana
- Aislamiento (sandboxing) de la ejecución de herramientas
- Credenciales limitadas y de corta duración para agentes
- Limitación de bucles autónomos y encadenamientos
Prácticas:
- Sanea un agente con permisos excesivos
- Agrega una lista de permisos + puerta de aprobación a una herramienta peligrosa
Módulo 6 — Secretos, Identidad y Costos
Práctica: Práctica 05 — 05-Secretos-y-Costos
Los errores operativos que causan daño más rápido.
Temas:
- Gestión de claves API y secretos (nunca en prompts, código o logs)
- Autenticación y autorización por usuario para funciones de IA
- Propagación de la identidad del usuario a herramientas y recuperación
- Denegación de billetera: consumo ilimitado de tokens/costos
- Límites de tasa, presupuestos de tokens y tiempos de espera
- Registro (logging) sin filtrar secretos ni PII (información personal identificable)
Prácticas:
- Retira secretos del flujo del prompt/código
- Agrega límites de tasa por usuario y un presupuesto de tokens/costos
Módulo 7 — Bibliotecas de Guardrails (Controles de Seguridad)
Práctica: Práctica 06 — 06-Guardrails
Comprar vs. construir para la seguridad de entrada/salida.
Temas:
- Qué hacen (y qué no hacen) los marcos de guardrails
- Guardrails de entrada: clasificadores de inyección/PII/tópico
- Guardrails de salida: validación, filtrado, verificaciones de fundamento
- Cuándo un guardrail es apropiado vs. tu propia comprobación determinista
- Capas de guardrails combinadas con los controles de módulos anteriores
- Rendimiento, falsos positivos y modos de falla
Prácticas:
- Agrega una capa de guardrail de entrada/salida a una función de IA
- Mide qué atrapa y qué pasa por alto
Módulo 8 — Pruebas de intrusión (Red-Teaming) de tu propia aplicación
Práctica: Práctica 07 — 07-Red-Teaming
Entrega como si un atacante ya la hubiera comprometido.
Temas:
- Construcción de una suite de abuso/pruebas para funciones de IA
- Pruebas automatizadas de inyección de prompts y jailbreaks
- Pruebas de regresión de guardrails y políticas
- Ejecución de comprobaciones de seguridad de IA en CI
- Cadena de suministro del modelo y dependencias (procedencia, versionado fijo)
- Lista de verificación de seguridad previa a la entrega para funciones de IA
Prácticas:
- Escribe pruebas automatizadas de red-teaming para una función de IA
- Intégralas en una comprobación de CI
Módulo 9 — Puntuación de Seguridad de IA: El Marco SAIS-100
Práctica: ninguna — ejercicio de puntuación (usa la aplicación Capstone)
Convierte todo lo que has construido en una puntuación repetible.
Temas:
- El Hexágono de Seguridad de IA: seis preguntas en lugar de «¿es seguro?»
- Las seis categorías puntuadas (Datos, Prompt, Agente, Cadena de Suministro, Detección, Gobernanza)
- La rúbrica de 100 puntos y sus ponderaciones
- Bandas de veredicto y la regla de anulación por categoría única
- La Escala de Elefante Puntuación de IA Segura (SAIS-100) como un marco reproducible y con marca propia
- Puntuación antes/después del endurecimiento como métrica
Prácticas:
- Puntúa la aplicación Capstone en una escala de 100 puntos
- Identifica el único cambio que más eleva la puntuación
Incluyente clave: Las tres categorías de mayor peso mapean a los límites de confianza que un desarrollador posee; por lo tanto, la puntuación mide exactamente lo que este curso enseñó.
Capstone (Proyecto Final)
Los estudiantes endurecen una aplicación de IA deliberadamente vulnerable de extremo a extremo.
La aplicación inicial contiene:
- Un prompt inyectable
- Manejo inseguro de la salida
- Un pipeline RAG sin agrupación (unscoped)
- Un agente con permisos excesivos
- Secretos en el camino del prompt
- Sin límites de costo
Los estudiantes aplican lo aprendido:
- Reestructurar prompts para la contención
- Validar y codificar la salida del modelo
- Sanitizar y agrupar la recuperación
- Aplicar principio de menor privilegio y puertas de aprobación al agente
- Mover secretos fuera y agregar límites de costo/tasa
- Agregar guardrails y pruebas automatizadas de red-teaming
Entregable: una aplicación endurecida más una autoevaluación corta de los OWASP LLM Top 10.
Mapeo Módulos - Prácticas
Las prácticas se ejecutan en orden, siguiendo el orden de los módulos. El curso tiene 9 módulos y 7 prácticas: el Módulo 1 es un recorrido por la arquitectura/discusión y el Módulo 9 es un ejercicio de puntuación, por lo que ninguno tiene su propia carpeta de práctica.
- Práctica 01 - 01-Inyeccion-Prompts: Ataca tu chatbot y diseña para la contención (Módulo 2)
- Práctica 02 - 02-Manejo-Salida: Corrige un error de manejo inseguro de la salida (Módulo 3)
- Práctica 03 - 03-Seguridad-RAG: Envenena y defiende un pipeline RAG (Módulo 4)
- Práctica 04 - 04-Seguridad-Agentes: Sanea un agente con permisos excesivos (Módulo 5)
- Práctica 05 - 05-Secretos-y-Costos: Asegura claves + agrega guardrails de costos (Módulo 6)
- Práctica 06 - 06-Guardrails: Agrega una capa de guardrail de entrada/salida (Módulo 7)
- Práctica 07 - 07-Red-Teaming: Pruebas automatizadas de red-teaming en CI (Módulo 8)
El Módulo 1 (Cómo fallan las aplicaciones de IA) no tiene práctica — se ejecuta como un recorrido por la arquitectura y discusión. El Módulo 9 (Puntuación de Seguridad de IA) no tiene carpeta de práctica — se ejecuta como un ejercicio de puntuación contra la aplicación Capstone.
Requerimientos
- Nivel de habilidad: Intermedio.
- Los estudiantes deben sentirse cómodos con: la construcción y consumo de APIs REST, un lenguaje de scripting (las prácticas usan Python), autenticación básica de aplicaciones, git y la línea de comandos (CLI).
- No se requiere formación previa en aprendizaje automático; este es un curso de seguridad de aplicaciones para personas que construyen con LLMs, no las que los entrenan.
Audiencia
- Ingenieros de software / backend que construyen funciones LLM
- Desarrolladores full-stack y de APIs
- Ingenieros de aplicaciones IA/ML
- Ingenieros de plataforma que entregan copilotos y agentes
- Líderes técnicos e ingenieros senior responsables de funciones de IA
Reseñas (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática
