Modelos de decisión autoalojados: Serviduría, cuantización, latencia y operaciones

Opciones de Despliegue

• Compensaciones entre API alojada y autoalojada
• Patrones de implementación local, en el borde (edge) y entornos aislados (air-gapped)
• Modelo único versus cartera de modelos
• Comparación del costo por decisión

Dimensionamiento de Hardware y Capacidad

• Huella de memoria según el número de parámetros
• Solo CPU versus aceleración por GPU
• Planificación de concurrencia y rendimiento (throughput)
• Margen para el crecimiento de la longitud de tareas

Stacks de Serviduría

• Opciones con vLLM y SGLang
• Ejecución con llama.cpp y GGUF
• Ollama para desarrollo local
• Elección basada en la forma de la carga de trabajo de decisión

Cuantización sin Pérdida de Calibración

• Formatos de precisión y ahorro de memoria
• Medición de la pérdida de calidad y calibración
• Variantes por tensor y con reconocimiento de importancia
• Pruebas de aceptación tras la cuantización

Ingeniería de Latencia

• Latencia mediana versus latencia en cola (tail latency)
• Crecimiento de la latencia con la longitud del contexto
• Inicio en caliente (warm start) y almacenamiento en caché del modelo
• Loteo (batching) de múltiples preguntas de decisión

Entornos Edge y Restringidos

• Modelos de decisión pequeños en CPU
• Despliegue en Apple Silicon y dispositivos embebidos
• Operación sin conexión y estrategia de actualizaciones
• Distribución de pesos en entornos aislados (air-gapped)

Contenerización y Escalabilidad

• Diseño de imágenes para la serviduría de modelos
• Gestión de volúmenes y caché
• Escala horizontal y enrutamiento
• Límites de recursos y compartición de GPU

Observabilidad

• Métricas de solicitudes, latencia y errores
• Monitoreo de la distribución de confianza
• Seguimiento de resultados de decisiones y escalaciones
• Alertas por deriva de calibración

Versionado y Despliegue

• Versionado de modelos y adaptadores
• Despliegue sombra (shadow) y canario (canary)
• Archivos de modelos fijados para auditoría
• Procedimientos de reversión (rollback)

Seguridad y Multiinquilinato

• Autenticación y limitación de tasa (rate limiting)
• Aislamiento de inquilinos para prompts y registros
• Aislamiento de red y control de salidas (egress)
• Registro de auditoría de decisiones