Barreras de seguridad: los controles que rodean a una IA

Para qué sirven

Un modelo de lenguaje puede equivocarse, salirse del tema, generar contenido dañino o seguir instrucciones maliciosas. El prompt de sistema fija un marco, pero solo es una consigna. Las barreras de seguridad añaden controles verificables en varias etapas.

El conjunto de herramientas de código abierto NeMo Guardrails, de NVIDIA, distingue cinco tipos, útiles para entender el principio:

• de entrada: examinar la petición del usuario y rechazarla o modificarla;
• de diálogo: orientar la conversación, por ejemplo rechazando ciertos temas;
• de recuperación: filtrar los documentos obtenidos en una arquitectura RAG;
• de ejecución: controlar las entradas y salidas de las herramientas o acciones;
• de salida: revisar la respuesta del modelo y bloquearla o corregirla.

Un ejemplo concreto

Un banco pone en marcha un asistente que responde preguntas sobre tarjetas de pago. Una barrera de entrada detecta y oculta los números de tarjeta escritos por error. Una barrera de diálogo rechaza con cortesía las peticiones de asesoramiento de inversión. Una barrera de salida comprueba que la respuesta no contiene datos personales de otro cliente. Por último, cualquier acción delicada, como bloquear una tarjeta, pasa por una validación humana o una confirmación explícita.

Antes de automatizar una tarea, nuestra herramienta ¿Puedo confiar esto a un agente? le ayuda a detectar dónde hace falta este tipo de protección.

Por qué importa

Cuando los agentes actúan en herramientas reales, una respuesta errónea puede convertirse en una acción errónea. Las barreras de seguridad son una de las defensas recomendadas contra la inyección de prompt, junto con el mínimo privilegio y las pruebas adversarias (red teaming). Exigir una salida estructurada también facilita las comprobaciones automáticas.

Errores e ideas equivocadas frecuentes

• «Un modelo bien alineado no necesita barreras.» La alineación reduce los comportamientos no deseados, pero cada aplicación debe hacer cumplir también sus propias reglas de negocio.
• «Cuantos más filtros, mejor.» Unas barreras demasiado estrictas bloquean peticiones legítimas y frustran a los usuarios.
• «Una barrera es una lista de palabras prohibidas.» Los enfoques actuales suelen usar clasificadores o modelos específicos, mucho más finos que una lista.
• «Se configura una vez y listo.» Las técnicas para eludirlas evolucionan, así que conviene probarlas y ajustarlas con regularidad.