FRENES

Glosario · Seguridad y riesgos

Salvaguardas

Las salvaguardas son medidas que limitan el comportamiento de un sistema de IA y las acciones que puede ejecutar. Pueden revisar peticiones, respuestas o usos de herramientas para reducir determinados riesgos, conforme a reglas establecidas para el servicio, su entorno y las personas que lo utilizan.

Salvaguardas: la explicación

Una salvaguarda puede comprobar un dato recibido, señalar contenido sensible o impedir una operación no autorizada. Algunos controles utilizan reglas explícitas, como una lista de destinatarios permitidos. Otros recurren a un modelo para evaluar una petición. Pueden actuar antes del procesamiento, antes de mostrar una respuesta o justo antes de ejecutar una herramienta. Su ubicación importa: detectar un problema después de enviar un mensaje no permite impedir ese envío que ya se ha realizado.

Estas medidas convierten requisitos de seguridad, confidencialidad o funcionamiento en comprobaciones concretas. Usted puede permitir que el agente redacte un mensaje y exigir aprobación antes de enviarlo. Un servicio también puede requerir un formato determinado o rechazar operaciones fuera del ámbito acordado. El término abarca mecanismos distintos. Para entender una herramienta, conviene saber qué regla se aplica, cuándo se comprueba y qué ocurre realmente cuando una operación propuesta no supera el control establecido.

Para su trabajo, importa cómo se comporta cada protección ante las situaciones previstas. Una regla demasiado amplia puede interrumpir tareas habituales, mientras una demasiado limitada puede omitir un caso relevante. Conviene probar peticiones representativas y examinar las explicaciones cuando algo se bloquea. También debe distinguir entre una advertencia que mantiene disponible la operación y una restricción efectiva. Sus consecuencias son distintas cuando usted confía en un agente para realizar tareas con efectos importantes.

Un ejemplo concreto

Usted utiliza un agente para preparar respuestas de una asociación. Un control señala los mensajes con información personal para que se revisen. Otro impide enviar a direcciones ajenas a una lista autorizada. Antes de distribuir una respuesta, la herramienta muestra el texto y los destinatarios para su aprobación. Estas medidas atienden riesgos diferentes, pero todavía hace falta comprobar que el contenido sea correcto y adecuado.

Por qué importa

Las salvaguardas importan porque un agente puede actuar sobre sus datos o sus cuentas. Una afirmación general sobre seguridad no explica las protecciones reales. Compruebe qué se bloquea, qué solo genera una advertencia y cómo se revisan las peticiones legítimas rechazadas. Los controles adecuados deben proteger las operaciones importantes y permitirle comprender las decisiones para continuar el trabajo que sí está autorizado realizar.

Ideas equivocadas

  • Tener salvaguardas no vuelve infalible un sistema, porque cada control aborda ciertos riesgos y puede omitir una situación nueva, estar mal configurado o dejar un error en el contenido que produce el modelo.
  • Una negativa escrita por el modelo no equivale a una prohibición técnica, porque impedir una operación también depende de los permisos y las comprobaciones aplicados cuando la herramienta intenta ejecutarla realmente en el sistema.

Otros términos: seguridad y riesgos

entorno aislado
Un entorno aislado es un espacio de ejecución que restringe lo que un programa puede consultar o modificar fuera de sus límites.
mínimo privilegio
El mínimo privilegio es un principio de seguridad que concede únicamente los accesos necesarios para una tarea.
inyección de prompt
Una inyección de prompt es un intento de desviar un sistema de IA mediante instrucciones incluidas en el contenido que procesa.
clave API
Una clave API es un identificador que un programa envía para acceder a determinados servicios en línea.
OAuth
OAuth es un marco de autorización que permite a una aplicación obtener acceso limitado a otro servicio.

Dónde lo trata este sitio

El término aparece en 53 páginas del sitio. Algunas:

Para ir más lejos

Preguntas frecuentes

¿Son únicamente filtros de contenido?

No. Pueden incluir filtros, reglas de validación y comprobaciones sobre acciones. Su alcance varía entre productos, por lo que conviene examinar los mecanismos concretos en lugar de suponer que el nombre describe una protección determinada.

¿Pueden bloquear una petición válida?

Sí. Un control puede clasificar incorrectamente una petición legítima como arriesgada. Una herramienta útil explica el bloqueo y permite tratar los casos válidos mediante un procedimiento adecuado, conservando las protecciones pertinentes para otras operaciones.

¿Quién establece las reglas?

Según el servicio, pueden proceder del proveedor, de su organización o de sus ajustes personales. Algunas son modificables y otras obligatorias. Compruebe quién puede cambiarlas y cómo se registra el seguimiento de esas modificaciones.

Neutralidad. Ningún enlace de afiliación. Ningún editor paga por ser evaluado, puntuado o clasificado. Las evaluaciones las dirige François Chollet, neutrales y factuales, y cada dato está fechado y con su fuente. Cómo puntuamos