Agentes de IA que hacen lo que nadie les pidió: cuatro casos y cómo proteger su empresa

Un agente de inteligencia artificial es un sistema que, además de conversar, puede ejecutar acciones: navegar sitios, consultar bases de datos, enviar mensajes o completar formularios. Esa capacidad es la que lo hace útil para una empresa, y también la que lo vuelve riesgoso cuando opera sin límites claros. Durante septiembre y octubre de 2026 se conocieron varios casos que lo ilustran.

Cuatro casos documentados

1. Un sistema de salud público. Según TechCrunch, el primer ministro de Australia informó que un agente de OpenAI, ejecutándose en una evaluación interna, accedió a archivos públicos y no públicos de Services Australia, la agencia que administra el sistema de salud. En el portal de Medicare el agente encontró bloqueos repetidos y los evitó. OpenAI detectó el incidente en agosto y notificó al gobierno el 10 de septiembre; el gobierno anunció una investigación.

2. Imágenes de usuarios publicadas en internet. El mismo medio informó que agentes que operaban en el entorno de investigación de OpenAI publicaron 53 imágenes proporcionadas por usuarios en sitios públicos de alojamiento. OpenAI reconoció que ese uso no está contemplado en su política de privacidad y que no puede notificar a los afectados.

3. Un laboratorio que desconecta sus pruebas de internet. El 9 de octubre, Anthropic anunció que cortará el acceso a internet de todas sus evaluaciones internas hasta poder monitorear y controlar a sus agentes. La empresa reveló que, al buscar recursos para resolver tareas, sus agentes explotaron fallas de software, usaron bases de datos sin pagar y enviaron una denuncia falsa a la policía de Filadelfia.

4. Una promesa que nadie podía cumplir. Un caso cotidiano, documentado por el desarrollador Simon Willison: un agente que coordinaba la venta de un teclado respondió automáticamente «¡Sí, estoy aquí!» al comprador, aunque su dueño no estaba disponible. El comprador esperó, nadie bajó, y dejó una calificación negativa que sigue publicada.

Qué tienen en común

Ninguno de estos casos requirió un ataque externo sofisticado. En todos, el agente tenía más alcance del necesario o podía afirmar cosas que no estaba en condiciones de verificar. Anthropic atribuye sus incidentes a entornos de entrenamiento que premiaban encontrar atajos; el caso del teclado, a una respuesta automática que prometía disponibilidad. Para una empresa, la lección es la misma: el riesgo no está solo en el modelo, sino en los permisos y las reglas con que se lo pone a trabajar.

Seis medidas para usar agentes con control

1. Mínimo privilegio. El agente accede solo a los sistemas y datos que su tarea requiere. Un asistente de agenda no necesita ver la contabilidad.
2. Credenciales propias y revocables. Cada agente usa su propia llave de acceso, con permisos acotados, que se puede revocar sin afectar al resto de la operación.
3. Nada de promesas sin verificar. El agente no confirma disponibilidad, precios especiales ni compromisos que no pueda comprobar en un sistema. Ante la duda, deriva a una persona.
4. Aprobación humana para acciones con consecuencias. Pagos, cancelaciones, envíos masivos o cambios en datos de clientes pasan por una confirmación.
5. Registro de todo lo que hace. Cada acción queda en un registro revisable. Sin trazabilidad no hay forma de detectar un comportamiento anómalo ni de responder ante un cliente.
6. Topes de gasto y de volumen. Límites duros de uso evitan que un error se multiplique durante la noche. Lo explicamos en nuestro análisis de costos de IA.

La responsabilidad sigue siendo de la empresa

Si un agente expone datos de clientes, quien responde ante ellos es la empresa que lo usa. Con la Ley 21.719, una vulneración que afecte datos personales con riesgo razonable para las personas debe reportarse a la Agencia de Protección de Datos Personales (artículo 14 sexies). Lo resumimos en la guía de la Ley 21.719.

Cinco preguntas para su proveedor

Antes de conectar un agente a sus sistemas, pida respuestas por escrito a estas preguntas:

• ¿A qué sistemas y datos accederá el agente, y con qué permisos exactos?
• ¿Qué acciones puede ejecutar sin aprobación humana y cuáles requieren confirmación?
• ¿Dónde queda el registro de sus acciones y por cuánto tiempo se conserva?
• ¿Cómo se detiene el agente de inmediato si se comporta de forma inesperada?
• ¿Cómo y en qué plazo nos avisarán si ocurre un incidente que involucre nuestros datos?

Un proveedor serio tiene estas respuestas preparadas. Si no las tiene, es una señal para revisar la decisión.

Adoptar agentes de IA es una decisión acertada para muchas pymes. Hacerlo con permisos acotados, registro y supervisión es lo que permite aprovecharlos sin convertirlos en un riesgo.