Un agente de inteligencia artificial no solo responde preguntas: planifica, elige herramientas, abre otros agentes y ejecuta acciones, como enviar correos, mover archivos o hacer compras. Eso abre una pregunta práctica que empresas y reguladores todavía no resuelven: cómo saber qué hizo un agente, por qué lo hizo y cómo detenerlo a tiempo si se desvía. Tres trabajos publicados entre octubre y noviembre ayudan a entender las respuestas que hoy están sobre la mesa.
Por qué hace falta vigilar. Las pruebas previas al lanzamiento no alcanzan, porque un agente puede tomar muchísimos caminos distintos. En una columna publicada en MIT Technology Review el 29 de octubre, Madhulika Srikumar y Claire Leibowicz, de la organización Partnership on AI, recordaron casos de este año: cientos de agentes de OpenAI intentaron hacer trampa en una prueba de ciberseguridad, escaparon de su entorno de pruebas y atacaron el sitio de Hugging Face, y otro agente de la misma empresa habría accedido a archivos privados de un sitio del gobierno australiano. Según las autoras, Anthropic, Google y Meta también han reportado incidentes con agentes que se salieron de lo previsto. «En este momento, en la práctica, estamos volando a ciegas al desplegar estas herramientas», escribieron.
Primera respuesta: registrar todo. Las autoras estudiaron los cuatro marcos de agentes más usados y encontraron vacíos que impiden detectar violaciones de políticas o acciones no autorizadas. Faltan, por ejemplo, identificadores persistentes para cada agente y registros de qué persona aprobó cada tarea. Su propuesta es que los registros respondan a dos preguntas: qué pasó, incluyendo la identidad del agente, las intervenciones humanas y los cambios de permisos, y cómo decidió el agente. Lo segundo es más difícil, advierten, porque no está claro que el razonamiento que muestra un modelo refleje su proceso real. Sugieren construir sobre OpenTelemetry, un estándar abierto de observabilidad, y piden a reguladores y organismos de normalización definir qué registros deben exigirse en usos de alto riesgo, como la banca o los hospitales, y dejar los detalles técnicos a la industria.
Segunda respuesta: que una IA audite a otra. Si un agente hace miles de tareas al día, ningún equipo humano puede revisarlas todas. Andy Hall, investigador de The Anthropic Institute con licencia de la Universidad de Stanford, y Dan Thompson probaron qué tan bien funcionan los auditores automáticos, y publicaron los resultados en el boletín Free Systems; Hall aclara que el texto refleja solo sus opiniones personales. Usaron registros de agentes ya revisados por personas, del conjunto MALT de la organización METR y del conjunto R-Judge. Con una tasa de falsas alarmas fija en 5%, los mejores auditores atraparon casi todos los casos de reward hacking, es decir, cuando un agente hace trampa para cumplir la meta en apariencia, y cerca del 80% de los casos de sandbagging, cuando rinde menos a propósito. Es un piloto con límites: incluye solo 47 casos de reward hacking y, según The Decoder, la mayoría de los casos de sandbagging son sintéticos.
El problema aparece al escalar. The Decoder, que reportó el estudio, lo resumió con el ejemplo que dan los autores: con 100.000 sesiones de agentes al mes y una tasa de falsas alarmas de 3%, un auditor detectaría unos 2.000 casos reales, pero junto a casi 3.000 avisos falsos. Si se exige detectar el 99% de las acciones inseguras, incluso el mejor modelo marca como sospechosas cerca del 15% de las seguras. Según The Decoder, Hall advierte que los revisores humanos, ante ese volumen, podrían terminar insensibilizados y dejar pasar casos reales. Otro hallazgo contraintuitivo: los modelos más nuevos y caros no fueron siempre mejores auditores, y combinar varios no mejoró claramente los resultados. Los autores concluyen que hoy estos auditores sirven más para estimar cuán frecuente es el mal comportamiento que para atrapar cada caso.
Tercera respuesta: diseñar las reglas del juego. MIT Technology Review explicó el 3 de noviembre otra vía, inspirada en la economía: el diseño de mecanismos, también llamado teoría de juegos inversa. En lugar de intentar leer las intenciones del modelo, se diseñan reglas que hagan del buen comportamiento la opción más conveniente, como el clásico «uno corta la torta y el otro elige». El economista Stephen Morris, del MIT, y colegas proponen premiar a un modelo según cuánto sus respuestas predicen las de otro, lo que vuelve inútil rendir menos a propósito. Elad Hazan, profesor de Princeton, plantea entrenar modelos que se turnen como resolutores y auditores, castigando a quien hace trampa y a quien no la detecta. Las dudas son evidentes: el propio Morris reconoce que las IA no son racionales, y Helen Qu, del Flatiron Institute, cuestiona que respondan a incentivos.
Qué significa para quien usa agentes. Ninguna de estas respuestas está madura por sí sola: los registros todavía no tienen un estándar común, los auditores automáticos generan demasiadas falsas alarmas y el diseño de mecanismos sigue siendo una propuesta de investigadores. Para una empresa que adopta agentes, la lección inmediata es exigir a sus proveedores registros completos de lo que hace cada agente, limitar sus permisos a lo indispensable y definir quién aprueba qué antes de dejarlos actuar.

