A medida que los agentes de IA pasan de responder preguntas a ejecutar tareas, las organizaciones se enfrentan a crecientes desafíos en materia de gobernanza, rendición de cuentas y cumplimiento normativo. En el ámbito sanitario, donde la confianza y la seguridad del paciente son primordiales, la IA segura (Safe AI) se está convirtiendo en una necesidad estratégica.
En muchas organizaciones, la experimentación con agentes de IA avanza más rápido que los mecanismos de gobernanza necesarios para gestionarlos, y es posible que la sanidad sea donde esa brecha tenga más consecuencias.
La IA está entrando en una nueva fase. En lugar de limitarse a generar contenido o responder preguntas, los nuevos agentes de IA pueden acceder a aplicaciones, recuperar información, activar flujos de trabajo y llevar a cabo tareas con una intervención humana limitada. Este cambio promete importantes mejoras de productividad, pero también plantea desafíos de gobernanza que muchas organizaciones apenas empiezan a reconocer.
Durante años, la IA ha sido una herramienta a la que se consultaba: tú preguntabas y ella respondía. Este modelo, por imperfecto que fuera, mantenía una línea clara de responsabilidad humana. Alguien revisaba el resultado. Alguien tomaba la decisión. Esa línea es cada vez más difusa, y muchas organizaciones todavía están adaptando sus marcos de gobernanza a este cambio.
La IA agéntica se refiere a sistemas que pueden:
- planificar acciones,
- encadenar tareas,
- interactuar con herramientas externas,
- acceder a datos
- y ejecutar flujos de trabajo en nombre de usuarios u organizaciones.
Estas capacidades ya están apareciendo en plataformas como Microsoft Copilot, Salesforce Agentforce, ServiceNow AI Agents y OpenAI Operators, lo que nos hace ir de una IA de recuperación de información hacia una IA de ejecución de tareas. Y, lo que es fundamental, pueden determinar de forma autónoma cómo utilizar los permisos que se les han asignado para alcanzar un objetivo determinado. En muchos sistemas, la distancia entre la recomendación y la acción se está reduciendo considerablemente. La pregunta a la que se enfrentan ahora las organizaciones no es si esto está ocurriendo, sino si están preparadas para ello.
En muchas organizaciones, la experimentación con agentes de IA avanza más rápido que los mecanismos de gobernanza necesarios para gestionarlos de forma eficaz.

Amplificación, no creación
Lo más importante que hay que entender sobre el riesgo de la IA agéntica es que no crea nuevas categorías de amenaza: amplifica las debilidades que ya existían. Datos sobreexpuestos, permisos heredados que nunca se revisaron, una clasificación deficiente de la información: todo ello son sin duda vulnerabilidades. Un agente puede identificar y procesar esos datos expuestos mucho más rápido que cualquier persona, y puede hacerlo en decenas de sistemas a la vez, a menudo sin que nadie se dé cuenta hasta que algo sale mal.
Están surgiendo tres puntos de presión especialmente críticos:
- El primero es la identidad: los agentes de IA no encajan claramente en los modelos de acceso existentes. No son ni usuarios humanos ni cuentas de servicio convencionales, y pueden determinar de forma autónoma cómo utilizar los permisos asignados para alcanzar un objetivo determinado. También pueden ser manipulados mediante contenido incrustado en los documentos y correos electrónicos que procesan, una técnica conocida como inyección de instrucciones (prompt injection) e identificada como uno de los riesgos emergentes más importantes en el OWASP Top 10 para aplicaciones LLM.
- El segundo punto de presión son los permisos: las organizaciones tienden a conceder a los agentes un acceso amplio, lo que crea una gran superficie de ataque.
- El tercero es la trazabilidad. Cuando un agente provoca un incidente, ¿se puede reconstruir quién lo activó, a qué datos accedió y qué instrucciones seguía? En muchas implantaciones actuales, dar una respuesta completa y auditable sigue siendo difícil.
La dimensión sanitaria
Los proveedores de asistencia sanitaria despliegan cada vez más la IA para la documentación clínica, el apoyo al diagnóstico, el apoyo a la decisión clínica y los sistemas de triaje asistidos por IA, lo que genera nuevos retos de gobernanza en torno a la rendición de cuentas, la transparencia y la seguridad del paciente.
Las mismas brechas de gobernanza que aparecen en las implantaciones empresariales también se observan en la sanidad, agravadas por las exigencias del RGPD, la Ley de IA de la UE y los marcos de responsabilidad clínica. Ya se utilizan herramientas de apoyo a la decisión en radiología, de orquestación de flujos de trabajo hospitalarios y de triaje clínico, y cada una plantea cuestiones de explicabilidad, auditabilidad y supervisión humana que el sector todavía está resolviendo.
En la sanidad, la cuestión de la rendición de cuentas no es abstracta. Según la Ley de IA de la UE, determinados sistemas de IA utilizados para el apoyo a la decisión clínica o que influyen en decisiones médicas pueden entrar en la categoría de alto riesgo, lo que activa requisitos de:
- gestión de riesgos,
- documentación,
- supervisión humana
- y seguimiento poscomercialización.
Estos requisitos ponen de relieve capacidades que muchas implantaciones actuales de IA agéntica todavía están intentando madurar, especialmente en materia de auditabilidad, documentación y supervisión continua.

El consenso creciente entre los investigadores en seguridad y los profesionales de la gobernanza de la IA es que la respuesta no consiste en frenar el despliegue, sino en tratar a cada agente como una organización responsable trata a cualquier miembro de su plantilla:
- con una identidad verificable,
- un responsable humano designado,
- un acceso limitado a lo que realmente necesita
- y un registro completo de su actividad.
La gobernanza como acelerador
La experiencia de las primeras implantaciones empresariales sugiere que la gobernanza de la IA no ralentiza su adopción. De hecho, encuestas como el informe State of AI de McKinsey muestran sistemáticamente que las organizaciones que obtienen más valor de la IA son también las que más invierten en gobernanza, supervisión y madurez operativa. Lejos de frenar la adopción, la hace posible a escala. Las organizaciones con normas claras sobre quién puede desplegar agentes, a qué datos pueden acceder y qué acciones requieren la aprobación de una persona son las que están logrando pasar de pilotos aislados a sistemas en producción. Las que carecen de esas normas se ven obligadas a rehacer cada piloto antes de poder ponerlo en marcha.
Los fundamentos prácticos del cumplimiento en IA son cada vez más claros: identidad de los agentes basada en directorios; acceso condicional con permisos revocables de inmediato; clasificación de datos y etiquetado de confidencialidad que limiten el acceso de un agente solo a la información necesaria para su función prevista; mecanismos de supervisión y detección en tiempo de ejecución frente a la inyección de instrucciones y otros vectores de ataque emergentes específicos de la IA; y un inventario central que registre todos los agentes activos, señale los huérfanos y alimente la supervisión de seguridad.
Cada vez más, estas capacidades se debaten bajo el concepto más amplio de IA segura (Safe AI):
Un enfoque que combina salvaguardas técnicas, supervisión humana, transparencia, seguridad y cumplimiento normativo para garantizar que los sistemas de IA sigan siendo fiables a lo largo de todo su ciclo de vida.
Esta perspectiva está estrechamente alineada con marcos como el Marco de Gestión de Riesgos de la IA (AI RMF) y los Principios de la OCDE sobre IA.
Para las organizaciones que operan en ámbitos regulados como la sanidad, la gestión de riesgos y la gobernanza de la IA dependen cada vez más de la capacidad de rastrear cómo interactúan los datos, las decisiones y los servicios de IA en ecosistemas digitales complejos. Esta es una de las razones por las que las infraestructuras de datos escalables, los marcos de interoperabilidad y unas capacidades sólidas de gobernanza de datos se están convirtiendo en activos estratégicos y no en cuestiones puramente técnicas; y por la que, en el caso de la IA sanitaria en particular, esta infraestructura no es una carga de cumplimiento, sino la condición previa básica para cualquier solución que aspire a pasar de un entorno de investigación a la práctica clínica habitual.
Las organizaciones que más se beneficien de la IA agéntica probablemente no serán las que la adopten más rápido, sino las que establezcan los fundamentos de gobernanza necesarios para desplegarla de forma segura y a escala. A medida que los agentes de IA pasen a formar parte de las operaciones cotidianas, el éxito dependerá no solo del rendimiento de los modelos, sino también de la capacidad de gobernar la identidad, la trazabilidad y la rendición de cuentas a escala.
→ Revisa nuestra solución Trustworthy AI


























