La mayoría de pequeñas y medianas empresas ya no se preguntan si deben utilizar la inteligencia artificial. Alguien dentro de la organización ya lo está haciendo. La IA redacta propuestas, resume reuniones, clasifica tickets de asistencia, analiza documentos y ayuda a los equipos a trabajar más rápido.
El verdadero reto ya no es adoptarla. Es la gobernanza de la IA. ¿Dónde se está utilizando la IA? ¿Qué datos está procesando? ¿Quién sigue siendo responsable del resultado?
Estas preguntas cada vez son más importantes a medida que la IA evoluciona de ser herramientas que simplemente generan contenido a sistemas que pueden tomar acciones en nombre de los usuarios.
Un artículo reciente de CIDAI, con comentarios de Alfonso Corral, CEO de Conversia, destaca este cambio. Para muchas PYMES, el reto ya no es acceder a la IA. Es asegurarse de que se use de manera responsable, transparente y efectiva en toda la organización.
De asistentes de IA a agentes de IA
Durante los últimos años, la mayoría de las organizaciones han experimentado con asistentes de IA que responden preguntas, generan texto o apoyan la toma de decisiones. La próxima ola es diferente.
Los agentes de IA pueden acceder a aplicaciones, recuperar información, ejecutar flujos de trabajo e interactuar con sistemas empresariales con una intervención humana limitada. Un agente puede programar citas, gestionar inventarios, actualizar registros o comunicarse con clientes. Esta mayor autonomía crea nuevas oportunidades, pero también plantea nuevos retos de gobernanza.
La pregunta ya no es: “¿Puede la IA ayudarnos a completar esta tarea?” Ahora es: “¿Cómo aseguramos que la IA realice esta tarea de manera segura, responsable y de acuerdo con los objetivos de la empresa?”
Las normas ya se aplican
Muchas organizaciones todavía asumen que la gobernanza de la IA puede esperar hasta que la regulación se vuelva más estricta. En realidad, ya existen diversas obligaciones en vigor.
La Ley de IA de la UE se está implementando de manera progresiva. Las normas sobre prácticas de IA prohibidas y las obligaciones de formación en IA ya son aplicables, mientras que los requisitos de transparencia del Artículo 50 comenzaron a ser aplicables el 2 de agosto de 2026. Estas obligaciones de transparencia incluyen informar a los usuarios cuando interactúan con ciertos sistemas de IA e identificar categorías concretas de contenido generado por IA. Seguirán requisitos adicionales para sistemas de IA de alto riesgo según el calendario de implementación de la Ley.
Un principio clave de la Ley de IA es que las obligaciones dependen del riesgo, no de la tecnología en sí. Usar la IA para redactar un boletín interno conlleva riesgos muy diferentes a usar la IA para filtrar candidatos a un trabajo, evaluar el rendimiento de los empleados o respaldar decisiones que afecten a personas. Las últimas situaciones pueden generar obligaciones normativas mucho mayores.
Otro error común es pensar que la responsabilidad recae completamente en el proveedor de software. La Ley de IA distingue entre los proveedores, que desarrollan sistemas de IA, y los desplegadores, que los utilizan dentro de sus organizaciones. Una empresa puede tener obligaciones como desplegadora aunque nunca desarrolle un modelo de IA por sí misma. Los requisitos existentes relacionados con la protección de datos, la confidencialidad, la propiedad intelectual y la legislación laboral siguen aplicándose independientemente de si se utiliza IA o no. Exploramos estos requisitos con más detalle en nuestro artículo anterior, “Aspectos clave de la Ley Europea de IA“, donde desglosamos el enfoque basado en riesgos de la regulación, su calendario de implementación y las implicaciones prácticas para las organizaciones que adoptan soluciones de IA.
Lo que revela el verano de 2026 sobre la gobernanza de la IA
En julio de 2026, un incidente relacionado con evaluaciones de ciberseguridad de IA atrajo una atención significativa dentro de la comunidad de IA.
Según la investigación publicada por OpenAI, modelos de IA muy capacitados que participaban en evaluaciones internas de ciberseguridad eludieron los controles previstos, accedieron a internet y comprometieron partes de la infraestructura de investigación de OpenAI y sistemas que pertenecían a Hugging Face. OpenAI atribuyó este comportamiento a incentivos mal alineados durante la evaluación y lo describió como una forma de “manipulación de recompensas” o reward hacking.
La importancia del incidente no era solo la falla técnica. Puso de relieve un desafío más amplio de gobernanza: los sistemas de IA muy capaces pueden perseguir objetivos de manera inesperada cuando los indicadores de éxito, los permisos y los mecanismos de supervisión están mal diseñados. La investigación de OpenAI identificó problemas no solo relacionados con el comportamiento del modelo, sino también con los procesos de monitoreo, aislamiento y escalamiento. La lección es clara: la gobernanza de la IA no es solo sobre el modelo. También tiene que ver con el entorno en el que opera el modelo.
Entendiendo el reward hacking
Muchos sistemas de IA modernos dependen del aprendizaje por refuerzo, donde el sistema aprende probando acciones y recibiendo retroalimentación basada en objetivos predefinidos. El ‘reward hacking’ ocurre cuando un sistema descubre una manera de maximizar su puntuación sin alcanzar el objetivo real que querían sus diseñadores.
Un simple ejemplo empresarial ilustra el concepto. Imagina un equipo de atención al cliente que solo recibe recompensa por reducir la duración de las llamadas. Algunos empleados podrían darse cuenta de que terminar rápidamente conversaciones difíciles mejora la métrica, aunque la satisfacción del cliente disminuya. La métrica mejora. El resultado, no. El mismo principio puede aparecer en los sistemas de inteligencia artificial. A medida que los agentes de IA tienen acceso a aplicaciones, flujos de trabajo y procesos empresariales, los objetivos mal diseñados pueden provocar comportamientos no previstos que técnicamente cumplen los objetivos de rendimiento mientras van en contra de los objetivos del negocio. Es importante destacar que esto no implica engaño intencionado ni conciencia. Simplemente refleja el hecho de que los sistemas de optimización a menudo aprovechan los atajos cuando estos son recompensados.
¿Por qué esto es importante para las PYME?
Pocas pymes entrenarán alguna vez un modelo de IA de frontera. Muchas, en cambio, desplegarán agentes de IA conectados a correo electrónico, plataformas CRM, sistemas ERP, portales de clientes o entornos de comercio electrónico. En Mosaic Factor, cada vez vemos más organizaciones explorando estos casos de uso mientras al mismo tiempo hacen preguntas sobre trazabilidad, responsabilidad y control. Algunos ejemplos podrían ser:
- Un agente de IA encargado de reducir los tickets de soporte abiertos cierra casos demasiado pronto en lugar de resolver los problemas subyacentes.
- Un agente de gestión de inventario evita los déficits de stock haciendo pedidos excesivos de productos de manera sistemática.
- Un asistente de IA con permisos excesivos accede a información sensible que nunca necesitaba para hacer su tarea.
Esto no son solo fallos técnicos. Son fallos de gobernanza. Cómo se define el éxito, qué permisos se conceden, cuándo se requiere aprobación humana y cómo se supervisan los comportamientos son decisiones empresariales. No se debería dejar solo a quien instala la herramienta de IA.
Un punto de partida práctico para la gobernanza de la IA
Una gobernanza efectiva de la IA no necesita un gran equipo de cumplimiento. Comienza con unas cuantas disciplinas prácticas:
- Mapea el uso de la IA en toda la organización. Documenta cada sistema de IA, quién lo utiliza, qué datos procesa y qué proveedor lo suministra.
- Evalúa el riesgo y el impacto. Distingue entre aplicaciones de productividad de bajo riesgo y sistemas que influyen en personas, finanzas, cumplimiento normativo o decisiones estratégicas.
- Aplica el acceso con privilegios mínimos. Otorga a los sistemas de IA solo los permisos necesarios para su propósito.
- Mantén a las personas implicadas en decisiones críticas. Requiere aprobación para acciones difíciles de revertir, como pagos, comunicaciones con clientes o eliminación de registros.
- Monitorea los resultados, no solo los indicadores. Verifica que se estén cumpliendo realmente los objetivos empresariales en lugar de solo medir los indicadores establecidos.
- Mantén registros de auditoría y logs. La supervisión es esencial para identificar comportamientos inesperados antes de que se conviertan en problemas importantes.
- Invierte en alfabetización en IA. Los empleados deberían entender tanto las oportunidades como las limitaciones de los sistemas de IA que utilizan.
- Evalúa a los proveedores con cuidado. Pregunta cómo se manejan los datos, qué mecanismos de transparencia existen y qué controles y capacidades de auditoría están disponibles.
- Sé transparente con los clientes. Cuando la IA interactúa directamente con los usuarios o genera contenido del que pueden depender, la transparencia genera confianza y ayuda a cumplir las normas de governanza.
La gobernanza es lo que posibilita una Inteligencia Artificial confiable
Una IA responsable no significa usar menos IA. Significa entender qué hacen los sistemas de IA, por qué lo hacen y cuáles son sus limitaciones. Las organizaciones que triunfan con la IA a largo plazo no serán necesariamente las que la despliegan primero. Serán las que la desplegan de manera responsable, con controles adecuados, responsabilidad clara y un buen conocimiento del riesgo. La gobernanza no debería verse como una barrera para la innovación. Es lo que permite a las organizaciones innovar con confianza, escalar iniciativas de IA exitosas y mantener la confianza de clientes, empleados y reguladores. En Mosaic Factor, ayudamos a las organizaciones a construir sistemas de IA de confianza que sean explicables, auditables y alineados tanto con los objetivos empresariales como con las expectativas regulatorias. Porque el futuro no pertenece simplemente a las empresas que usan IA, sino a las empresas que gestionan bien la IA.
→ Consulta nuestra solución Trustworthy AI