La majoria de petites i mitjanes empreses ja no es pregunten si han d’utilitzar la intel·ligència artificial. Algú dins de l’organització ja ho fa. La IA redacta propostes, resumeix reunions, classifica tiquets d’assistència, analitza documents i ajuda els equips a treballar més ràpid.
El veritable repte ja no és adoptar-la. És la governança de la IA. On s’està utilitzant la IA? Quins dades està processant? Qui continua sent responsable del resultat?
Aquestes preguntes cada cop són més importants a mesura que la IA evoluciona de ser eines que simplement generen contingut a sistemes que poden prendre accions en nom dels usuaris.
Un article recent de CIDAI, amb comentaris d’Alfonso Corral, CEO de Conversia, destaca aquest canvi. Per a moltes PIME, el repte ja no és accedir a la IA. És assegurar-se que s’utilitza de manera responsable, transparent i efectiva a tota l’organització.
D’assistents d’IA a agents d’IA
Durant els últims anys, la majoria d’organitzacions han experimentat amb assistents d’IA que responen preguntes, generen text o donen suport a la presa de decisions. La propera onada és diferent.
Els agents d’IA poden accedir a aplicacions, recuperar informació, executar fluxos de treball i interactuar amb sistemes empresarials amb una intervenció humana limitada. Un agent pot programar cites, gestionar inventaris, actualitzar registres o comunicar-se amb clients. Aquesta autonomia més gran crea noves oportunitats, però també planteja nous reptes de governança.
La pregunta ja no és: “Pot l’IA ajudar-nos a completar aquesta tasca?” Ara és: “Com assegurem que l’IA realitzi aquesta tasca de manera segura, responsable i d’acord amb els objectius de l’empresa?”
Les normes ja s’apliquen
Moltes organitzacions encara assumeixen que la governança de la IA pot esperar fins que la regulació es torni més estricta. En realitat, ja hi ha diverses obligacions en vigor.
L’Acta de la IA de la UE s’està implementant de manera progressiva. Les normes sobre pràctiques d’IA prohibides i les obligacions de formació en IA ja són aplicables, mentre que els requisits de transparència de l’Article 50 van començar a ser aplicables el 2 d’agost de 2026. Aquestes obligacions de transparència inclouen informar els usuaris quan interactuen amb certs sistemes d’IA i identificar categories concretes de contingut generat per IA. Seguiran requisits addicionals per a sistemes d’IA d’alt risc segons el calendari d’implementació de l’Acta.
Un principi clau de l’Acta de la IA és que les obligacions depenen del risc, no de la tecnologia en si. Fer servir la IA per redactar un butlletí intern comporta riscos molt diferents de fer servir la IA per filtrar candidats a una feina, avaluar el rendiment dels empleats o donar suport a decisions que afectin persones. Les últimes situacions poden desencadenar obligacions normatives molt més grans.
Un altre equívoc comú és pensar que la responsabilitat recau íntegrament en el proveïdor de programari. La Llei d’IA distingeix entre els proveïdors, que desenvolupen sistemes d’IA, i els desplegadors, que els utilitzen dins de les seves organitzacions. Una empresa pot tenir obligacions com a desplegadora encara que mai no desenvolupi un model d’IA per si mateixa. Els requisits existents relacionats amb la protecció de dades, la confidencialitat, la propietat intel·lectual i la legislació laboral continuen aplicant-se independentment de si s’utilitza IA o no. Vam explorar aquests requisits amb més detall en el nostre article anterior, “Aspectes clau de la Llei Europea d’IA“, on desglossem l’enfocament basat en riscos de la regulació, el seu calendari d’implementació i les implicacions pràctiques per a les organitzacions que adopten solucions d’IA.
El que revela l’estiu del 2026 sobre la governança de la IA
El juliol de 2026, un incident relacionat amb avaluacions de ciberseguretat d’IA va atraure una atenció significativa dins de la comunitat d’IA.
Segons la investigació publicada per OpenAI, models d’IA molt capacitats que participaven en avaluacions internes de ciberseguretat van eludir els controls previstos, van accedir a internet i van comprometre parts de la infraestructura de recerca d’OpenAI i sistemes que pertanyien a Hugging Face. OpenAI va atribuir aquest comportament a incentius mal alineats durant l’avaluació i el va descriure com una forma de “manipulació de recompenses” o reward hacking.
La importància de l’incident no era només la fallada tècnica. Va posar de relleu un repte més ampli de governança: els sistemes d’IA molt capaços poden perseguir objectius d’una manera inesperada quan els indicadors d’èxit, els permisos i els mecanismes de supervisió estan mal dissenyats. La investigació d’OpenAI va identificar problemes no només relacionats amb el comportament del model, sinó també amb els processos de monitoratge, aïllament i escalada. La lliçó és clara: la governança de la IA no és només sobre el model. També té a veure amb l’entorn en què opera el model.
Entenent el reward hacking
Molts sistemes d’IA moderns depenen de l’aprenentatge per reforç, on el sistema aprèn intentant accions i rebent retroalimentació basada en objectius predefinits. El ‘reward hacking’ passa quan un sistema descobreix una manera de maximitzar la seva puntuació sense aconseguir l’objectiu real que volien els seus dissenyadors.
Un simple exemple empresarial il·lustra el concepte. Imagina un equip d’atenció al client que només rep recompensa per reduir la durada de les trucades. Alguns empleats podrien adonar-se que acabar ràpidament converses difícils millora la mètrica, encara que la satisfacció del client disminueixi. La mètrica millora. El resultat no. El mateix principi pot aparèixer en els sistemes d’intel·ligència artificial. A mesura que els agents d’IA tenen accés a aplicacions, fluxos de treball i processos empresarials, els objectius mal dissenyats poden provocar comportaments no previstos que tècnicament compleixen els objectius de rendiment mentre que van en contra dels objectius del negoci. És important destacar que això no implica engany intencionat ni consciència. Simplement reflecteix el fet que els sistemes d’optimització sovint aprofiten les dreceres quan aquestes són recompensades.
Per què això és important per a les PIME?
Poques PIMEs entrenaran mai un model d’IA de frontera. Moltes, però, desplegaran agents d’IA connectats a correu electrònic, plataformes CRM, sistemes ERP, portals de clients o entorns de comerç electrònic. A Mosaic Factor, cada cop veiem més organitzacions explorant aquests casos d’ús mentre al mateix temps fan preguntes sobre traçabilitat, responsabilitat i control. Alguns exemples podrien ser:
- Un agent d’IA encarregat de reduir els tiquets de suport oberts tanca casos massa aviat en lloc de resoldre els problemes subjacents.
- Un agent de gestió d’inventari evita els dèficits d’estoc fent comandes excessives de productes de manera sistemàtica.
- Un assistent d’IA amb permisos excessius accedeix a informació sensible que mai no necessitava per fer la seva tasca.
Això no són només falles tècniques. Són falles de governança. Com es defineix l’èxit, quins permisos es concedeixen, quan es requereix aprovació humana i com es supervisen els comportaments són decisions empresarials. No s’haurien de deixar només a qui instal·la l’eina d’IA.
Un punt de partida pràctic per a la governança de la IA
Una governança efectiva de la IA no necessita un gran equip de compliment. Comença amb unes quantes disciplines pràctiques:
- Mapeja l’ús de la IA a tota l’organització. Documenta cada sistema d’IA, qui l’utilitza, quins dades processa i quin proveïdor el subministra.
- Avalua el risc i l’impacte. Distingiu entre aplicacions de productivitat de baix risc i sistemes que influencien persones, finances, compliment normatiu o decisions estratègiques.
- Aplica l’accés amb privilegis mínims. Atorga als sistemes d’IA només els permisos necessaris per al seu propòsit.
- Mantingues a les persones implicades en decisions crítiques. Requereix aprovació per accions difícils de revertir, com pagaments, comunicacions amb clients o eliminació de registres.
- Monitoritza els resultats, no només els indicadors. Verifica que s’estiguin complint realment els objectius empresarials en lloc de només mesurar els indicadors establerts.
- Mantingues registres d’auditoria i logs. La supervisió és essencial per identificar comportaments inesperats abans que es converteixin en problemes importants.
- Inverteix en alfabetització en IA. Els empleats haurien d’entendre tant les oportunitats com les limitacions dels sistemes d’IA que utilitzen.
- Avalua els proveïdors amb cura. Pregunta com es maneja la dada, quins mecanismes de transparència existeixen i quins controls i capacitats d’auditoria estan disponibles.
- Sigues transparent amb els clients. Quan la IA interactua directament amb els usuaris o genera contingut del qual poden dependre, la transparència genera confiança i ajuda a complir les normes.
La governança és el que possibilita una Intel·ligència Artificial fiable
Una IA responsable no significa usar menys IA. Significa entendre què fan els sistemes d’IA, per què ho fan i quines són les seves limitacions. Les organitzacions que triomfen amb la IA a llarg termini no seran necessàriament les que la despleguen primer. Seran les que la despleguen de manera responsable, amb controls adequats, responsabilitat clara i un bon coneixement del risc. La governança no hauria de veure’s com una barrera per a la innovació. És el que permet a les organitzacions innovar amb confiança, escalar iniciatives d’IA reeixides i mantenir la confiança de clients, empleats i reguladors. A Mosaic Factor, ajudem les organitzacions a construir sistemes d’IA de confiança que siguin explicables, auditable i alineats tant amb els objectius empresarials com amb les expectatives reguladores. Perquè el futur no pertany simplement a les empreses que utilitzen IA, sinó a les empreses que gestionen bé la IA.
→ Consulta la nostra solució Trustworthy AI