El CCN crea un examen de seguridad para los productos con IA: qué evalúa y por qué importa

El Centro Criptológico Nacional (CCN), el organismo de ciberseguridad dependiente del Centro Nacional de Inteligencia (CNI), ha publicado la primera metodología española para evaluar la seguridad de los productos que incorporan inteligencia artificial. La guía CCN-STIC-2011 (Metodología de Evaluación de Seguridad de Productos – Inteligencia Artificial, ESP-IA) establece un marco común para que fabricantes, laboratorios y organismos usuarios puedan confiar en estos sistemas, y llega acompañada de dos plantillas: la Declaración de Seguridad y el Informe Técnico de Evaluación, según la nota oficial del organismo.

La razón de ser de la norma es que la IA plantea vulnerabilidades que las evaluaciones tradicionales no detectan: la forma en que estos sistemas aprenden, interpretan instrucciones, recuerdan información o ejecutan acciones abre riesgos nuevos que el CCN enumera con precisión: evasión de decisiones, inyección de instrucciones, envenenamiento de datos de entrenamiento, extracción del modelo, fuga de información protegida, agotamiento de recursos y uso indebido de herramientas por sistemas agénticos, capaces de actuar de forma autónoma.

La guía acota además su propio alcance: se aplica a las vulnerabilidades cuya materialización depende de mecanismos propios de la IA, como la inferencia, el aprendizaje, la adaptación, el contexto, la memoria o las acciones mediadas por el modelo. Si al sustituir el componente de IA por software convencional la vulnerabilidad y su forma de probarla son esencialmente las mismas, ese riesgo queda, con carácter general, fuera de ESP-IA y corresponde a otras evaluaciones clásicas del CCN.

Dos principios: supervisión humana y trazabilidad

La metodología se apoya en dos ideas centrales. La primera es la supervisión humana: el producto debe requerir validación humana previa antes de ejecutar acciones críticas y debe ser posible detenerlas antes de que produzcan efectos irreversibles. La segunda es la trazabilidad: el sistema tiene que registrar las entradas, salidas y acciones relevantes, con registros suficientes para reconstruir después lo que hizo y protegidos frente a modificaciones o accesos no autorizados.

Qué piden los 27 requisitos

El conjunto se concreta en hasta 27 requisitos funcionales de seguridad: 22 derivados de las amenazas y 5 de los dos principios anteriores, según la propia guía. La lista cubre cuatro frentes. Protección del modelo y de su entrenamiento: el producto debe detectar y resistir intentos de manipular las entradas de la IA para alterar decisiones importantes, defenderse de la inyección directa e indirecta de instrucciones, impedir la extracción o copia del modelo, la inferencia de quién formaba parte de los datos de entrenamiento, la reconstrucción de esos datos y las modificaciones persistentes del comportamiento, además de verificar la integridad de los artefactos de IA de terceros y de sus actualizaciones. Protección de la información: impedir que la IA revele datos protegidos, mantener el aislamiento entre usuarios, sesiones y organizaciones, proteger la memoria persistente y controlar cualquier transmisión de información a destinos no autorizados, también a través de herramientas externas. Control de acciones: limitar lo que la IA puede hacer y qué herramientas, plugins, APIs o comandos puede usar, con especial celo en los privilegios delegados, que nunca podrán exceder las autorizaciones del actor que origina la interacción, y protección frente al agotamiento de recursos con degradación segura. Y, como cierre, los dos principios de fondo convertidos en requisitos: validación humana previa de las acciones críticas con capacidad efectiva de interrumpirlas, y registro protegido de toda la actividad para poder reconstruirla después.

Un examen a medida de cada producto

La evaluación no es idéntica para todos: el fabricante describe la arquitectura del sistema en la Declaración de Seguridad, de carácter privado, y responde a un cuestionario sobre las capacidades de su IA. A partir de esas respuestas, una matriz de aplicabilidad determina qué amenazas y políticas le corresponden y, por tanto, cuáles de los 27 requisitos son exigibles. Después, un laboratorio acreditado y autorizado por el CCN verifica cada requisito aplicable y realiza pruebas de penetración adicionales tomando como referencia la OWASP AI Testing Guide y las técnicas de ataque más actuales, según la propia guía. El laboratorio debe ser una entidad acreditada conforme a la norma ISO/IEC 17025 y autorizada por el CCN para estas evaluaciones.

La metodología detalla además quiénes participan en el proceso, qué información debe aportarse y cuáles son las fases de la evaluación. Conviene precisar lo que no es: no es una ley de obligado cumplimiento general ni una certificación de ningún producto concreto, sino el marco técnico con el que el CCN evaluará la seguridad de los sistemas con IA que se sometan a su examen. Llega cuando la IA generativa se integra en productos de consumo y de empresa a un ritmo que la regulación no siempre acompaña. Para los fabricantes que operen en España -y para las administraciones que compren esos sistemas-, la guía del CCN se convierte en la referencia técnica nacional para demostrar que un producto con IA es seguro antes de desplegarlo.