Reglamento de IA: Requisitos de ciberseguridad de los sistemas de IA de alto riesgo

El reglamento de Inteligencia Artificial establece cuáles son los requisitos de ciberseguridad de los sistemas de IA de alto riesgo que se deben cumplir en la Unión Europea

Pocas normas han generado más expectación en los últimos años que el reglamento de Inteligencia Artificial aprobado por la Unión Europea este año. Una normativa pionera a nivel mundial en la regulación de los sistemas de IA de alto riesgo que busca:

• Armonizar el ordenamiento jurídico de toda la UE.
• Proteger a los ciudadanos frente a prácticas indebidas en el desarrollo y uso de esta tecnología disruptiva.
• Fomentar la investigación y la innovación en un ámbito crítico que ya está influyendo en el tejido productivo y la sociedad.

Uno de los elementos centrales del reglamento de Inteligencia Artificial gira en torno al establecimiento de una serie de requisitos de ciberseguridad de los sistemas de IA de alto riesgo. La obligación de cumplir con estos requisitos recae sobre las empresas que desarrollen sistemas de IA, pero también sobre aquellas que los comercialicen o los implementen. Asimismo, para garantizar que la norma se cumple, se han establecido cuantiosas multas económicas.

El reglamento de Inteligencia Artificial entró en vigor este 2 de agosto. Sin embargo, sus obligaciones no serán aplicables de manera general hasta dentro de dos años, el 2 de agosto de 2026. E, incluso, algunas obligaciones no deberán cumplirse hasta 2027. Por lo que las empresas que desarrollan, comercializan o usan sistemas de IA tienen tiempo para adaptarse a este marco normativo.

A continuación, vamos a desgranar los requisitos de ciberseguridad de los sistemas de IA de alto riesgo que se deben tener en cuenta a la hora de desarrollar esta clase de tecnología y a lo largo de todo su ciclo de vida.

1. ¿Qué es un sistema de IA de alto riesgo?

Antes de entrar de lleno en los requisitos de ciberseguridad de los sistemas de IA de alto riesgo, debemos tener claro qué aplicaciones tienen tal consideración según el marco normativo comunitario. El reglamento fija dos criterios para dilucidar qué sistemas son de alto riesgo.

1.1. Criterios europeos para establecer qué sistemas son de alto riesgo

1. Los sistemas empleados como componentes de seguridad de productos como máquinas, juguetes, medios de transporte (coches, aviones, trenes, barcos…), ascensores, equipos radioeléctricos, productos sanitarios…
2. Los sistemas que puedan afectar negativamente a la salud, la seguridad y los derechos fundamentales de los ciudadanos o influir sustancialmente en su toma de decisiones y que operen en estos ámbitos:
   • Biometría.
   • Infraestructuras críticas (agua, luz, gas, infraestructuras digitales esenciales…)
   • Educación y formación profesional. Como aplicaciones de Inteligencia Artificial usadas en la evaluación de los resultados de aprendizaje o la detección de comportamientos indebidos durante la realización de pruebas.
   • Trabajo y gestión de los profesionales. Por ejemplo, sistemas de IA de recursos humanos empleados para contratar a trabajadores.
   • El acceso y disfrute a servicios públicos y privados esenciales: prestaciones sanitarias, créditos financieros, seguros de salud y vida, servicios sanitarios o servicios de emergencia (policía, bomberos…).
   • Cumplimiento del Derecho. Por ejemplo, sistemas de IA para evaluar pruebas durante una investigación policial o en el ámbito judicial o para realizar perfiles de personas o rasgos de la personalidad.
   • Migración y control de las fronteras. Como sistemas que sirvan para evaluar el riesgo para la seguridad o la salud de una persona que desee entrar en un estado de la UE, así como aplicaciones para estudiar solicitudes de asilo o peticiones de permisos de residencia.
   • Justicia y procesos democráticos. Por ejemplo, aplicaciones para ayudar a los tribunales y juzgados a interpretar los hechos y la ley. Así como herramientas para influir en el voto de los ciudadanos.

Además, en el caso de que el sistema se emplee para hacer perfiles de personas, siempre será considerado de alto riesgo.

2. Precisión, solidez y ciberseguridad. Tres pilares esenciales de la Inteligencia Artificial

El reglamento europeo establece un abanico de requisitos que deben cumplir los sistemas de IA de alto riesgo antes de salir al mercado como disponer de prácticas de gobernanza de los datos que se emplean para el entrenamiento de los modelos o el establecimiento de un sistema de gestión de riesgos.

Dentro de este catálogo de requisitos se incluye la necesidad de garantizar la precisión, solidez y ciberseguridad de la Inteligencia Artificial de alto riesgo.

2.1. Nivel adecuado de precisión a lo largo de todo el ciclo de vida del sistema

Todos los sistemas de IA de alto riesgo que se comercialicen en la UE deben haber sido diseñados y desarrollados de manera segura para garantizar un nivel de precisión, solidez y ciberseguridad suficiente. Además, deberán cumplir dicho nivel durante todo su ciclo de vida.

El reglamento de IA encomienda a la Comisión Europea establecer la manera de medir los niveles de precisión y solidez de los sistemas. Para ello, deberá contar con la colaboración de las organizaciones que desarrollan esta clase de tecnología y otras autoridades. Fruto de este trabajo se deberán fijar parámetros de referencia y metodologías de medición que permitan evaluar de manera objetiva los niveles de precisión y solidez de cada sistema de IA de alto riesgo que opere en la UE.

Asimismo, esta norma pionera establece que en las instrucciones de uso de un sistema de IA de alto riesgo debe figurar su nivel de precisión y los parámetros que se deben emplear para medirlo.

2.2. Solidez del sistema y prevención de fallos

A la hora de desarrollar y comercializar sistemas de IA de alto riesgo se debe tener en cuenta, también, que han de ser sólidos a lo largo de todo su ciclo de vida. De cara a evitar errores, fallos e incoherencias que surjan:

• En los propios sistemas de IA.
• En el entorno en que se emplean, sobre todo, como fruto de su interacción con los seres humanos o con otros sistemas.

Para prevenir las incidencias y lograr que los sistemas sean sólidos, el reglamento indica que se deben implementar:

• Soluciones de redundancia técnica, como la realización de copias de seguridad continuas.
• Planes de prevención contra fallos del sistema de IA.

Asimismo, la normativa tiene en cuenta una de las características claves de muchos sistemas de Inteligencia Artificial: continúan aprendiendo a lo largo de todo su ciclo de vida. Esto implica que sea necesario:

• Desarrollarlos para reducir al máximo el riesgo de que los resultados de salida de los sistemas de IA de alto riesgo estén sesgados y que influyan en la información de entrada al propio sistema, provocando bucles de retroalimentación.
• Disponer de medidas para reducir los riesgos de que se produzcan bucles de retroalimentación.

2.3. Resistencia a los ciberataques

Dentro de los requisitos de ciberseguridad de los sistemas de IA de alto riesgo, el reglamento europeo presta especial atención a los ciberataques que se pueden lanzar contra esta tecnología clave para el futuro de las empresas y la sociedad. Así, este nuevo marco normativo establece que los sistemas deben ser capaces de resistir a los ataques que busquen explotar sus vulnerabilidades para:

• Alterar la forma de emplearlos.
• Manipular los resultados de salida que generan.
• Menoscabar su funcionamiento ordinario y de acuerdo a sus fines.

Por ello, se deben implementar soluciones técnicas y disponer de servicios de ciberseguridad que permitan prevenir los incidentes, detectarlos de manera temprana, responder ante ellos y recuperar la normalidad.

Además, el reglamento hace hincapié en los diferentes tipos de ciberataques específicos que se pueden poner en marcha contra los sistemas de IA de alto riesgo y que, por ende, se deben tener en cuenta a la hora de diseñar la estrategia de ciberseguridad:

• Envenenamiento de datos.
• Envenenamiento de modelos.
• Evasión de modelos y ejemplos adversarios.
• Ataques a la confidencialidad de los datos.
• Ataques que busquen explotar defectos presentes en los modelos.

3. ¿Quién debe cumplir los requisitos de ciberseguridad de los sistemas de IA de alto riesgo?

El reglamento de IA establece que son los proveedores de sistemas de IA los que tienen que garantizar que una aplicación cumple con los requisitos de ciberseguridad de los sistemas de IA de alto riesgo.

Además, los proveedores también son responsables de:

• Que los sistemas que desarrollen se sometan a una evaluación de conformidad. Esta evaluación sirve para garantizar que los sistemas cumplen con todos los requisitos del reglamento antes de que se empiecen a comercializar o entren en funcionamiento en la UE.
• Redactar la declaración UE de conformidad en la que se afirma que los requisitos de los sistemas de IA, incluidos los relacionados con la ciberseguridad, se cumplen. Este documento incluye las características fundamentales del sistema y, a través de él, el proveedor garantiza que se han cumplido todos los requisitos de los sistemas de IA de alto riesgo, incluidos los relacionados directamente con la ciberseguridad.

Asimismo, los importadores de sistemas de IA desarrollados por otras compañías fuera de la UE están obligados a:

• Comprobar que el sistema cumple los requisitos del reglamento.
• Asegurarse de que se ha realizado la evaluación de conformidad del sistema.
• Incorporar al sistema antes de su comercialización una copia de la declaración UE de conformidad que fija el reglamento.

En la misma línea, los distribuidores tendrán que asegurarse de que el sistema va acompañado de la declaración UE de conformidad.

Finalmente, los responsables del despliegue de sistemas de IA de alto riesgo, es decir, las compañías que implementan esta tecnología en sus organizaciones, deben emplearlos de acuerdo a las instrucciones de uso, encomendar su vigilancia a personas capacitadas y constatar que funcionen de acuerdo a sus fines y sin generar ningún riesgo.

Todos los actores están obligados a informar sobre incidentes graves que afecten a los sistemas de IA a las autoridades.

4. Multas millonarias por incumplir los requisitos de ciberseguridad de los sistemas de IA de alto riesgo

¿Qué sucede si no se cumplen los requisitos de ciberseguridad de los sistemas de IA de alto riesgo?

El reglamento determina que deben ser los estados quiénes aprueben sus respectivos regímenes de sanciones. Si bien, se indican los topes de las multas administrativas que se pueden imponer a proveedores, importadores, distribuidores y responsables del despliegue de sistemas de IA de alto riesgo:

• 15 millones de euros o el 3% del volumen de negocios mundial de una compañía que incumpla sus obligaciones en función de su condición de proveedor, importador, distribuidor o responsable del despliegue de una IA. El límite es la cifra de mayo tamaño. De tal forma que si un desarrollador comercializa un sistema que no cumple con los requisitos de ciberseguridad de los sistemas de IA de alto riesgo puede ser sancionado con este importe.
• 7,5 millones de euros o el 1% del volumen de negocios mundial, dependiendo de qué cifra es mayor, por presentar información inexacta o incompleta a las autoridades.
• Los límites de sanciones máximas a las pymes y startups serán iguales, pero en su caso, el tope máximo lo marcará la cifra de menor tamaño al comparar el importe fijo y el porcentaje del volumen de negocios.

5. Servicios de ciberseguridad para proteger una tecnología puntera

El reglamento europeo de Inteligencia Artificial impone una serie de requisitos de ciberseguridad para los sistemas de IA de alto riesgo específicos. Dichos requisitos se suman a las obligaciones en materia de seguridad y resiliencia incluidas en otras normas clave de la UE como la directiva NIS2 o el reglamento DORA.

De esta manera, la Unión Europea pone el foco en lo importante que resulta garantizar que los sistemas de IA de alto riesgo presenten niveles de precisión y solidez solventes, a la vez que se garantiza su resistencia frente a los ciberataques.

Por ello, todas las compañías que desarrollan sistemas de IA deben disponer de servicios de ciberseguridad avanzados y adaptados a las características de esta tecnología que les ayuden a:

• Evaluar que los sistemas son conformes al reglamento europeo en materia de ciberseguridad.
• Detectar vulnerabilidades y remediarlas desde la fase de diseño y a lo largo de todo su ciclo de vida.
• Mejorar las capacidades de detección y respuesta ante ciberataques.
• Salvaguardar los modelos y los datos que emplean.
• Garantizar el correcto funcionamiento de los sistemas de IA de alto riesgo.
• Elaborar instrucciones de uso para las compañías que empleen los sistemas de IA en las que se tenga en cuenta la seguridad para evitar que se usen de manera insegura.
• Securizar la cadena de suministro de la IA.
• Evitar multas millonarias y daños reputacionales incuantificables.