¿Cuáles son los riesgos de seguridad de la IA?

La Inteligencia Artificial está llamada a revolucionar nuestra economía y nuestro modo de vida, pero ¿cuáles son los riesgos de seguridad de la IA?

Lo que la literatura o el cine plantearon como una posibilidad durante décadas, se ha transformado, hoy en día, en una realidad tangible. La Inteligencia Artificial ya forma parte de nuestras vidas y se ha convertido en una de las grandes cuestiones de esta era, al calor del Machine Learning o la IA generativa. Tal es así que la Inteligencia Artificial está llamada a cambiar nuestro tejido productivo y la forma en la que vivimos. Pero, ¿solo tiene ventajas? ¿Cuáles son los riesgos de seguridad de la IA?

En los últimos años y, en especial, en 2023, diversas organizaciones han incrementado su producción de metodologías y guías para poner el foco sobre los riesgos de seguridad de la IA y ayudar a las compañías a prevenirlos con éxito.

Así, la European Union Agency for Cybersecurity (ENISA) ha publicado diversos frameworks, metodologías e informes que abordan los riesgos de seguridad de la IA y los desafíos a los que deben hacer frente las empresas.

El estadounidense National Institute of Standards and Technology (NIST) ha creado un marco para gestionar los riesgos de seguridad de la IA. Y la fundación OWASP, referente metodológico a nivel global, ha puesto en marcha un proyecto para abordar los riesgos de seguridad de la IA.

Ya en el plano regulatorio, la Unión Europea está dando los últimos pasos en la tramitación y aprobación de la Artificial Intelligence Act. El borrador del reglamento, que ahora deben negociar el Parlamento Europeo y el Consejo, hace especial hincapié en la relación entre ciberseguridad e IA.

A continuación, vamos a desgranar los principales riesgos de seguridad de la IA que las compañías que desarrollan Inteligencia Artificial y las empresas que emplean esta tecnología disruptiva deben tener en cuenta para detectar amenazas, prevenir incidentes de seguridad y cumplir con un marco normativo que cada vez será más exigente.

1. La IA es una de las grandes aliadas de la ciberseguridad

ChatGPT, Midjourney, DALL-E, Copy AI… 2023 quedará marcado en nuestro recuerdo como el año en que las IA generativas, es decir, capaces de crear contenido y atender a las peticiones de las personas, han acaparado la atención de la opinión pública mundial.

Sin embargo, la historia de la Inteligencia Artificial se puede rastrear desde Alan Turing y ya tiene a sus espaldas lustros de investigación y desarrollo de herramientas de Machine Learning, redes neuronales, Deep Learning o procesamiento de lenguaje natural.

De hecho, la Inteligencia Artificial ya está presente en múltiples dispositivos y tecnologías que usan las empresas y los ciudadanos en su día a día para automatizar tareas u optimizar la toma de decisiones.

En este sentido, la Inteligencia Artificial se ha convertido en una gran aliada de los profesionales de ciberseguridad y las compañías a la hora de fortalecer sus capacidades defensivas y mejorar su resiliencia frente a los ciberataques.

Sin ir más lejos, gracias a las herramientas de Machine Learning ha sido posible automatizar la detección de amenazas o la puesta en marcha de mecanismos de respuesta ante los ataques. Así como optimizar las evaluaciones de seguridad y la priorización de las vulnerabilidades, predecir patrones de ataque de los actores hostiles, extraer información de gran valor añadido de los datos para identificar vulnerabilidades antes que los delincuentes o mejorar los análisis forenses para subsanar los problemas detectados.

1.1. Y la ciberseguridad de la IA

Ante la creciente relevancia de los sistemas de IA y sus potencialidades para las empresas y los ciudadanos, los riesgos de seguridad de la IA se han convertido en una cuestión capital en lo relativo a la ciberseguridad.

Así como la Inteligencia Artificial es clave para diseñar y ejecutar los servicios de ciberseguridad, estos son cruciales a la hora de acometer la protección de los sistemas y aplicaciones de IA, en un momento en el que:

• Los ciberdelincuentes comienzan a situar a la IA en sus dianas.
• Los riesgos vinculados a la cadena de suministro son cada vez más elevados.

2. Datos, modelos, ciberataques… Los riesgos de seguridad de la IA

Si hay un elemento fundamental en lo que respecta a las IA, sobre todo a los sistemas de Machine Learning y Deep Learning son los datos. Puesto que estos sistemas funcionan gracias a modelos que deben entrenarse con datos. Si los datos son numerosos, variados, no presentan sesgos y no han sido manipulados, el modelo podrá funcionar de forma óptima y presentar un alto rendimiento. Por el contrario, si los datos empleados para entrenar a los modelos han sido corrompidos, este presentará un comportamiento manipulado que puede tener consecuencias graves para las compañías y los usuarios.

Partiendo de esta base, debemos señalar que, a la hora de abordar los riesgos de seguridad de la IA, hay que diferenciar entre:

• Las amenazas dirigidas a los sistemas de IA. Es decir, los ataques en los que los propios sistemas de IA son el target: los modelos, los datos…
• El uso malicioso de herramientas de IA para poner en marcha ciberataques contra software y sistemas empresariales o contra particulares.

2.1. Riesgos que se ciernen sobre los sistemas de IA

El proyecto puesto en marcha por OWASP para evaluar los principales riesgos de seguridad y privacidad a los que se enfrenta la Inteligencia Artificial señala diversos peligros y presta especial atención a los posibles ataques contra los modelos de IA.

2.1.1. Riesgos de seguridad de datos

El pipeline de la Inteligencia Artificial debe ser considerado como una nueva superficie de ataque, puesto que se encuentra más allá del ámbito tradicional del desarrollo de software. ¿Por qué? Incorpora la ciencia de datos.

Tanto la ingeniería de datos como la ingeniería de modelos son absolutamente esenciales para el desarrollo de sistemas de IA. Y ambas disciplinas requieren de controles de seguridad lo suficientemente robustos como para evitar fugas o envenenamiento de datos, robo de propiedad intelectual o ataques de cadena de suministro.

Por otro lado, hay que tener en cuenta el riesgo vinculado al uso de datos durante el desarrollo de una IA. Para entrenar y testear un modelo, los científicos de datos necesitan trabajar con datos reales, que podrían llegar a ser sensibles. De ahí que se deba establecer un mecanismo de control de acceso riguroso, en el que los científicos solo puedan acceder a la información que necesitan para realizar su trabajo.

2.1.2. Ataques contra modelos de IA

Como señalamos antes, los ataques contra el modelo de una IA son uno de los elementos clave a la hora de abordar la ciberseguridad de la Inteligencia Artificial. Estos ataques de alto riesgo se pueden prevenir:

• Protegiendo el proceso de desarrollo de la IA.
• Ocultando los parámetros del modelo.
• Limitando el acceso a este.
• Implementando un sistema de monitorización para detectar inputs maliciosos.
• Teniendo en cuenta esta clase de ataques durante la fase de entrenamiento del modelo.

De tal forma que es necesario conjugar conocimientos en ciberseguridad con formación en Machine Learning. Asimismo, también se pueden poner en marcha medidas clásicas de la ciberseguridad, como aplicar el principio de mínimo privilegio.

2.1.2.1. Tipologías de ataque

OWASP recopila los siguientes tipos de ataque contra modelos de IA:

• Envenenamiento de los datos. Si se cambian los datos de entrenamiento, el comportamiento del modelo puede ser manipulado. Lo que permite sabotear el sistema de IA o conseguir que tome las decisiones que el atacante desea.
• Manipulación de los inputs. Este ataque busca manipular a los modelos con datos de entrada engañosos. La inyección de prompts es el ejemplo paradigmático de este tipo de ataque.
• Inferencia de pertenencia. A través de un registro de datos y un acceso de caja negra al modelo se puede determinar si un registro estaba en el grupo de datos de entrenamiento. Esto implica que los actores hostiles puedan saber si una persona padece una determinada enfermedad, forma parte de un partido político o está inscrita en una organización concreta.
• Inversión del modelo o reconstrucción de los datos. Mediante la interacción con un modelo se estiman sus datos de entrenamiento. Si dichos datos son sensibles, se puede ver menoscabada la privacidad.
• Robo de modelos. Al interactuar con un modelo se puede llegar a determinar su comportamiento y copiarlo para entrenar a otro modelo, lo que supone un robo de propiedad intelectual.
• Ataque de cadena de suministro del modelo. Mediante estos ataques se puede manipular el ciclo de vida de un modelo, por ejemplo, contaminando un modelo base que se ha hecho público y logrando corromper a los modelos de Deep Learning que utilicen el aprendizaje por transferencia para afinar ese modelo.

2.1.3. Mantenibilidad del código de IA

Los científicos de datos están centrados en producir modelos de trabajo y no tanto en crear código que sea fácil de leer por otros profesionales. Todo ello dificulta los análisis de código de IA y la detección de fallos o la gestión de vulnerabilidades. De ahí que sea fundamental combinar los conocimientos de los científicos de datos con la formación y experiencia de los ingenieros de software y los expertos en ciberseguridad.

2.1.4. Complejidad de la cadena de suministro de la IA

La Inteligencia Artificial hace más compleja la cadena de suministro de software. En primer lugar, porque los sistemas de IA suelen tener varias cadenas de suministro (de datos, de modelos…) y las fuentes de procedencia pueden ser paralelas o secuenciales. Si a esto le unimos la relevancia de los ataques contra los modelos y el hecho de que el comportamiento de estos no se puede evaluar mediante análisis estáticos, nos encontramos ante un riesgo de gran relevancia.

Por ello, la tradicional lista de materiales de software (SBOM), debe complementarse con la lista de materiales de IA (AIBOM), a la vez que se toman las medidas necesarias para auditar la seguridad de los proveedores. La gestión de la cadena de suministro de IA se convierte así en un aspecto esencial para su seguridad.

2.1.5. Reutilización de código externo de Inteligencia Artificial

Al igual que sucede en el desarrollo de software tradicional, los científicos de datos pueden beneficiarse de código abierto, si bien este puede contener debilidades y vulnerabilidades que afecten a la seguridad y la privacidad. Por ello, es fundamental que se lleve a cabo un control exhaustivo del código reutilizado.

2.2. Ciberataques con IA y optimización de las capacidades de los delincuentes

Además de todos los ataques dirigidos contra los sistemas de IA, esta tecnología disruptiva puede ser empleada por los delincuentes para optimizar sus capacidades de ataque. Es decir, los riesgos de seguridad de la IA no solo incluyen las amenazas contra los sistemas. También incorporan la utilización de las Inteligencias Artificiales como herramientas al servicio de los ciberdelincuentes.

En su informe sobre Inteligencia Artificial y ciberseguridad, ENISA pone como ejemplo de ciberataques sofisticados el uso de IA generativa maliciosa para generar deep fakes, manipulando información, voces, imágenes, videos e, incluso, caras.

Pero también tenemos que tener en cuenta ataques que requieren menos recursos y conocimientos. Por ejemplo, usar las IA generativas para crear textos persuasivos con los que atacar a personas, empresas e instituciones a través de técnicas de Ingeniería Social: phishing, smishing, spear-phishing… O recurrir a las IA para decidir qué vulnerabilidades son más fácilmente explotables para atacar a los sistemas corporativos de una organización.

Asimismo, los sistemas de IA pueden ser empleados para optimizar la eficiencia y eficacia del malware empleado por grupos de ciberdelincuentes en diversos aspectos clave: evasión de los mecanismos de detección, adaptación a entornos cambiantes, propagación, persistencia en los sistemas atacados…

Es más, el malware basado en IA puede emplear técnicas de aprendizaje y mejorar su eficacia por sí mismos, ejecutando ataques más exitosos.

Así como los sistemas de IA están en plena expansión, los ciberataques desarrollados a partir de las potencialidades de esta tecnología también están evolucionando a marchas forzadas. De tal forma que, en los próximos años, se volverán más sofisticados y su potencial impacto en las empresas y los ciudadanos será mayor. Por ello, deben reforzarse las estrategias de ciberseguridad, teniendo en cuenta este nuevo abanico de ataques.

3. Tipos de actores que buscan explotar los riesgos de seguridad de la IA

¿Cuáles son los actores que pueden intentar explotar vulnerabilidades de las IA para cumplir sus objetivos delictivos? ENISA ha categorizado a los actores maliciosos en siete tipologías con características y objetivos diversos:

3.1. Ciberdelincuentes

• Cibercriminales. Los grupos de ciberdelincuentes tienen un objetivo claro: lucrarse. Para conseguir beneficios económicos de su actividad delictiva, pueden, o bien servirse de los sistemas de IA como herramientas para realizar ataques, o bien atacar directamente a estos sistemas. Por ejemplo, pirateando chatbots con IA para acceder a información sensible como los datos bancarios de los clientes de una compañía.
• Script kiddies. Esta clase de ciberdelincuentes carece de los conocimientos necesarios para poner en marcha ataques concierto nivel de complejidad y diseñar sus propios software maliciosos, así que se sirven de herramientas de ataque paquetizadas y scripts pre-escritos para poder atacar a sistemas corporativos.

3.2. Actores que amenazan el sistema social y económico

• Actores gubernamentales y grupos esponsorizados por los estados. Pensemos, por ejemplo, en grupos APT esponsorizados por países. Estos grupos disponen de una gran cantidad de recursos y una amplia experiencia, lo que les permite desarrollar ataques más sofisticados y complejos. Sus objetivos pueden ir desde atacar sectores e infraestructuras críticas de un país, hasta desestabilizar su sistema democrático alterando elecciones y sembrando desinformación, pasando por el robo de información confidencial de compañías y administraciones públicas.
• Terroristas. Los ciberterroristas buscan causar un daño directo en la vida de las personas, llegando a provocar muertes, por ejemplo, a través de sabotajes a infraestructuras cruciales o sectores tan sensibles como el de la salud. El terrorismo ha sido una lacra constante en lo que va de S. XXI y, ahora, ya no solo es un problema de seguridad, sino también de ciberseguridad.

3.3. El fuego amigo y la competencia

• Trabajadores y proveedores de las compañías. Las personas con acceso a elementos críticos de las IA como los modelos o los conjuntos de datos pueden sabotear los sistemas de forma intencionada, por ejemplo, envenenando los datos de entrenamiento. Pero, además, también pueden provocar incidentes de seguridad de forma involuntaria, corrompiendo los datos accidentalmente.
• Empresas rivales. La competencia es cada vez mayor en el sector de la tecnología en general y en lo que respecta a la Inteligencia Artificial en particular, por ello, es posible que se produzcan ataques provenientes de empresas rivales que buscan robar propiedad intelectual o menoscabar la reputación de las compañías que desarrollan o emplean sistemas de IA.

3.4. Hacktivistas

Este concepto mezcla el hackeo con el activismo para referirse a los actores hostiles cuya motivación es, esencialmente, ideológica y que buscan hackear los sistemas de IA para evidenciar sus vulnerabilidades y riesgos.

El auge de la Inteligencia Artificial y el protagonismo acaparado por la IA generativa en los últimos tiempos ha acentuado la aparición de voces que alertan sobre los peligros de la IA, no solo a nivel de ciberseguridad.

4. ¿En qué se diferencian los riesgos de la IA de los riesgos tradicionales del software?

Los sistemas de Inteligencia Artificial son software, pero con ciertas particularidades que lo vuelven más complejo y amplían la superficie de ataque del software tradicional.

Por eso, el framework para gestionar los riesgos de la Inteligencia Artificial desarrollado por NIST recopila algunos de los riesgos nuevos asociados al auge de la IA. El NIST también detalla otras amenazas que ya existían en lo relativo al software que empleamos diariamente, pero que se han visto agravadas.

Algunos de estos riesgos no están relacionados directamente con la ciberseguridad. Por ejemplo, los costes computacionales del desarrollo de IA, la complejidad de las tareas de mantenimiento, o el impacto de estas tecnologías en el medio ambiente.

Sin embargo, el framework sí recoge riesgos relacionadas con la seguridad de los sistemas, las organizaciones y los usuarios.

4.1. Nuevos y más complejos desafíos en materia de ciberseguridad

1. Los datos empleados en la construcción del sistema de Inteligencia Artificial pueden no representar de forma fidedigna el contexto o el uso previsto del sistema y la calidad de los datos puede repercutir en la fiabilidad de la IA, con las consecuencias negativas que ello conllevaría.
2. La dependencia de los sistemas de IA de los datos que se usan para su entrenamiento.
3. Las modificaciones producidas durante la fase de entrenamiento, sean o no intencionadas, pueden alterar el rendimiento del sistema de IA.
4. Los conjuntos de datos que se usan durante el entrenamiento de una IA pueden quedar obsoletos en el momento de despliegue del sistema, lo que afectaría a los resultados de la IA.
5. La descompensación existente entre la escala y la complejidad de los sistemas de IA y las aplicaciones de software convencionales que los alojan.
6. Los modelos pre-entrenados son claves para facilitar la investigación en IA y desarrollar sistemas con alto rendimiento en menos tiempo y con menos costes. Sin embargo, también pueden incrementar los niveles de incertidumbre estadística y causar problemas de sesgos y reproductibilidad.
7. Múltiples riesgos de privacidad, como consecuencia de la enorme capacidad de agregación de datos de los sistemas de IA.
8. Resulta más difícil realizar pruebas de seguridad de software basadas en IA, puesto que el desarrollo de código de las IA no es igual que el desarrollo de código tradicional y pueden surgir dudas sobre qué y como se debe testear.

4.2. Poner en marcha una estrategia de seguridad para los sistemas de IA

Los riesgos de seguridad específicos de los sistemas de IA hacen necesario que las organizaciones pongan en marcha estrategias para gestionar los riesgos de ciberseguridad y privacidad en todas las fases del ciclo de vida de la IA: diseño, desarrollo, despliegue, evaluación y uso.

En este sentido, los servicios de ciberseguridad deben incorporarse al programa de seguridad de las compañías. Modelado de amenazas, análisis de riesgo, capacitación de los profesionales, análisis estáticos y dinámicos, análisis del código, pentesting, ejercicios de Red Team…

De esta forma se podrá fortalecer la seguridad, la resiliencia y la privacidad de los sistemas de IA para lograr:

• Securizar las aplicaciones y la infraestructura IT, escondiendo los parámetros del modelo, para protegerlo frente a los ataques.
• Fortalecer la protección de los nuevos pipelines de desarrollo ligados a la IA.
• Gestionar de forma adecuada los problemas de sesgos en los sistemas de IA.
• Afrontar los riesgos asociados a la IA generativa.
• Hacer frente a los problemas de seguridad vinculados a la evasión, extracción de modelos, disponibilidad de los sistemas y la puesta en marcha de ataques de Machine Learning.
• Analizar y monitorear monitorizar la compleja superficie de ataque de los sistemas de IA para detectar ataques en fases tempranas de la Cyber Kill Chain y comportamientos anómalos.
• Tener en consideración los riesgos vinculados a las tecnologías de IA desarrolladas por terceros.

La investigación en Inteligencia Artificial está en pleno apogeo. Las innovaciones tecnológicas que se producen en este ámbito, pero también en el desarrollo software, deben servir para fortalecer la fiabilidad y rendimiento de los sistemas. También, su seguridad y resiliencia frente a las acciones de los actores hostiles.

5. La seguridad de la IA, una cuestión capital en esta era

La incorporación de la Inteligencia Artificial a los diversos sectores productivos y la democratización del acceso a la IA, con herramientas al alcance de las pymes y no solo de las grandes compañías, supone un nuevo hito en la revolución tecnológica que hemos experimentado en las últimas décadas.

Por eso mismo, los riesgos de seguridad de la IA deben situarse en el centro del debate público y en el corazón de las estrategias empresariales.

Los ataques exitosos contra sistemas de IA pueden generar repercusiones catastróficas para las compañías que los desarrollan, pero también para las empresas que los usan y el conjunto de la ciudadanía: exfiltración de datos privados, desinformación, pérdida reputacional, consecuencias legales…

De ahí que sea fundamental abordar la seguridad de la IA a lo largo de todo su ciclo de vida, implementando controles de seguridad eficaces y realizando evaluaciones de seguridad continuas.

5.1. Security-by-design y a lo largo de todo el ciclo de vida

Como señala la guía de ENISA sobre IA y ciberseguridad, el concepto security-by-design, ampliamente extendido en el ámbito del desarrollo de software, debe trasladarse al terreno de la IA.

¿Cómo? Integrando controles, mecanismos y buenas prácticas de ciberseguridad en las primeras fases del diseño y desarrollo de los sistemas de IA y de las aplicaciones e infraestructuras IT que los soportan. Así, la agencia de la UE recomienda:

1. Llevar a cabo de forma continua pruebas de seguridad y realizar modelados de amenazas para identificar vulnerabilidades, fallos y vectores de ataque.
2. Apostar por prácticas de codificación segura y realizar auditorías de código fuente para detectar errores y vulnerabilidades.
3. Implementar prácticas seguras en lo que respecta al tratamiento de datos, para garantizar la confidencialidad y evitar la corrupción o extracción de los datos.
4. Ejecutar pruebas de seguridad en el proceso de desarrollo que sirvan para identificar problemas de seguridad en fases tempranas. Test como DAST son esenciales para gestionar el riesgo dinámico de ciberseguridad y poder priorizar las amenazas.
5. Asegurarse de que los sistemas de IA son diseñados de forma transparente y su comportamiento puede ser auditado de forma continua para detectar comportamientos anómalos y corregirlos antes de que provoquen incidentes de seguridad.

En definitiva, los riesgos de seguridad de la IA deben acometerse con la máxima eficiencia y rigurosidad. Aplicando con criterio todo el caudal de conocimientos, buenas prácticas, pruebas y metodologías diseñados por los profesionales de la ciberseguridad en las últimas décadas.

Para ello, es fundamental introducir controles de seguridad desde la primera fase del ciclo de vida de un sistema de IA, disponer de equipos multidisciplinares y llevar a cabo un monitoreo exhaustivo de la cadena de suministro de IA.

La IA es esencial para optimizar los servicios de ciberseguridad. Y la ciberseguridad es el mejor escudo del que disponemos para proteger a esta tecnología frente a los actores hostiles.