¿Qué es la gestión de riesgos con IA?

La gestión de riesgos por IA es la disciplina estructurada que las organizaciones emplean para identificar y contener los riesgos que conlleva la construcción y el uso de sistemas de IA. Abarca todo el ciclo de vida de la IA y va más allá de la seguridad, abarcando la privacidad, el funcionamiento del juego, el derecho legal, el ético y el riesgo reputacional.

La premisa detrás de la gestión de riesgos de la IA es establecer una visibilidad clara y un plan de acción en torno a las preocupaciones relacionadas con la IA, incluyendo la posible exposición de datos y fallos de modelos. La carrera por desplegar la IA está plagada de desventajas, y la explicabilidad y las barreras de seguridad a menudo se sacrifican por la rapidez y el tiempo de salida al mercado.

Un reporte reciente y convincente encontró que el 88% de las organizaciones ya experimentaron un incidente de seguridad de agentes de IA confirmados o sospechosos en el último año. Las organizaciones necesitan una estructura unificada y una debida diligencia ante las amenazas de IA antes de que causen daños sustanciales. Una gestión eficaz del riesgo en IA proporciona a los equipos de seguridad la base para aplicar principios de Zero Trust, como la verificación explícita a los sistemas de IA.

¿Por qué es importante la gestión de riesgos en IA?

Las consecuencias de una seguridad inadecuada en IA rara vez se aíslan a un solo vector de riesgo. Cuando las cosas se torcen, un solo sistema puede introducir una gran cantidad de problemas a la vez, incluyendo, pero no limitar a, exposición a la privacidad, fallos operativos, responsabilidad legal, puntos ciegos éticos y daños reputacionales. La degradación de la calidad de los datos y la deriva de modelos son causas habituales, lo que hace que los sistemas de IA se comporten de forma impredecible y produzcan resultados que perjudican a tu negocio o a tus clientes antes de que nadie se dé cuenta.

Y no es algo raro. IBM descubrió que el 97% de las organizaciones que sufrieron una brecha relacionada con IA carecían de controles adecuados de seguridad de IA. La adopción generalizada de la IA agente eleva aún más las apuestas. Estos sistemas actúan de forma autónoma, extrayendo de vastas fuentes de datos y conectar a herramientas externas sin esperar la aprobación humana. La Cloud Security Alliance descubrió que el 65% de las organizaciones experimentaron al menos un incidente de ciberseguridad causado por agentes de IA que operaban en su red en el último año.

Una estrategia eficaz de gestión de riesgos aborda este problema cerciorando la adopción segura de la IA y preparando a tu organización para el cumplimiento normativo, al tiempo que protege la continuidad de su negocio.  También preserva la confianza que los interesados depositan en la organización.

¿Cuáles son los principales tipos de riesgo de la IA?

El riesgo de la IA generalmente se divide en cinco categorías, cada una con sus propias señales de advertencia y consecuencias si se ignora. Entender dónde surgen estos riesgos es el primer paso para anticiparlos y contenerlos antes de que se descontrolen.

Riesgos de seguridad

La IA abre nuevas vías para atacantes que antes no existían. Las soluciones de seguridad tradicionales no contemplaban tipos de ataques relacionados con IA como la inyección inmediata, el envenenamiento de datos y los ataques adversariales. Estos ciberataques manipulan el comportamiento y la salida de un modelo, mientras que el robo de modelos, la API insegura y los riesgos de infraestructura dan acceso a los atacantes al modelo y al entorno que lo rodea. Los ataques a la cadena de suministro por software agregan otra capa de exposición: una vulnerabilidad en una biblioteca compartida puede alcanzar todos los modelos construidos sobre ella.

Riesgos de datos y privacidad

La IA funciona con datos, así que los problemas de datos se convierten en problemas de IA. Si los datos sensibles entran en el modelo, este puede filtrarlos. Si los datos de entrenamiento son de baja calidad, las respuestas del modelo serán incorrectas. Si los datos se usaron sin licencia, eso es una violación de cumplimiento independientemente de lo bien que funcione el modelo. La línea de datos débil agrava el problema. Si no puedes rastrear de dónde provienen los datos, no puedes solucionar completamente el problema ni demostrar el cumplimiento. Los problemas de privacidad a menudo solo surgen después de que los datos ya fueron expuestos.

Riesgos de modelo y rendimiento

Un modelo de IA bien diseñado puede seguir mostrando comportamientos que lo hacen poco fiable. Los errores de alucinación y los resultados inexactos erosionan rápidamente la confianza del usuario. La deriva del modelo cambia el rendimiento con el tiempo y, sin explicación de la IA, la causa de esa degradación es difícil de identificar.

Riesgos éticos, legales y de cumplimiento

Las decisiones de la IA pueden tener importantes participaciones legales y éticas. El problema radica en el sesgo algorítmico, que puede producir resultados discriminatorios en áreas de alto riesgo como la contratación. Un estudio de Stanford sobre herramientas de selección de currículums con IA encontró desventajas medibles para solicitantes cuyos nombres están asociados a ciertos grupos raciales. Estas herramientas discriminaron al 26% de los solicitantes negros y al 15% de los solicitantes asiáticos que aplicar puestos afectados. Aunque este es un ejemplo concreto, los riesgos éticos y legales que rodean a la IA se extienden a áreas de responsabilidad intelectual, insuficiente transparencia y violaciones regulatorias. Cada uno de estos riesgos puede tener consecuencias financieras y reputacionales que se extienden mucho más allá del equipo de seguridad.

Riesgos operativos y de terceros

La mayoría de los modelos de IA dependen de proveedores, integraciones y supervisión interna, que son susceptibles a fallar. Protocolos de supervisión débiles y licencias excesivas de agentes son vías para que los problemas menores se escalen. Las interrupciones de servicio y fallos de integración pueden interrumpir directamente las operaciones. La IA de las sombras agrava aún más el problema. Según un reporte de Grip, casi el 91% de las herramientas de IA empleadas en las compañías hoy en día funcionan sin supervisión de seguridad ni de TI. Como resultado, las herramientas no aprobadas y las dependencias de los proveedores pueden introducir riesgos que nadie está monitorizando activamente.

¿Cómo funciona la gestión de riesgos de la IA?

El proceso de gestión de riesgos de la IA se desarrolla a través de cinco etapas, cada una basar en la anterior. Incluyen:

1. Identifica: Haz un inventario exhaustivo de todos tus modelos de IA, aplicaciones, agentes, conjuntos de datos, APIs, proveedores e infraestructuras de apoyo. El primer paso es saber dónde residen tus activos para poder gestionarlos.
2. Evaluar: Evalúa la probabilidad y el impacto potencial de cada riesgo basar en la sensibilidad de los datos, lo autónomo que es el sistema, lo expuesto que está a los usuarios y amenazas, y la importancia que tiene para la compañía.
3. Priorizar: Clasificar los riesgos según su gravedad, el umbral de aceptación del riesgo de la organización y los requisitos regulatorios aplicables. No todos los riesgos son iguales, por lo que los esfuerzos de mitigación no deberían ser los mismos.
4. Mitigar: Implementar medidas adecuadas de gobernanza, seguridad, privacidad, técnicas y supervisión para mitigar los riesgos identificados y priorizados.
5. Monitorizar: Seguir continuamente el comportamiento del sistema, el rendimiento del modelo, los eventos de seguridad y los cambios en el perfil de riesgo. Los sistemas de IA evolucionan rápidamente, y también las amenazas contra ellos.

¿Qué incluye una evaluación de riesgos de IA?

Una evaluación de riesgos por IA convierte los pasos de identificar y evaluar de tu ciclo de gestión de riesgos en un proceso repetible y documentado. Esta práctica crea un registro que identifica claramente dónde existen los riesgos y la gravedad del riesgo que presentan. Aquí tienes un desglose de lo que implican.

• Alcance del sistema: Una visión general del modelo, aplicación o agente de IA que se está revisando; esto incluye propósito, puntos de recogida de datos y grado de autonomía.
• Identificación de riesgos: Una visión del sistema de IA desde múltiples perspectivas — seguridad, privacidad, operaciones, legal, cumplimiento normativo, ética y reputación — en lugar de solo por seguridad.
• Análisis de verosimilitud e impacto: Asignar una valoración de verosimilitud y una de impacto a cada riesgo identificado, mostrando la probabilidad de ocurrencia y la cantidad de daño posible al realizar.
• Evaluación de controles: Evaluación de los controles actuales en el sistema de IA — control de acceso, registro, observación humana — e identificación de lagunas en los controles.
• Responsabilidad documental: Registrar hallazgos, propietarios de la remediación y plazos de finalización.
• Alineación con los frameworks: Mapeando a frameworks conocidos como el AI Risk Management Framework del NIST.

Las evaluaciones de IA siguen en curso, por lo que es fundamental revisarlas a medida que el modelo de IA evoluciona, se disponen de nuevos datos y surgen nuevas amenazas.

Gestión de riesgos por IA vs. Gobernanza de la IA

La gobernanza de la IA es el sistema global de políticas, roles, estándares y supervisión que proporciona la dirección para el uso de la IA por parte de una organización. La gobernanza establece las normas de tráfico. La gestión de riesgos de IA se encuentra dentro de ese marco, centrada en identificar, evaluar y mitigar los riesgos particulares de cada sistema de IA.

La disciplina de gobernanza aborda el "quién" y el "qué". Crea responsabilidad e identifica qué normas se aplican. La disciplina de gestión de riesgos se centra en el "cómo", aplicando esas reglas a riesgos específicos a medida que surgen. Estos dos enfoques comparten una base común de monitorización continua, documentación, controles de seguridad en capas y supervisión humana.

¿Cómo se aplica la gestión de riesgos de la IA a lo largo del ciclo de vida de la IA?

El riesgo es dinámico en el ciclo de vida de un sistema de IA. Se construye y cambia en cada etapa, desde las decisiones iniciales de diseño hasta el día en que es desmantelado. La gestión de riesgos debe avanzar en paralelo con ella, paso a paso.

1. Planeación y diseño: Determinar si el caso de uso potencial tiene un valor empresarial adecuado y si el riesgo es aceptable antes de comenzar el desarrollo.
2. Desarrollo y pruebas: Identificar problemas relacionados con la calidad de los datos empleados por el sistema. También evalúa la seguridad del modelo, el posible sesgo, la robustez, la explicabilidad y las dependencias de otros sistemas que proporcionan servicios de apoyo a medida que el sistema se desarrolla.
3. Despliegue: Revisa todas las opciones de configuración, niveles de acceso de usuario, opciones de integración, limitaciones establecido por los sistemas de seguridad de la IA y aprobaciones necesarias antes de lanzar el servicio.
4. Operaciones: Monitorizar continuamente el comportamiento del modelo, los valores de salida, a qué pueden acceder los usuarios, las cargas de trabajo generadas por el sistema y cualquier cambio en el rendimiento del modelo o amenazas emergentes.
5. Desmantelamiento: Eliminar todo acceso de usuarios, conservar la documentación requerida, destruir correctamente los datos recogidos y cerciorar que el sistema no pueda volver a ser accedido.

Estas fases funcionan en sucesión, así que cada una pasa a la siguiente. Saltar un paso puede conllevar los riesgos de una fase anterior siguiendo silenciosamente el sistema hacia adelante.

¿Qué marcos de gestión de riesgos de IA deberían conocer las organizaciones?

Varios marcos y estándares proporcionan estructura para gestionar los riesgos de IA, y las organizaciones suelen recurrir a más de uno.

• El Marco de Gestión de Riesgos de IA del NIST está construido en torno a cuatro funciones. Estos incluyen gobernar, que crea responsabilidad y una cultura de conciencia sobre el riesgo; MAP, que define el contexto y los riesgos asociados a un sistema de IA dado; measure, que evalúa estos riesgos identificados según criterios definidos de fiabilidad; y management, que determina la prioridad para la respuesta y los planes de tratamiento para cada riesgo definido.
• ISO/IEC 42001 establece directrices para desarrollar, implementar y mejorar continuamente un sistema de gestión de IA. Al igual que la ISO 27001 para la seguridad de la información, es una norma certificable, por lo que las organizaciones pueden ser auditadas de forma independiente según él.
• La Ley de IA de la UE categoriza cuatro niveles de riesgo, cada uno con diferentes requisitos. Los sistemas que se encuentran en la categoría de riesgo inaceptable están prohibidos. Los sistemas de alto riesgo tienen requisitos estrictos de cumplimiento, y los sistemas de riesgo limitado requieren transparencia sobre sus operaciones. Los sistemas de riesgo mínimo tienen poca o ninguna obligación regulatoria.
• El Proyecto de Seguridad OWASP GenAI ofrece una lista de las principales amenazas de seguridad para la IA generativa y las aplicaciones de grandes modelos de lenguaje, como la inyección de prompt y la fuga de datos.
• MITRE ATLAS es una base de conocimiento sobre tácticas y técnicas adversariales específicas de sistemas de IA. Esto puede emplear para crear escenarios de red teaming o para realizar modelado de amenazas, por ejemplo.

Los marcos y regulaciones en el área de gestión de riesgos en IA avanzan rápidamente. Cerciorar de comprobar las actualizaciones antes de la publicación sobre cualquier normativa actualmente requerida, plazos de implementación y fechas de aplicación, ya que pueden estar sujetas a cambios.

¿Cómo se emplea la IA en la gestión de riesgos?

Aplicar la IA para ayudar en la gestión de riesgos suele implicar aprovechar los sistemas de IA para identificar, analizar, predecir o responder a riesgos en toda la organización. Este tipo de soporte amplía lo que los equipos de riesgo pueden ver y la rapidez con la que pueden actuar, mucho más allá de lo que permite una revisión manual por sí sola.

Los casos de uso en los que la IA prospera en este ámbito son escanear enormes conjuntos de datos en busca de anomalías, patrones, señales de fraude y amenazas emergentes que de otro modo llevarían mucho más tiempo a un equipo humano detectar.  Kris Nagel, CEO del proveedor de prevención de fraude Sift, declaró a Forbes que las herramientas integrales de aprendizaje automático pueden mejorar la precisión de detección de fraudes en un 40%.

Sin embargo, la velocidad y la escala conllevan algunos inconvenientes. La IA también puede introducir sesgos, falsos positivos, decisiones opacas y un nuevo riesgo de automatización propio. Las decisiones de riesgo consecuente, aquellas que tienen reales intereses financieros, legales o de seguridad, siguen exigiendo validación humana antes de que se tome medida.

¿Cómo apoya Zero Trust la gestión de riesgos de la IA?

La confianza cero aplica un único principio: nada debe recibir confianza implícita, sin importar cuánto tiempo lleve un sistema funcionando o lo bien que se conozca. Los usuarios, cargas de trabajo, servicios, modelos de IA, agentes y conexiones se autentican continuamente en lugar de una sola vez en el punto de entrada, que es lo más importante cuando los sistemas de IA actúan por sí mismos entre puntos de control.

El acceso con privilegio mínimo pone ese principio en práctica a diario. Modelos, conjuntos de datos, herramientas, APIs, etc., solo tienen el acceso necesario para completar un trabajo concreto. Además, medidas como la segmentación continúan el proceso separando las cargas de trabajo de IA de datos sensibles, aplicaciones de producción y otros sistemas críticos. Así que si un segmento se ve comprometido, un atacante tiene muchas menos vías hacia el resto de tu entorno.

La segmentación es fácil de subestimar. De hecho, la investigación de Illumio encontró que casi el 90% de las compañías tuvieron al menos un incidente relacionado con movimiento lateral dentro de sus redes en el último año. Además, se tardó una media de más de siete horas en contener un incidente así tras el descubrimiento.

Un enfoque de seguridad Zero Trust limita el movimiento lateral al comprobar continuamente las comunicaciones en busca de comportamientos inesperados y accesos no autorizados, manteniendo un compromiso contenido en la carga de trabajo donde empezó. El daño causado por un incidente está muy limitado por la capacidad de restringir hacia dónde puede mover la carga de trabajo comprometida de la IA.

Cómo Illumio apoya la gestión de riesgos de IA

Illumio fortalece el lado de ciberseguridad y resiliencia operativa de la gestión de riesgos de IA. Al mapear cargas de trabajo, dependencias y comunicación de IA entre entornos híbridos y multi-nube, se da a los equipos una visibilidad que las herramientas tradicionales pierden una vez que la IA entra en escena.

A partir de ahí, las soluciones de segmentación de Illumio imponen el acceso con el menor privilegio entre sistemas de IA, datos sensibles y aplicaciones críticas, por lo que ninguna carga de trabajo de IA puede alcanzar libremente más de lo que debería. Sus soluciones Zero Trust monitorizan continuamente esa comunicación, señalando comportamientos sospechosos y posibles movimientos laterales a medida que ocurren en lugar de después.

Cuando algo sale mal, Illumio funciona como una plataforma de contención de brechas que aísla eficazmente las cargas de trabajo comprometidas antes de que el incidente se extienda. El resultado es un radio de explosión menor y un incidente más contenido que gestionar.

Preguntas Frecuentes

¿Qué es la gestión de riesgos de IA en términos sencillos?

La gestión de riesgos en IA es el proceso continuo de detectar y controlar los problemas que los sistemas de IA pueden generar, desde lagunas de seguridad hasta resultados sesgados. Existe para que puedas usar la IA con confianza en lugar de con conjeturas.

¿Cuáles son los principales riesgos de la inteligencia artificial?

La IA introduce riesgos de seguridad, privacidad, operativos, legales, éticos y reputacionales, a menudo derivados de la calidad de los datos, el comportamiento del modelo o una supervisión débil. La IA generativa y agente eleva aún más la apuesta mediante un acceso amplio a los datos, integraciones externas y acciones autónomas.

¿Qué es el Marco de Gestión de Riesgos de IA del NIST?

El NIST AI RMF es un marco voluntario construido en torno a cuatro funciones — gobernar, mapear, medir y gestionar — que ayudan a las organizaciones a gestionar el riesgo de IA a lo largo del ciclo de vida de un sistema. Es uno de los marcos de riesgo de IA más referenciados disponibles hoy en día.

¿Cómo gestionáis los riesgos de la IA?

Gestionar el riesgo de la IA significa seguir un ciclo continuo: identificar dónde la IA introduce la exposición, evaluar y priorizar lo que más importa, aplicar los controles adecuados y monitorizar el rendimiento a medida que evolucionan los sistemas. Frameworks como el RMF de IA del NIST y controles como la segmentación Zero Trust dan estructura real a ese ciclo.

¿Puede la IA sustituir a los humanos en la gestión de riesgos?

No. La IA puede procesar datos y señalar riesgos más rápido que cualquier equipo por sí solo, pero las decisiones consecuentes, como si actuar sobre un riesgo señalado, siguen requiriendo juicio y supervisión humana.