O que é Gestão de Riscos em IA?

A gestão de riscos em IA é a disciplina estruturada que as organizações utilizam para identificar e conter os riscos inerentes à criação e utilização de sistemas de IA. Abrange todo o ciclo de vida da IA e vai além da segurança, estendendo-se à privacidade, aos riscos operacionais, legais, éticos e de reputação.

A premissa por trás da gestão de riscos de IA é estabelecer uma visibilidade clara e um plano de ação em relação às preocupações relacionadas à IA, incluindo a potencial exposição de dados e falhas de modelos. A corrida para implementar IA está repleta de riscos, e a explicabilidade e as salvaguardas são frequentemente sacrificadas em prol da velocidade e do tempo de lançamento no mercado.

Um relatório recente e convincente constatou que 88% das organizações já sofreram um incidente de segurança confirmado ou suspeito envolvendo agentes de IA no último ano. As organizações precisam de uma estrutura unificada e de diligência prévia em relação às ameaças da IA antes que elas causem danos substanciais. Uma gestão eficaz dos riscos de IA fornece às equipes de segurança a base para aplicar os princípios de Confiança Zero, como a verificação explícita, aos sistemas de IA.

Por que a gestão de riscos em IA é importante?

As consequências da segurança inadequada da IA raramente se restringem a um único vetor de risco. Quando as coisas dão errado, um único sistema pode gerar uma série de problemas simultâneos, incluindo, entre outros, exposição da privacidade, falhas operacionais, responsabilidade legal, pontos cegos éticos e danos à reputação. A degradação da qualidade dos dados e a deriva do modelo são causas comuns, fazendo com que os sistemas de IA se comportem de maneira imprevisível e produzam resultados que prejudicam sua empresa ou seus clientes antes que alguém perceba.

Não se trata apenas de uma ocorrência rara. A IBM descobriu que 97% das organizações que sofreram uma violação de segurança relacionada à IA não possuíam controles de segurança de IA adequados. A adoção generalizada da IA com agentes aumenta ainda mais a importância do assunto. Esses sistemas atuam de forma autônoma, consultando vastas fontes de dados e conectando-se a ferramentas externas sem esperar pela aprovação humana. A Cloud Security Alliance constatou que 65% das organizações sofreram pelo menos um incidente de segurança cibernética causado por agentes de IA operando em suas redes no último ano.

Uma estratégia eficaz de gestão de riscos aborda esse problema, garantindo a adoção segura da IA e preparando sua organização para a conformidade regulatória, ao mesmo tempo que protege a continuidade dos negócios.  Isso também preserva a confiança que as partes interessadas depositam na organização.

Quais são os principais tipos de risco da IA?

Os riscos da IA geralmente se enquadram em cinco categorias, cada uma com seus próprios sinais de alerta e consequências caso sejam ignorados. Compreender onde esses riscos surgem é o primeiro passo para antecipá-los e contê-los antes que se alastrem.

Riscos de segurança

A inteligência artificial abre novas possibilidades para os atacantes que não existiam antes. As soluções de segurança tradicionais não levavam em conta tipos de ataques relacionados à IA, como injeção de código, envenenamento de dados e ataques adversários. Esses ataques cibernéticos manipulam o comportamento e a saída de um modelo, enquanto o roubo de modelos, APIs inseguras e riscos de infraestrutura dão aos invasores acesso ao modelo e ao ambiente ao seu redor. Os ataques à cadeia de suprimentos de software adicionam mais uma camada de exposição: uma vulnerabilidade em uma biblioteca compartilhada pode afetar todos os modelos construídos com base nela.

Riscos de dados e privacidade

A IA funciona com base em dados, portanto, problemas de dados se tornam problemas de IA. Se dados sensíveis forem inseridos no modelo, este poderá vazá-los. Se os dados de treinamento forem de baixa qualidade, as respostas do modelo estarão erradas. Se os dados foram usados sem permissão, isso constitui uma violação de conformidade, independentemente do desempenho do modelo. A falta de rastreabilidade dos dados agrava o problema. Se você não consegue rastrear a origem dos dados, não consegue solucionar o problema completamente nem comprovar a conformidade. Os problemas de privacidade geralmente só vêm à tona depois que os dados já foram expostos.

Riscos de modelo e desempenho

Um modelo de IA bem projetado ainda pode apresentar comportamentos que o tornam não confiável. Erros de alucinação e resultados imprecisos corroem rapidamente a confiança do usuário. A deriva do modelo altera o desempenho ao longo do tempo e, sem a explicabilidade da IA, a causa dessa degradação é difícil de identificar.

Riscos éticos, legais e de conformidade

As decisões tomadas por IA podem ter implicações legais e éticas importantes. O problema reside no viés algorítmico, que pode produzir resultados discriminatórios em áreas de grande importância, como a contratação. Um estudo da Universidade Stanford sobre ferramentas de triagem de currículos por IA constatou desvantagens mensuráveis para candidatos com nomes associados a determinados grupos raciais. Essas ferramentas discriminaram 26% dos candidatos negros e 15% dos candidatos asiáticos que se candidataram às vagas afetadas. Embora este seja apenas um exemplo específico, os riscos éticos e legais que envolvem a IA abrangem áreas como preocupações com a propriedade intelectual, transparência insuficiente e violações regulatórias. Cada um desses riscos pode acarretar consequências financeiras e de reputação que se estendem muito além da equipe de segurança.

Riscos operacionais e de terceiros

A maioria dos modelos de IA depende de fornecedores, integrações e supervisão interna, que são todos suscetíveis a falhas. Protocolos de supervisão deficientes e permissões excessivas para agentes são caminhos que levam problemas menores a se agravarem. Interrupções de serviço e falhas de integração podem afetar as operações diretamente. A IA paralela agrava ainda mais o problema. Segundo um relatório da Grip, quase 91% das ferramentas de IA usadas atualmente em empresas funcionam sem supervisão de segurança ou de TI. Como resultado, ferramentas não aprovadas e dependências de fornecedores podem introduzir riscos que ninguém está monitorando ativamente.

Como funciona a gestão de riscos em IA?

O processo de gestão de riscos em IA passa por cinco etapas, cada uma construída sobre a anterior. Eles incluem:

1. Identificação: Faça um inventário completo de todos os seus modelos de IA, aplicativos, agentes, conjuntos de dados, APIs, fornecedores e infraestruturas de suporte. O primeiro passo é saber onde seus ativos estão localizados para que possam ser gerenciados.
2. Avaliar: Avalie a probabilidade e o impacto potencial de cada risco com base na sensibilidade dos dados, no grau de autonomia do sistema, na sua exposição a usuários e ameaças e na sua importância para o negócio.
3. Priorizar: Classifique os riscos por sua gravidade, pelo limite de aceitação de risco da organização e pelos requisitos regulamentares aplicáveis. Nem todos os riscos são iguais, portanto, as medidas de mitigação também não devem ser as mesmas.
4. Mitigar: Implementar medidas adequadas de governança, segurança, privacidade, técnicas e de supervisão para mitigar os riscos identificados e priorizados.
5. Monitorar: Acompanhar continuamente o comportamento do sistema, o desempenho do modelo, os eventos de segurança e as mudanças no perfil de risco. Os sistemas de IA evoluem rapidamente, assim como as ameaças que enfrentam.

O que inclui uma avaliação de risco de IA?

Uma avaliação de risco com IA transforma as etapas de identificação e avaliação do seu ciclo de gestão de riscos em um processo repetível e documentado. Essa prática cria um registro que identifica claramente onde os riscos existem e qual a gravidade dos mesmos. Segue abaixo um resumo do que elas envolvem.

• Escopo do sistema: Uma visão geral do modelo de IA, aplicativo ou agente em análise; isso inclui finalidade, pontos de coleta de dados e grau de autonomia.
• Identificação de riscos: Uma visão do sistema de IA através de múltiplas perspectivas — segurança, privacidade, operações, aspectos legais, conformidade regulatória, ética e reputação — em vez de focar apenas na segurança.
• Análise de probabilidade e impacto: Atribuição de uma classificação de probabilidade e uma classificação de impacto a cada risco identificado, mostrando a probabilidade de ocorrência e a magnitude do dano possível caso se concretize.
• Avaliação dos controles: Avaliar os controles atuais do sistema de IA — controle de acesso, registro de logs, observação humana — e identificar lacunas nos controles.
• Responsabilidade pela documentação: Registro das constatações, responsáveis pela remediação e cronogramas de conclusão.
• Alinhamento com estruturas: Mapeamento para estruturas conhecidas, como a Estrutura de Gestão de Riscos de IA do NIST.

As avaliações de IA são contínuas, por isso é crucial revisitá-las à medida que o modelo de IA evolui, novos dados se tornam disponíveis e novas ameaças surgem.

Gestão de riscos de IA vs. governança de IA

A governança de IA é o sistema geral de políticas, funções, padrões e supervisão que orienta o uso da IA por uma organização. A governança estabelece as regras do jogo. A gestão de riscos em IA está inserida nesse contexto, com foco na identificação, avaliação e mitigação dos riscos específicos de cada sistema de IA.

A disciplina de governança aborda o “quem” e o “quê”. Isso gera responsabilidade e identifica quais regras se aplicam. A disciplina de gestão de riscos concentra-se no "como", aplicando essas regras a riscos específicos à medida que surgem. Essas duas abordagens compartilham uma base comum de monitoramento contínuo, documentação, controles de segurança em camadas e supervisão humana.

Como a gestão de riscos em IA se aplica ao longo do ciclo de vida da IA?

O risco é dinâmico no ciclo de vida de um sistema de IA. Ele se constrói e se transforma em cada etapa, desde as decisões iniciais de projeto até o dia em que é desativado. A gestão de riscos tem de avançar em paralelo com isso, etapa por etapa.

1. Planejamento e projeto: Determine se o caso de uso potencial tem valor comercial adequado e se o risco é aceitável antes de iniciar o desenvolvimento.
2. Desenvolvimento e testes: Identificar problemas associados à qualidade dos dados utilizados pelo sistema. Avalie também a segurança do modelo, o potencial de viés, a robustez, a explicabilidade e as dependências de outros sistemas que fornecem serviços de suporte à medida que o sistema se desenvolve.
3. Implantação: Analise todas as opções de configuração, níveis de acesso do usuário, opções de integração, limitações estabelecidas pelas diretrizes de IA e aprovações necessárias antes de lançar o serviço.
4. Operações: Monitorar continuamente o comportamento do modelo, os valores de saída, o que os usuários podem acessar, as cargas de trabalho geradas pelo sistema e qualquer alteração no desempenho do modelo ou novas ameaças emergentes.
5. Desativação: Remova todo o acesso de usuários, retenha a documentação necessária, destrua adequadamente os dados coletados e assegure-se de que o sistema não possa ser acessado novamente.

Essas etapas funcionam em sequência, de modo que cada uma passa o bastão para a próxima. Pular uma etapa pode resultar na propagação silenciosa dos riscos de uma fase anterior para o sistema como um todo.

Que estruturas de gestão de riscos de IA as organizações devem conhecer?

Diversos frameworks e padrões fornecem estrutura para o gerenciamento de riscos de IA, e as organizações geralmente utilizam mais de um deles.

• A estrutura de gerenciamento de riscos de IA do NIST é construída em torno de quatro funções. Essas etapas incluem governar, que cria responsabilidade e uma cultura de conscientização sobre riscos; mapear, que define o contexto e os riscos associados a um determinado sistema de IA; mensurar, que avalia esses riscos identificados em relação a critérios definidos de confiabilidade; e gerenciar, que determina a prioridade para planos de resposta e tratamento para cada risco definido.
• A norma ISO/IEC 42001 estabelece diretrizes para o desenvolvimento, implementação e melhoria contínua de um sistema de gestão de IA. Assim como a ISO 27001 para segurança da informação, é uma norma certificável, permitindo que as organizações sejam auditadas de forma independente em relação a ela.
• A Lei da IA da UE categoriza quatro níveis de risco, cada um com requisitos diferentes. Sistemas que se enquadram na categoria de risco inaceitável são proibidos. Sistemas de alto risco possuem requisitos de conformidade rigorosos, enquanto sistemas de risco limitado exigem transparência em relação às suas operações. Sistemas de risco mínimo têm pouca ou nenhuma obrigação regulatória.
• O projeto OWASP GenAI Security fornece uma lista das principais ameaças à segurança de aplicações de IA generativa e modelos de linguagem de grande porte, como injeção de código e vazamento de dados.
• O MITRE ATLAS é uma base de conhecimento sobre táticas e técnicas adversárias específicas para sistemas de IA. Isso pode ser usado para criar cenários de teste de intrusão (red teaming) ou para realizar modelagem de ameaças, por exemplo.

Os marcos e regulamentações na área de gestão de riscos em IA estão evoluindo rapidamente. Antes da publicação, verifique se há atualizações sobre quaisquer regulamentações vigentes, prazos de implementação e datas de entrada em vigor, pois podem estar sujeitas a alterações.

Como a IA é utilizada na gestão de riscos?

A aplicação da IA para auxiliar nos esforços de gestão de riscos normalmente envolve o uso de sistemas de IA para identificar, analisar, prever ou responder a riscos em toda a organização. Esse tipo de suporte amplia o que as equipes de risco conseguem visualizar e a rapidez com que podem agir, muito além do que uma análise manual isolada permite.

Os casos de uso em que a IA se destaca nessa área incluem a análise de grandes conjuntos de dados em busca de anomalias, padrões, sinais de fraude e ameaças emergentes que, de outra forma, levariam muito mais tempo para uma equipe humana detectar.  Kris Nagel, CEO da Sift, empresa fornecedora de soluções de prevenção de fraudes, disse à Forbes que ferramentas abrangentes de aprendizado de máquina podem melhorar a precisão da detecção de fraudes em 40%.

No entanto, velocidade e escala têm suas desvantagens. A IA também pode introduzir vieses, falsos positivos, decisões obscuras e novos riscos de automação. Decisões de risco consequentes, aquelas com implicações financeiras, legais ou de segurança reais, ainda exigem validação humana antes de serem tomadas.

Como o Zero Trust apoia a gestão de riscos em IA?

O conceito de Zero Trust aplica um princípio único: nada deve receber confiança implícita, independentemente de quanto tempo um sistema esteja em funcionamento ou quão conhecido ele seja. Usuários, cargas de trabalho, serviços, modelos de IA, agentes e conexões são autenticados continuamente, em vez de apenas uma vez no ponto de entrada, o que é crucial quando os sistemas de IA atuam de forma autônoma entre os pontos de verificação.

O princípio do acesso com privilégios mínimos coloca esse princípio em prática no dia a dia. Modelos, conjuntos de dados, ferramentas, APIs, etc., recebem apenas o acesso necessário para concluir uma tarefa específica. Além disso, medidas como a segmentação dão continuidade ao processo, separando as cargas de trabalho de IA de dados sensíveis, aplicativos de produção e outros sistemas críticos. Assim, se um segmento for comprometido, um invasor terá muito menos caminhos para acessar o restante do seu ambiente.

A segmentação é algo que facilmente se subestima. Na verdade, uma pesquisa da Illumio revelou que quase 90% das empresas tiveram pelo menos um incidente envolvendo movimentação lateral em suas redes no último ano. Além disso, em média, eram necessárias mais de sete horas para conter um incidente desse tipo após sua descoberta.

Uma abordagem de segurança Zero Trust limita a movimentação lateral, verificando continuamente as comunicações em busca de comportamentos inesperados e acessos não autorizados, mantendo uma violação de segurança confinada à carga de trabalho onde teve origem. Os danos causados por um incidente são consideravelmente limitados pela capacidade de restringir para onde a carga de trabalho de IA comprometida pode se mover.

Como a Illumio apoia a gestão de riscos de IA

A Illumio fortalece a segurança cibernética e a resiliência operacional no gerenciamento de riscos de IA. Ao mapear cargas de trabalho de IA, dependências e comunicação em ambientes híbridos e multicloud, proporciona às equipes uma visibilidade que as ferramentas tradicionais perdem quando a IA entra em cena.

A partir daí, as soluções de segmentação da Illumio impõem o princípio do menor privilégio entre sistemas de IA, dados sensíveis e aplicações críticas, de modo que nenhuma carga de trabalho de IA possa acessar mais recursos do que o necessário. Suas soluções Zero Trust monitoram continuamente essa comunicação, sinalizando comportamentos suspeitos e possíveis movimentações laterais no momento em que ocorrem, em vez de posteriormente.

Quando algo dá errado, o Illumio funciona como uma plataforma de contenção de violações que isola efetivamente as cargas de trabalho comprometidas antes que um incidente se propague. O resultado é um raio de explosão menor e um incidente mais contido para gerenciar.

Perguntas frequentes

O que é gestão de riscos em IA, em termos simples?

A gestão de riscos em IA é o processo contínuo de identificar e controlar os problemas que os sistemas de IA podem criar, desde falhas de segurança até resultados tendenciosos. Ela existe para que você possa usar a IA com confiança, em vez de depender de palpites.

Quais são os principais riscos da inteligência artificial?

A IA introduz riscos de segurança, privacidade, operacionais, legais, éticos e de reputação, frequentemente decorrentes da qualidade dos dados, do comportamento do modelo ou da supervisão inadequada. A IA generativa e a IA agente elevam ainda mais o nível de exigência por meio de amplo acesso a dados, integrações externas e ação autônoma.

O que é a Estrutura de Gestão de Riscos de IA do NIST?

O NIST AI RMF é uma estrutura voluntária construída em torno de quatro funções — governar, mapear, medir e gerenciar — que ajuda as organizações a gerenciar o risco de IA ao longo do ciclo de vida de um sistema. É uma das estruturas de avaliação de risco de IA mais referenciadas atualmente.

Como gerenciar os riscos da IA?

Gerenciar o risco da IA significa seguir um ciclo contínuo: identificar onde a IA introduz exposição, avaliar e priorizar o que é mais importante, aplicar os controles adequados e monitorar o desempenho à medida que os sistemas evoluem. Estruturas como o NIST AI RMF e controles como a segmentação Zero Trust dão estrutura real a esse ciclo.

A IA pode substituir os humanos na gestão de riscos?

Não. A IA pode processar dados e sinalizar riscos mais rapidamente do que qualquer equipe conseguiria sozinha, mas decisões importantes, como agir ou não em relação a um risco sinalizado, ainda precisam de julgamento e supervisão humana.