Estrutura de um profissional de segurança para segurança e proteção de IA

No início de novembro, o Reino Unido sediou o Cúpula de segurança de IA, a primeira cúpula global sobre inteligência artificial. Ele reuniu governos internacionais e especialistas em IA para considerar os riscos da IA e como os esforços coordenados internacionalmente podem ajudar a mitigá-los. Esta cúpula segue discussões globais sobre segurança de IA, incluindo as recentes Ordem Executiva dos EUA sobre o desenvolvimento e uso seguros e confiáveis da IA.

Eu esperava ver uma estrutura ou diretrizes específicas para a segurança da IA saírem da cúpula, mas fiquei desapontada ao não encontrar nenhuma orientação tangível. Nesta postagem do blog, descrevi o tipo de estrutura acionável sobre segurança de IA que eu esperava ver sair da cúpula do meu ponto de vista como profissional sênior de segurança.

Aproveite as novidades da IA para abordar a segurança e proteção

Antes de definir a estrutura, acho importante dar um passo atrás filosófico para entender por que a segurança da IA é um tópico tão importante e por que fiquei tão decepcionada com os resultados do AI Safety Summit deste ano.

É evidente que a maioria das deficiências de segurança nas tecnologias de rede atuais que usamos hoje podem ser atribuídas às fraquezas na forma como os protocolos dos quais elas dependem foram originalmente arquitetados décadas atrás.

A segurança não foi uma consideração inicial. Na realidade, raramente é.

Veja, por exemplo, os protocolos originais para web (HTTP), correio (SMTP) e transferência de arquivos (FTP). Todos eles foram projetados como texto simples, sem qualquer forma de segurança de dados por meio de criptografia. Na época, os criadores não imaginavam um mundo em que informações bancárias, clínicas de pacientes ou informações confidenciais de usuários fossem transmitidas de forma livre e conveniente em todo o mundo por meio desses protocolos de rede simples.

O mesmo vale para o esquema de endereçamento IPv4 criado no início dos anos 1980, descrito na publicação da IETF (Internet Engineering Task Force). RFC 791. Na época, quem teria pensado que o mundo poderia realmente ficar sem bilhões de endereços IP endereçáveis publicamente? Mesmo assim, tentar reforçar a segurança retrospectivamente geralmente se mostra tanto um gargalo quanto uma tarefa disruptiva.

IA generativa, como o ChatGPT da OpenAI — que marca sua primeiro aniversário disponibilizado ao público este mês — mostrou os avanços nas capacidades de aprendizado de máquina e aprendizado profundo. Esse tipo de modelo de linguagem grande (LLM) pode imitar amplamente as redes neurais do cérebro humano por meio de redes neurais artificiais (ANN). Pela primeira vez, o mundo testemunhou o culminar de vários trabalhos ao longo dos anos para que a IA se tornasse facilmente utilizável em ofertas como o ChatGPT. De repente, até mesmo a possibilidade da Inteligência Geral Artificial (AGI) e da Teoricamente muito superior SuperInteligência Artificial (ASI) pode não ser mais um exagero dos títulos de ficção.

Devemos aproveitar o fato de que a IA ainda está no início de sua evolução para considerar sua segurança e proteção, especialmente com a história e a bagagem da rede e da segurança. Uma cúpula de segurança de IA, como a de novembro de 2023, não deveria apenas abordar os temores, mas também dar um passo atrás para avaliar a segurança e proteção da IA em uma visão holística. Infelizmente, não tenho certeza se isso foi feito; pelo menos não daquela vez.

3 domínios principais para segurança e proteção de IA

Para a primeira cúpula internacional proativa sobre segurança e proteção de IA, eu esperava uma mudança tangível da geopolítica para as geopolíticas para abordar os seguintes domínios principais:

• Desenvolvimento, administração e uso final
• Segurança
• Ética e jurídico

Esses domínios estão interligados e, portanto, relacionados entre si. Por exemplo, o desenvolvimento de soluções de IA deve abranger os domínios ético e jurídico para reduzir problemas de origem, como preconceito nos dados de treinamento e configuração de camadas ocultas de sistemas de aprendizado profundo. Nem tudo que funciona é a coisa certa a se fazer. Ao mesmo tempo, a proteção da integridade dos dados de treinamento e do processo de desenvolvimento deve ser incluída o mais cedo possível no processo.

Uma estrutura de segurança de IA: o que eu esperava ver no AI Safety Summit

Em cada um dos três domínios, sugeri uma seleção dos principais padrões e estruturas a serem considerados mais detalhadamente, cujo resultado final deve ser iniciar grupos focados na formulação desses padrões e estruturas:

Desenvolvimento, administração e uso final

• Padrões e estruturas de interface: Diretrizes e padrões sobre a interface de IA entre diferentes fornecedores e, em seguida, entre fornecedores e usuários finais, semelhantes à API da web com JSON e USB-C para dispositivos físicos. Isso pode permitir uma inovação ainda mais rápida em vários domínios. Um bom exemplo disso é o que a interface de comunicação móvel e Wi-Fi fez para a inovação tecnológica em relógios inteligentes, TVs, drones, carros, ambulâncias etc.

• Padrões e estrutura de diferenciação: Políticas para permitir a determinação e diferenciação claras entre obras artísticas originais e obras geradas por IA, como as que temos para proteção de direitos autorais e propriedade intelectual do Gerenciamento de Direitos Digitais (DRM). Uma importante área beneficiária será combater a desinformação e o conteúdo enganoso, como falsificações profundas e interferência eleitoral, pelo menos no nível das mercadorias.

• Lacuna de habilidades de IA: Abordar a lacuna de habilidades nas principais áreas de desenvolvimento, administração e uso da IA, de forma semelhante aos esforços em programação de computadores e alfabetização de computadores (incluindo educação de adultos) no boom inicial da computação pessoal até hoje. O objetivo é nivelar o campo de atuação tanto para o desenvolvimento e uso de IA boa quanto ruim de IA publicitária.

Segurança

• Singularidade das proteções de formas: Diretrizes e proteções para mesclar IA (como ChatGPT, IA de voz, IA de reconhecimento de imagem, etc.) com hardware real em uma única forma, semelhante aos robôs industriais ou robôs humanóides no futuro. Em última análise, essa capacidade fornece inteligência geral, inteligência artificial, capacidades de interação física no mundo físico. Basicamente, garantir que um robô físico do tipo ChatGPT nunca ligue humanos ou funcione de forma catastrófica. Já existem várias ocorrências em que robôs industriais e carros autônomos falharam e causaram danos ou morte a humanos.

• Risco desde AJUDA: Proteções contra os riscos impostos pela IA. O ChatGPT já mostrou uso malicioso. Essa área considerará ameaças como a evolução de cargas maliciosas, descoberta e exploração de vulnerabilidades em velocidade recorde, fraude por voz e phishing e sabotagem, como o comprometimento de processos de fabricação ou ataques à cadeia de suprimentos. ‍
• Risco para AJUDA: Proteções contra os riscos impostos à própria IA. Isso inclui a exploração do desenvolvimento da IA, dos processos de aprendizado e dos parâmetros de preconceito. Embora existam diretrizes de ética, segurança e uso de IA, elas precisam ser aprimoradas e aprimoradas em relação às práticas de segurança atuais, como codificação segura, DevSecOps e SBOMS na cadeia de suprimentos. Além do lado do consumo, temos políticas semelhantes à lei de uso indevido de computadores, políticas de segurança da empresa sobre uso de computadores e políticas de uso justo.

Ética e Legal

• Ética cívica da IA: Ética e diretrizes sobre o uso da IA em esferas como reconhecimento facial e comportamento do usuário em relação ao monitoramento de funcionários, controle e fiscalização de tráfego e sistema de justiça criminal.

• Ética científica da IA: Ética e diretrizes sobre o que a IA pode ser usada para fazer em termos de ciência e medicina. Exemplos são pesquisa genética e de doenças, clonagem, etc.

• Ética militar da IA: Desenvolva um conjunto de regras de engajamento do tipo Convenção de Genebra para usar a IA em operações cinéticas, especialmente em IA autônoma. Isso seria particularmente importante se a IA tomasse decisões de vida ou morte para evitar a possibilidade de consequências não intencionais, como assassinato em massa, uso de armas químicas ou detonação nuclear não intencional.

• Estrutura legal de IA: Diretrizes e padrões sobre as implicações legais do envolvimento da IA em várias situações legalmente relevantes. Isso pode incluir cenários como a natureza da evidência admissível em casos legais ou reivindicações financeiras e de seguros e cálculos de aceitação de riscos.

Uma estrutura de segurança e proteção de IA é apenas o começo

É encorajador ver um forte foco no risco de ameaças cibernéticas de IA em escala global. Uma estrutura de segurança de IA é um primeiro passo essencial para construir um futuro de IA inovador e seguro. Mas isso é apenas um ponto de partida. Idealmente, deve haver uma seleção de grupos de elite focados em especialistas em IA e no setor que se unam para desenvolver e iterar padrões de segurança de IA semelhantes aos da Força-Tarefa de Engenharia da Internet (IETF) e da Solicitação de Comentários (RFCs).

É importante ressaltar que também devemos considerar como podemos capacitar as organizações a construir resiliência contra ataques baseados em IA. A IA torna mais fácil e rápido o lançamento de ataques por criminosos. A melhor defesa é reduzir a “superfície de aprendizado” para que haja menos oportunidades para as ameaças cibernéticas de IA aprenderem, se adaptarem e progredirem no ataque.

Entre em contato conosco hoje para saber como os desenvolvimentos em IA podem impactar a segurança cibernética da sua organização.