O Instituto Nacional de Padrões e Tecnologia (NIST), ligado ao Departamento de Comércio dos EUA, deu um novo passo no desenvolvimento de estratégias contra ameaças cibernéticas que têm como alvo chatbots alimentados por IA e carros autônomos. Na quarta-feira passada, 4, o NIST divulgou um novo documento no qual estabelece uma abordagem padronizada para caracterizar e se defender de ataques cibernéticos à inteligência artificial.
O artigo, intitulado Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, foi escrito em colaboração entre membros do meio acadêmico e pessoas ligadas à indústria. Ele documenta os diferentes tipos de ataques de aprendizado de máquina (ML – machine learning) e algumas técnicas de mitigação. Na sua taxonomia, o NIST dividiu os ataques de ML em duas categorias: ataques direcionados a sistemas de IA preditiva e ataques direcionados a sistemas de IA generativa.
O que o NIST chama de IA preditiva refere-se a uma ampla compreensão da IA e dos sistemas de aprendizagem automática que preveem comportamentos e fenômenos. Um exemplo de tais sistemas pode ser encontrado em dispositivos de visão computacional ou carros autônomos. Já IA generativa, na taxonomia do NIST, é uma subcategoria dentro da IA preditiva, que inclui redes “adversárias” generativas, transformadores generativos pré-treinados e modelos de difusão.
Para sistemas de IA preditiva, o relatório considera três tipos de ataques:
. Ataques de evasão, nos quais o objetivo é gerar exemplos “adversários”, que são definidos como amostras de teste cuja classificação pode ser alterada no momento da implantação para uma classe arbitrária de escolha do atacante, com apenas perturbação mínima;
. Ataques de envenenamento, referindo-se a ataques conduzidos durante a fase de treinamento do algoritmo de IA;
. Ataques de privacidade, tentativas de obter informações confidenciais sobre a IA ou os dados nos quais ela foi treinada, a fim de utilizá-los indevidamente.
“Estamos fornecendo uma visão geral das técnicas e metodologias de ataque que consideram todos os tipos de sistemas de IA”, disse o cientista da computação do NIST, Apostol Vassilev, um dos autores do artigo. “Também descrevemos as atuais estratégias de mitigação relatadas na literatura, mas estas defesas disponíveis carecem atualmente de garantias robustas de que mitigam totalmente os riscos. Estamos incentivando a comunidade a criar melhores defesas.”
Explorando sistemas de IA generativos
Os ataques de ML que visam sistemas de IA generativa se enquadram numa quarta categoria, que o NIST chama de ataques de abuso. Envolvem a inserção de informações incorretas em uma fonte, como uma página da Web ou documento on-line, que uma IA absorve. Ao contrário dos ataques de envenenamento, os ataques de abuso tentam fornecer à IA informações incorretas de uma fonte legítima, mas comprometida, para redirecionar o uso pretendido do sistema de IA.
Alguns dos ataques de abuso mencionados incluem: ataques à cadeia de suprimentos de IA, ataques de injeção direta e imediata e ataques indiretos de injeção imediata. O artigo fornece algumas técnicas e abordagens de mitigação para cada uma dessas categorias e subcategorias de ataques. No entanto, Vassilev admite que elas ainda são insuficientes.
“Apesar do progresso significativo que a IA e o aprendizado de máquina fizeram, essas tecnologias são vulneráveis a ataques que podem causar falhas espetaculares com consequências terríveis. Existem problemas teóricos com a segurança de algoritmos de IA que simplesmente ainda não foram resolvidos. Se alguém disser o contrário, está vendendo óleo de cobra”, disse ele. “Nós […] descrevemos as atuais estratégias de mitigação relatadas na literatura, mas estas defesas disponíveis carecem atualmente de garantias robustas de que mitigam totalmente os riscos. Estamos incentivando a comunidade a criar melhores defesas.”
Veja isso
Os algoritmos criptográficos pós-quânticos do NIST
NIST e a gestão de riscos de segurança cibernética
A publicação do artigo ocorre três meses após a edição da ordem executiva de Joe Biden sobre desenvolvimento e uso seguro, protegido e confiável de inteligência artificial (EO 14110). A EO encarregou o NIST de apoiar o desenvolvimento de IA confiável.
A taxonomia introduzida no documento do NIST também servirá de base para colocar em prática a Estrutura de Gestão de Risco de IA do NIST, que foi lançada pela primeira vez em janeiro de 2023. Em novembro, na Cúpula de Segurança de IA do Reino Unido, a vice-presidente dos EUA, Kamala Harris, anunciou a criação de uma nova entidade dentro do NIST, o Instituto de Segurança de IA dos EUA.
A missão do instituto é facilitar o desenvolvimento de padrões para a segurança e teste de modelos de IA desenvolver padrões para autenticar conteúdo gerado por IA e fornecer ambientes de teste para pesquisadores avaliarem riscos emergentes de IA e abordarem impactos conhecidos.
Para ter acesso completo ao Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations clique aqui.
