OWASP lança checklist para adoção segura de IA generativa

Documento ajuda as organizações a criar uma estratégia para implementar grandes modelos de linguagem (LLMs) e mitigar os riscos associados ao uso dessas ferramentas de IA
Da Redação
26/02/2024

Os diretores de segurança da informação agora têm uma nova ferramenta à sua disposição para começar a usar inteligência artificial (IA) com segurança. O Open Web Application Security Project (OWASP) lançou a LLM AI Cybersecurity & Governance Checklist. Trata-se de documento de 32 páginas elaborado para ajudar as organizações a criar uma estratégia para implementar grandes modelos de linguagem (LLMs) e mitigar os riscos associados ao uso dessas ferramentas de IA.

Sandy Dunn, chefe de segurança da informação (CISO) da Quark IQ e principal autora da lista de verificação, começou a trabalhar nela em agosto de 2023 como um recurso de apoio adicional aos dez principais problemas de segurança para aplicações LLM da OWASP, publicado em 2023.

O documento fornece uma lista de etapas a serem seguidas antes de se implantar uma estratégia LLM, incluindo a revisão de suas estratégias de resiliência cibernética e treinamento em segurança e o envolvimento com líderes sobre qualquer implementação de IA em seu fluxo de trabalho. Ele traz também uma visão geral de cinco maneiras pelas quais as organizações podem implantar LLMs, dependendo de suas necessidades.

“Os escopos vão desde o aproveitamento de aplicativos públicos de consumo até o treinamento de modelos proprietários em dados privados. Fatores como sensibilidade ao caso de uso, capacidades necessárias e recursos disponíveis ajudam a determinar o equilíbrio certo entre conveniência e controle”, diz o documento.

Em uma segunda parte, o documento descreve uma lista de 13 itens a serem considerados ao implementar um caso de uso de LLM sem adicionar riscos desnecessários à sua organização.

Esses incluem:

  • Medidas orientadas para os negócios, como estabelecer casos de negócios ou escolher as soluções LLM certas;
  • Medidas de gerenciamento de risco, como a necessidade de modelar ameaças em seu caso de uso, monitorar o risco de IA e implementar treinamento de segurança focado em IA e Red Team de IA;
  • Medidas legais, regulatórias e políticas — por exemplo, estabelecimento de requisitos de conformidade, implementação de processos de teste, avaliação, verificação e validação.

Dunn ressalta que IA generativa é uma tecnologia muito diferente daquelas usadas para proteger as organizações e exigirá uma mentalidade completamente diferente para a segurança. Outro ponto é que a IA traz uma “guerra assimétrica”: o atacante tem uma vantagem devido à complexidade e amplitude da superfície de ataque. “A primeira coisa a abordar é a rapidez com que os atacantes conseguirão utilizar estas ferramentas para acelerar os seus ataques, o que já estamos a observar”, diz ele.

Veja isso
Empresas brasileiras veem IA generativa como fator de risco
Empresas estão despreparadas para os riscos da IA generativa

O especialista em segurança diz que é preciso abordar a implementação de IA de forma holística, além de usar a legislação existente para informar a estratégia. Embora muito poucas leis de IA sejam atualmente aplicáveis, há regulamentos e leis existentes atualmente, como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia e as leis estaduais de privacidade e segurança,  que impactam os requisitos de negócios de IA.”

Dunn disse que inicialmente incluiu mais informações legais e regulatórias no primeiro rascunho do documento, mas após revisão, a equipe achou que era muito centrado nos EUA e decidiu manter essa parte em alto nível.

A OWASP AI Exchange é uma plataforma introduzida em 2023 pela OWASP Foundation para ser o centro de colaboração para o alinhamento dos padrões de segurança de IA. OWASP Foundation anunciou seu ingresso no US AI Safety Institute no início deste mês.

Para ter acesso ao checklist LLM AI Cybersecurity & Governance do do Open Web Application Security Project (OWASP), em inglês, clique aqui.

Compartilhar:

Últimas Notícias