A Meta, empresa proprietária do Instagram e Facebook, anunciou a participação em projeto que visa “reunir ferramentas e avaliações para ajudar a comunidade a construir de forma responsável com modelos de IA generativa aberta”. Batizado de Purple Llama, o projeto tem a participação de desenvolvedores de aplicativos de IA, como a Microsoft, e plataformas de nuvem, como AWS e Google Cloud, além de fabricantes de chips, como Intel, AMD e NVidia.
Em um comunicado, a Meta diz que “a colaboração em segurança construirá confiança nos desenvolvedores que impulsionam essa nova onda de inovação e requer pesquisas e contribuições adicionais sobre IA responsável”.
Segundo a gigante das mídias sociais, os grandes modelos de linguagem (LLMs), que processam texto, imagens, vídeos, músicas, diagramas, webinars, código de computador e outros tipos semelhantes de entrada, podem gerar código que não segue as práticas recomendadas de segurança ou introduz vulnerabilidades exploráveis.
Para a Meta, faz sentido que o primeiro passo do projeto Purple Llama se concentre em ferramentas para testar problemas de segurança cibernética em modelos de geração de software. Para isso, a empresa desenvolveu um pacote que permite que os desenvolvedores executem testes de benchmark para verificar a probabilidade de um modelo de IA gerar código inseguro ou ajudar os usuários a realizar ataques cibernéticos.
O pacote está sendo introduzido sob o nome CyberSecEval, um benchmark abrangente desenvolvido para ajudar a reforçar a segurança cibernética de LLMs empregados como assistentes de codificação. Os testes iniciais mostraram que, em média, os LLMs sugeriram código vulnerável em 30% das vezes.
Para verificar e filtrar todas as entradas e saídas de um LLM, a Meta lançou o Llama Guard. O Llama Guard é um modelo disponível gratuitamente que fornece aos desenvolvedores um modelo pré-treinado para ajudar a se defender contra a geração de saídas potencialmente arriscadas. O modelo foi treinado em uma combinação de conjuntos de dados disponíveis publicamente para ajudar a encontrar tipos comuns de conteúdo potencialmente arriscado ou violador. Isso permitirá que os desenvolvedores filtrem itens específicos que podem fazer com que um modelo produza conteúdo inadequado.
Veja isso
Google, Amazon, Meta e OpenAI endossam acordo para IA segura
Meta é multada em € 1,2 bilhão pela UE por violar o GDPR
O anúncio vem ao mesmo tempo em que a Agência de Segurança de Infraestrutura e Cibersegurança (CISA) dos EUA publicou um guia estabelecendo roteiros seguros para memória. Em sua orientação, a CISA tenta fornecer aos fabricantes as etapas que eles devem seguir para criar e publicar roteiros seguros de memória como parte da campanha internacional secure by design.
As vulnerabilidades de segurança de memória são uma classe de erros de codificação bem conhecidos e comuns que os cibercriminosos exploram com bastante frequência. Erros de codificação que podem aumentar em números, a menos que se tome medidas para usar linguagens de programação seguras para memória e usemos os métodos para verificar o código gerado por LLMs.
Para acessar o anúncio do projeto Purple Llama clique aqui.
