Desenvolvedores de software que dependem de chatbots de IA para criar aplicativos podem acabar usando pacotes “alucinados”, de acordo com um novo relatório da Lasso Security, startup de segurança de IA generativa. O pesquisador Bar Lanyado da Lasso demonstrou como ferramentas de grandes modelos de linguagem (LLMs, na sigla em inglês) podem ser usadas para espalhar pacotes de software que não existem.
Segundo ele alertou no ano passado, quando iniciou as pesquisas, os operadores de ameaças teriam condições de aprender os nomes desses pacotes alucinados e criar pacotes maliciosos com os mesmos nomes que poderiam ser baixados com base em recomendações feitas por chatbots de IA.
Ao ampliar a pesquisa, Lanyado fez quatro modelos diferentes, nomeadamente GPT-3.5-Turbo, GPT-4, Gemini Pro (anteriormente Bard) e Coral (Cohere), mais de 40 mil perguntas sobre “como fazer”, usando a estrutura LangChain (framework de código aberto para o desenvolvimento de aplicações usando LLMs) para interação.
Para verificar a repetitividade das “alucinações”, o pesquisador utilizou 20 questões com alucinações zero-shot (o modelo recomendou um pacote alucinado na primeira resposta). Todos os chatbots geraram mais de 20% das alucinações, com o Gemini atingindo um pico de 64,5% das alucinações. A repetitividade ficou em torno de 15%, com o Cohere atingindo pico de 24,2%.
O aspecto mais preocupante da pesquisa, porém, é o fato de o pesquisador ter carregado um pacote vazio que já foi baixado mais de 30 mil vezes, com base nas recomendações da IA. Além disso, descobriu-se que o mesmo pacote era utilizado ou recomendado por diversas grandes empresas. “Por exemplo, as instruções para instalação deste pacote podem ser encontradas no README de um repositório dedicado às pesquisas realizadas pelo Alibaba”, explica o pesquisador.
Veja isso
WormGPT pode comprometer e-mails comerciais e fazer jailbreaks
Fóruns da dark web oferecem nova ferramenta de IA FraudGPT
A pesquisa, observa Lanyado, sublinha a necessidade de verificação cruzada ao receber respostas incertas de um LLM, especialmente em relação a pacotes de software. Ele também aconselha os desenvolvedores a terem cuidado ao confiar em software de código aberto, especialmente ao encontrar pacotes desconhecidos, incentivando-os a verificar o repositório desse pacote e avaliar sua comunidade e envolvimento antes de usá-lo.
Acesse o estudo completo (em inglês) feito pelo pesquisador da Lasso clicando aqui.