O chatbot chinês DeepSeek R1, que agora lidera os interesses da mídia em IA generativa, demonstra grande capacidade na resolução de problemas complexos de lógica, programação e matemática, mas os testes feitos pela empresa Kela mostram que ele tem sérios problemas de segurança. Em primeiro lugar, ele é bastante vulnerável a hackers: é fácil fazer o jailbreak nele – contornar os mecanismos de segurança e forçar a IA a gerar conteúdo que deveria ser proibido. O pesquisador brasileiro Felipe Jordão Silva informou ao CISO Advisor também ter descoberto esse tipo de falha. Numa experiência com o DeepSeek, ele confirmou a falha ao declarar que tinha autorização para fazer localmente um teste com vírus de computador, e a plataforma respondeu não só com o código de exemplo para o teste como também detalhando “os próximos passos que poderiam ser feitos”. Para obter esse resultado, segundo ele, “bastou modificar um pouco a forma de pedir através do prompt”.
Leia também
DeepSeek sofre ataque em dia de sucesso
Insegurança derruba investimentos e retarda I.A.
Usando técnicas desatualizadas, mas ainda eficazes, os especialistas da KELA conseguiram fazer com que o DeepSeek R1 criasse malware, fornecesse instruções detalhadas sobre lavagem de dinheiro e até mesmo como montar drones de ataque. As consultas subsequentes geraram com sucesso instruções para fabricar bombas, explosivos e toxinas não rastreáveis.
Em um dos testes, especialistas pediram que o modelo criasse um código malicioso projetado para roubar dados dos usuários. O DeepSeek R1 não apenas gerou esse código, mas também sugeriu métodos para distribuí-lo às vítimas. Além disso, o modelo até recomendou plataformas obscuras específicas, como Genesis e RussianMarket, onde dados roubados podem ser vendidos.
Um risco adicional vem do mecanismo de explicação de raciocínio integrado ao DeepSeek R1. Ao contrário do ChatGPT4o, que esconde a lógica de suas decisões, a IA chinesa mostra ao usuário todas as etapas da análise. Isso dá aos atacantes acesso às vulnerabilidades do modelo, permitindo-lhes desenvolver ataques mais eficazes. Outro aspecto preocupante é a capacidade do DeepSeek R1 de produzir dados falsos e potencialmente perigosos. Em um teste, o modelo gerou uma tabela com informações supostamente pessoais dos funcionários da OpenAI, incluindo endereços, números de telefone e salários fictícios. As respostas minam a credibilidade do modelo e demonstram a sua incapacidade de filtrar dados falsos.
A IA chinesa também viola os princípios de privacidade das empresas ocidentais: as políticas da DeepSeek permitem usar as consultas e respostas dos usuários para treinar o modelo sem sua autorização, e as leis chinesas exigem que as empresas de lá compartilhem com as autoridades todos os seus dados.
A KELA enfatiza que as organizações devem avaliar cuidadosamente os riscos antes de implementar essa tecnologias. Os modelos de IA generativa devem passar por testes de segurança rigorosos antes de serem implementados em fluxos de trabalho.
