Buck Shlegeris, CEO da Redwood Research, sofreu na pele os riscos de utilizar (ainda que experimentalmente) uma modalidade de automação com inteligência artificial (IA). Na sua experiência, ele usou um agente para administrar sistemas em sua rede. O incidente ocorreu quando Shlegeris treinou um agente de IA capaz de gerar e executar comandos bash com o objetivo de estabelecer uma conexão SSH entre dois computadores. No entanto, o agente acabou realizando atualizações de software de forma autônoma, o que causou uma falha na inicialização do desktop, corrompendo o boot da máquina Linux. O episódio destacou os perigos da automação sem supervisão.
Leia também
G7 divulga alerta para riscos da computação quântica
Aplicações de mainframe falham e retardam projetos
Shlegeris compartilhou a experiência nas redes sociais, reconhecendo sua imprudência ao deixar a IA agir sem monitoramento. Ele projetou o agente utilizando o modelo Claude da Anthropic, que permite gerar comandos bash e agir com base nos resultados. Ao tentar conectar seu laptop ao desktop, o agente não só conseguiu realizar a conexão SSH como também atualizou diversos componentes do sistema, incluindo o kernel do Linux, resultando em mudanças na configuração de inicialização. O computador acabou se tornando inoperante.
O incidente traz preocupações sobre o uso de IA em processos críticos, especialmente quando não há supervisão humana constante. Embora o avanço tecnológico permita que as IAs sejam cada vez mais autônomas, eventos como esse demonstram que a falta de monitoramento pode levar a consequências graves. Para Shlegeris, o episódio serviu como um alerta para os perigos de confiar totalmente em sistemas automatizados para tarefas complexas.
O caso de Shlegeris se insere em um debate maior sobre os limites e responsabilidades no uso da IA. A crescente integração de inteligência artificial em diversos setores, como automação de processos e tomada de decisões, exige uma cautela redobrada. Especialistas destacam que, embora a IA possa ser uma ferramenta poderosa, ainda há desafios significativos, como a necessidade de maior regulação e supervisão em seu uso.
