[ 240,017 page views, 116,787 usuários nos últimos 30 dias ] - [ 5.966 assinantes na newsletter, taxa de abertura 27% ]

Pesquisar
i.a. divulgação check point

Pesquisador cria defesa contra envenenamento de IA

Um pesquisador de inteligência artificial brasileiro desenvolveu uma solução para evitar que sistemas de diagnóstico por imagem apoiados por inteligência artificial gerem imagens alteradas – e portanto incorretas. O pesquisador é Erikson Júlio de Aguiar, doutorando do Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC-USP), no campus de São Carlos. Batizada com o nome de Radar-Mix, a solução detecta ataques feitos contra as imagens geradas pelos sistemas de diagnóstico.

Leia também
Vem aí ransomware à prova de computação quântica
Segurança e nuvem entre os 10 maiores salários de 2020

Segundo explicou Aguiar ao CISO Advisor, atualmente os modelos de Deep Learning (DL) são amplamente aplicados na análise de imagens médicas, melhorando a capacidade de reconhecimento padrões, e favorecendo a geração de diagnósticos mais precisos e rápidos. “No entanto, o DL pode apresentar problemas relacionados a violações de segurança, que reduzem a confiança do sistema. Descobrir esses ataques antes que aconteçam e visualizar seu comportamento é desafiador”, relata ele em seu artigo científico sobre o assunto.

A finalidade do Radar-Mix é justamente evitar que o modelo se alimente de imagens que sejam capazes de “envenenar” o aprendizado de máquina, gerando resultados incorretos. “Nossa proposta fica no meio do caminho, para que possamos detectar uma imagem envenenada antes que ela chegue ao modelo. Para isso, precisamos dar algumas ‘sementes’ para o método entender o contexto; assim, precisamos mostrar exemplos de imagens envenenadas para que ele possa, aprender e, posteriormente, detectar um ataque adversário”, explicou Aguiar.

O trabalho foi conduzido no âmbito de um projeto financiado pela FAPESP, com orientação da professora Agma Juci Machado Traina, do ICMC-USP. Aguiar continua a expandir suas pesquisas e apresentará os resultados mais recentes no SPIE Medical Imaging, evento que será promovido pela Sociedade Internacional de Óptica e Fotônica entre 16 e 20 de fevereiro na Califórnia, Estados Unidos.

Em junho de 2024, o doutorando recebeu o prêmio “Best Student Paper” no 37º Simpósio Internacional de Sistemas Médicos Baseados em Computador (CBMS), em Guadalajara, no México. A solução foi apresentada no artigo “RADAR-MIX: How to Uncover Adversarial Attacks in Medical Image Analysis through Explainability”.