A empresa norte-americana Vectara anunciou ontem o lançamento de um “agente guardião” que ajusta a precisão de modelos de linguagem de grande porte (LLMs). A ferramenta Hallucination Corrector identifica imprecisões geradas pela IA, explica por que estão erradas e oferece opções de correção. “Embora os LLMs tenham feito progressos significativos recentemente no tratamento da questão das alucinações, eles ainda estão lamentavelmente aquém dos padrões de precisão exigidos em setores altamente regulamentados, como serviços financeiros, saúde, direito e muitos outros”, afirmou o fundador e CEO da Vectara, Amr Awadallah, no comunicado. Antes da Vectara, o executivo fundou a Cloudera e trabalhou no Google e no Yahoo.
Leia também
LLMs de código alucinam com bibliotecas e pacotes
Cenário 2025: ameaças quânticas e de I.A.
A empresa afirmou que sua ferramenta reduz as taxas de alucinação para menos de 1% em LLMs com menos de 7 bilhões de parâmetros . A Vectara também lançou um kit de ferramentas na terça-feira para medir o desempenho do Hallucination Corrector.
O recurso – o primeiro do gênero no setor de IA – se baseia na liderança consolidada da Vectara na detecção e mitigação de alucinações em sistemas de IA corporativos, capacitando organizações a superar o desafio de respostas não confiáveis com uma solução que fornece uma explicação robusta para cada alucinação e múltiplas opções para corrigi-las. Ele estará disponível inicialmente para os clientes da Vectara como uma prévia da tecnologia. Como um “agente guardião”, o Corretor de Alucinações realiza ações de proteção para proteger um fluxo de trabalho agêntico. Foi demonstrado que ele reduz consistentemente as taxas de alucinações em LLMs com menos de 7B parâmetros (comumente usados em sistemas de IA empresarial) para menos de 1%, permitindo que correspondam aos níveis de precisão dos principais modelos do Google e da OpenAI.
O recurso também pode ser usado em conjunto com o amplamente utilizado Modelo de Avaliação de Alucinações Hughes (ou HHEM) da Vectara, que conta com 4 milhões de downloads no Hugging Face. O HHEM compara as respostas geradas por IA com os documentos de origem específicos em que se basearam, a fim de identificar quaisquer afirmações imprecisas ou sem suporte no material de origem.
