A Anthropic, empresa de IA (inteligência artificial) que recentemente enfrentou o Pentágono pelo uso de sua tecnologia, desenvolveu um novo modelo de IA que, segundo ela, é poderoso demais para ser liberado ao público.
Em vez disso, a Anthropic anunciou nesta terça-feira (7) que disponibilizará o novo modelo —conhecido como Claude Mythos Preview— a um consórcio de mais de 40 empresas de tecnologia, incluindo Apple, Amazon e Microsoft, que o usarão para encontrar e corrigir vulnerabilidades de segurança em seus programas de software estratégicos.
A Anthropic disse que não planeja liberar a nova tecnologia de forma mais ampla, mas está anunciando as capacidades do novo modelo em uma área específica —a identificação de vulnerabilidades de segurança em software— em um esforço para alertar para o que a empresa acredita que será uma nova e mais assustadora era de ameaças de IA.
“O objetivo é tanto aumentar a conscientização quanto dar aos bons atores uma vantagem no processo de proteger infraestrutura e códigos abertos e privados”, disse Jared Kaplan, diretor científico da Anthropic, em entrevista.
A coalizão, conhecida como Projeto Glasswing, incluirá alguns dos concorrentes da Anthropic em IA, como o Google, além de fornecedores de hardware como Cisco e Broadcom, e organizações que mantêm software de código aberto estratégico, como a Linux Foundation. A Anthropic está comprometendo até US$ 100 milhões em créditos de uso do Claude para a iniciativa.
Logan Graham, chefe de uma equipe da Anthropic que testa novos modelos em busca de capacidades perigosas, chamou o novo modelo de “o ponto de partida para o que acreditamos ser uma virada na indústria, ou acerto de contas, com o que precisa acontecer agora”.
A Anthropic ocupa uma posição incomum no cenário atual de IA. Ela está correndo para construir sistemas de IA cada vez mais poderosos, e faturando bilhões de dólares vendendo acesso a esses sistemas, enquanto também chama atenção para os riscos que sua tecnologia representa.
A empresa foi enquadrada como um risco à cadeia de suprimentos neste ano pelo Pentágono por limitar o uso de sua tecnologia. Um juiz federal posteriormente impediu que a designação entrasse em vigor.
A Anthropic não divulgou muitas informações novas sobre o modelo, que tinha o codinome Capybara durante o desenvolvimento. Mas depois que alguns detalhes vazaram inadvertidamente no mês passado, a empresa reconheceu que o considerava uma “mudança de patamar” nas capacidades de IA, com desempenho aprimorado em áreas como programação e pesquisa em cibersegurança.
A decisão da empresa de reter o Claude Mythos Preview por preocupação com possíveis usos indevidos, dando acesso apenas a parceiros, tem algum precedente. Em 2019, a OpenAI anunciou que havia construído um novo modelo, o GPT-2, mas não estava liberando a versão completa imediatamente.
A empresa alegou que suas capacidades de geração de texto poderiam ser usadas para automatizar a produção em massa de propaganda ou desinformação. (Posteriormente, a companhia liberou o modelo, após realizar testes de segurança adicionais.) Muitos dos líderes do projeto GPT-2 depois deixaram a OpenAI para fundar a Anthropic.
Desta vez, a startup faz uma afirmação diferente e mais urgente. Os executivos da empresa dizem que o Claude Mythos Preview já é capaz de realizar pesquisa de segurança autônoma, incluindo varredura e exploração das chamadas vulnerabilidades zero-day em programas de software estratégicos, falhas que são desconhecidas até mesmo pelo desenvolvedor do software.
Esses esforços muitas vezes podem ser acionados por amadores com comandos simples. A empresa afirma que o novo modelo já identificou “milhares” de bugs e vulnerabilidades em programas de software populares, incluindo todos os principais sistemas operacionais e navegadores.
Uma das vulnerabilidades que o Claude encontrou, disse a empresa, foi um bug de 27 anos no OpenBSD, um sistema operacional de código aberto projetado para ser difícil de hackear. Muitos roteadores de internet e firewalls seguros incorporam a tecnologia do OpenBSD. Outra foi um problema de longa data em um software de vídeo popular que ferramentas de teste automatizadas haviam escaneado 5 milhões de vezes, sem encontrar nenhum problema.
“Este modelo é bom em encontrar vulnerabilidades que seriam bem compreendidas e encontráveis por pesquisadores de segurança”, disse Graham. “Ao mesmo tempo, ele encontrou vulnerabilidades e, em alguns casos, criou exploits sofisticados o suficiente para terem passado despercebidos por literalmente décadas de pesquisadores de segurança, assim como por todas as ferramentas automatizadas projetadas para encontrá-los.”
A indústria de cibersegurança vem se preparando há anos para o que modelos de IA mais capazes poderiam fazer à infraestrutura tecnológica crítica. Até recentemente, apenas pesquisadores humanos especializados e com acesso a ferramentas especializadas eram capazes de encontrar brechas de segurança mais graves. Agora, o medo é que um modelo de IA possa descobri-las por conta própria.
“Imagine uma horda de agentes catalogando metodicamente cada fraqueza em sua infraestrutura tecnológica, constantemente”, escreveu Nikesh Arora, CEO da Palo Alto Networks, em uma postagem de blog na semana passada.
Graham disse que uma das questões não respondidas sobre o Claude Mythos Preview, e outros modelos futuros que serão capazes de fazer coisas semelhantes, era se a maior parte ou todo o software crítico do mundo precisaria ser corrigido ou reescrito como resultado desses novos modelos.
“Há muitos sistemas realmente críticos ao redor do mundo, seja infraestrutura física ou coisas que protegem seus dados pessoais, que estão rodando em versões antigas de código”, disse Graham. “Se antes eles eram majoritariamente seguros porque exigia muito esforço humano para atacá-los, esse paradigma de segurança ainda funciona?”
É sensato receber com cautela as alegações sobre capacidades de modelos não lançados vindas de empresas de IA. Neste caso, porém, pesquisadores de cibersegurança que tiveram acesso ao Claude Mythos Preview caracterizaram o modelo como um risco significativo de cibersegurança.
Segundo Kaplan, as capacidades de cibersegurança do Claude Mythos Preview não são resultado de treinamento especial. Em vez disso, são apenas uma das muitas áreas em que o modelo é melhor que os anteriores. Ele previu que capacidades de cibersegurança semelhantes existirão em outros modelos em breve. À medida que isso acontecer, acrescentou, a disputa armamentista entre hackers e empresas correndo para defender seus sistemas só vai se intensificar.
“Como diz o slogan, este é o modelo menos capaz a que teremos acesso no futuro”, disse.
