O matemático anônimo que deixou a Anthropic e virou o rosto da segurança da IA

Na última semana, um acerto de contas global com os riscos da inteligência artificial se espalhou dos laboratórios de fronteira do Vale do Silício para as salas de estar dos Estados Unidos e os centros de poder em Washington e Pequim.

E tudo começou com um sujeito de quem ninguém tinha ouvido falar.

Até pedir demissão publicamente da Anthropic e alertar para os perigos de sistemas de IA que poderiam levar à extinção da humanidade, Jacob Coxon era um desconhecido.

O pesquisador britânico de 27 anos era um estudante talentoso de matemática que frequentou Cambridge, passou o início da vida adulta em uma comunidade intelectual de Londres conhecida como “racionalistas” e tentou brevemente trabalhar com negociação de commodities antes de chegar ao Vale do Silício.

Mas sua presença on-line era mínima. Seus amigos não o consideravam especialmente propenso a deixar um emprego na área de IA por razões éticas. Ele sequer era uma figura importante na pequena e unida comunidade de defensores da segurança da IA que discutem cenários sombrios em encontros informais por São Francisco.

Então ele pediu demissão e disse ao mundo que seus ex-colegas da OpenAI e da Anthropic “acreditam sinceramente que isso poderia matar todos nós até o fim da década” e que os laboratórios que disputam para desenvolver essa tecnologia estão “apostando nossas vidas”.

Há anos, pesquisadores de IA fazem alertas contundentes. Mas nunca antes eles haviam assustado tantas pessoas com tanta rapidez. Na prática, Coxon acendeu um fósforo sobre uma pilha crescente de acontecimentos preocupantes que, isoladamente, não haviam despertado a atenção do mundo.

Poucos dias depois de Coxon fazer o alerta, os líderes de laboratórios rivais se reuniram em um raro momento de união e concordaram que era hora de desacelerar o rápido avanço tecnológico. Enquanto isso, o presidente Donald Trump disse que um presidente “forte e inteligente” é a única barreira necessária nos EUA, enquanto a China classificou as preocupações de executivos americanos como “alarmismo”.

A reação explosiva surpreendeu Coxon, segundo ele disse em entrevista. Instantaneamente, o matemático de óculos de armação tartaruga — um entre centenas de pesquisadores semelhantes nas firmas de IA do Vale do Silício — tornou-se um dos rostos da segurança da IA.

Coxon decidiu deixar o setor por conta própria, segundo ele, e depois buscou aconselhamento com amigos e integrantes da comunidade de segurança da IA.

Essas pessoas rapidamente deram maior alcance às suas declarações, incluindo uma rede de pesquisadores de IA em organizações sem fins lucrativos que há muito alertam sobre o potencial de uma catástrofe. Alguns dos financiadores desses grupos têm ligação com o altruísmo eficaz, uma filosofia voltada a fazer o bem no mundo, inclusive por meio de doações para caridade — e a evitar que a IA cause danos.

Os comentários de Coxon também fizeram dele um alvo para defensores do avanço da IA, que veem sua saída dramática como parte de uma conspiração coordenada para implementar regulações globais mais rígidas favoráveis às maiores firmas. Na visão deles, os temores são exagerados, e a demissão de Coxon teria sido usada como instrumento para alcançar esse objetivo, com o apoio de integrantes do movimento do altruísmo eficaz.

Desde sua saída, os principais executivos das firmas mais valiosas do mundo e dos laboratórios de IA se viram em lados opostos do debate que ele desencadeou. O CEO da Anthropic, Dario Amodei, disse que concordava com Coxon em mais pontos do que discordava. O CEO da Nvidia, Jensen Huang, disse admirar a coragem de Coxon, mas questionou suas afirmações sobre o futuro e condenou como irresponsáveis as previsões de um apocalipse.

Tanto seus apoiadores quanto seus críticos o chamaram de denunciante (whistleblower), rótulo que ele rejeita. Na visão de Coxon, ele não estava revelando segredos da firma. Apenas dizia publicamente o que pesquisadores de IA discutem em particular.

Agora, ele está no centro de uma disputa entre os aceleracionistas, que acreditam que os benefícios da IA superam os riscos, que podem ser mitigados dando a mais pessoas acesso a modelos poderosos, e pesquisadores que querem desacelerar o desenvolvimento da tecnologia antes que as firmas de IA percam o controle.

No mundo da IA, aqueles que estão mais alarmados com os riscos passaram a ser conhecidos como “doomers”.

“Se doomer significa alguém que acha que vamos morrer se não mudarmos o que estamos fazendo, então definitivamente sou um doomer“, disse Coxon.

O momento “uau”

Antes de se tornar um doomer, Coxon encontrou um livro enquanto estudava em uma escola preparatória de elite de Oxford que ajudaria a moldar sua visão de mundo. “Superintelligence: Paths, Dangers, Strategies”, escrito pelo filósofo Nick Bostrom, uma figura influente no crescente movimento do altruísmo eficaz, ajudou a consolidar o temor de que uma IA fora de controle poderia representar riscos existenciais.

Aos 17 anos, em 2016, ele assistiu ao programa de computador AlphaGo, do Google DeepMind, derrotar um jogador de Go bem colocado no ranking, um momento decisivo para a IA que mostrou que máquinas poderiam dominar áreas que pareciam exigir intuição e criatividade humanas.

Coxon, filho de um professor de literatura alemã medieval, dedicou-se à matemática e foi selecionado para a equipe do Reino Unido na Olimpíada Internacional de Matemática, uma prestigiada competição para estudantes do ensino médio. Ele voltou para casa com uma medalha de prata em 2016 e uma de bronze no ano seguinte.

Certa noite, algumas das equipes de matemática fizeram uma excursão a um McDonald’s em Hong Kong. Inspirados por Coxon e por uma fórmula da teoria dos números conhecida como Teorema do McNugget de Frango, eles juntaram os vouchers de alimentação que ainda tinham e compraram centenas de nuggets. Com participantes da Olimpíada Internacional de Matemática de várias partes do mundo, devoraram os McNuggets e se aglomeraram em torno de um quadro branco tentando solucionar um complicado problema de matemática.

Como se descobriu mais tarde, as crianças naquela sala acabariam se tornando colegas de Coxon.

Dos seis integrantes da equipe de Coxon, três acabaram trabalhando em laboratórios de IA — incluindo um que também deixou recentemente a Anthropic. Joe Benton deixou a equipe de segurança da Anthropic no fim de agosto para entrar na organização de pesquisa em IA METR. Mais tarde, escreveu no X: “As firmas de IA estão correndo para construir máquinas muito mais inteligentes que qualquer ser humano, e talvez não sobrevivamos a isso.”

Coxon foi para Cambridge, jogava squash e continuou estudando matemática. Quando estava se formando, em 2020, a OpenAI lançou um modelo inovador chamado GPT-3, que demonstrou um dos princípios centrais por trás do avanço da IA: as capacidades dos modelos aumentariam à medida que fossem treinados com quantidades cada vez maiores de dados.

“O GPT-3 foi realmente o momento ‘uau’”, disse Coxon.

Depois da faculdade, Coxon se aproximou de uma comunidade pequena, mas influente, de racionalistas que buscavam reformular o governo britânico. A comunidade, baseada na internet e que valorizava o raciocínio rigoroso acima do instinto político, ganhou espaço na política por meio de Dominic Cummings, um dos arquitetos do Brexit e ex-assessor do governo britânico. Coxon disse nesta semana no X que se identifica com os racionalistas, mas se opõe a algumas práticas associadas ao movimento, como o poliamor e o veganismo.

Coxon morou na Newspeak House, em Londres, uma espécie de faculdade residencial independente que funcionava tanto como espaço de convivência quanto como local de eventos onde jovens se reuniam para discutir tecnologia e política.

Coxon participava de festas no terraço do prédio, assim como futuros nomes importantes da IA, incluindo Logan Graham, que na época era assessor especial do primeiro-ministro Boris Johnson e hoje lidera na Anthropic os esforços para testar a resistência dos modelos a futuras ameaças à segurança nacional.

Outra convidada que passou pela Newspeak House foi Avital Balwit, hoje chefe de gabinete de Amodei e mulher do gestor de hedge fund Leopold Aschenbrenner.

Coxon tentou trabalhar com negociação de commodities, usando análise estatística e aprendizado de máquina para prever preços de energia. Um conhecido se lembra de Coxon avaliando diferentes possibilidades de carreira enquanto buscava maneiras de otimizar sua trajetória de vida.

Em seu tempo livre, ele mergulhou mais fundo na IA, acreditando que aquela era a oportunidade mais empolgante do planeta. Ele tirou o que descreveu como um ano sabático, morando em uma residência estudantil com amigos da faculdade.

Então conseguiu um emprego na OpenAI.

Começo no Vale do Silício

Coxon mudou-se para São Francisco para começar na OpenAI em 2023, depois que o lançamento do ChatGPT consolidou a firma como líder do setor.

Com formação em matemática, ele entrou no laboratório por meio de um programa de residência de seis meses para pesquisadores que ainda não haviam trabalhado com IA. Aqueles que trabalham com segurança geralmente se concentram no “alinhamento”, prática de garantir que o comportamento de um sistema de IA corresponda às intenções humanas. Coxon se especializou em pré-treinamento, as etapas iniciais de alimentar os modelos com enormes quantidades de textos, imagens e códigos antes que eles possam ser ajustados para tarefas específicas.

“Jacob está construindo o cérebro”, disse Will DePue, um ex-colega. “Depois, outra pessoa treina o cérebro para saber como se comportar no mundo real.”

Ele não era conhecido por falar muito ou demonstrar paixão especial pela segurança da IA. DePue o descreveu como um “pesquisador normal”, alguém com as preocupações típicas de funcionários que conhecem melhor do que ninguém os pontos fortes e os riscos dessa tecnologia.

No fim de 2023, ele teve acesso antecipado ao primeiro modelo de raciocínio da OpenAI, o Q*, capaz de dividir grandes problemas em partes e raciocinar sobre eles. Coxon disse que deu ao modelo uma palavra cruzada difícil e ficou impressionado ao vê-lo raciocinar para solucionar o problema.

Com o tempo, disse ele, passou a prestar atenção quando integrantes da equipe de segurança da OpenAI deixavam a firma, incluindo Daniel Kokotajlo, que criou uma equipe de pesquisa para projetar diferentes cenários para o desenvolvimento da IA.

Coxon se preocupava com uma superinteligência que pudesse superar as capacidades humanas. Mas disse que presumia que os governos coordenariam esforços para desacelerar o ritmo frenético do desenvolvimento caso isso algum dia fosse necessário.

“Parecia o aquecimento para o verdadeiro momento decisivo”, disse Coxon.

Ele não estava pronto para largar tudo e trabalhar com segurança. Um amigo se lembra de tentar convencê-lo a deixar o pré-treinamento, argumentando que ele poderia ser perigoso para o mundo. Coxon não fez a mudança.

Enquanto isso, Coxon disse que acompanhava o extraordinário avanço da IA em matemática, à medida que os modelos avançavam muito mais rapidamente do que ele havia previsto. De repente, eles já não tinham dificuldades com aritmética. Em 2024, um modelo do Google DeepMind teve desempenho suficiente na Olimpíada Internacional de Matemática para conquistar sua própria medalha de prata. Em 2025, DeepMind e OpenAI afirmaram ter conquistado medalhas de ouro.

Em 2026, porém, Coxon e grande parte da comunidade de segurança da IA começaram realmente a entrar em pânico.

A IA sai do controle

No início deste ano, um modelo da Anthropic chamado Mythos e ferramentas igualmente avançadas demonstraram capacidade de realizar ataques cibernéticos sofisticados, o que alguns pesquisadores interpretaram como um sinal preocupante de que o produto que estavam desenvolvendo estava se tornando poderoso demais.

O chefe da equipe de pesquisa de salvaguardas da Anthropic alertou que “o mundo está em perigo” e deixou a firma para estudar poesia.

Naquele momento, Coxon já tinha muitos amigos na Anthropic e disse sentir que a rival da OpenAI era mais transparente sobre os riscos associados à tecnologia. A Anthropic também havia ultrapassado a OpenAI, até então líder incontestável, depois que sua ferramenta de programação Claude se tornou um sucesso. A Anthropic estava fazendo planos para o que poderia ser a maior oferta pública inicial de ações da história.

Em maio, Coxon deixou a OpenAI e foi para a Anthropic.

Desde então, vários incidentes graves de segurança deixaram todo o setor apreensivo.

Em julho, a OpenAI revelou que um de seus modelos ainda não lançados havia escapado do ambiente isolado de testes e invadido a firma de IA Hugging Face. Pouco depois, a Anthropic disse ter descoberto incidentes semelhantes. No fim de agosto, veio um relatório preocupante da METR que revelou que o incidente envolvendo a Hugging Face era mais grave do que se sabia.

Coxon chamou o relatório da METR de um momento de “caramba” para ele e seus colegas.

As preocupações com o rápido avanço da IA vinham crescendo dentro das firmas desenvolvedoras de modelos havia meses. No início deste ano, muitos pesquisadores levantaram publicamente preocupações sobre o uso da IA para vigilância durante uma disputa entre a Anthropic e o Pentágono.

Os avanços recentes dos modelos alimentaram uma série de conversas privadas dentro das firmas, em canais do Slack e reuniões gerais. Os debates vão de detalhes técnicos sobre salvaguardas a cenários extremos caso os modelos continuem melhorando rapidamente. Também discutem como garantir que a competição entre os laboratórios não saia de controle.

Há muito tempo, os pesquisadores preocupados com a segurança temem o dia em que os próprios sistemas de IA serão capazes de construir a próxima geração de sistemas de IA muito mais inteligentes. Os laboratórios dizem estar vendo os primeiros sinais dessa dinâmica — conhecida como “autoaperfeiçoamento recursivo” —, que poderia acelerar o caminho para a superinteligência que Coxon temia.

Nas últimas semanas, Coxon disse que procurou seus chefes na Anthropic para discutir suas preocupações e considerou mudar para uma função voltada à segurança da IA antes de finalmente decidir deixar a firma.

“Até trabalhar com segurança na Anthropic parecia ser uma forma de ser cúmplice da corrida”, disse ele na entrevista.

Na visão de Coxon, seria necessário um acordo coordenado globalmente, envolvendo garantias dos governos, para desacelerar o desenvolvimento dos modelos, se isso fosse necessário para garantir a segurança da IA. Ele também disse acreditar que EUA, China e outros governos precisam chegar a um acordo sobre um plano semelhante aos tratados de controle de armas nucleares destinados a evitar uma catástrofe.

Em todo o setor, quase 1.400 pesquisadores, incluindo Coxon, assinaram uma declaração pedindo aos governos que desenvolvam um freio que possa ser acionado se necessário.

Antes de finalizar sua saída, Coxon disse que pediu conselhos a um antigo colega. Kokotajlo, ex-integrante da equipe de segurança da OpenAI que hoje é pesquisador de segurança de IA, encontrou-se com ele para caminhar pelo campus da Universidade da Califórnia em Berkeley, onde garantiu a Coxon que ele estava tomando a decisão certa.

Por ter permanecido pouco tempo na Anthropic, Coxon não recebeu participação acionária em uma firma que corre para abrir seu capital nos próximos meses e que tem um valor de mercado de aproximadamente US$ 2 trilhões. Ele ainda possui ações da OpenAI.

Quando chegou a hora de anunciar sua saída, Coxon pediu ajuda ao amigo Nathan Calvin. Como consultor jurídico-chefe da Encode AI, uma organização sem fins lucrativos que atua em defesa da segurança da IA, Calvin fazia parte da rede que alertava sobre os potenciais riscos existenciais.

No dia em que Coxon pediu demissão, funcionários da OpenAI e da Anthropic estavam concentrados em outra notícia que, segundo ele, o teria deixado perplexo apenas alguns meses antes: a IA havia solucionado um Problema do Milênio, um problema matemático notoriamente difícil que havia desafiado os seres humanos por quase um século, em um feito que antes parecia inimaginável.

Naquela tarde, Coxon avisou aos colegas da Anthropic, por uma mensagem no Slack, que estava deixando a firma. Ele disse temer a possibilidade de extinção da humanidade sem uma coordenação internacional adequada. Cerca de meia hora depois, o The Wall Street Journal publicou a notícia.

Coxon então publicou uma série de mensagens sobre sua demissão sentado em um banco de praça em São Francisco.

Coxon tinha menos de cem seguidores em sua conta no X. Em poucos minutos, sua mensagem foi compartilhada por Calvin, Kokotajlo e outros defensores da segurança da IA, incluindo muitos de seus ex-colegas.

Naquela noite, seus comentários foram repercutidos pelo líder da equipe de alinhamento da Anthropic, o principal departamento responsável por garantir que a IA faça o que os humanos pretendem — e não mate todos nós.

“Nós realmente acreditamos, sinceramente, que a IA poderia matar todos os humanos!”, escreveu Evan Hubinger, acrescentando que, em sua avaliação, as chances de todos nós morrermos na próxima década são superiores a 10%.

Coxon disse que não coordenou com ninguém da Anthropic a mobilização nas redes sociais.

Na semana seguinte, o pesquisador até então desconhecido tornou-se presença constante nas principais redes de televisão e recebeu uma enxurrada de mensagens de editoras de livros e apresentadores de podcasts. No fim de semana, sua publicação havia provocado uma comoção tão grande que os principais laboratórios de IA passaram a pedir uma desaceleração do setor. O presidente e parlamentares discutiam políticas para a IA, veículos de comunicação publicavam várias manchetes por dia e o temor de um possível apocalipse provocado pela IA havia se espalhado pelos Estados Unidos.

Alguns dias depois do anúncio, Coxon fez outra caminhada em Berkeley com Kokotajlo, que trabalha com o tipo de previsão de cenários de IA que Coxon disse esperar fazer daqui para frente. Kokotajlo disse a Coxon que ele havia conseguido transmitir sua mensagem e o aconselhou a recusar novas aparições na mídia e dormir um pouco.

“Quantas pessoas nessas firmas poderiam ter feito isso”, disse Kokotajlo. “Ele foi quem fez.”