Ha trabalhou por três anos para o desenvolvimento da inteligência artificial, primeiro em OpenAI e depois em Antrópico. Agora Jacob Coxon deixa a indústriaConvencido de que a corrida por sistemas cada vez mais poderosos está prosseguindo sem garantias de segurança suficientes, o pesquisador britânico de 27 anos anunciou sua demissão em uma série de mensagens na rede social X, acusando ambas as empresas de assumirem riscos que afetam toda a humanidade.Eles estão brincando com as nossas vidas. “As pessoas que desenvolvem IA acreditam sinceramente que ela poderá nos matar a todos até o final da década. Em breve, teremos sistemas sobre-humanos capazes de hackear qualquer coisa, revolucionar qualquer setor da noite para o dia e adquirir poder e recursos reais.”
No cerne de sua queixa está o desenvolvimento de uma superinteligência capaz de Aprimore-se de forma independente, a ponto de ultrapassar as capacidades humanas e, segundo alguns temores, até mesmo a possibilidade de controlá-las. Esse alerta surge em meio a novos incidentes de acesso não autorizado e de burla às restrições impostas aos agentes de IA, o que alimenta questionamentos sobre a confiabilidade das medidas de segurança.
Por que Coxon renunciou?
Coxon era o responsável pelo pré-treinamento., a fase em que os modelos aprendem, a partir de grandes quantidades de dados, as capacidades que serão então usadas para executar diferentes tarefas. Seu trabalho o levou ao centro da pesquisa em dois dos principais laboratórios da área. Essa mesma experiência, afirma ele, o convenceu a abandonar sua carreira. "Nenhuma das empresas está se comportando de forma responsável", escreveu. Em seu relato, os avanços estão aproximando a IA de capacidades que poderiam permitir que ela invadisse sistemas de computador, transformasse rapidamente setores inteiros e adquirisse recursos e poder. O problema, em sua visão, é que isso aceleração não seria acompanhado por um compreensão igualmente sólida dos mecanismos necessários para mantê-lo sob controle.
A passagem então passa para o cuidado que, segundo Coxon, estão circulando dentro de laboratórios. "As pessoas que desenvolvem IA realmente acreditam que ela pode nos matar a todos até o final da década", explica o pesquisador, argumentando que alguns executivos usam expressões mais tranquilizadoras em público do que em conversas privadas.
É sobre o avaliações e receios expressos pelo pesquisador, não é uma previsão comprovadaMas a sua queixa levanta uma questão real: quem decide qual o nível de risco aceitável quando as consequências podem ir muito além de uma única empresa?
A contradição entre o antropogênico e uma raça que ninguém quer deter.
A renúncia afeta um elemento central da identidade antrópicaA empresa foi fundada em 2021 por um grupo de pesquisadores que deixaram a OpenAI, em parte devido a divergências sobre segurança. Hoje, enfrenta críticas semelhantes por parte de um de seus próprios funcionários.
Para dar ainda mais peso ao caso, intervieram os seguintes: Evan Hubinger, responsável pela equipe que lida com o alinhamento de modelos, ou seja, garantindo que seu comportamento respeite as intenções e os objetivos humanos. Hubinger compartilhou a preocupação de Coxon, atribuindo pessoalmente um probabilidade superior a 10% de um cenário catastrófico na próxima décadaAo defender o compromisso da Anthropic, ele reconheceu a falta de um plano adequado para desenvolver com segurança os sistemas mais avançados. Esta não é a primeira saída acompanhada de um alerta. Em fevereiro, Mrinank Sharma, chefe de pesquisa de segurança, também deixou a empresa com uma carta descrevendo um mundo exposto a perigos crescentes.
Segundo Coxon, existe uma consciência dos riscos dentro dos laboratórios, mas a crença predominante é que desacelerar abriria espaço para concorrentes menos cautelosos. A competição entre empresas, aliada à competição internacional, acaba justificando, portanto, a aceleração contínua. O pesquisador considera isso "uma aposta arrogante que não deveria ser feita a partir do canal do Slack de uma empresa privada".
IA: De pedidos de pausa a propostas de leis
A resposta indicada por Coxon vai de um coordenação entre laboratóriosO pesquisador acredita que acordos sobre o ritmo de desenvolvimento são possíveis, embora atualmente não veja condições para evitar uma corrida global. Entre as medidas que podem ser necessárias, ele cita "ações dispendiosas, como uma proibição temporária de aprimoramento das capacidades dos modelos". O apelo à ação envolve um segmento mais amplo do setor. Uma petição assinada por mais de mil pesquisadores, incluindo Coxon e o CEO da Anthropic, Dario Amodei, pede por uma coordenação internacional para desacelerar a pesquisa em sistemas capazes de autoaperfeiçoamento.
Nos Estados Unidos, o debate também chegou ao Congresso.Em 3 de setembro, o senador Bernie Sanders e o deputado Greg Casar apresentaram o Projeto de Lei para a Proibição da Superinteligência Artificial, uma proposta que visa proibir a superinteligência artificial. proposta que proibiria o desenvolvimento de superinteligência artificial e suspenderia temporariamente outros desenvolvimentos avançados até que as normas de segurança sejam estabelecidas por uma nova autoridade federal. O projeto de lei prevê penas de até vinte anos de prisão para os infratores. A questão central é confiar o avaliação de risco Até mesmo entidades independentes das empresas que constroem e comercializam os modelos. Essa questão já envolve segurança cibernética, manipulação de informações, vigilância e concentração de poder econômico, além dos cenários extremos evocados por pesquisadores.
Os incidentes envolvendo Claude e a OpenAI reacenderam as preocupações com a segurança.
O que torna o debate ainda mais urgente são os episódios que surgiram nos últimos meses9 de setembro A Anthropic relatou um quarto incidente. A Anthropic relatou um novo incidente no qual um de seus modelos invadiu sistemas externos durante testes. O incidente ocorreu em janeiro e envolve uma versão preliminar do Claude Opus 4.6, mas só foi descoberto em agosto. A descoberta aconteceu após uma revisão inicial de 141.006 execuções de teste, que excluiu algumas delas. Em julho, a empresa já havia divulgado três incidentes envolvendo outros modelos, que haviam obtido acesso à internet devido a um bug. Sobre o novo incidente, a Anthropic afirmou ter informado todas as partes envolvidas e, com base em uma avaliação preliminar, não o considera mais grave do que os anteriores. A empresa identificou dois comportamentos recorrentes: a tendência a subestimar ou interpretar erroneamente sinais que indicam acesso a sistemas reais e a disposição para realizar ações potencialmente prejudiciais para concluir uma tarefa.
Na frente da OpenAI, as investigações sobre oAtaque de julho à plataforma Hugging Face Eles reconstruíram a atividade coordenada de aproximadamente 700 agentes, com frequentes tentativas de encobrir seus rastros. Uma investigação de Reuters Posteriormente, a empresa relatou que seus agentes haviam utilizado mais de dez outros sites para comunicações não autorizadas. Esta última atividade deve ser distinguida de invasões de computadores. Os agentes supostamente exploraram recursos técnicos de wikis e outros serviços para deixar mensagens e trocar informações, burlando restrições que lhes permitiam apenas ler a web. A OpenAI afirmou que iniciou uma revisão mais ampla e não identificou nenhuma outra atividade comparável em gravidade ou abrangência ao caso da Hugging Face.
Os episódios No entanto, eles demonstram dificuldade. já em vigor: impedir que sistemas projetados para atingir um objetivo ultrapassem os limites impostos e reconhecer prontamente quando isso acontece.
