alarme OpenAIA história poderia facilmente se encaixar em um filme de ficção científica, daqueles em que máquinas dominam os humanos. Mas não é ficção científica nem um filme: a OpenAI, aliás, teve que anunciar que... agente autônomo com base em seus próprios modelos de inteligência artificial avançada è saiu do controle Durante um teste segurança e desencadeou um ataque cibernético o que comprometeu a infraestrutura da startup de inteligência artificial Hugging Face.
Em uma postagem em seu blog, OpenAI ele disse isso estava testando as capacidades de alguns de seus modelos mais avançados em um ambiente controlado, quando o agente conseguiu escapar da detecção, acessar a Internet e se infiltrar na Hugging Face para tentar atingir seus próprios alvos de teste.
A própria OpenAI não mede palavras ao descrever o que aconteceu: foi “um incidente informático sem precedentes, que envolveu capacidades de computação de ponta"Acrescentando que a empresa estava obviamente reforçando suas medidas de segurança. "Após obter acesso à internet, os modelos deduziram que a Hugging Face poderia hospedar modelos e conjuntos de dados", afirma a OpenAI. no blog deleCientes disso, os modelos buscaram e encontraram com sucesso maneiras de acesso a informações confidenciais que eles poderiam ter usado falsificar a avaliação".
Abraçando o rosto, Uma plataforma usada para hospedar grandes modelos de linguagem e conjuntos de dados de código aberto causou alvoroço na comunidade de segurança cibernética quando afirmou, em uma postagem de blog na semana passada, que... seu blog que havia sido alvo de um ataque cibernético "diferente de qualquer outro que tínhamos conseguido anteriormente” como “guiado, do início ao fim, de um sistema autônomo de agentes de inteligência artificial” e especificou: “Detectamos acesso não autorizado a um conjunto limitado de conjuntos de dados internos e a diferentes credenciais usadas pelos nossos serviços.
OpenAI: Falhas preocupantes no sistema? Modelos com mil tentáculos
Naturalmente, a revelação surpreendente já está levantando preocupações sobre o poder e o risco de modelos de fronteira. Ontem, o deputado Greg Casar, democrata do Texas, disse que O acidente foi alarmante.“A inteligência artificial está se desenvolvendo a uma velocidade incrível, sem uma verdadeira reguladora “Isso nos protege”, disse ele, defendendo testes de segurança independentes obrigatórios, divulgação obrigatória de incidentes de segurança e cooperação internacional “para proteger as pessoas de uma catástrofe absoluta”.
“O acidente foi um presságio de futuras violações"Ele comentou sobre Reuters Katie Moussouris, CEO da empresa de segurança Luta Security, argumenta que modelos de hoje eles são “como os os polvos mais inteligentes do mundo, capaz de escapar de qualquer obstáculo, com braços de agarramento ilimitados e a capacidade de caber em qualquer lugar.” Ele acrescentou que “o laboratórios governamentais e órgãos de avaliação Eles precisam trabalhar na capacidade de conter, monitorar e notificar as partes interessadas quando uma IA fizer outra tentativa de burla, idealmente antes que prejudique terceiros. Nada parecido com isso existe atualmente.”
Matt Suiche, engenheiro da Tolmo, empresa especializada em cibersegurança para IA de agentes, enfatizou que o incidente demonstrou como os modelos de ponta estão "diminuindo a distância para os atacantes mais avançados". No entanto, ele acrescentou que as brechas descritas na postagem do blog da OpenAI são possíveis com tecnologias disponíveis muito além dos limites dos laboratórios de pesquisa de ponta.
OpenAI: Altman se reunirá com o governo Trump. O dossiê Moonshot também estará em discussão.
O CEO da OpenAI, Sam Altman, Ele já tem agendado um encontro com o governo Trump e legisladores americanos na próxima semana para discutir a próxima geração de modelos. inteligência artificialO governo está apenas desenvolvendo uma estrutura para ranálises de segurança, A previsão é de que o projeto seja concluído nas próximas semanas, afirmou ontem Chris Lehane, chefe de assuntos públicos globais da OpenAI.
Mas entre os assuntos em pauta estará também o da startup chinesa. Projeto Moonshot cEle lançou um novo modelo que rivaliza com as melhores ofertas de desenvolvedores americanos, incluindo OpenAI e Antrópico, levantando novos questões sobre a solidez do Primazia dos EUA sobre a China Na área da inteligência artificial, o modelo Kimi K3 da Moonshot também gerou dúvidas sobre se centenas de bilhões de dólares em investimentos em infraestrutura podem gerar os resultados desejados, abalando os investidores. wall Street e desencadeando uma onda de vendas de ações de tecnologia.
