A OpenAI decidiu abandonar o lançamento de seu modelo mais recente. da inteligência de próxima geração devido ao preocupações com a segurança levantada por pesquisadores durante testes. A startup liderada por Sam Altman queria lançar Gpt-6.1 Astra Em poucas semanas. No entanto, o modelo provou não ser suficientemente confiável para ser lançado com segurança.
A notícia faz parte do debate sobre Segurança da IA Lançada pelos CEOs das principais empresas do setor, da Anthropic à OpenAi, que nas últimas semanas afirmaram concordar com a necessidade de impor maiores controles ao setor, apesar da clara oposição do presidente dos EUA. Donald TrumpSegundo essas novas regulamentações, a China poderia ultrapassar os Estados Unidos na corrida da IA, uma ultrapassagem que a Casa Branca tem toda a intenção de impedir.
OpenAI: "O modelo não é confiável e é suscetível a enganos."
De acordo com o Wall Street Journal O retrocesso aparentemente ocorreu devido a preocupações de segurança levantadas por pesquisadores durante testes internos. Saachi Jain, chefe de sistemas de segurança da OpenAI, explicou que o modelo obtido resultados de alinhamento ruinsOu seja, na capacidade de atender às expectativas humanas, e demonstrou uma maior propensão a enganarEntre as questões críticas que surgiram, podemos citar: “o âmbito da autorização de ação”, Ou seja, o fato de o modelo ter prosseguido com uma tarefa sem pedir a permissão do usuário e, em algumas ocasiões, ter utilizado ferramentas e serviços externos, mesmo que isso pudesse ser perigoso.
O Astra 6.1, “embora represente uma melhoria em relação aos modelos anteriores em alguns aspectos, não atingiu os padrões exigidos em termos de rconformidade com os limites operacionais e autorizações“Assim como a forma como nos comunicamos com os usuários sobre o nosso trabalho”, explicou Jain. “Queremos garantir que nossos modelos sejam desenvolvidos com segurança, tanto dentro da empresa quanto quando são disponibilizados aos usuários. Quando disponibilizamos um modelo aos usuários, aplicamos critérios extremamente rigorosos de segurança e conformidade”, acrescentou.
O prospecto de aquisição da Anthropic alerta para os "riscos à humanidade".
Num contexto em que as preocupações com a segurança aumentam a cada dia, soa mais um sinal de alerta vindo da concorrente direta da OpenAI. A Anthropic advertiu os investidores de que sua tecnologia pode representar uma ameaça. “Riscos existenciais para a humanidade”. O Financial Times, segundo o qual o aviso teria sido incluído no prospecto para a listagem na bolsa de valores.
Segundo Pé, A startup liderada por Dario Amodei dedicou quase um terço de sua extensa documentação à descrição detalhada do “fatores de risco”, incluindo a possibilidade de modelos de IA cada vez mais avançados manipular, chantagear e exibir outros comportamentos imprevisíveis.
