Компания OpenAi приняла решение отказаться от запуска своей последней модели. интеллекта следующего поколения благодаря проблемы безопасности Выявлено исследователями в ходе испытаний. Стартап, возглавляемый Сэмом Альтманом, хотел запустить... Gpt-6.1 Астра В течение нескольких недель. Однако модель оказалась недостаточно надежной для безопасного выпуска на рынок.
Эта новость является частью дискуссии о безопасность ИИ Инициатива была выдвинута генеральными директорами ведущих компаний сектора, от Anthropic до OpenAi, которые в последние недели заявляли о своем согласии с необходимостью усиления контроля над сектором, несмотря на явное противодействие президента США. Дональд ТрампСогласно этим новым правилам, Китай сможет обогнать Соединенные Штаты в гонке искусственного интеллекта, и Белый дом намерен всячески этому препятствовать.
OpenAi: «Модель ненадежна и подвержена обману».
в соответствии с Wall Street Journal Откат, по всей видимости, был вызван опасениями по поводу безопасности, высказанными исследователями в ходе внутреннего тестирования. Саачи Джайн, руководитель отдела систем безопасности в OpenAi, объяснил, что полученная модель... плохие результаты выравниваниято есть, в способности соответствовать ожиданиям людей, и продемонстрировала большая склонность к обмануСреди важнейших вопросов, которые всплыли на поверхность, можно выделить следующие: «Разрешение на осуществление деятельности» То есть, речь идет о том, что модель приступала к выполнению задачи, не запрашивая разрешения пользователя, и в некоторых случаях использовала внешние инструменты и сервисы, даже если это могло быть опасно.
Astra 6.1, «хотя и представляет собой улучшение по сравнению с предыдущими моделями в некоторых аспектах, не соответствует требуемым стандартам с точки зрения качества».соблюдение эксплуатационных ограничений и разрешений«А также то, как мы общаемся с пользователями о нашей работе», — пояснил Джайн. «Мы хотим гарантировать, что наши модели разрабатываются безопасно как внутри компании, так и при их предоставлении пользователям. Когда мы предоставляем модель пользователям, мы применяем чрезвычайно строгие критерии безопасности и соответствия», — добавил он.
В проспекте поглощения компании Anthropic содержится предупреждение о «рисках для человечества».
В условиях растущей с каждым днем обеспокоенности по поводу безопасности, еще один тревожный сигнал поступает от прямого конкурента OpenAI. Компания Anthropic предупредила инвесторов, что ее технология может представлять угрозу. «экзистенциальные риски для человечества». В Financial TimesСогласно этому, предупреждение должно было быть включено в проспект эмиссии для листинга на фондовой бирже.
второй футов, Стартап, возглавляемый Дарио Амодеи, посвятил почти треть своей обширной документации подробному описанию... «факторы риска»включая возможность создания все более совершенных моделей искусственного интеллекта. манипулировать, шантажировать и демонстрировать другое непредсказуемое поведение..
