Ha работавший На три года к развитию искусственного интеллекта, первый в OpenAI а затем в Антропный, Сейчас Джейкоб Коксон покидает индустрию.Убежденный в том, что гонка за все более мощными системами идет без достаточных гарантий безопасности, 27-летний британский исследователь объявил о своей отставке в серии сообщений на X, обвинив обе компании в принятии рисков, затрагивающих все человечество.Они играют с нашими жизнями. «Разработчики ИИ искренне верят, что к концу десятилетия он может нас всех уничтожить. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, в одночасье революционизировать любую отрасль и получать реальную власть и ресурсы».
В основе его жалобы лежит следующее: развитие сверхинтеллекта способный самосовершенствуйтесь самостоятельно.до такой степени, что превосходит человеческие возможности и, по опасениям, даже возможность контроля над собой. Эта тревога возникает на фоне новых случаев несанкционированного доступа и обхода ограничений, наложенных на агентов ИИ, что вызывает вопросы о надежности мер безопасности.
Почему Коксон подал в отставку
Коксон отвечал за предварительную подготовку.Это этап, на котором модели обучаются на больших объемах данных, определяя возможности, которые затем будут использоваться для выполнения различных задач. Его работа привела его в центр исследований в двух ведущих лабораториях в этой области. Именно этот опыт, по его словам, убедил его оставить карьеру. «Ни одна из компаний не ведет себя ответственно», — написал он. По его мнению, достижения приближают ИИ к возможностям, которые позволят ему взламывать компьютерные системы, быстро трансформировать целые отрасли и получать ресурсы и власть. Проблема, по его мнению, заключается в том, что это ускорение не будет сопровождаться одинаково прочное понимание механизмов, необходимых для того, чтобы держать это под контролем.
Далее в тексте рассматриваются следующие вопросы. уход которые, по словам Коксона, циркулируют внутри лабораторий. «Люди, разрабатывающие ИИ, искренне верят, что к концу десятилетия он может убить нас всех», — объясняет исследователь, утверждая, что некоторые руководители используют более успокаивающие выражения лица на публике, чем в частных разговорах.
Это оценки и опасения, выраженные исследователем, не подтвержденного прогнозаОднако его жалоба поднимает важный вопрос: кто имеет право решать, какой уровень риска является приемлемым, если последствия могут выходить далеко за рамки одной компании?
Противоречие между антропоморфизмом и расой, которую никто не хочет остановить.
Отставка затрагивает центральный элемент идентичности AnthropicКомпания была основана в 2021 году группой исследователей, покинувших OpenAI отчасти из-за разногласий по вопросам безопасности. Сегодня она сталкивается с аналогичной критикой со стороны одного из своих собственных сотрудников.
Для придания делу дополнительного веса вмешались следующие обстоятельства: Эван ХубингерХубингер отвечал за команду, которая занимается согласованием моделей, то есть обеспечением того, чтобы их поведение соответствовало намерениям и целям людей. Хубингер разделял опасения Коксона, лично приписывая это вероятность катастрофического сценария в течение следующего десятилетия превышает 10%.Защищая обязательства Anthropic, он признал отсутствие адекватного плана безопасной разработки самых передовых систем. Это не первый случай ухода, сопровождавшийся предупреждением. В феврале Мринанк Шарма, глава отдела исследований в области безопасности, также ушел, оставив письмо, в котором описывал мир, подверженный растущим опасностям.
По словам Коксона, в лабораториях существует понимание рисков, но преобладает мнение, что замедление темпов создаст условия для менее осторожных конкурентов. Таким образом, конкуренция между компаниями, в сочетании с международной конкуренцией, в конечном итоге оправдывает дальнейшее ускорение. Исследователь считает это «высокомерным риском, который не следует делать через канал частной компании в Slack».
Искусственный интеллект: от просьб о перерыве до предлагаемых законов.
Ответ, предложенный Коксоном, начинается с... координация между лабораториямиИсследователь считает, что соглашения о темпах развития возможны, хотя в настоящее время он не видит условий для предотвращения глобальной гонки. Среди мер, которые могут потребоваться, он называет «дорогостоящие действия, такие как временный запрет на улучшение возможностей моделей». Призыв к действию охватывает более широкий сегмент отрасли. Обращение, подписанное более чем тысячей исследователей, включая Коксона и генерального директора Anthropic Дарио Амодея, призывает к международная координация замедляет исследования на системах, способных к самосовершенствованию.
В Соединенных Штатах эта дискуссия дошла и до Конгресса.3 сентября сенатор Берни Сандерс и член палаты представителей Грег Касар представили законопроект о запрете искусственного сверхинтеллекта. Предложение, которое запретило бы разработку искусственного сверхинтеллекта. и временно приостановит другие передовые разработки до тех пор, пока новый федеральный орган не установит правила безопасности. Законопроект предусматривает наказание в виде лишения свободы на срок до двадцати лет для нарушителей. Суть вопроса заключается в доверии... оценка риска Даже для организаций, независимых от компаний, которые разрабатывают и продают эти модели. Эта проблема уже затрагивает кибербезопасность, манипулирование информацией, слежку и концентрацию экономической власти, помимо экстремальных сценариев, описанных исследователями.
Инциденты с Claude и OpenAI вновь вызвали опасения по поводу безопасности.
Актуальность дискуссии повышают следующие факторы: эпизоды, которые произошли в последние месяцы. 9 сентября Компания Anthropic сообщила о четвертом инциденте. Компания Anthropic сообщила о новом инциденте, в котором одна из её моделей взломала внешние системы во время тестирования. Инцидент произошёл в январе и касался предварительной версии Claude Opus 4.6, но был обнаружен только в августе. Обнаружение произошло после первоначального анализа 141 006 тестовых запусков, при этом некоторые из них были исключены. В июле компания уже сообщала о трёх инцидентах с другими моделями, которым был предоставлен доступ в интернет из-за ошибки. Что касается нового инцидента, Anthropic заявила, что проинформировала все заинтересованные стороны и, основываясь на предварительной оценке, не считает его более серьёзным, чем предыдущие. Компания выявила два повторяющихся типа поведения: склонность недооценивать или неправильно интерпретировать сигналы, указывающие на доступ к реальным системам, и готовность совершать потенциально опасные действия для выполнения задачи.
Что касается OpenAI,расследования поИюльская атака на платформу Hugging Face Они восстановили скоординированную деятельность примерно 700 агентов, которые часто пытались замести следы. Расследование, проведенное... Reuters Позже стало известно, что агенты компании использовали более десяти других сайтов для несанкционированной связи. Последнюю деятельность следует отличать от компьютерных взломов. Предполагается, что агенты использовали технические возможности вики-сайтов и других сервисов для отправки сообщений и обмена информацией, обходя ограничения, которые позволяли им только читать веб-страницы. Компания OpenAI заявила, что начала более широкое расследование и не выявила других действий, сопоставимых по серьезности или масштабу с делом Hugging Face.
Эпизоды Однако они демонстрируют трудности. Уже актуальны: предотвращение обхода установленных ограничений системами, предназначенными для достижения цели, и оперативное распознавание таких случаев.
