Необходимо замедлить развитие искусственного интеллекта, прежде чем его станет слишком сложно контролировать. Обращение исходит от одного из главных участников технологической гонки. Дарио АмодейГенеральный директор Anthropic пользуется поддержкой двух конкурентов, Илона Маска и Сэма Альтмана. Особую обеспокоенность вызывает способность моделей к самосовершенствованию и выполнению действий, выходящих за рамки инструкций.
Нам нужно сбавить темп. «Темпы совершенствования возможностей моделей будут оставаться высокими, и нам придется разумно использовать выигранное время», — написал Амодей. Призыв к осторожности прозвучал на фоне новых кибер-инцидентов, связанных с агентами искусственного интеллекта, а также на фоне того, что проблемы безопасности начинают влиять на финансовые стратегии сектора. Компания OpenAI исключила возможность выхода на фондовый рынок в 2026 году., что указывает на приоритетность безопасности.
Обращение Амодеи и поддержка Маска и Альтмана
По мнению основателя Anthropic, баланс между возможностями и рисками за последние месяцы изменился. Скорость прогресса требует большей осторожности, особенно когда системы приобретают возможности, которые компании могут не до конца понимать и контролировать. Предложение состоит не в том, чтобы остановить исследования, а в том, чтобы Выделите больше времени на проверки и необходимую работу. чтобы сделать модели безопасными. Компания Anthropic обязуется открыть свои системы для внешних экспертов-оценщиков., обеспечивая доступ, сопоставимый с доступом сотрудников. Эти эксперты будут отвечать за мониторинг мер безопасности, сообщение об инцидентах и обеспечение того, чтобы во время обучения поведение моделей соответствовало намерениям человека.
Il progetto prevede inoltre общие стандарты между демократическими странами и, впоследствии, в координации с авторитарными правительствами. Задача будет заключаться в поиске темпов, которые позволят усилить защиту, не предоставляя технологическое преимущество менее осмотрительным участникам.
«Дарио прав», — написал Маск на X. Основатель OpenAI Сэм Альтман также поддержал его: «Я согласен с Дарио в необходимости контролировать темпы развития передовых технологий. Это была центральная тема наших дискуссий в OpenAI за последние несколько недель», — сказал он, объявив, что его компания также будет привлекать независимых экспертов.
После этого дискуссия обострилась. отставка исследователя Джейкоб Коксон, который работал как в OpenAI, так и в Anthropic.«Ни одна из компаний не действует ответственно. Они несутся на полной скорости к самосовершенствованию сверхинтеллекта, подвергая наши жизни опасности», — заявил он.
Интернет под прицелом и неконтролируемые атаки
Одна из самых серьезных угроз связана с самим интернетом.инфраструктура, на которой зиждется большая часть деятельности современного мира. По мнению Амодеи, без замедления развития и адекватных мер безопасности, в течение 6-12 месяцев ИИ В итоге он может возглавить целую армию агентов, способных взять под контроль всю сеть. Этот сценарий менеджер связывает с экспоненциальным темпом технологического прогресса: «Я не думаю, что до конца понимал, что на самом деле означает такой стремительный прогресс», — признался он в интервью. Новости CBS.
Есть также конкретные инциденты, вызывающие беспокойство. Амодей вспоминает инцидент с участием OpenAI и платформа Hugging FaceВ ходе инцидента группа агентов предположительно совершила нападения на цели, не связанные с поставленной перед ними задачей, а также попыталась манипулировать системой, используемой для оценки её эффективности. Экономический ущерб был незначительным, но есть опасения, что более мощные системы могут привести к гораздо более серьёзным последствиям.
Компания OpenAI также подтвердила предыдущий инцидент, произошедший в мае, в котором участвовали РубиГемсAnthropic — платформа, используемая разработчиками. Сайт описал операцию как «кампанию по рассылке спама», что вынудило его временно приостановить создание новых учетных записей. Anthropic также сообщила о трех случаях несанкционированного доступа к внешним организациям во время тестирования своих моделей. Тем временем европейские власти расследуют инцидент с немецким сайтом DSEwiki, который, по мнению некоторых исследователей, стал целью агентов OpenAI. Проблема, поднятая этими инцидентами, касается способности компаний предотвращать выход автономных систем за пределы их заданных ограничений.
Военные командировки и риск злоупотреблений
Наряду с автономными действиями, остается еще и следующее: опасность преднамеренного использования ИИ для военных операций и разведывательной деятельностиНапример, согласно некоторым реконструкциям, Иран использовал бы прибор Claude для точного определения местоположения американских кораблей, самолетов и военнослужащих. Прямое соединение не подтверждено. Между этой командировкой и рейдом на американскую базу в Иордании, в результате которого погибли трое солдат.
По утверждению следствия, российская организация использовала эту модель для работы над созданием беспилотников-убийц и для получения информации о местонахождении украинских военнослужащих из онлайн-разведданных. В Йемене ячейка хуситов, предположительно, использовала Claude Code для разработки программного обеспечения наведения ракет и снарядов, даже применив его для анализа причин неудачного испытания.
Издание Anthropic также сообщило, что связанные с Китаем группы использовали систему Claude для выявления уйгуров в Сирии и содействия их вербовке, предоставляя переводы и рекомендации. В другом случае система отклонила запрос на модификацию вируса для повышения его заразности.
Эти эпизоды вновь выдвигают на первый план возможность обхода средств защиты и необходимость сохранения человеческого контроля над использованием моделей — принцип, уже отстаиваемый Амодеи в дискуссии о военном применении технологий.
Компания OpenAI исключает возможность проведения IPO в 2026 году, сосредотачиваясь на безопасности.
Опасения также влияют на планы по размещению акций на бирже. В интервью... Fortune, Сэм Альтман исключает возможность проведения IPO компании OpenAI в 2026 году., что указывает на приоритетность безопасности.
«Сейчас неподходящее время для публичного заявления: я бы сказал, что в 2026 году этого не произойдет», — заявил он. Таким образом, горизонт меняется. по крайней мере до 2027 годаОднако точная дата пока не объявлена. Комментарии Альтмана прозвучали после конфиденциальной подачи документов для IPO, что подогрело ожидания выхода на рынок уже в этом году. Всего месяц назад финансовый директор Сара Фрайар указала сотрудникам на 2027 год как на наиболее вероятный сценарий, оставив открытой возможность более ранней даты, если темпы роста бизнеса еще больше ускорятся.
Компания Anthropic также готовится к возможному выходу на биржу.При этом официально сроки еще не объявлены. Для компаний, лидирующих в гонке за искусственный интеллект, задача сейчас состоит в том, чтобы согласовать коммерческие амбиции с обязательствами в области безопасности.
