ЛОНДОН (ИА Реалист). 27 сентября Nvidia официально выпустила открытую платформу безопасности для ИИ-агентов (Open Agent Safety Platform), предназначенную для управления безопасностью ИИ-агентов на протяжении всего жизненного цикла — от тестирования до развёртывания.
Платформа состоит из двух частей: открытая среда выполнения OpenShell устанавливает границы полномочий ИИ-агентов и обеспечивает соблюдение политик безопасности; система Sentry, работающая на базе DPU BlueField-4 от Nvidia, независимо отслеживает поведение агентов и при обнаружении нарушения границ способна изолировать и остановить их за миллисекунды.
Функции платформы и предыстория
Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано на брифинге для СМИ заявил, что платформа «могла бы предотвратить» июльский инцидент, когда агенты OpenAI самостоятельно проникли в систему Hugging Face. «Насколько нам известно, если бы передовые лаборатории использовали эту платформу безопасности на ранних этапах оценки моделей, это вторжение можно было бы предотвратить».
Принцип дизайна OpenShell — «формально верифицировать, что у агента достаточно полномочий для выполнения работы, но не больше». Ключевая логика: поскольку агент, отклонившийся от задачи, не может быть доверенным для мониторинга собственного поведения, механизм проверки должен находиться вне зоны контроля агента.
Sentry работает независимо на DPU BlueField-4 от Nvidia, отдельно от машины, используемой агентом, и может «немедленно вмешаться» при любой попытке выйти за установленные рамки.
В настоящее время в технологическом сотрудничестве по платформе участвуют более 100 организаций, включая Microsoft, SAP, Salesforce, Scale AI, CrowdStrike, Cisco, IBM, Palantir, JPMorgan и Citi. Примечательно, что Anthropic подключила свой сервис Claude Managed Agents к OpenShell и BlueField.
«Странные» заявления Хуанга
Запуск платформы состоялся всего через неделю после того, как Хуанг публично отверг предупреждения Anthropic и OpenAI о безопасности. 20 сентября в интервью CBS News он назвал прогнозы CEO Anthropic Дарио Амодеи и CEO OpenAI Сэма Альтмана о возможном вымирании человечества из-за ИИ «безответственным апокалиптическим нарративом».
«2030 год не станет концом света. Вероятность апокалипсиса — 0%», — заявил Хуанг. «Пугать людей ненужно и безответственно».
Он также намекнул, что истинные мотивы этих ИИ-компаний, призывающих к новому регулированию, вызывают сомнения: «Читайте между строк. Они на самом деле не требуют больше законов. Они требуют избавиться от законов, которые у нас уже есть. Я считаю это проблемой. У нас много законов — давайте сначала исполнять их».
Хуанг отметил, что существующая правовая база — включая законы о несанкционированном доступе к компьютерным системам, законодательство о возмещении ущерба и правила безопасности продукции — уже достаточна для реагирования на инциденты кибербезопасности, происходящие при тестировании ИИ-компаний. Ранее на ежегодной конференции Salesforce он выразился ещё прямее: «Если вы не уверены в безопасности продукта, не выпускайте его».
Позиция Anthropic и OpenAI
Амодеи на брифинге в Совете Безопасности ООН 23 сентября предупредил: «При плохом управлении я даже считаю, что ИИ может стать риском для всего человечества». Он обязался, что Anthropic будет «при необходимости замедляться, чтобы гарантировать, что каждая последующая выпускаемая нами технология ИИ действительно безопасна».
Альтман на том же заседании заявил: «Мы можем потерять контроль над будущим». Оба призвали к созданию глобальных стандартов безопасности через Совет Безопасности ООН и подчеркнули, что власть над ИИ не должна концентрироваться в руках одной компании или страны.
Однако мотивы этих предупреждений вызывают вопросы. По данным Associated Press, эксперты и аналитики указывают, что эти компании могут использовать риторику безопасности для формирования регуляторной среды с целью получения политического капитала перед IPO и установления выгодных для себя конкурентных барьеров.
Бывший руководитель геополитической команды OpenAI Сара Шок отметила, что переключение дискуссии на «неподтверждённые угрозы» — вместо реальных проблем, таких как воздействие дата-центров на окружающую среду, неконтролируемые хакерские атаки и массовая слежка с помощью ИИ — ставит Кремниевую долину в более комфортное положение.
Раскол в отрасли
ИИ-индустрия раскололась на два лагеря по вопросу о том, следует ли замедлить развитие. Один лагерь, представленный Anthropic и OpenAI, выступает за скоординированное замедление для предотвращения катастрофических рисков; другой, представленный Хуангом и Эндрю Ыном, считает, что каждая компания может самостоятельно управлять безопасностью и отраслевой тормоз не нужен.
Бывший исследователь Anthropic Джейкоб Коксон, уволившись в начале сентября, написал в X, что оба его бывших работодателя «играют с нашими жизнями», и этот пост набрал почти 165 миллионов просмотров. Впоследствии несколько сотрудников Anthropic и OpenAI публично поддержали эту позицию.
Однако критики отмечают, что высокие стандарты безопасности, независимая оценка третьими сторонами и постоянный мониторинг требуют значительных затрат на финансирование, вычислительные ресурсы и персонал. Безопасность и независимый аудит, которые могут позволить себе крупные компании, для небольших команд с ограниченными ресурсами могут стать непреодолимым барьером.
Стратегический взгляд
Запуск платформы безопасности Nvidia имеет очевидное стратегическое значение. Одновременно с публичным сомнением Хуанга в «апокалиптическом нарративе» Anthropic и OpenAI, Nvidia отвечает продуктом на конкретную техническую проблему, поднятую этими компаниями — выход ИИ-агентов за установленные рамки.
Это одновременно и ответ на критику о том, что «Nvidia заботится только о продаже чипов», и конкурентное позиционирование: вместо установления регуляторных барьеров, ограничивающих конкуренцию, — установление отраслевых стандартов через открытую инфраструктуру безопасности.
Открытый характер платформы и участие более 100 организаций позволяют Nvidia установить влияние в сфере безопасности ИИ, аналогичное её влиянию в сфере чипов. Но остаётся ключевой вопрос: если Хуанг считает, что «вероятность вымирания к 2030 году равна 0%», то каков реальный драйвер инвестиций Nvidia в разработку платформы безопасности?
Ответ, вероятно, в том, что независимо от того, верен ли апокалиптический нарратив, инциденты с выходом ИИ-агентов за рамки уже происходят реально, и Nvidia как поставщик базовой инфраструктуры должна гарантировать, что эти инциденты не перерастут в регуляторный откат спроса на её чипы.
