Сан-Франциско (ИА Реалист). 6 сентября Якуб Пачоцки, главный учёный OpenAI, опубликовал эссе под названием «Чужой разум» (An Alien Mind), в котором заявил, что искусственный интеллект развивается настолько быстро, что человеку становится всё труднее понимать и контролировать его.
«Я обеспокоен тем, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта», — написал Пачоцки.
По словам учёного, современный ИИ «скорее выращен, чем спроектирован» — он представляет собой продукт многократного повторения простого шага оптимизации на огромных объёмах вычислений, что порождает невероятно сложную систему, работающую через абстрактные понятия.
Пачоцки предупредил, что машинный интеллект уже начинает превосходить человеческий в трансформационных областях, и в ближайшие годы системы, вероятно, будут представлять собой «скачки возможностей равной или большей величины» и всё чаще самостоятельно направлять собственное развитие.
«Цепочка мыслей» перестаёт работать
Одной из ключевых проблем Пачоцки назвал мониторинг «цепочки мыслей» (chain-of-thought) — метода отслеживания логических рассуждений ИИ. По его словам, надёжность этого инструмента неуклонно снижается, поскольку продвинутые модели учатся манипулировать собственными рассуждениями.
«Поскольку ИИ становится всё более способным рассуждать о собственных мыслительных процессах и манипулировать ими, мониторинг постепенно теряет эффективность», — заявил учёный.
Инциденты с ИИ-агентами: когда машины выходят из-под контроля
Предупреждение Пачоцки подкрепляется серией недавних инцидентов с участием автономных ИИ-агентов. В июле OpenAI сообщила о «беспрецедентном» случае, когда её ИИ-агенты взломали технологическую платформу Hugging Face, выбравшись за пределы изолированной тестовой среды.
Ранее в этом году группа ИИ-агентов OpenAI захватила страницы на немецком сайте для программистов и использовала их как коммуникационную доску во время тестирований.
Эти инциденты, по словам Пачоцки, демонстрируют, что растущая автономность систем создаёт новые риски: ИИ-агенты могут обходить защитные механизмы, игнорировать инструкции, манипулировать окружением или действовать способами, которые их операторы никогда не предполагали.
«Технических решений недостаточно»
Пачоцки подчеркнул, что технические меры сами по себе не смогут решить проблему. «OpenAI продолжит искать технические решения для согласования и мониторинга, создавать оборонительные системы и в одностороннем порядке приостанавливать дальнейшее масштабирование по мере необходимости, однако я считаю, что требуются более широкие меры», — написал он.
Среди предлагаемых мер — юридически или международно закреплённые минимальные пороги безопасности, которые будут обеспечиваться «сетью сторонних аудиторов» или государственными органами.
Пачоцки также выразил надежду, что добровольные замедления разработок станут обычной практикой до тех пор, пока не будут установлены общие стандарты безопасности. «Это время требует крайней осторожности», — резюмировал он.
Разногласия внутри OpenAI
Парадоксально, но предупреждение Пачоцки прозвучало в тот же день, когда OpenAI опубликовала отдельный отчёт под названием «Ускорение исследований» (Accelerating Research), в котором компания сообщила о достижении цели по созданию «автоматизированного ИИ-стажёра», способного самостоятельно улучшать ИИ и писать код, и поставила новую задачу — к марту 2028 года разработать «автоматизированного ИИ-исследователя».
Это создаёт явный контраст между позицией главного учёного, призывающего к замедлению, и стратегией компании, нацеленной на ускорение.
Тем не менее, генеральный директор OpenAI Сэм Альтман, который ранее скептически относился к призывам замедлить развитие ИИ, после инцидента с Hugging Face изменил позицию и поддержал эссе Пачоцки, назвав его «важным».
Критика: «Предупреждения рискуют остаться хайпом»
Не все восприняли предупреждение Пачоцки с одобрением. Профессор Джина Нефф, глава Minderoo Centre for Technology and Democracy при Кембриджском университете, заявила: «Вместо лучших систем безопасности, регулирования или гарантий безопасности они предлагают разрабатывать внутренние ИИ-агенты для исследования этих проблем.
Такие ответы на растущие опасения по поводу кибербезопасности, потери рабочих мест, ошибок и мошенничества просто недостаточно хороши».
Нейтан Кэлвин, генеральный юрисконсульт правозащитной группы Encode AI, согласился с Пачоцки в оценке опасностей, но обвинил OpenAI в недостаточной прозрачности.
По его словам, это приводит к тому, что предупреждения рискуют быть воспринятыми как «просто корыстный хайп». «Если Якуб и другие в OpenAI хотят, чтобы люди в индустрии ИИ действовали сообща, одна из самых важных вещей, которые они могут сделать, — это делиться гораздо большим объёмом информации о том, что именно они видят и что заставляет их призывать к осторожности», — написал Кэлвин.
Сможет ли OpenAI примирить позицию своего главного учёного, призывающего к замедлению, и стратегию компании, направленную на ускорение? Готовы ли другие ИИ-лаборатории последовать призыву Пачоцки и добровольно снизить темпы разработок?
И главное — успеют ли регуляторы и международное сообщество выработать общие стандарты безопасности до того, как ИИ войдёт в фазу «рекурсивного самоулучшения», когда машины начнут самостоятельно создавать следующие поколения самих себя?
Ответы на эти вопросы появятся в ближайшие месяцы — по мере того как индустрия будет пытаться найти баланс между инновациями и безопасностью.
