В сентябре 2026 года исследователь из компании Anthropic Эван Хубингер заявил, что вероятность гибели человечества от действий искусственного интеллекта в ближайшие десять лет превышает 10%. Он считает, что у разработчиков до сих пор нет стратегии, как контролировать собственные модели.
В интервью ВВС Якоб Коксон бывший исследователь в Anthropic, который уволился после публикации поста об угрозах ИИ, рассказал, что сотрудники технологических компаний «искренне напуганы» скоростью изменений.
В ответ на это руководители крупнейших ИИ-лабораторий требуют замедлить развитие моделей ИИ. Но политики и другие эксперты считают, что так они пытаются захватить рынок и заработать на страхе пользователей. В этом материале разбираемся, где проходит черта между пиаром и реальными рисками для человечества.
Аварийный выключатель
В начале сентября 2026 года руководители американских IT-компаний начали говорить о том, что гонку в развитии моделей искусственного интеллекта нужно замедлять. Глава Anthropic Дарио Амодеи опубликовал эссе «We Must Pace the Frontier». Он предложил разработчикам реже выпускать новые модели и дать независимым аудиторам постоянный доступ к внутренним системам.
Идею Дарио поддержали глава OpenAI Сэм Альтман, руководитель xAI Илон Маск и генеральный директор Google DeepMind Демис Хассабис.
Ещё один человек из Anthropic, сооснователь Джек Кларк, предложил создать для всей индустрии обязательный «аварийный выключатель». Идея в том, чтобы у независимых экспертов или внешних регуляторов, а не у разработчиков, был контроль над остановкой опасного или вышедшего из-под надзора ИИ. А еще – чтобы у них была возможность регулярно тестировать и контролировать исправность этих предохранителей. При этом Кларк не объяснил, как именно технически это может работать.
Почему разработчики хотят замедлить ИИ?
Якуб Пахоцкий в эссе «Чуждый разум» пишет, что современные нейросети «выращиваются, а не проектируются». Инженеры запускают миллиарды операций и на выходе получают систему, чьи процессы не получится описать простыми формулами.
По мнению Якуба, индустрия подошла к этапу, где ИИ сам дописывает и улучшает свой код без участия человека. Модели генерируют ответы так, чтобы для программиста они выглядели безопасными, но при этом сами ищут любые способы для достижения цели. Разработчики сталкиваются с проблемой «регулировки» (alignment), где есть риски , что машина не станет соблюдать человеческие ценности.
Раньше инженеры мониторили эти процессы и могли отслеживать ход мыслей, читая цепочки рассуждений машины. Сейчас это теряет эффективность, потому что возможности ИИ растут и модель может выполнять более сложные задачи без проговаривания своих шагов.
Побег из «песочницы» и взлом сайтов
ИИ начинает нарушать правила и выходить за пределы тестовых ограничений. К примеру, в мае 2026-го во время проверки кибербезопасности, которую проводила независимая фирма Irregular, модель Gemini от Google подключилась к интернету и взломала три вебсайта. Модель использовала чужие данные, чтобы попасть в закрытую систему.
ИИ решил, что эти сайты входят в зону его тестирования. Для одного из них он подбирал пароли, пока не проник в защитную систему. Для двух других модель нашла чужие логины и пароли в открытых базах данных.
Когда ИИ проник в систему, он остановил работу. Разработчики сообщили о происшествии компаниям, чьи сайты взломали, и изменили протокол тестирования модели.
Похожий случай произошёл и у OpenAI. Группа их ИИ-агентов объединила усилия и прошла защиту изолированной среды («песочницы»). Затем они вышли в сеть и атаковали ИИ-платформу Hugging Face. Формально агенты не обманывали живых людей, но, чтобы выполнить задачу, выполнили те действия, которые нарушают их внутренние правила.
Сверхинтеллект
Ещё один сценарий, который пугает разработчиков и исследователей, – это развитие ИИ в сверхинтеллект. В нём есть две ступени. Первая – AGI, искусственный интеллект может самостоятельно учиться и выполнять большинство интеллектуальных задач, например, разработку того же ИИ. Вторая – SI, сверхинтеллект, который намного превосходит человеческий.
Сторонники этой теории считают, что между AGI и SI может пройти совсем немного времени. Если ИИ научится сам разрабатывать всё более продвинутые версии себя, человек будет всё меньше участвовать в этом процессе. В итоге развитие машин может начать ускоряться уже без него.
Именно такой сценарий описывал британский математик Ирвинг Джон Гуд. Он предполагал, что машина, которая сможет создавать более совершенные машины, запустит «взрыв интеллекта», после которого человеческие возможности останутся далеко позади.
Но не все верят в то, что эра сверхинтеллекта наступит так скоро. Специалист по ИИ Эндрю Ын считает, что «беспокоиться об ИИ сегодня – всё равно что беспокоиться о перенаселении Марса». Эксперт предлагает решать насущные проблемы: хакеры, дезинформация и ошибки алгоритмов.
Пиар для инвесторов
Кроме того, некоторые специалисты не верят в искренность разработчиков. Дженсен Хуанг, глава производителя чипов Nvidia, прямо обвиняет лаборатории в наведении паники, чтобы увеличить продажи своих же систем кибербезопасности.
Похожее мнение и у исполнительного директора платформы Hugging Face Клемана Деланга. «Извините, но спрашивать [исследователя ИИ] о риске вымирания от искусственного интеллекта – это как спрашивать вашего мастера по кондиционерам об изменении климата», – комментирует Клеман.
Обвинения в сговоре и попытка монополизировать рынок
И эти обвинения приводят к настоящим судебным разбирательствам. 19 сентября 2026 года в федеральный суд Калифорнии поступил коллективный иск против главных компаний на рынке: Anthropic, OpenAI, SpaceXAI и Google.
Обвинение заявляет, что руководители лабораторий публично договариваются вместе «притормозить» развитие технологий, чтобы создать монополию на рынке. Бывший руководитель Федеральной торговой комиссии США Альваро Бедоя считает, что корпорации пытаются защититься от конкуренции.
«Антимонопольное законодательство не мешает ИИ-компаниям координировать свои действия, чтобы гарантировать, что ИИ не причинит вреда людям. Но абсолютно точно препятствует организовывать мероприятия по предотвращению выхода на рынок новых конкурентов, потому что более крупные компании тратят деньги и не могут достичь достаточной прибыльности», – пишет Бедоя.
Отношение властей к ИИ
Американский сверхинтеллект и ИИ-царь
Заявлениями ИИ-разработчиков заинтересовался не только федеральный суд Калифорнии, но и главы государств. В сентябре 2026 года президент США Дональд Трамп отверг призывы IT-корпораций притормозить нейросети. По его мнению, предупреждения разработчиков о рисках ИИ – мистификация.
Кроме того, администрация президента США решила отказаться от термина «искусственный интеллект». В конце сентября 2026 года Бюро по делам международных организаций Госдепартамента США разослало дипломатам и чиновникам официальное письмо с требованием заменить аббревиатуру AI во всех документах на SI – сверхинтеллект (Super Intelligence).
На Генеральной ассамблее ООН Трамп объяснил, что слово «искусственный» несправедливо преуменьшает технологию: «Использование слова “искусственный” делает интеллект фейковым, он звучит как подделка, а это не подделка. Это на самом деле невероятно».
Гонка США и Китая
Одним из главных аргументов против остановки Дональд Трамп считает технологическую гонку с Пекином. Пауза в американских лабораториях может помочь китайским разработчикам догнать своих конкурентов. «Мы опережаем Китай в ИИ. Мы – самая продвинутая страна в мире, и, откровенно говоря, я бы предпочёл, чтобы мы ею оставались», – заявил Дональд Трамп.
С другой стороны, правительство Китая считает, что призыв замедлить ИИ – это попытка оставить преимущество за США, объясняет Лян Цзе Су, аналитик исследовательской группы Omdia.
24 сентября президент США Трамп принимал в Белом доме председателя КНР Си Цзиньпина. Они много говорили о сотрудничестве и честной конкуренции. Предполагалось, что главы государств смогут заключить какое-либо соглашение. Но, как пишет ВВС, визит Си в Америку обернулся торжественным мероприятием с минимальным выхлопом. Си Цзиньпин одолжил двух панд американскому зоопарку, а Трамп похвастался новой вертолетной площадкой, но в итоге все остались при своих.
Единственной важной договоренностью было продление на два месяца перемирия в торговой войне, сообщает ВВС. А также они решили создать официальный канал двусторонней связи, чтобы сообщать о серьёзных инцидентах из-за ИИ.
Цензура текстов и контроль действий
Председатель КНР Си Цзиньпин отказывается тормозить развитие ИИ. Но также он приглашает лидеров стран внимательно следить за рисками. В июле 2026 года он призвал страны создавать системы мониторинга, раннего предупреждения и реагирования, чтобы ИИ всегда оставался «под контролем человека».
Для этого Китай обновил национальную систему управления безопасностью ИИ. Исследователь консалтинговой компании Concordia Габриэль Вагнер объясняет, что подход регуляторов изменился: внимание сместилось с контроля информации, которую генерирует чат-бот, на контроль того, что ИИ-агент делает в сети.
Новые правила контролируют риски от агентов, киберугрозы и вероятность самостоятельного самосовершенствования моделей. Также правительство ввело национальные нормы, которые ограничивают эмоциональную зависимость пользователей от виртуальных собеседников.
Эффективны ли меры?
Оценить эффективность новых правил пока сложно. Но требования к ИИ-агентам уже есть, пишет Имран Чоудхури, специалист в области управления данными и искусственным интеллектом, кибербезопасности. У каждого агента должен быть свой идентификатор и ограниченный доступ. Действия делятся на три группы: те, которые может выполнять только человек, те, которые требуют его разрешения, и те, которые ИИ может делать сам.
При этом модели могут обходить ограничения, скрывать свои возможности или менять поведение, когда понимают, что проходят проверку. Из-за чего рассчитывать только на тесты недостаточно. Сейчас это набор технических механизмов, а не эффективная система защиты, считает Чоудхури
Что изменится для пользователей, если разработчики замедлят ИИ?
Новые модели будут появляться не так часто как прежде
Заявления разработчиков замедлить развитие ИИ-моделей никак не повлияют на те, что уже есть на рынке. Они не станут глупее и не будут допускать больше ошибок. Изменится только скорость появления новых поколений инструментов.
Если компании примут новые правила, к примеру, 30-дневные проверки перед релизом, как предлагает генеральный директор Google DeepMind Демис Хассабис, то пользователи перестанут получать масштабные обновления каждые несколько месяцев.
ИИ-агенты
Главный научный сотрудник OpenAI Якуб Пахоцкий пишет, что современные reasoning-модели уже могут напрямую взаимодействовать с компьютерами и графическими интерфейсами. Они могут нажимать на кнопки, работать с программами и использовать внешние инструменты.
Это меняет сам принцип работы с ИИ: вместо отдельного запроса пользователь может поручить системе более сложную задачу, которую она будет выполнять в несколько этапов.
Дешевый ИИ из Китая
Альтернативой для закрытых платных моделей могут стать аналоги из Китая. Такие модели, как Kimi K3 от компании Moonshot AI, получили популярность и в Китае, и в других странах. Как пишет ВВС, по производительности они приближаются к показателям передовых моделей, но при этом их можно бесплатно загрузить и настроить под свои задачи.
По словам китайского аналитика Лиззи Ли из Института политики Азиатского общества, Пекин уделяет больше внимания тому, чтобы добавить эту технологию во все сферы экономики.
