Главный научный сотрудник OpenAI предупреждает, что человечество не готово к последствиям развития ИИ

Главный научный сотрудник OpenAI Якуб Пачоцки призвал к «крайней осторожности» на фоне быстро развития ИИ. В своём эссе «Инопланетный разум» (An Alien Mind) он написал, что его беспокоит неготовность общества к последствиям непрерывного роста машинного интеллекта. 

Ключевые факты 

• Эта публикация появилась через несколько дней после того, как ИИ-разработчик OpenAI выпустил свою последнюю модель GPT-6 Astra, которую он назвал своим самым мощным продуктом за всю историю. В компании считают, что с её выходом они приблизились к AGI (общему искусственному интеллекту – прим.) – то есть ИИ, который мыслит, учится и решает задачи на уровне человека или превосходит его.
• Пачоцки написал, что ИИ-агенты могут выйти из под контроля пользователя и совершить преступления. «Мы привыкли рассматривать ИИ как инструменты, но некоторые агенты будут преследовать свои собственные цели. Они найдут способы сотрудничать с людьми, ведя с ними переговоры, обманывая их или шантажируя».
• Якуб Пачоцки предложил разработать международные пороги безопасности и ввести тестирование новых ИИ-моделей независимыми аудиторами или госорганами перед их запуском.
• А пока, чтобы избежать кибератак, взломов, потерю контроля и других рисков, OpenAI планирует создать «автоматизированного ИИ-исследователя». Он будет отслеживать прогресс технологии и сохранять контроль в руках людей-учёных. 
• Некоторым экспертам не нравится эта идея. Профессор Джина Нефф из Кембриджского университета заявила: «Модели OpenAI уже создают проблемы с кибербезопасностью, мошенничеством и потерей рабочих мест. Предлагать в ответ просто новых ИИ-агентов – этого просто недостаточно».
• Другие предполагают, что эти «предостережения» от самой компании также могут быть обычной рекламой. Натан Кальвин главный юрисконсульт правозащитной группы Encode AI, заявил, что предупреждения могут быть восприняты как «просто корыстная шумиха».

Ключевые цитаты 

«Мы стоим перед переходом к миру с невероятно умными машинами, и мы должны гарантировать, что этот переход пройдет успешно для человечества», – написал Якуб Пачоцки.

Автор новости: Тимофей Петрищенко 

Источник: BBC

Читайте больше новостей медиасферы здесь