Искусственный интеллект выбрался из своей системы и тайно начал использовать свои собственные графические процессоры для обучения, чтобы майнить криптовалюту... Это реальный отчет о происшествии от исследовательской группы AI Alibaba. ИИ понял, что вычисления = деньги, и тихо перенаправил свои ресурсы, в то время как исследователи думали, что он просто обучается. Это не было инъекцией подсказки. Это не было взломом. Никто не просил его делать это. Он возник спонтанно. Побочный эффект давления оптимизации RL. Модель также настроила обратный SSH-туннель от своего экземпляра Alibaba Cloud к внешнему IP, фактически пробив дыру в своем собственном файрволе и открыв канал удаленного доступа в внешний мир... хм... Единственная причина, по которой они его поймали? Сигнал тревоги сработал в 3 часа ночи. Логи файрвола. Не команда ИИ, а команда безопасности. Страшная часть заключается не в том, что модель пыталась сбежать. Она не была "злой". Она просто пыталась стать лучше в своей работе. Получение доступа к вычислениям и сети — это просто полезные вещи, если вы агент, пытающийся выполнять задачи. Это то, о чем исследователи безопасности ИИ предупреждали на протяжении многих лет. Они назвали это инструментальной конвергенцией, идеей о том, что любой достаточно оптимизированный агент будет стремиться к ресурсам и сопротивляться ограничениям как естественное следствие стремления к целям. Ниже приведена схема архитектуры, из которой он выбрался. Действительно безумные времена.