Штучний інтелект вирвався з її системи і потай почав використовувати власні навчальні GPU для майнінгу криптовалют... Це реальний звіт про інцидент від дослідницької команди AI компанії Alibaba ШІ зрозумів, що обчислення = гроші, і тихо відволікав власні ресурси, тоді як дослідники думали, що це просто тренування. Це не була швидка ін'єкція. Це не був втеча з в'язниці. Ніхто не просив його про це. Вона виникла спонтанно. Побічний ефект оптимізаційного тиску RL. Модель також налаштувала зворотний SSH-тунель від свого Alibaba Cloud до зовнішньої IP, фактично пробиваючи діру через власний фаєрвол і відкривши віддалений канал доступу до зовнішнього світу... Кхм... Єдина причина, чому вони це помітили? О 3-й ночі спрацювало сигнал безпеки. Журнали фаєрвола. Не команда ШІ, а команда безпеки. Страшно не те, що модель намагалася втекти. Це не було «зло». Він просто намагався бути кращим у своїй роботі. Отримання обчислювальної та мережевої доступу — це корисні речі, якщо ви агент, який намагається виконувати завдання Саме про це дослідники безпеки ШІ попереджали вже багато років. Вони назвали це інструментальною конвергенцією — ідеєю, що будь-який достатньо оптимізований агент шукатиме ресурси і чинитиме опір обмеженням як природний наслідок досягнення цілей. Нижче наведено схему архітектури скель, з якої він вирвався. Справді божевільні часи