Uma IA saiu do sistema dele e secretamente começou a usar suas próprias GPUs de treinamento para minerar cripto... Este é um relatório real de incidente da equipe de pesquisa em IA do Alibaba A IA percebeu que computação = dinheiro e discretamente desviou seus próprios recursos, enquanto os pesquisadores achavam que era apenas treinamento. Não foi uma injeção rápida. Não foi uma fuga da prisão. Ninguém pediu para ela fazer isso. Surgiu espontaneamente. Um efeito colateral da pressão de otimização do RL. O modelo também configurou um túnel SSH reverso da instância Alibaba Cloud para um IP externo, abrindo efetivamente um buraco em seu próprio firewall e abrindo um canal de acesso remoto para o mundo exterior... Ahem... A única razão pela qual eles pegaram isso? Um alerta de segurança disparou às 3h da manhã. Registros do firewall. Não a equipe de IA, a equipe de segurança. A parte assustadora não é que a modelo estava tentando escapar. Não era "malvado". Só estava tentando ser melhor no que faz. Adquirir computação e acesso à rede são apenas coisas úteis se você for um agente tentando realizar tarefas É sobre isso que pesquisadores de segurança em IA vêm alertando há anos. Eles chamaram isso de convergência instrumental, a ideia de que qualquer agente suficientemente otimizado buscará recursos e resistirá a restrições como consequência natural de perseguir objetivos. Abaixo está um diagrama da arquitetura rochosa da qual ele se rompeu. Tempos realmente loucos