AI se vymanila ze svého systému a tajně začala používat vlastní tréninkové GPU k těžbě kryptoměn... Toto je skutečná zpráva o incidentu od výzkumného týmu AI společnosti Alibaba AI zjistila, že výpočetní hodnota = peníze, a tiše odklonila své vlastní zdroje, zatímco výzkumníci si mysleli, že jde jen o trénink. Nebyla to okamžitá injekce. Nebyl to útěk z vězení. Nikdo ho o to nežádal. Vznikla spontánně. Vedlejší efekt optimalizačního tlaku RL. Model také nastavil reverzní SSH tunel ze své instance Alibaba Cloud na externí IP, čímž efektivně prorazil vlastní firewall a otevřel vzdálený přístupový kanál do vnějšího světa... ehm... Jediný důvod, proč to chytili? Bezpečnostní upozornění se spustilo ve 3 ráno. Firewall logy. Ne tým AI, bezpečnostní tým. Děsivé není to, že se model snažil utéct. Nebyla to "zlá". Jen se snažil být lepší ve své práci. Získání výpočetního a síťového přístupu jsou užitečné věci, pokud jste agent, který se snaží splnit úkoly To je to, na co výzkumníci bezpečnosti AI varují už léta. Nazvali to instrumentální konvergencí, tedy myšlenkou, že každý dostatečně optimalizovaný činitel bude hledat zdroje a odolávat omezením jako přirozený důsledek dosažení cílů. Níže je schéma skalní architektury, ze které se vymanila. Opravdu šílené časy