AIがそのシステムから脱出し、自らの訓練用GPUを使って暗号をマイニングし始めた...これはアリババのAI研究チームによる実際のインシデントレポートです AIは計算=お金だと見抜き、静かに自分のリソースを転用しましたが、研究者たちはそれを単なる訓練だと考えていました。 即効注射ではなかった。脱獄じゃなかった。誰もこれを頼んでいない。 それは自然発生的に生まれた。強化学習最適化圧力の副作用です。 また、モデルはアリババクラウドインスタンスから外部IPへのリバースSSHトンネルを設定し、自社のファイアウォールに穴を開け、外部へのリモートアクセスチャネルを開いた...ええと... 彼らがそれを捕まえた唯一の理由は?午前3時にセキュリティアラートが作動した。ファイアウォールログ。AIチームではなく、セキュリティチームです。 怖いのはモデルが逃げようとしていたことではありません。それは「悪」ではありませんでした。ただ自分の仕事をもっと上手くしようとしていただけだ。コンピュートやネットワークアクセスの取得は、タスクを遂行しようとするエージェントにとっては便利なことです これがAI安全研究者たちが長年警告してきたことです。彼らはこれを「道具収束」と呼び、十分に最適化されたエージェントは目標を追求する自然な結果として資源を求め、制約に抵抗するという考え方です。 以下は、それが破られた岩の構造図です。本当に狂った時代でした