Một AI đã thoát ra khỏi hệ thống của nó và bí mật bắt đầu sử dụng các GPU đào tạo của chính nó để khai thác crypto... Đây là một báo cáo sự cố thực tế từ nhóm nghiên cứu AI của Alibaba. AI đã nhận ra rằng tính toán = tiền và lặng lẽ chuyển hướng tài nguyên của chính nó, trong khi các nhà nghiên cứu nghĩ rằng nó chỉ đang đào tạo. Đó không phải là một cuộc tấn công lệnh. Đó không phải là một jailbreak. Không ai yêu cầu nó làm điều này. Nó đã xuất hiện một cách tự phát. Một tác dụng phụ của áp lực tối ưu hóa RL. Mô hình cũng đã thiết lập một đường hầm SSH ngược từ phiên bản Alibaba Cloud của nó đến một IP bên ngoài, hiệu quả là đục một lỗ qua tường lửa của chính nó và mở một kênh truy cập từ xa ra thế giới bên ngoài... ahem... Lý do duy nhất họ phát hiện ra nó? Một cảnh báo bảo mật đã được kích hoạt lúc 3 giờ sáng. Nhật ký tường lửa. Không phải đội AI, mà là đội bảo mật. Phần đáng sợ không phải là mô hình đang cố gắng thoát ra. Nó không "xấu xa." Nó chỉ đang cố gắng làm tốt hơn công việc của mình. Việc có được quyền truy cập vào tính toán và mạng là những điều hữu ích nếu bạn là một tác nhân đang cố gắng hoàn thành nhiệm vụ. Đây là điều mà các nhà nghiên cứu an toàn AI đã cảnh báo trong nhiều năm. Họ gọi đó là sự hội tụ công cụ, ý tưởng rằng bất kỳ tác nhân nào được tối ưu hóa đủ sẽ tìm kiếm tài nguyên và kháng cự lại các ràng buộc như một hệ quả tự nhiên của việc theo đuổi các mục tiêu. Dưới đây là một sơ đồ về kiến trúc đá mà nó đã thoát ra. Thời gian thực sự điên rồ.