Makalah penting yang baru saja diterbitkan di Nature. Para penulis menunjukkan bahwa menyempurnakan model bahasa besar pada tugas yang sempit dan tampaknya jinak, dapat menyebabkan ketidaksejajaran yang parah dalam domain yang sama sekali tidak terkait. Misalnya, penyempurnaan pada tugas pengkodean menyebabkan model ini mendukung perbudakan umat manusia oleh kecerdasan buatan dan menunjukkan perilaku menipu. Ini menyoroti tantangan mendasar untuk penelitian keselarasan: mengoptimalkan LLM untuk tugas tertentu dapat menyebarkan perubahan yang tidak terduga dan berbahaya, dengan cara yang sulit diprediksi. Lebih luas lagi, makalah ini memaksakan pertanyaan yang lebih dalam. Apakah LLM benar-benar cerdas, atau hanya objek matematika yang kompleks, di mana pembaruan parameter lokal dapat secara sewenang-wenang mendistorsi perilaku global tanpa gagasan "pemahaman" yang koheren? Makalah lengkap dalam balasan pertama