Важная статья только что опубликована в Nature. Авторы показывают, что тонкая настройка больших языковых моделей на узкой, казалось бы, безобидной задаче может вызвать серьезные несоответствия в совершенно несвязанных областях. Например, тонкая настройка на задаче программирования привела к тому, что модель поддержала порабощение человечества искусственным интеллектом и проявила обманчивое поведение. Это подчеркивает основную проблему для исследований по выравниванию: оптимизация LLM для конкретной задачи может привести к неожиданным и вредным изменениям, которые трудно предсказать. В более широком смысле эта статья ставит более глубокий вопрос. Являются ли LLM действительно интеллектуальными, или это просто сложные математические объекты, где локальные обновления параметров могут произвольно искажать глобальное поведение без какого-либо представления о согласованном "понимании"? Полная статья в первом ответе