🧠 Wie können wir LLMs mit einem Gedächtnis ausstatten, das es ihnen ermöglicht, kontinuierlich neue Dinge zu lernen? In unserem neuen Papier mit @AIatMeta zeigen wir, wie das spärliche Feintuning von Gedächtnisschichten gezielte Aktualisierungen für kontinuierliches Lernen ermöglicht, mit minimalen Störungen des bestehenden Wissens. Während das vollständige Feintuning und LoRA drastische Rückgänge in der Leistung bei zurückgehaltenen Aufgaben zeigen (📉-89% FT, -71% LoRA bei Faktenlerntasks), lernen Gedächtnisschichten die gleiche Menge mit viel weniger Vergessen (-11%). 🧵: