🧠 Comment pouvons-nous doter les LLMs d'une mémoire leur permettant d'apprendre continuellement de nouvelles choses ? Dans notre nouvel article avec @AIatMeta, nous montrons comment le finetuning sparse des couches de mémoire permet des mises à jour ciblées pour l'apprentissage continu, avec un minimum d'interférence avec les connaissances existantes. Alors que le finetuning complet et LoRA voient des baisses drastiques de performance sur les tâches retenues (📉-89% FT, -71% LoRA sur les tâches d'apprentissage de faits), les couches de mémoire apprennent la même quantité avec beaucoup moins d'oubli (-11%). 🧵: