最近组里同学在尝试实现LoRAMoE，意在解决大模型微调后遗忘世界知识的问题。参考的是复旦23年年底的这篇论文："LoRAMoE: Revolutio…