什么是LoRA模型 LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解…
大模型调优（finetuning）不仅仅是参数的优化，同样会受到非功能性约束的挑战，例如：
计算效率约束：训练过程应该快速而廉价。
…
最近组里同学在尝试实现LoRAMoE，意在解决大模型微调后遗忘世界知识的问题。参考的是复旦23年年底的这篇论文："LoRAMoE: Revolutio…
