一次推理解决复合问题:基于MoE的大语言模型知识模块可扩展融合推理架构MeteoRA 一次推理解决复合问题:基于MoE的大语言模型知识模块可扩展融合推理架构MeteoRA 关键词: AI,MeteoRA,模型训练,人工智能 在大语言模型领域中,预训练 + 微调范式已经成为了部署各类下游应用的重要基础。在该框架下,通过使用搭低秩自适应(LoRA)方法的大模型参数高效微调(PEFT)技术,已经产生了大量针对特定任务、可重用的 LoRA 适配器。 来自主题: AI技术研报 6866 点击 2025-02-22 13:57