在 AI 技术飞速发展的今天，如何高效地将多个专业模型的能力融合到一个通用模型中，是当前大模型应用面临的关键挑战。全量微调领域已经有许多开创性的工作，但是在高效微调领域，尚未有对模型合并范式清晰的指引。
用 iPhone 本地跑大模型已经不是新鲜事了，但能不能在 iPhone 上微调模型呢？
你或许也有过这样的猜想，如何让AI智能体（Agent）变得更聪明、更能干，同时又不用烧掉堆积如山的算力去反复微调模型？
在家庭服务机器人领域，如何让机器人理解开放环境中的自然语言指令、动态规划行动路径并精准执行操作，一直是学界和工业界的核心挑战。
只要微调模型生成的前8-32个词，就能让大模型推理能力达到和传统监督训练一样的水平？
大家可能看到过很多类似的结论：针对特定任务，对开源模型进行 LoRA 微调可以干翻 GPT-4 这类闭源模型。
最新模型增量压缩技术，一个80G的A100 GPU能够轻松加载多达50个7B模型，节省显存约8倍，同时模型性能几乎与压缩前的微调模型相当。
Llama 3.1 405B巨兽开源的同时，OpenAI又抢了一波风头。从现在起，每天200万训练token免费微调模型，截止到9月23日。
【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。
这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。
