AI资讯新闻榜单内容搜索-蒸馏

关键词: 大语言模型,大模型,AI,LLM

早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。

关键词: 图基础模型,OpenGraph,模型训练

港大发布通用图基座模型OpenGraph，巧妙从LLM中蒸馏零样本图泛化能力。

关键词: Deepmoney,大模型微调,模型训练,金融大模型,Yi-34B

在微调大型模型的过程中，一个常用的策略是“知识蒸馏”，这意味着借助高性能模型，如GPT-4，来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似，把GPT-4等模型视为更接近唯一的逻辑或真理的存在。