AI资讯新闻榜单内容搜索-微调

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 微调
80G显存塞50个7B大模型!清华&OpenBMB开源增量压缩新算法,显存节省8倍

80G显存塞50个7B大模型!清华&OpenBMB开源增量压缩新算法,显存节省8倍

80G显存塞50个7B大模型!清华&OpenBMB开源增量压缩新算法,显存节省8倍

最新模型增量压缩技术,一个80G的A100 GPU能够轻松加载多达50个7B模型,节省显存约8倍,同时模型性能几乎与压缩前的微调模型相当。

来自主题: AI技术研报
7279 点击    2024-11-29 13:58
跨模态大升级!少量数据高效微调,LLM教会CLIP玩转复杂文本

跨模态大升级!少量数据高效微调,LLM教会CLIP玩转复杂文本

跨模态大升级!少量数据高效微调,LLM教会CLIP玩转复杂文本

在当今多模态领域,CLIP 模型凭借其卓越的视觉与文本对齐能力,推动了视觉基础模型的发展。CLIP 通过对大规模图文对的对比学习,将视觉与语言信号嵌入到同一特征空间中,受到了广泛应用。

来自主题: AI技术研报
5257 点击    2024-11-27 14:41
具身大模型学习——OCTO

具身大模型学习——OCTO

具身大模型学习——OCTO

在多样化的机器人数据集上预训练的大型策略有潜力改变机器人学习:与从头开始训练新策略相比,这种通用型机器人策略可以通过少量的领域内数据进行微调,同时具备广泛的泛化能力。

来自主题: AI资讯
6286 点击    2024-11-19 21:10
NeurIPS 2024 | 自我纠错如何使OpenAI o1推理能力大大加强?北大、MIT团队给出理论解释

NeurIPS 2024 | 自我纠错如何使OpenAI o1推理能力大大加强?北大、MIT团队给出理论解释

NeurIPS 2024 | 自我纠错如何使OpenAI o1推理能力大大加强?北大、MIT团队给出理论解释

自我纠错(Self Correction)能力,传统上被视为人类特有的特征,正越来越多地在人工智能领域,尤其是大型语言模型(LLMs)中得到广泛应用,最近爆火的OpenAI o1模型[1]和Reflection 70B模型[2]都采取了自我纠正的方法。

来自主题: AI技术研报
4443 点击    2024-11-18 14:54
首个多模态连续学习综述,港中文、清华、UIC联合发布

首个多模态连续学习综述,港中文、清华、UIC联合发布

首个多模态连续学习综述,港中文、清华、UIC联合发布

连续学习(CL)旨在增强机器学习模型的能力,使其能够不断从新数据中学习,而无需进行所有旧数据的重新训练。连续学习的主要挑战是灾难性遗忘:当任务按顺序训练时,新的任务训练会严重干扰之前学习的任务的性能,因为不受约束的微调会使参数远离旧任务的最优状态。

来自主题: AI技术研报
4050 点击    2024-11-13 16:02
小米上新二代大模型!窗口长度翻至50倍,平均性能提升超45%

小米上新二代大模型!窗口长度翻至50倍,平均性能提升超45%

小米上新二代大模型!窗口长度翻至50倍,平均性能提升超45%

小米大模型第二代来了! 相比第一代,训练数据规模更大、品质更高,训练策略与微调机制上也进行了深入打磨。

来自主题: AI技术研报
4515 点击    2024-11-13 09:12
NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构的高效性能

NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构的高效性能

NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构的高效性能

大型语言模型(LLMs)虽然在适应新任务方面取得了长足进步,但它们仍面临着巨大的计算资源消耗,尤其在复杂领域的表现往往不尽如人意。

来自主题: AI技术研报
4267 点击    2024-10-20 16:58