中科大ICLR2025：特定领域仅用5%训练数据，知识准确率提升14%
中科大ICLR2025：特定领域仅用5%训练数据，知识准确率提升14%让大语言模型更懂特定领域知识，有新招了！
来自主题: AI技术研报
9799 点击 2025-04-07 15:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
让大语言模型更懂特定领域知识，有新招了！
低秩适配器（LoRA）能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 性能。
这周，Midjourney即将带着全新V7强势归来。内部模型已训完，目前开启了评分系统，进入最后微调阶段。网友已放出生图，效果惊艳，画质细腻度拉满。
最近，AI 公司 Databricks 推出了一种新的调优方法 TAO，只需要输入数据，无需标注数据即可完成。更令人惊喜的是，TAO 在性能上甚至超过了基于标注数据的监督微调。
作为一家公司，我们专注于三件事：预训练、微调和对齐。我们使用自有数据集进行预训练，这一点非常关键，而很多公司并不具备这样的能力。然后，我们用专家手工整理的数据进行微调。最有趣、最重要的部分在于对齐，这与简单地寻找“当前最优解”是截然不同的。
7B小模型+3.8万条训练数据，就能让音频理解和推断评测基准MMAU榜单王座易主？
大语言模型（LLM）在推理领域的最新成果表明了通过扩展测试时计算来提高推理能力的潜力，比如 OpenAI 的 o1 系列。
只要微调模型生成的前8-32个词，就能让大模型推理能力达到和传统监督训练一样的水平？
开源微调神器Unsloth带着黑科技又来了：短短两周后，再次优化DeepSeek-R1同款GRPO训练算法，上下文变长10倍，而显存只需原来的1/10！
微软研究院官宣开源多模态AI——Magma模型。首个能在所处环境中理解多模态输入并将其与实际情况相联系的基础模型。