
清华UCSD提出全新微调方法,8B小模型媲美GPT-4o!科学问题正确率提高28%
清华UCSD提出全新微调方法,8B小模型媲美GPT-4o!科学问题正确率提高28%最近,一支来自UCSD和清华的研究团队提出了一种全新的微调方法。经过这种微调后,一个仅80亿参数的小模型,在科学问题上也能和GPT-4o一较高下!或许,单纯地卷AI计算能力并不是唯一的出路。
最近,一支来自UCSD和清华的研究团队提出了一种全新的微调方法。经过这种微调后,一个仅80亿参数的小模型,在科学问题上也能和GPT-4o一较高下!或许,单纯地卷AI计算能力并不是唯一的出路。
计算、存储消耗高,机器人使用多模态模型的障碍被解决了! 来自清华大学的研究者们设计了DeeR-VLA框架,一种适用于VLA的“动态推理”框架,能将LLM部分的相关计算、内存开销平均降低4-6倍。
最新模型增量压缩技术,一个80G的A100 GPU能够轻松加载多达50个7B模型,节省显存约8倍,同时模型性能几乎与压缩前的微调模型相当。
颠覆现有Agent范式、让AI拥有“主动能动性! 清华&面壁等团队最新开源新一代主动Agent交互范式 ( ProActive Agent)。
RNN模型在长上下文中表现不佳?近日,来自清华的研究团队对此进行了深入的实验分析,结果表明:不是RNN的锅。
“大模型是一种能力升级,而不是新场景。” 这是北京聚力维度科技有限公司(以下简称“聚力维度”)创始人&CEO赵天奇对大模型浪潮的底层判断。
百川智能创始人王小川是她的第一个老板,清华大学计算机系教授唐杰是她的项目老师,而她还是月之暗面几位创始人的本科辅导员。
大模型发展了这么久,AI 智能体们早就开始整顿职场了。
据IT桔子统计,共有351位AI领域的创业者毕业于清华大学
连续学习(CL)旨在增强机器学习模型的能力,使其能够不断从新数据中学习,而无需进行所有旧数据的重新训练。连续学习的主要挑战是灾难性遗忘:当任务按顺序训练时,新的任务训练会严重干扰之前学习的任务的性能,因为不受约束的微调会使参数远离旧任务的最优状态。