AI资讯新闻榜单内容搜索-LLMs

关键词: AI,模型训练,AI训练,预训练模型

在人工智能的前沿领域，大语言模型（Large Language Models，LLMs）由于其强大的能力正吸引着全球研究者的目光。在 LLMs 的研发流程中，预训练阶段占据着举足轻重的地位，它不仅消耗了大量的计算资源，还蕴含着许多尚未揭示的秘密。

关键词: 多模态,Time-LLM,AI框架,模型训练

近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (LLMs) 上应用，并提出了一个全新的视角

关键词: 谷歌,AI大模型,上下文,LLM,模型训练

为解决大模型（LLMs）在处理超长输入序列时遇到的内存限制问题，本文作者提出了一种新型架构：Infini-Transformer，它可以在有限内存条件下，让基于Transformer的大语言模型（LLMs）高效处理无限长的输入序列。实验结果表明：Infini-Transformer在长上下文语言建模任务上超越了基线模型，内存最高可节约114倍。

关键词: LLM,LLMs,大语言模型,图的语言,GraphOA

图是组织信息的一种有用方式，但LLMs主要是在常规文本上训练的。谷歌团队找到一种将图转换为LLMs可以理解的格式的方法，显著提高LLMs在图形问题上超过60%的准确性。

关键词: StepCoder框架,编译器,强化学校,LLMs,模型训练

StepCoder将长序列代码生成任务分解为代码完成子任务课程来缓解强化学习探索难题，对未执行的代码段以细粒度优化；还开源了可用于强化学习训练的APPS+数据集。

关键词: prompt,提示词,模型训练,LLM

近年来，大语言模型（LLMs）由于其通用的问题处理能力而引起了大量的关注。现有研究表明，适当的提示设计（prompt enginerring），例如思维链（Chain-of-Thoughts），可以解锁 LLM 在不同领域的强大能力。

关键词: MATRIX,模型训练,对齐,Constitutional AI,社会模拟框架

随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？

关键词: WebVoyager,多模态,LLMs,LLM

借助强大多模态模型，开创全新的网络智能体 Hongliang He1,3∗, Wenlin Yao2, Kaixin Ma2, Wenhao Yu2, Yong Dai2, Hongming Zhang2, Zhenzhong Lan3, Dong Yu2 1 浙江大学，2 腾讯 AI 实验室，3 西湖大学

关键词: 大模型,大模型文本水印,模型训练,LLMs

本文介绍首个大模型时代下的文本水印综述，由清华、港中文、港科广、UIC、北邮联合发布，全面阐述了大模型时代下文本水印技术的算法类别与设计、评估角度与指标、实际应用场景，同时深入探讨了相关研究当前面临的挑战以及未来发展的方向，探索文本水印领域的前沿趋势。

关键词: RAG,LangChain,LLMs

做所有的工作之前，想好如何评估结果、制定好北极星指标至关重要!!! Ragas把 RAG 系统的评估指标拆分为三个维度如下，这可不是 Benz 的标...