蚂蚁集团开源新算法，可助大模型推理提速2-6倍
蚂蚁集团开源新算法，可助大模型推理提速2-6倍该算法现已在GitHub上开源，相关论文公布在ARXIV。近日，蚂蚁集团开源了一套新算法，可帮助大模型在推理时，提速2至6倍，引起业内关注。
来自主题: AI资讯
7828 点击 2024-01-17 14:08
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
该算法现已在GitHub上开源，相关论文公布在ARXIV。近日，蚂蚁集团开源了一套新算法，可帮助大模型在推理时，提速2至6倍，引起业内关注。
SPF算法是一种基于状态序列频域预测的表征学习方法，利用状态序列的频域分布来显式提取状态序列数据中的趋势性和规律性信息，从而辅助表征高效地提取到长期未来信息。
复旦团队进一步挖掘 RLHF 的潜力，重点关注奖励模型（Reward Model）在面对实际应用挑战时的表现和优化途径。
最近，AI初创公司Anthropic的研究表明，一旦LLM学会了人类教授的欺骗行为，它们就会在训练和评估的过程中隐藏自己，并在使用时偷偷输出恶意代码、注入漏洞。
世界上最快超算集群Frontier，用8%的GPU训练出了一个万亿级规模的大模型，而且是在AMD硬件平台之上完成。研究人员将训练的细节和克服的困难写成了一篇论文，展示了如何用非英伟达的生态完成大模型训练的技术框架和细节。
数据获取最新解，便是从生成模型中学习。获取高质量数据，已经成为当前大模型训练的一大瓶颈。
最近由UCSC的研究人员发表论文，证明大模型的零样本或者少样本能力，几乎都是来源于对于训练数据的记忆。
今天分享一篇符尧大佬的一篇数据工程（Data Engineering）的文章，解释了speed of grokking指标是什么，分析了数据工程
对于ChatGPT变笨原因，学术界又有了一种新解释。加州大学圣克鲁兹分校一项研究指出：在训练数据截止之前的任务上，大模型表现明显更好。
国内首个以国产全功能GPU为底座的大规模算力集群，正式落地了！这便是来自摩尔线程的KUAE智算中心，全国产千卡千亿模型训练平台。