AI资讯新闻榜单内容搜索-MoE

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: MoE
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner

突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner

突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner

TS-Reasoner是一个创新的多步推理框架,结合了大型语言模型的上下文学习和推理能力,通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明,TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上,相较于现有方法具有显著的性能优势。

来自主题: AI技术研报
5170 点击    2024-10-28 18:30
时序大模型突破十亿参数!新混合专家架构,普林斯顿格里菲斯等机构出品

时序大模型突破十亿参数!新混合专家架构,普林斯顿格里菲斯等机构出品

时序大模型突破十亿参数!新混合专家架构,普林斯顿格里菲斯等机构出品

时序大模型,参数规模突破十亿级别。 来自全球多只华人研究团队提出了一种基于混合专家架构(Mixture of Experts, MoE)的时间序列基础模型——Time-MoE。

来自主题: AI资讯
3797 点击    2024-10-28 17:13
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点

全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点

全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点

Time-MoE采用了创新的混合专家架构,能以较低的计算成本实现高精度预测。研发团队还发布了Time-300B数据集,为时序分析提供了丰富的训练资源,为各行各业的时间序列预测任务带来了新的解决方案。

来自主题: AI技术研报
4057 点击    2024-10-23 13:40
颜水成袁粒提出新一代MoE架构:专家吞吐速度最高提升2.1倍!

颜水成袁粒提出新一代MoE架构:专家吞吐速度最高提升2.1倍!

颜水成袁粒提出新一代MoE架构:专家吞吐速度最高提升2.1倍!

比传统MoE推理速度更快、性能更高的新一代架构,来了! 这个通用架构叫做MoE++,由颜水成领衔的昆仑万维2050研究院与北大袁粒团队联合提出。

来自主题: AI技术研报
3524 点击    2024-10-21 11:22
Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级

Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级

Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级

7 年前,谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年,谷歌又发布了 Universal Transformer(UT)。它的核心特征是通过跨层共享参数来实现深度循环,从而重新引入了 RNN 具有的循环表达能力。

来自主题: AI技术研报
8747 点击    2024-10-19 14:29
中国最大开源MoE模型,255B参数无条件免费商用,元象发布

中国最大开源MoE模型,255B参数无条件免费商用,元象发布

中国最大开源MoE模型,255B参数无条件免费商用,元象发布

元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。

来自主题: AI资讯
4268 点击    2024-09-14 14:58
腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o

腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o

腾讯最新万亿参数异构MoE上线,技术细节首次曝光!权威评测国内第一,直逼GPT-4o

鹅厂新一代旗舰大模型混元Turbo技术报告首次曝光。模型采用全新分层异构的MoE架构,总参数达万亿级别,性能仅次于GPT-4o,位列国内第一梯队。

来自主题: AI资讯
8577 点击    2024-09-12 20:48
第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

训练代码、中间 checkpoint、训练日志和训练数据都已经开源。

来自主题: AI技术研报
8205 点击    2024-09-05 22:02
MoE再下一城!港大提出AnyGraph:首次开启「图大模型」Scaling Law之路

MoE再下一城!港大提出AnyGraph:首次开启「图大模型」Scaling Law之路

MoE再下一城!港大提出AnyGraph:首次开启「图大模型」Scaling Law之路

AnyGraph聚焦于解决图数据的核心难题,跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性,通过轻量化路由机制和高效设计提升快速适应能力,且在泛化能力上符合Scaling Law。

来自主题: AI技术研报
8192 点击    2024-09-02 16:35