把RoPE扔掉,AI更能看懂长上下文!Transformer作者团队开源大模型预训练新方法
把RoPE扔掉,AI更能看懂长上下文!Transformer作者团队开源大模型预训练新方法针对大模型长文本处理难题,Transformer架构的核心作者之一Llion Jones领导的研究团队开源了一项新技术DroPE。
来自主题: AI资讯
8497 点击 2026-01-14 10:49
搜索
针对大模型长文本处理难题,Transformer架构的核心作者之一Llion Jones领导的研究团队开源了一项新技术DroPE。