PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍
PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证
来自主题: AI技术研报
3195 点击 2023-10-18 14:43
这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证
由Air Street Capital创始人Nathan Benaich等人制作的「人工智能全景报告」出炉,像素级回顾了过去这一年AI行业不能错过的突破性技术和行业新发展!
Cohere近期获得了2.7亿美元的C轮融资,累计融资额超过4.3亿美元,估值超过21亿美元。它的投资者名单中包括Salesforce、NVIDIA、Oracle这样的企业巨头,Tiger Global和Index Ventures等顶级投资机构,以及Geoffrey Hinton(深度学习三巨头,图灵奖获得者)、李飞飞等知名AI大牛。它的合作者还包括Amazon、麦肯锡等。
在快速发展的人工智能领域,自然语言处理已成为研究人员和开发人员关注的焦点。近年来,在Transformer 架构和BERT 双向升级的基础上,出现了几种突破性的语言模型,突破了机器理解和生成的界限。