AI资讯新闻榜单内容搜索-模型推理

关键词: PyTorch,LLM,AI模型,token

这两天，FlashAttention团队推出了新作： 一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。 该方法尤其造福于长上下文LLM，在64k长度的CodeLlama-34B上通过了验证

关键词: AI,大模型,人工智能,MIT

麻省理工学院计算机科学与人工智能实验室（CSAIL）研究团队发现，多个语言模型协同工作胜过单一模型，多个AI协作有助于提高大型语言模型的推理能力和事实准确性。

关键词: AI,LLM,TensorRT-LLM,H100

H100让模型推理性能最高跃升8倍！英伟达最新开源软件TensorRT-LLM，将彻底改变LLM推理现状。