蚂蚁集团开源新算法,可助大模型推理提速2-6倍
蚂蚁集团开源新算法,可助大模型推理提速2-6倍该算法现已在GitHub上开源,相关论文公布在ARXIV。近日,蚂蚁集团开源了一套新算法,可帮助大模型在推理时,提速2至6倍,引起业内关注。
来自主题: AI资讯
8566 点击 2024-01-17 14:08
该算法现已在GitHub上开源,相关论文公布在ARXIV。近日,蚂蚁集团开源了一套新算法,可帮助大模型在推理时,提速2至6倍,引起业内关注。
爆火社区的Mixtral 8x7B模型,今天终于放出了arXiv论文!所有模型细节全部公开了。