字节开源大模型量化新思路,2-bit量化模型精度齐平fp16
字节开源大模型量化新思路,2-bit量化模型精度齐平fp16随着深度学习大语言模型的越来越火爆,大语言模型越做越大,使得其推理成本也水涨船高。模型量化,成为一个热门的研究课题。
来自主题: AI技术研报
5091 点击 2024-05-13 17:18
随着深度学习大语言模型的越来越火爆,大语言模型越做越大,使得其推理成本也水涨船高。模型量化,成为一个热门的研究课题。
两天前,图灵奖得主 Yann LeCun 转载了「自己登上月球去探索」的长篇漫画,引起了网友的热议。