模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
英伟达的产能上不来，很大程度上是因为HBM（高带宽内存）不够用了。每一块H100芯片，都会用到6颗HBM。当下，SK海力士、三星供应了90%的HBM，并且技术领先美光整整一个代际。
为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
近年来，随着Transformer模型的大规模发展和应用，模型大小每两年平均增长240倍，GPT-3等大模型的参数增长已经超过了GPU内存的增长。在大算力激增的需求下，越来越多行业人士认识到，新的计算架构或许才是算力破局的关键。
近日，苹果连发两篇论文，不仅能一键生成逼真的3D化身，而且还要把大模型装进你的iPhone
大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
端侧大模型以及AI Core的出现，势必将带来安卓机新一轮的内存容量升级。
英伟达老黄，带着新一代GPU芯片H200再次炸场。官网毫不客气就直说了，“世界最强GPU，专为AI和超算打造”。
