在大模型浪潮中，训练和部署最先进的密集 LLM 在计算需求和相关成本上带来了巨大挑战，尤其是在数百亿或数千亿参数的规模上。为了应对这些挑战，稀疏模型，如专家混合模型（MoE），已经变得越来越重要。这些模型通过将计算分配给各种专门的子模型或「专家」，提供了一种经济上更可行的替代方案，有可能以极低的资源需求达到甚至超过密集型模型的性能。
Llama 3诞生整整一周后，直接将开源AI大模型推向新的高度。
近日，Stability AI又发布了新作SV3D，基于视频扩散模型的SV3D将3D模型生成的效果提升了一大截，模型权重已在huggingface开放。
Stable Diffusion背后公司Stability AI又上新了。 这次带来的是图生3D方面的新进展： 基于Stable Video Diffusion的Stable Video 3D（SV3D），只用一张图片就能生成高质量3D网格。
3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。
只要上传 CT 或核磁影像，就能让 AI 在几分钟的时间里，自动识别图像、分割全身器官。针对脑部，还有单独的勾画脑部肿瘤功能。这是“ 史上首个免费使用的器官和肿瘤分割云服务 ”。
英伟达正式发布针对中国市场的4090 D，性能砍了10%，价格却没降。不过重要的是，又能买到英伟达的旗舰显卡了。
