AI资讯新闻榜单内容搜索-Latte

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Latte
通过打包 Flash Attention 来提升 Hugging Face 训练效率

通过打包 Flash Attention 来提升 Hugging Face 训练效率

通过打包 Flash Attention 来提升 Hugging Face 训练效率

现在,在 Hugging Face 中,使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容,这要归功于一个 最近的 PR 以及新的 DataCollatorWithFlattening。 它可以在保持收敛质量的同时,将训练吞吐量提高多达 2 倍。继续阅读以了解详细信息!

来自主题: AI资讯
3013 点击    2024-09-18 15:44
详解Latte:去年底上线的全球首个开源文生视频DiT

详解Latte:去年底上线的全球首个开源文生视频DiT

详解Latte:去年底上线的全球首个开源文生视频DiT

随着 Sora 的成功发布,视频 DiT 模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点。DiT [1] 的成功为图像生成的规模化提供了可能性。

来自主题: AI资讯
3217 点击    2024-03-27 17:56