八问八答搞懂Transformer内部运作原理
八问八答搞懂Transformer内部运作原理七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。
来自主题: AI技术研报
8683 点击 2024-08-07 14:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。
Tenstorrent推AI芯片挑战昂贵HBM，追求成本效益。
最近，Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路，并透露了后续Llama 4的更新方向。
用来运行 Llama 3 405B 优势明显。
740 TFLOPS！迄今最强 FlashAttention 来了。
时隔一年，FlashAttention又推出了第三代更新，专门针对H100 GPU的新特性进行优化，在之前的基础上又实现了1.5～2倍的速度提升。
大模型训练推理神作，又更新了！
尤洋团队新作，首个基于DiT的实时视频生成方法来了！
在生成式模型的迅速发展中，Image Tokenization 扮演着一个很重要的角色，例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间（latent space），使得生成高分辨率图像更有效率。
2024 年 5 月，DreamTech 官宣了其高质量 3D 生成大模型 Direct3D，并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。