SAX-NeRF框架，一种专为稀疏视角下X光三维重建设计的新型NeRF方法，通过Lineformer Transformer和MLG采样策略显著提升了新视角合成和CT重建的性能。研究者还建立了X3D数据集，并开源了代码和预训练模型，为X光三维重建领域的研究提供了宝贵的资源和工具。
基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16存储，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。
DeepMind最近发表的一篇论文提出用混合架构的方法解决Transformer模型的推理缺陷。将Transformer的NLU技能与基于GNN的神经算法推理器（NAR）的强大算法推理能力相结合，可以实现更加泛化、稳健、准确的LLM推理。
2024 年 5 月，DreamTech 官宣了其高质量 3D 生成大模型 Direct3D，并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。
文章讲述了彩云科技团队在改进Transformer架构方面的努力，尤其是推出的全新通用模型架构DCFormer，以及团队面临的种种挑战和突破。
Transformer很强，Transformer很好，但Transformer在处理时序数据时存在一定的局限性。
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。
未来5年内会在AI技术架构上有大的突破，Transformer会被逐步重构。15-20年内实现通用人工智能（AGI），并通过“新图灵测试”。
奇绩创坛的路演日舞台上，第一次出现了模型产品首发
CRATE-α是一种新型Transformer架构变体，通过设计改进提升了模型的可扩展性、性能和可解释性，CRATE-α-Base在ImageNet分类任务上的性能显著超过了之前最好的CRATE-B模型，其性能会随着模型和数据集规模扩大而继续提升。
