在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，Meta FAIR 团队、Kyutai 和希伯来大学推出了 MAGNeT，一种在掩码生成序列建模方法。
Transformer的固定尺寸上下文使得GPT模型无法生成任意长的文本。在本文中，我们介绍了RECURRENTGPT，一个基于语言的模拟RNN中的递归机制。
在软件工程顶会ESEC/FSE上，来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了新的成果，使用LLM解决自动化定理证明问题。
加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章，强调了语言模型在构建量子计算机方面所做出的贡献，并讨论了它们在量子优势竞争中的未来角色。
本文介绍了AI大模型元年的到来以及人类文明操作系统的大更新。通过分析Transformer架构的出现和大模型在各个领域的应用，展示了AI对人机交互的改变和智能手机作为新的操作系统的前景。
以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。
药物与靶标之间的结合亲和力的预测对于药物发现至关重要。然而，现有方法的准确性仍需提高。另一方面，大多数深度学习方法只关注非共价（非键合）结合分子系统的预测，而忽略了在药物开发领域越来越受到关注的共价结合的情况。
一项ICLR拒稿结果让AI研究者集体破防，纷纷刷起小丑符号。争议论文为Transformer架构挑战者Mamba，开创了大模型的一个新流派。发布两个月不到，后续研究MoE版本、多模态版本等都已跟上。
去年年底因颠覆Transformer一战成名的Mamba架构论文，竟然在ICLR 2024同行评审中被打出3分的低分，因而可能被拒收？这桩疑案今早一被曝出，立刻引发轩然大波，连LeCun都跳出来喊冤。
作为全球最顶级的机器学习工具库，Hugging Face上最近悄悄出现了一个新的transformers模型——Qwen2。没错，正是阿里通义千问Qwen模型的第二代。不过通义团队的算法同学在社交媒体上对此继续保持神秘。
