陈丹琦等人组织的COLM奖项公布：被ICLR拒稿的Mamba入选杰出论文
陈丹琦等人组织的COLM奖项公布：被ICLR拒稿的Mamba入选杰出论文会议组织者都是 NLP 头部科学家，在语言建模方面有着相当的成果。
来自主题: AI技术研报
7247 点击 2024-10-08 17:48
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
会议组织者都是 NLP 头部科学家，在语言建模方面有着相当的成果。
随OpenAI爆火的CoT，已经引发了大佬间的激战！谷歌DeepMind首席科学家Denny Zhou拿出一篇ICLR 2024论文称：CoT可以让Transformer推理无极限。但随即他就遭到了田渊栋和LeCun等的质疑。最终，CoT会是通往AGI的正确路径吗？
本论文第一作者倪赞林是清华大学自动化系 2022 级直博生，师从黄高副教授，主要研究方向为高效深度学习与图像生成。他曾在 ICCV、CVPR、ECCV、ICLR 等国际会议上发表多篇学术论文。
上下文学习(In-Context Learning， ICL)是指LLMs能够仅通过提示中给出的少量样例，就迅速掌握并执行新任务的能力。这种“超能力”让LLMs表现得像是一个"万能学习者"，能够在各种场景下快速适应并产生高质量输出。然而，关于ICL的内部机制，学界一直存在争议。
在这一波AI浪潮之中，日本一方面承担着亚洲据点作用，另一方面本土企业的表现并不突出。
本文首先简单回顾了『等效交互可解释性理论体系』（20 篇 CCF-A 及 ICLR 论文），并在此基础上，严格推导并预测出神经网络在训练过程中其概念表征及其泛化性的动力学变化，即在某种程度上，我们可以解释在训练过程中神经网络在任意时间点的泛化性及其内在根因。
7月27日，与ICLR（国际学习表示会议）、NeurIPS（神经信息处理系统会议）并称三大机器学习顶级会议的ICML（国际机器学习大会），在奥地利维也纳会展中心落下帷幕。
ICML 2024最佳论文出炉，结果发现其中一篇曾被ICLR 2024拒稿？
一年一度谷歌学术指标公布了！Nature年年霸榜，而今年与以往不同的是，国际学术顶会的排名大幅提升，CVPR位居第二，超越Science仅次于Nature。另外，TOP 20中，共有五大顶会入选，被引最高论文与大模型时代下前沿技术，一脉相承。
上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力，但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。