讨论下一个token预测时，我们可能正在走进陷阱
讨论下一个token预测时，我们可能正在走进陷阱自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
来自主题: AI资讯
6496 点击 2024-03-25 17:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
蛋白质设计，充满无限可能。蛋白质设计领域又迎来了一项里程碑式的时刻——“上帝之手”、华盛顿大学生物化学教授 David Baker 团队及其合作者，首次利用生成式人工智能（AI）技术从零开始设计出了一种新型抗体，将抗体疗法推向了一个全新的高度。
斯坦福的一篇案例研究表示，提交给AI会议的同行评审文本中，有6.5%到16.9%可能是由LLM大幅修改的，而这些趋势可能在个体级别上难以察觉。
作者表示：在各种有效的 LLM 微调方法中，LoRA 仍然是他的首选。LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。
MIT新晋副教授何恺明，新作新鲜出炉：瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。数据集偏差之战，在2011年由知名学者Antonio Torralba和Alyosha Efros提出——
近日，爱思唯尔上的几篇论文被发现开篇就暴露了「ChatGPT风格」，插图也是用Midjourney画的。学术圈被AI渗透已经不是一天两天了，搞科研的用AI写论文，学生用AI写作业，老师也用AI批作业，整个过程都没有真人了。
七成AI博士入职私企，李飞飞：请把人才还给我们！
牛津大学 VGG 实验室 Andrew Zisserman 团队最新工作系统性解决了任意物体的遮挡补全问题，并且为这一问题提出了一个新的更加精确的评估数据集。该工作受到了 MPI 大佬 Michael Black、CVPR 官方账号、南加州大学计算机系官方账号等在 X 平台的点赞。
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。
谷歌决定不共享用于生成模型的数据，甚至不共享模型结果本身。唯一共享的数据是模型最终识别出的稳定晶体，这让人难以复现模型。