微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41
微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。
来自主题: AI技术研报
10900 点击 2024-02-29 13:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。
根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Transformer 和扩散模型结合，展现了卓越的扩展（scale）特性。
现在，大语言模型（LLM）迎来了“1-bit时代”。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
北京时间2月28日港股盘后，百度（9888.HK；BIDU.O）发布了2023年第四季度财报。
SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。
刚刚，Sora第二波视频放出了！稳定的一致性和模拟现实的逼真度，简直让人惊掉下巴。在好莱坞，已经有导演撤掉自己的8亿美元工作室扩建计划了。
2024年的春天，人类是正在吹起一个史无前例的超级人工智能泡沫，还是开启一个远超工业革命的大繁荣周期，无论是黄仁勋，还是奥特曼和马斯克都是乐观的一方。马斯克略带伤感的回忆8年前黄仁勋向OpenAI赠送Ai系统的一幕，是他无奈的接受超级人工智能的路线之争刚刚开始。
几天前，ICLR 2024 的最终接收结果出来了。
谷歌团队推出「通用视觉编码器」VideoPrism，在3600万高质量视频字幕对和5.82亿个视频剪辑的数据集上完成了训练，性能刷新30项SOTA。