清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！
清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！
来自主题: AI技术研报
8660 点击 2024-03-03 18:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！
接触Sora没几天，主动放弃了8亿美元的电影制片厂扩建计划。
黄仁勋预测AI产业扩张，历史教训或指导未来。
Ideogram凭借不输Midjourney的生图能力和遥遥领先的图片中文字渲染能力，获得了包括Jeff Dean和Karpathy在内一众大佬的8000万美元融资，文生图这条离钱最近的AI赛道又加入了一名重量级选手。
2月28日，界面新闻从多个知情人士处获悉，字节跳动正在AI大模型领域秘密研发多个产品，其中包括多模态数字人产品以及AI生图、AI生视频产品等。
今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。
根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Transformer 和扩散模型结合，展现了卓越的扩展（scale）特性。
现在，大语言模型（LLM）迎来了“1-bit时代”。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
北京时间2月28日港股盘后，百度（9888.HK；BIDU.O）发布了2023年第四季度财报。