AI资讯新闻榜单内容搜索-8

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 8
清华开源混合精度推理系统MixQ,实现大模型近无损量化并提升推理吞吐

清华开源混合精度推理系统MixQ,实现大模型近无损量化并提升推理吞吐

清华开源混合精度推理系统MixQ,实现大模型近无损量化并提升推理吞吐

一键部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍! 清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。 MixQ支持8比特和4比特混合精度推理,可实现近无损的量化部署并提升推理的吞吐。

来自主题: AI资讯
4552 点击    2024-10-21 14:15
又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

来自主题: AI技术研报
11012 点击    2024-10-19 14:15
以图灵机为师:通过微调训练让大语言模型懂执行计算过程

以图灵机为师:通过微调训练让大语言模型懂执行计算过程

以图灵机为师:通过微调训练让大语言模型懂执行计算过程

大型语言模型 (LLM) 在各种自然语言处理和推理任务中表现出卓越的能力,某些应用场景甚至超越了人类的表现。然而,这类模型在最基础的算术问题的表现上却不尽如人意。

来自主题: AI技术研报
5521 点击    2024-10-18 13:54
萌化了!日本造了个AI宠物,卖2800元被疯抢

萌化了!日本造了个AI宠物,卖2800元被疯抢

萌化了!日本造了个AI宠物,卖2800元被疯抢

最近,一家名为 CASIO 的日本公司,推出了一款毛茸茸的 AI 宠物机器人 ——Moflin。

来自主题: AI资讯
12559 点击    2024-10-17 21:20
实测13个类Sora视频生成模型,8000多个案例,一次看个够

实测13个类Sora视频生成模型,8000多个案例,一次看个够

实测13个类Sora视频生成模型,8000多个案例,一次看个够

腾讯 AI Lab 联合中科大发布了一份针对类 SORA 视频生成模型的测评报告,重点聚焦目前最前沿的类 SORA DiT 架构的高质量视频生成闭源模型

来自主题: AI技术研报
4792 点击    2024-10-16 16:03