在人工智能领域，模型参数的增多往往意味着性能的提升。但随着模型规模的扩大，其对终端设备的算力与内存需求也日益增加。低比特量化技术，由于可以大幅降低存储和计算成本并提升推理效率，已成为实现大模型在资源受限设备上高效运行的关键技术之一。然而，如果硬件设备不支持低比特量化后的数据模式，那么低比特量化的优势将无法发挥。
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
暗壳AI由矩阵纵横孵化，现开启新一轮融资。
简而言之：矩阵 → ReLU 激活 → 矩阵
低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。
在 2024 年世界人工智能大会的现场，很多人在一个展台前排队，只为让 AI 大模型给自己在天庭「安排」一个差事。
让语言模型「轻装上阵」。
使用测序 (scATAC-seq) 技术对转座酶可及的染色质进行单细胞测定，可在单细胞分辨率下深入了解基因调控和表观遗传异质性，但由于数据的高维性和极度稀疏性，scATAC-seq 的细胞注释仍然具有挑战性。现有的细胞注释方法大多集中在细胞峰矩阵上，而没有充分利用底层的基因组序列。
不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。
近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码，通过手搓84个新的矩阵乘法内核，将Llama的推理速度提高了500%！
