搜索
AnyGraph聚焦于解决图数据的核心难题，跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性，通过轻量化路由机制和高效设计提升快速适应能力，且在泛化能力上符合Scaling Law。
该论文作者均来自于华南理工大学马千里教授团队，所在实验室为机器学习与数据挖掘实验室。论文的三位共同第一作者为博士生郑俊豪、硕士生邱圣洁、硕士生施成明，主要研究方向包括大模型和终生学习等，通讯作者为马千里教授（IEEE/ACM TASLP 副主编）。
本文第一作者为香港大学博士研究生谢知晖，主要研究兴趣为大模型对齐与强化学习。
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。
罗盟，本工作的第一作者。新加坡国立大学（NUS）人工智能专业准博士生，本科毕业于武汉大学。主要研究方向为多模态大语言模型和 Social AI、Human-eccentric AI。
让AI像人类一样借助多模态线索定位感兴趣的物体，有新招了！
本文的主要作者来自香港大学的数据智能实验室 (Data Intelligence Lab@HKU)。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
最近，又一款国产 AI 神器吸引了众网友和圈内研究人员的关注！它就是全新的图像和视频生成控制工具 —— ControlNeXt，由思谋科技创始人、港科大讲座教授贾佳亚团队开发。
最近，Meta的多个工程团队联合发表了一篇论文，描述了在引入基于GPU的分布式训练时，他们如何为其「量身定制」专用的数据中心网络。