摘要
本发明公开了一种用于加速AI数据处理的多阶段缓存方法,属于人工智能数据处理技术领域,具体包括:创建数据处理流水线,插入缓存操作并标记位置,设置缓存客户端、缓存服务器和共享空间,缓存客户端与数据处理流水线交互,缓存服务器存储缓存数据集,缓存客户端与缓存服务器使用gRPC框架进行数据传输,将数据处理流水线转化为图结构并验证,对图结构进行转换,生成执行图并优化算子,数据处理流水线按照执行图进行数据处理,并通过调用缓存客户端与缓存服务器进行通信,执行缓存数据集的写入和读取操作,本发明能够提高AI数据处理速度。