基于动态代码生成的数据处理方法及装置

本申请提供一种基于动态代码生成的数据处理方法及装置，涉及数据处理技术领域。基于动态代码生成的数据处理方法包括：对跨源的数据处理请求进行解析，以确定数据的类型信息和数据处理语法；根据类型信息和数据处理语法，生成数据处理物理计划；将数据处理物理计划对应的内置算子替换为预定义操作算子；根据预定义操作算子生成对应的第一格式代码，以基于第一格式代码执行数据处理请求，并确定数据处理结果。本申请在涉及大规模数据和高并发场景下，将联邦数据计算逻辑动态生成为高效的C++代码，并下沉至本地执行，绕过了JVM的性能瓶颈，同时充分利用Spark在分布式计算、任务调度和资源管理方面的优势，大幅提升了数据处理效率。