摘要
本发明提出了一种基于游戏平台的数据处理方法。属于数据处理技术领域;所述方法包括:多源数据采集与数字孪生建模;构建实时数据流处理环境;使用Kafka接收实时数据流,并将其存储到分布式文件系统或列式数据库中,利用流处理引擎对实时数据流进行即时分析;使用批量处理工具对存储在HDFS或HBase中的历史数据进行批量处理和分析,挖掘潜在的数据模式和趋势;进行特征工程处理。通过联邦学习平台对各参与方的局部模型进行聚合。通过批处理与流处理的结合,既保证了实时数据的快速响应,又实现了历史数据的深度挖掘,形成了互补优势。