一种基于分布式架构平台的实时流计算和服务调度方法及系统
申请号:CN202411869281
申请日期:2024-12-18
公开号:CN119718582B
公开日期:2025-06-27
类型:发明专利
摘要
本发明公开了一种基于分布式架构平台的实时流计算和服务调度方法及系统,属于实时流计算和调度策略技术领域。解决了现有技术中传统的实时流计算和服务调度方法资源利用率低且计算效率低的问题;本发明搭建基于分布式架构平台的实时流计算和服务调度系统;在实时流计算和服务调度系统的自定义任务调度中心中,集成工作流调度和管理平台,定义有向无环图工作流,并制定调度规则与策略;在自定义流式计算处理中心中,集成用于实时流数据处理的解析器的流计算引擎,进行流式计算,将计算结果存储到DolphinDB数据库,完成实时流计算和服务调度。本发明有效提升了数据处理效率和服务响应速度,可以应用于大规模数据流处理。
技术关键词
自定义任务调度
服务调度系统
服务调度方法
分布式架构
有向无环图
自定义算法
数据采集中心
调度策略技术
集成工作流
平台
关系
重试机制
资源
容错机制
指令
解析器
调度器