基于大模型和数据流程编排的自动化数据质检系统与方法
申请号:CN202511394526
申请日期:2025-09-28
公开号:CN120893585A
公开日期:2025-11-04
类型:发明专利
摘要
本发明涉及大数据治理与人工智能应用技术领域,具体为基于大模型和数据流程编排的自动化数据质检系统与方法,括以下步骤:系统架构搭建:采用“三层架构”设计,包括数据接入层、智能质检层和流程编排层;有益效果为:通过集成大语言模型(LLM)的智能分析能力与低代码流程编排工具的数据处理pipeline,实现对结构化、非结构化数据的全链路自动化质检。系统结合规则引擎与大模型动态推理,支持自定义质检规则生成、异常数据智能识别及质检流程自适应优化,提升数据质量检测的自动化水平与复杂场景适应性,适用于政府、金融、医疗、电商等多行业的数据治理场景。
技术关键词
数据质检系统
识别敏感信息
支持用户自定义
监控仪表盘
任务调度
异常数据处理
数据分布
多源异构数据
适配器组件
低代码平台
语义
节点
数据质检方法
系统日志
动态
生成规则
非结构化文本
支持自定义