基于异常数据的大数据存储方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于异常数据的大数据存储方法
申请号:CN202411081304
申请日期:2024-08-08
公开号:CN118626274B
公开日期:2024-10-25
类型:发明专利
摘要
本发明涉及数据管理技术领域,具体为基于异常数据的大数据存储方法,包括:对目标数据源中包括的各个待采集数据流进行实时监测,从而得到多数据流,并对所述多数据流进行特征提取,从而得到所述多数据流的数据流特征;基于所述数据流特征对所述多数据流进行数据异常检测,从而得到异常数据。本发明能够对待采集数据流进行实时监测,并通过特征提取和数据异常检测,快速识别出异常数据,从而及时作出处理,且通过构建Redis缓冲区队列并根据周期负载率实时调整队列长度、计算综合负载并进行读写任务分配,能够有效管理系统资源,提高数据处理效率。
技术关键词
异常数据 数据流特征 数据存储方法 网格 队列监控 因子 周期 聚类 管理系统资源 均值漂移算法 压力 数据管理技术 密度 节点 邻居 速率 元素 格式