一种基于深度学习的大数据智能采集方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于深度学习的大数据智能采集方法
申请号:CN202410858545
申请日期:2024-06-28
公开号:CN119003849A
公开日期:2024-11-22
类型:发明专利
摘要
本发明公开了一种基于深度学习的大数据智能采集方法,属于数据安全领域,该采集方法具体步骤如下:(1)通过网络爬虫技术识别并收集潜在数据源;(2)对各数据源进行分类识别并提取对应的关键信息;(3)对数据源进行深度优先搜索获取最优数据采集路径;(4)构建关联知识图谱并寻找全局最优的采集策略;本发明能够帮助系统快速定位和访问潜在的数据源,提高数据采集的效率,能够根据搜索结果动态调整搜索策略,提高数据采集的性能和适应性,使得采集到的数据更具有价值和意义,能够为数据的后续处理和利用提供有力支持,增强对数据的理解能力,帮助用户更好地理解数据的内在含义和价值,提高数据采集的效率和准确性。
技术关键词
数据智能采集方法 网络爬虫技术 深度优先搜索 节点 命名实体识别技术 关系抽取技术 对象存储系统 策略 分布式爬虫 列式数据库 异常数据 知识图谱构建 训练集 深度学习框架 数据存储技术 解析技术