专题科普:DeepDive
作者:林 明 日期:2014 年 12 月 29 日
1条评论
简介
DeepDive是一个可以通过机器学习技术利用特定领域知识,并且通过用户反馈提高分析质量的开源知识提取系统。
其目标为帮助用户从数据中提取实体和关系,并对事实经行推理。
DeepDive可以处理结构化/非结构化、干净/带噪声的数据,并将结果输出至数据库。
主要面向从互联网非结构化数据中抽取结构化信息,做一系列后处理,构建知识库并抽取关系等。
DeepDive的特点为:
- 意识到数据存在噪音(不精确性),通过为每个断言设置置信度予以校正
- 数据源多样性,如文档、网页、图表等
- 可以通过使用已有的领域知识指导推理,接受用户反馈,提高预测的质量
- 使用Distant supervision技术,只需少量/甚至不需要训练数据
- 是一个可拓展的高性能推理和学习引擎