基于自然语言处理的弱监督知识获取系统的实现
CSTR:
作者:
作者单位:

1.西安邮电大学 计算机学院 西安 710121;2.陕西广电网络传媒(集团)股份有限公司技术部 西安 710061

中图分类号:

TN081


Implementation of weakly supervised learning knowledge acquisition system based on natural language processing
Author:
Affiliation:

1. School of Computer Science and Technology, Xi′an University of Posts and Telecommunications, Xi’an 710121, China; 2. Technology Department, Shaanxi Broadcast & TV Network Intermediary (Group) Co. Ltd., Xi′an 710061, China

  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [10]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    知识获取多年来一直被认为是阻碍智能系统开发的瓶颈问题,尤其是互联网时代,大量的信息都以非结构化的文本形式存在。本文运用分布式计算思想设计了一个基于互联网大规模语料库的知识自动获取系统。采用弱监督条件下机器学习的方法对信息自动挖掘和获取,实现机器对知识的自动学习和挖掘、新词词典发现、实体关系模板提取、命名实体识别等功能。利用该系统分别对未登录新词发现和地名识别两种应用进行了实验,运用Ngram和互信息(PMI)方法分别取得了72.1%和87.28%的准确率。

    Abstract:

    Knowledge acquisition has been considered as a bottleneck problem in the development of intelligent systems for many years. Especially in the Internet era, a large number of information exists in the form of unstructured text. This paper introduces a knowledge acquisition system for a large Web page corpus based on distributed computing. This system is designed for automatic information mining and acquisition by the weakly supervised learning method. Computers can realize the automatic learning and mining of knowledge, the discovery of new words dictionary, the extraction of entity relation template, the entity recognition and so on. We represent the Ngram model and pairwise mutual information methods for new words recognition and location name entity detection, and the experimental results show the precision are 72.1% and 87.28% respectively.

    参考文献
    [1]ETZIONI O, CAFARELLA M, DOWNEY D, et al. Webscale information extraction in knowitall:(preliminary results)[C]. International Conference on World Wide Web, DBLP, 2004:100110.
    [2]鲁强, 周新. 基于在线检测动态一维下料问题的GPU并行蚁群算法[J]. 仪器仪表学报, 2015, 36(8): 17741782.
    [3]颜培清, 何炳蔚, 雷阿唐,等. 基于深度信息的多目标抓取规划方法研究[J]. 电子测量与仪器学报, 2016, 30(9): 13421350.
    [4]刘兆军. XML文档数据集聚类问题研究[D]. 长春:吉林大学, 2015.
    [5]张鸿鹏, 李东新. 动态百分比特征裁剪AdaBoost人脸检测算法[J]. 国外电子测量技术, 2016, 35(9): 3740.
    [6]郑学伟. 基于语义的信息时序检测技术设计研究[J]. 电子测量技术, 2016, 39(10):4851.
    [7]葛顺, 夏学知. 基于聚类的朴素贝叶斯分类无监督学习方法[J]. 舰船科学技术, 2016, 38(1):112116.
    [8]DOWNEY D, ETZIONI O, SODERLAND S. Analysis of a probabilistic model of redundancy in unsupervised information extraction[J]. Artificial Intelligence, 2010, 174(11):726748.
    [9]杜丽萍, 李晓戈, 周元哲,等. 互信息改进方法在术语抽取中的应用[J]. 计算机应用, 2015, 35(4):9961000.
    [10]SIDDHARTHAN A, CHRISTOPHER D, MANNING C D, et al. Foundations of Statistical Natural Language Processing[J]. Natural Language Engineering, 2002, 8(1):9192.
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

田东,张西宁.基于自然语言处理的弱监督知识获取系统的实现[J].国外电子测量技术,2017,36(3):60-63

复制
分享
文章指标
  • 点击次数:1040
  • 下载次数: 1677
  • HTML阅读次数: 0
  • 引用次数: 0
历史
  • 在线发布日期: 2017-04-18
文章二维码
×
《国外电子测量技术》
2025年投稿方式有变