本书介绍了人工智能与语言知识的结合特点。通过理论概念讲解、具体实例分析,介绍语言知识的构建方法、类型案例、应用领域,辅助学习者快速了解行业基础和发展动态。本书首先介绍语言知识库的基本理论和构建方法,通过例子介绍资源类语言知识、语料库语言知识的概念和结构。为了方便理解,本书结合大量案例介绍语言知识在自然语言处理及在司法、医疗、金融等垂直领域中的应用,目的是帮助数据标注者理解行业发展,建立语言知识理论和应用的基本框架,为从事相关工作提供便利。
于东,北京语言大学信息科学学院副教授。中国中文信息学会青工委委员,语言与知识计算专委会委员。主要研究方向为计算语言学、数字人文、语言资源建设。擅长将语言学问题与计算语言学方法交叉,构建新问题、研究新方法。主持国家自然科学基金项目、教育部人文社科基金,参与国家863计划、国家社科基金项目多项。累计发表论文30余篇。多年主讲《人工智能思想与方法》、《自然语言处理》等专业课程,主讲课程获批国家级一流本科课程。
目录
第1章 人工智能与知识表示 001
1.1 智能与人工智能 001
1.1.1 智能 001
1.1.2 人工智能 002
1.2 基本方法和流派 003
1.2.1 基本方法 004
1.2.2 基本流派 004
1.3 知识表示 005
1.3.1 知识符号化 005
1.3.2 知识表示的概念 006
1.3.3 人工智能中的知识表示 007
1.4 一阶谓词逻辑的知识表示 008
1.4.1 命题逻辑 008
1.4.2 谓词逻辑 010
1.4.3 使用谓词表示知识 012
1.4.4 小结 014
1.5 产生式知识表示 015
1.5.1 产生式的概念 015
1.5.2 规则性知识的产生式 015
1.5.3 事实性知识的产生式 017
1.5.4 产生式系统 017
第2章 语言知识库的构建 023
2.1 语言知识的概念 023
2.1.1 语言知识 023
2.1.2 语言知识库 024
2.1.3 语言知识库的类型 025
2.2 语言知识的来源 026
2.2.1 结构化数据 027
2.2.2 半结构化数据 027
2.2.3 非结构化数据 028
2.3 语言知识库的构建 028
2.3.1 构建流程 028
2.3.2 规范和原则 029
2.4 语言知识获取方法 031
2.4.1 人工标注知识 031
2.4.2 自动获取知识 032
2.4.3 人机交互获取知识 033
2.5 语言知识的存储 033
2.5.1 数据库及其类型 033
2.5.2 可扩展标记语言 034
2.5.3 数据交换格式 036
2.5.4 本体知识表示 037
第3章 资源类语言知识 042
3.1 资源类语言知识的概念 042
3.2 资源类语言知识的发展 043
3.2.1 语义网络 043
3.2.2 语义Web 044
3.2.3 知识图谱 049
3.3 常用的资源类语言知识 049
3.3.1 WordNet 049
3.3.2 FrameNet 050
3.3.3 ConceptNet 052
3.3.4 HowNet 054
3.3.5 同义词词林 055
第4章 语料库语言知识 059
4.1 词汇中的语言知识 059
4.1.1 词性知识 059
4.1.2 分词知识 061
4.2 句子中的语言知识 062
4.2.1 命名实体知识 063
4.2.2 实体关系知识 063
4.2.3 事件知识 064
4.3 句子结构中的知识 065
4.3.1 句法结构树 065
4.3.2 浅层句法结构 066
4.3.3 依存句法树 067
4.3.4 抽象语义表示 069
4.4 常用汉语语料库 070
4.4.1 大规模汉语语料库 070
4.4.2 汉语标注语料库 072
第5章 语言知识的应用:面向自然语言处理 077
5.1 自然语言处理的基本问题 077
5.1.1 语言模型问题 077
5.1.2 分类问题 080
5.1.3 序列标注问题 081
5.1.4 语言结构分析问题 083
5.1.5 语言生成问题 085
5.2 自动问答 085
5.2.1 概念和历史 085
5.2.2 开放领域自动问答 087
5.2.3 基于知识的自动问答 088
5.3 机器阅读理解 090
5.3.1 概念和发展史 090
5.3.2 完型填空型任务和数据集 092
5.3.3 选择型任务和数据集 093
5.3.4 片段抽取型任务和数据集 094
5.3.5 自由问答型任务和数据集 095
5.4 机器翻译 096
5.4.1 概念和发展史 096
5.4.2 机器翻译的基石:双语平行语料库 098
5.4.3 统计机器翻译方法简介 099
5.4.4 神经机器翻译方法简介 100
第6章 语言知识的应用:面向垂直领域 104
6.1 智能司法信息处理 104
6.1.1 概述 104
6.1.2 法律判决预测任务 106
6.1.3 相似案件匹配任务 107
6.1.4 司法领域自动问答 108
6.2 智能医疗信息处理 110
6.2.1 概述 110
6.2.2 医疗信息知识库构建 111
6.2.3 智慧医疗的典型应用 115
6.2.4 智慧医疗的未来发展 116
6.3 智能金融信息处理 117
6.3.1 概述 117
6.3.2 金融领域知识库构建与分析技术 118
6.3.3 智能金融的典型应用 123