《自然语言处理的Python实践》通过5章内容深入解读了自然语言处理(NLP)的文本数据处理方法和行业实际应用。其中讨论了文本数据的根本问题所在和在文本数据中如何提取信息、提取哪种信息等,同时通过第2~5章,重点讲解了客户服务行业、在线评论、银行与金融服务及保险行业、虚拟助手四大NLP重点领域的实际应用方法,其中详细解读了意图挖掘、基于ML的监督学习、情感分析与挖掘、Word2Vec、CBOW、LSTM、编码器-解码器模型框架和当今NLP领域解决问题效果最好的BERT模型等关键技术方法。内容全面,案例真实。本书案例均直接深入到各行业,读者在阅读学习过程中,能通过书中相应的代码和案例思路,真正解决实际工作中遇到的问题。
本书适合各个行业自然语言处理方向的技术人员阅读学习,也适合开设自然语言处理课程的院校师生及计算机专业教学参考使用。
吴伟国,无党派人士。哈尔滨工业大学教授,博士生导师,机电控制及自动化学科工学博士,日本国立名古屋大学微系统工学博士后研究员。长期从事工业机器人、仿生仿人机器人及智能运动控制、人工智能、人工情感等方面研究。作为项目负责人先后主持完成国家自然科学基金、国家863计划、国家重点实验室、教育部归国留学基金项目以及参与完成各类项目共10余项。主持“十三五”国家重点研发计划项目课题、国家自然科学基金重点课题子课题各1项。发表学术论文80余篇,参编“十一五”国家级规划教材1部,著有国家出版基金项目资助著作3部,以第1发明人获发明专利权20项,获部级科技进步一、二等奖各1项。
第1章 数据类型 001
1.1 搜索 002
1.2 评论 003
1.3 社交媒体中的帖子/博客 005
1.4 聊天数据 006
1.4.1 私人聊天 006
1.4.2 商务聊天和语音通话数据 007
1.5 SMS(短信)数据 008
1.6 内容数据 009
1.7 IVR(交互式语音应答)话语数据 010
1.8 数据中的有用信息 010
第2章 NLP在客户服务中的应用 013
2.1 语音通话 014
2.2 聊天 015
2.3 票证数据 016
2.4 邮件数据 016
2.5 客户需求 018
2.5.1 意图挖掘 018
2.5.2 意图理解的热门词汇 019
2.5.3 词云 021
2.5.4 主题分类规则 024
2.6 基于机器学习的监督学习 028
2.6.1 获取人工标记的数据 028
2.6.2 分词 030
2.6.3 文档词条矩阵 031
2.6.4 数据标准化 035
2.7 替换某些模式 036
2.8 识别并标注问题所在的行 040
2.9 热门客户查询 041
2.10 热门客户满意度(CSAT)驱动器 043
2.11 热门净推荐值(NPS)驱动器 045
2.12 深入了解销售对话 050
2.12.1 销售对话中的热门产品 050
2.12.2 未交易的原因 051
2.12.3 调查评论分析 052
2.12.4 挖掘语音记录 052
第3章 NLP在在线评论中的应用 059
3.1 情感分析 060
3.2 情感挖掘 061
3.3 方法1:基于词典的方法 062
3.4 方法2:基于规则的方法 066
3.4.1 观察结果1 066
3.4.2 观察结果2 067
3.4.3 观察结果3 067
3.4.4 观察结果4 068
3.4.5 总体得分 069
3.4.6 处理观察结果 070
3.4.7 情绪分析库 085
3.5 方法3:基于机器学习的方法(神经网络) 086
3.5.1 语料库的特征 087
3.5.2 构建神经网络 091
3.5.3 加以完善 093
3.6 属性提取 093
3.6.1 步骤1:使用正则表达式进行规范化 095
3.6.2 步骤2:提取名词形式 097
3.6.3 步骤3:创建映射文件 098
3.6.4 步骤4:将每个评论映射到属性 100
3.6.5 步骤5:品牌分析 101
第4章 NLP在银行、金融服务和保险业(BFSI)的应用 109
4.1 NLP之于风险控制 110
4.1.1 方法1:使用现有的库 111
4.1.2 方法2:提取名词短语 113
4.1.3 方法3:训练自己的模型 115
4.1.4 模型应用 142
4.2 NLP在银行、金融服务和保险业的其他应用案例 157
4.2.1 短信数据 157
4.2.2 银行业的自然语言生成 158
第5章 NLP在虚拟助手中的应用 163
5.1 网络机器人(Bot程序)种类 164
5.2 经典方法 165
5.2.1 LSTM概述 169
5.2.2 LSTM的应用 173
5.2.3 时间分布层 174
5.3 生成响应法 178
5.3.1 编码器-解码器模型框架 179
5.3.2 数据集 180
5.3.3 框架的实现 180
5.3.4 编码器-解码器模型框架的训练 189
5.3.5 编码器输出 192
5.3.6 解码器输入 192
5.3.7 预处理 195
5.3.8 双向LSTM 200
5.4 BERT(基于转换器的双向编码表征) 202
5.4.1 语言模型和微调 202
5.4.2 BERT概述 203
5.4.3 微调BERT以构建分类器 208
5.5 构建网上对话机器人的更多细微差别 211
5.5.1 单轮对话和多轮对话的比较 211
5.5.2 多语言网上机器人 213