迁移学习作为机器学习和人工智能领域的重要方法，在计算机视觉、自然语言处理（NLP）、语音识别等领域都得到广泛应用。本书是迁移学习技术的实用入门图书，能够带领读者深入实践自然语言处理模型。首先，本书回顾了机器学习中的关键概念，并介绍了机器学习的发展历史，以及NLP迁移学习的进展；其次，深入探讨了一些重要的NLP迁移学习方法NLP浅层迁移学习和NLP深度迁移学习；最后，涵盖NLP迁移学习领域中重要的子领域以Transformer作为关键功能的深度迁移学习技术。读者可以动手将现有的先进模型应用于现实世界的应用程序，包括垃圾电子邮件分类器、IMDb电影评论情感分类器、自动事实检查器、问答系统和翻译系统等。
本书文字简洁、论述精辟、层次清晰，既适合拥有NLP基础的机器学习和数据科学相关的开发人员阅读，也适合作为高等院校计算机及相关专业的学生参考用书。
·内容基础且实用。本书是关于迁移学习技术在NLP领域的实用指南，能够帮助读者快速了解相关的机器学习概念，并将其应用于现实世界的问题。
·内容技术新。本书详细介绍了如何使用迁移学习技术来解决新场景、新任务和新环境的问题，使得机器学习系统更加可靠和鲁棒。
·具有实战性。本书提供了如何使用迁移学习来改进NLP模型的实践指导，读者可以学习如何从预训练模型开始，调整以满足确切的需求，从而提供先进的结果。
·涵盖广泛主题。本书涵盖了各种NLP应用程序，包括垃圾电子邮件分类器、IMDb电影评论情绪分析器、自动事实检查器、问答系统和翻译系统等，使读者能够全面了解迁移学习在NLP领域的应用。
·参考价值高。本书不仅适合拥有NLP基础的机器学习和数据科学的开发人员阅读，同时也适合高等院校计算机及相关专业的学生和软件学院的学生参考，具有很高的参考价值。
·清晰易懂的文字表述：本书采用简洁明了的文字表述，使读者能够轻松理解书中的内容，降低阅读门槛。
Paul Azunre拥有麻省理工学院计算机科学博士学位，曾担任美国国防部高级研究计划局（DARPA）的多个研究项目的主任研究员。由他创建的Algorine公司致力于推进AI/ML技术并让这些技术产生重大社会影响。Paul还参与创建了Ghana NLP开源社区。该社区专注于NLP技术的应用，尤其是对加纳语和其他低资源语言进行迁移学习。
第 一部分 导论
第 1章 迁移学习简介 3
1.1 NLP领域典型任务概述 5
1.2 理解人工智能背景下的NLP技术 6
1.2.1 人工智能 7
1.2.2 机器学习 7
1.2.3 自然语言处理 11
1.3 NLP发展简史 12
1.3.1 NLP简介 12
1.3.2 迁移学习的进展 14
1.4 计算机视觉中的迁移学习 16
1.4.1 概述 16
1.4.2 ImageNet预训练模型 17
1.4.3 ImageNet预训练模型的微调 18
1.5 NLP迁移学习成为一个令人兴奋的研究课题的原因 19
小结 20
第 2章 从头开始：数据预处理 21
2.1 垃圾电子邮件分类任务中示例数据的预处理 23
2.1.1 加载并检视Enron电子邮件语料库 24
2.1.2 加载并检视欺诈电子邮件数据集 26
2.1.3 将电子邮件文本转换为数值 30
2.2 电影评论情感分类任务中示例数据的预处理 32
2.3 广义线性模型 35
2.3.1 逻辑斯谛回归 36
2.3.2 支持向量机 38
小结 38
第3章 从头开始：基准测试和优化 41
3.1 基于决策树的模型 41
3.1.1 随机森林 42
3.1.2 梯度提升机 42
3.2 神经网络模型 47
3.2.1 语言模型嵌入 47
3.2.2 BERT模型简介 52
3.3 效果优化 56
3.3.1 手动超参调优 56
3.3.2 系统化超参调优 57
小结 58
第二部分 基于循环神经网络的浅层迁移学习和深度迁移学习
第4章 NLP浅层迁移学习 63
4.1 基于预训练词嵌入的半监督学习 65
4.2 基于高级表示的半监督学习 69
4.3 多任务学习 71
4.3.1 问题的提出以及浅层神经网络单任务基线 72
4.3.2 双任务实验 74
4.4 领域适配 75
小结 78
第5章 基于循环神经网络的深度迁移学习实验的数据预处理 79
5.1 表格分类数据的预处理 81
5.1.1 获取并检视表格数据 82
5.1.2 预处理表格数据 85
5.1.3 对预处理数据进行数字编码 87
5.2 预处理示例数据的事实核查 87
5.2.1 特殊问题考量 88
5.2.2 加载并检视事实核查数据 88
小结 89
第6章 基于循环神经网络的NLP深度迁移学习 91
6.1 SIMOn 91
6.1.1 通用神经网络结构概述 92
6.1.2 表格数据建模 93
6.1.3 SIMOn在表格数据分类中的应用 93
6.2 ELMo 100
6.2.1 ELMo双向语言建模 101
6.2.2 ELMo在虚假新闻检测任务中的应用 102
6.3 ULMFiT 104
6.3.1 以语言模型为目标任务的微调 104
6.3.2 以分类为目标任务的微调 105
小结 105
第三部分 基于Transformer的深度迁移学习以及适配策略
第7章 基于Transformer的深度迁移学习和GPT 109
7.1 Transformer 110
7.1.1 transformers库简介与注意力可视化 113
7.1.2 自注意力 115
7.1.3 残差连接、编码器-解码器注意力和位置编码 117
7.1.4 预训练的编码器-解码器在机器翻译任务中的应用 120
7.2 GPT 121
7.2.1 模型结构概述 122
7.2.2 Transformer pipeline及其在文本生成任务中的应用 124
7.2.3 聊天机器人任务中的应用 126
小结 128
第8章 基于BERT和mBERT的NLP深度迁移学习 129
8.1 BERT 130
8.1.1 BERT模型结构 131
8.1.2 在自动问答任务中的应用 134
8.1.3 在空白填写和后续句预测任务中的应用 136
8.2 mBERT的跨语言学习 138
8.2.1 JW300数据集概述 139
8.2.2 用预训练分词器将mBERT迁移到Twi单语言数据 139
8.2.3 根据Twi单语言数据从头训练mBERT模型和分词器 142
小结 143
第9章 ULMFiT与知识蒸馏的适配策略 145
9.1 逐步解冻和差别式微调 146
9.1.1 预训练语言模型微调 147
9.1.2 以分类为目标任务的微调 149
9.2 知识蒸馏 151
小结 156
第 10章 ALBERT、适配器和多任务适配策略 157
10.1 嵌入因子分解与跨层参数共享 158
10.2 多任务微调 162
10.2.1 GLUE数据集 163
10.2.2 GLUE单任务微调 164
10.2.3 序列化适配 167
10.3 适配器 169
小结 171
第 11章 总结 173
11.1 关键概念概述 174
11.2 其他新兴研究趋势 179
11.2.1 RoBERTa 180
11.2.2 GPT-3 180
11.2.3 XLNet 182
11.2.4 BigBird 182
11.2.5 Longformer 182
11.2.6 Reformer 183
11.2.7 T5 183
11.2.8 BART 184
11.2.9 XLM 185
11.2.10 TAPAS 185
11.3 NLP迁移学习的发展方向 186
11.4 伦理和环境因素 187
11.5 最新进展 189
11.5.1 Kaggle和Zindi比赛 189
11.5.2 arXiv 190
11.5.3 新闻与社交媒体 190
11.6 写在最后 191
附录A Kaggle入门 193
A.1 通过Kaggle Kernel免费使用GPU 193
A.2 竞赛、讨论区和博客 198
附录B 深度学习的基础工具简介 201
B.1 随机梯度下降 202
B.2 TensorFlow 203
B.3 PyTorch 206
B.4 Keras、fast.ai库和Hugging Face的transformers库 207
书单推荐
