神经网络与深度学习是人工智能研究的重要领域，是机器学习的重要组成部分。人工智能是研究理解和模拟人类智能、智能行为及其规律的科学。本书紧紧围绕神经网络和深度学习的基础知识体系进行系统的梳理，力求从基础理论、经典模型和前沿应用展开论述，便于读者能够较为全面地掌握深度学习的相关知识。全书共 16 章。第 1 章是绪论，简要介绍人工智能、机器学习、神经网络与深度学习的基本概念及相互关系，并对神经网络的发展历程和产生机理进行阐述；第2章介绍神经网络的基本神经元模型、网络结构、学习方法、学习规则、正则化方法、模型评估方法等基础知识；第3～8章介绍多层感知器神经网络、自组织竞争神经网络、径向基函数神经网络、卷积神经网络、循环神经网络、注意力机制与反馈网络；第9章介绍深度学习网络优化的相关内容；第 10～13章介绍受限玻尔兹曼机和深度置信网络、栈式自编码器、生成对抗网络和图神经网络；第 14 章介绍深度强化学习；第15章介绍深度学习的可解释性；第16章介绍多模态预训练模型。深度学习是源于对含有多个隐藏层的神经网络结构进行的研究，以便建立和模拟人脑的学习过程。本书整理了人工神经网络从简单到复杂的模型，归纳和总结了神经网络的理论、方法和应用实践。本书可以作为高等院校人工智能及相关专业或非计算机专业的参考用书，也可以作为人工智能领域的科技工作者或科研机构工作人员的参考用书。
赵眸光，博士，以工业互联网、大数据、机器学习、计算机视觉和自然语言处理等内容为研究方向，服务于智慧城市产业化应用。大数据产业联合会会员，人工智能协会会员。大数据与人工智能智库专家。曾担任过首席架构专家、首席数据专家、企业信息资源规划专家。在清华从事过信息规划咨询，产学研合作、技术成果转化工作。从事过智慧城市的顶层设计规划工作。参与过多项项目评审工作。围绕数字金融、智慧医疗、智能交通、智能制造、智慧旅游、智慧教育、智慧园区等参与过多个项目和课题研究。出版过智慧城市、大数据、企业信息规划、信息安全等领域多本著作。从事过大型企业互联网、企业ERP、MES、云计算、大数据等信息化项目。
第1章 绪论1
1.1 与深度学习有关的几个概念1
1.1.1 人工智能2
1.1.2 机器学习4
1.1.3 表示学习10
1.1.4 机器学习、神经网络及深度学习的关系12
1.1.5 深度学习常用的框架14
1.2 神经网络与深度学习的发展历程15
1.2.1 神经网络的诞生16
1.2.2 神经网络的复兴16
1.2.3 深度学习的崛起17
1.3 神经网络的产生机理18
1.3.1 大脑研究的基本情况19
1.3.2 脑组织的基本组成20
1.3.3 脑组织的分层结构22
1.3.4 大脑的基本工作原理22
1.4 生物神经网络基础25
1.4.1 神经元的基本结构25
1.4.2 神经元的基本分类28
1.4.3 神经元的信息传递机理28
1.4.4 生物神经网络的构成31
1.5 本书的知识框架体系32
1.6 本章小结33
第2章 人工神经网络计算35
2.1 神经网络概述35
2.2 人工神经元模型36
2.2.1 基本神经元模型36
2.2.2 常用激活函数38
2.2.3 Softmax输出分类42
2.3 神经网络结构43
2.3.1 单层前馈网络44
2.3.2 多层前馈网络45
2.3.3 反馈网络46
2.3.4 图网络46
2.4 神经网络的学习方法47
2.4.1 无监督学习的Hebb算法48
2.4.2 监督学习的Delta规则49
2.5 神经网络的损失函数50
2.5.1 均方差损失函数50
2.5.2 平均绝对误差损失函数50
2.5.3 交叉熵损失函数51
2.6 神经网络的学习规则55
2.6.1 极大似然估计55
2.6.2 经验风险最小化准则57
2.6.3 过拟合与欠拟合57
2.7 梯度下降法58
2.7.1 一维梯度下降59
2.7.2 多维梯度下降60
2.7.3 随机梯度下降61
2.8 网络正则化方法62
2.8.1 L1和L2正则化62
2.8.2 提前停止63
2.8.3 权重衰减64
2.8.4 丢弃法64
2.8.5 数据增强69
2.8.6 标签平滑69
2.9 模型评估方法70
2.9.1 混淆矩阵70
2.9.2 准确率、精确率、召回率71
2.9.3 ROC/AUC/PR曲线72
2.10 本章小结74
第3章 多层感知器神经网络75
3.1 感知器及其发展过程75
3.2 感知器学习算法76
3.2.1 离散单输出感知器学习算法76
3.2.2 离散多输出感知器学习算法77
3.2.3 多层感知器线性处理问题79
3.3 多层感知器的算法实现82
3.4 反向传播算法84
3.4.1 反向传播多层感知器模型84
3.4.2 反向传播算法的原理85
3.4.3 反向传播算法的执行步骤89
3.4.4 梯度消失和梯度爆炸问题91
3.4.5 反向传播网络的数据拟合问题92
3.5 本章小结97
第4章 自组织竞争神经网络98
4.1 竞争学习的概念与原理98
4.1.1 竞争学习规则98
4.1.2 竞争学习原理100
4.2 SOFM网络101
4.2.1 SOFM网络结构101
4.2.2 运行原理102
4.2.3 学习过程103
4.2.4 两阶段学习104
4.3 ART网络105
4.3.1 ART网络结构105
4.3.2 网络运行与训练107
4.3.3 网络运行的参数说明108
4.4 自组织竞争神经网络的算法实现108
4.5 本章小结109
第5章 径向基函数神经网络111
5.1 径向基函数介绍及结构111
5.2 函数逼近与内插112
5.2.1 插值问题的定义112
5.2.2 径向基函数的一般形式112
5.2.3 径向基函数的性质113
5.3 正则化理论114
5.4 径向基函数神经网络学习117
5.4.1 随机选取径向基函数中心117
5.4.2 自组织学习选取径向基函数中心118
5.4.3 有监督学习选取径向基函数中心119
5.5 本章小结120
第6章 卷积神经网络122
6.1 卷积神经网络的概念及特点122
6.1.1 卷积的定义122
6.1.2 卷积的变形123
6.1.3 卷积与互相关操作124
6.1.4 卷积神经网络的特点125
6.2 卷积神经网络的基本结构126
6.2.1 卷积层127
6.2.2 汇聚层131
6.2.3 全连接层133
6.2.4 输出层134
6.3 卷积神经网络参数学习134
6.4 卷积神经网络常用模型137
6.4.1 LeNet模型137
6.4.2 AlexNet模型139
6.4.3 VGGNet模型140
6.4.4 GoogLeNet模型141
6.4.5 ResNet模型146
6.4.6 DenseNet模型148
6.5 卷积神经网络的算法实现149
6.6 本章小结152
第7章 循环神经网络153
7.1 循环神经网络的概念153
7.2 循环神经网络模型154
7.3 循环神经网络参数学习156
7.3.1 BPTT算法156
7.3.2 RTRL算法157
7.4 网络梯度问题改进157
7.5 长短期记忆158
7.6 门控循环单元网络161
7.7 深度循环神经网络162
7.7.1 堆叠循环神经网络162
7.7.2 双向循环神经网络163
7.8 循环神经网络算法实现——手写体数字识别问题164
7.9 本章小结168
第8章 注意力机制与反馈网络169
8.1 注意力机制网络170
8.1.1 注意力机制网络的概念及分类170
8.1.2 自注意力模型174
8.2 离散型Hopfield神经网络176
8.2.1 网络的结构与工作方式176
8.2.2 网络的能量状态分析178
8.2.3 网络吸引子的性质181
8.3 连续型Hopfield神经网络183
8.3.1 网络的拓扑结构183
8.3.2 网络的能量与稳定性分析185
8.4 Hopfield神经网络应用实例186
8.5 Hopfield神经网络求解TSP190
8.6 本章小结192
第9章 深度学习网络优化193
9.1 参数初始化193
9.1.1 固定方差参数初始化194
9.1.2 方差缩放参数初始化195
9.1.3 正交初始化197
9.2 数据预处理198
9.3 逐层归一化201
9.3.1 批量归一化201
9.3.2 层归一化203
9.3.3 权重归一化204
9.3.4 局部响应归一化205
9.4 超参数优化205
9.4.1 网格搜索206
9.4.2 随机搜索206
9.4.3 贝叶斯优化207
9.4.4 动态资源分配208
9.4.5 神经架构搜索208
9.5 优化算法209
9.5.1 空间变量的非凸优化209
9.5.2 Momentum210
9.5.3 NAG211
9.5.4 AdaGrad211
9.5.5 AdaDelta212
9.5.6 RMSProp212
9.5.7 Adam212
9.6 本章小结213
第10章 受限玻尔兹曼机和深度置信网络214
10.1 概率图模型214
10.2 受限玻尔兹曼机的基本结构215
10.3 受限玻尔兹曼机的能量模型和似然函数216
10.4 受限玻尔兹曼机的学习任务217
10.4.1 最优参数的梯度计算217
10.4.2 吉布斯采样219
10.4.3 对比散度算法220
10.5 深度置信网络222
10.5.1 网络模型222
10.5.2 网络训练算法223
10.6 深度置信网络的应用225
10.6.1 音频特征提取225
10.6.2 多模态数据建模226
10.7 本章小结228
第11章 栈式自编码器230
11.1 自编码器230
11.2 稀疏自编码器233
11.3 栈式自编码器的原理234
11.4 降噪自编码器234
11.5 自编码器的图像还原236
11.6 自编码器的机器翻译应用238
11.7 本章小结239
第12章 生成对抗网络240
12.1 深度生成模型240
12.1.1 概率密度估计241
12.1.2 生成样本241
12.2 生成对抗网络的基本结构242
12.3 原始-对偶次梯度方法训练246
12.4 生成对抗网络的应用249
12.4.1 人脸图像的生成249
12.4.2 生成对抗网络的算法实现251
12.5 本章小结252
第13章 图神经网络254
13.1 图网络概述254
13.1.1 图的定义254
13.1.2 图数据网络的性质和特点256
13.1.3 图神经网络的发展257
13.2 图卷积神经网络259
13.2.1 谱域图卷积神经网络259
13.2.2 切比雪夫网络262
13.2.3 图卷积神经网络263
13.3 图循环神经网络265
13.3.1 不动点理论266
13.3.2 归纳式图表示学习267
13.3.3 图注意力网络269
13.4 消息传递神经网络271
13.5 图神经网络模型的应用273
13.5.1 图分类273
13.5.2 知识图谱与注意力模型274
13.5.3 基于图神经网络的推荐系统275
13.5.4 计算机视觉276
13.6 本章小结277
第14章 深度强化学习278
14.1 强化学习概述278
14.2 马尔可夫决策过程280
14.2.1 价值函数281
14.2.2 动作价值函数281
14.2.3 最优价值函数282
14.2.4 策略迭代282
14.2.5 价值迭代283
14.3 Q-Learning算法285
14.4 Deep Q-Network强化学习288
14.5 蒙特卡罗算法291
14.6 AlphaGo强化学习292
14.6.1 AlphaGo发展概述292
14.6.2 AlphaGo Fan算法的原理295
14.6.3 AlphaGo Zero算法的原理300
14.7 强化学习的应用304
14.7.1 游戏领域304
14.7.2 机器人控制领域305
14.7.3 自然语言处理领域305
14.7.4 其他领域306
14.8 本章小结306
第15章 深度学习的可解释性308
15.1 可解释性的定义309
15.2 可解释性方法309
15.2.1 模型透明度309
15.2.2 模型功能311
15.3 可视化方法分类312
15.3.1 特征可视化312
15.3.2 关系可视化312
15.3.3 过程可视化313
15.4 神经网络特征可视化313
15.5 本章小结317
第16章 多模态预训练模型319
16.1 预训练320
16.2 多模态数据的特征表示321
16.2.1 文本特征321
16.2.2 图像特征329
16.3 Transformer模型330
16.3.1 模型的基本结构330
16.3.2 编码模型331
16.3.3
书单推荐
