本书系统介绍了神经网络和深度学习，并结合实际应用场景和综合案例，让读者深入了解深度学习。全书共16章，分为4个部分。第1部分介绍了深度学习基础算法与应用，主要包括神经网络和深度学习的相关概念、多层神经网络的基本原理和具体应用、卷积神经网络的原理及项目案例实现、优化算法与模型管理。第2部分介绍了深度学习进阶算法与应用，主要包括经典的深度卷积神经网络，ResNet、DenseNet和MobileNet，目标检测的基本概念和常见算法，循环神经网络的基本概念和具体应用。第3部分介绍了时空数据模型与应用，主要包括CNN-LSTM混合模型的基本概念和具体应用，多元时间序列神经网络、注意力机制和Transformer的基本结构和具体应用。第4部分介绍了生成对抗网络及其应用，主要包括生成对抗网络的基本概念及其模型的结构和训练过程，使用检测模型、识别模型对车牌进行检测与识别。本书适合对人工智能、机器学习、神经网络和深度学习等感兴趣的读者阅读，也适合作为本科院校和高等职业院校人工智能相关专业的教材。本书可以帮助有一定基础的读者查漏补缺，使其深入理解和掌握与深度学习相关的原理及方法，并能提高其解决实际问题的能力。
韩少云是达内科技（中国）有限公司创始人、总裁/CEO。其麾下的达内时代科技集团是国内知名的互联网-IT教育培训单位，是一站式互联网人才基地，专注IT职业教育人才服务多年，拥有300多家培训中心，帮助学员实现一地学习全国就业。
目 录
第 1 部分 深度学习基础算法与应用
第 1 章 单层神经网络 2
1.1 深度学习的基本概念 2
1.1.1 深度学习的概述 2
1.1.2 神经网络 3
1.2 深度学习框架 5
1.2.1 常见框架介绍 5
1.2.2 张量 6
1.3 单层神经网络的概述 6
1.3.1 回归模型 6
1.3.2 二分类模型 10
1.3.3 多分类模型 13
1.4 单层神经网络实现鸢尾花分类 17
1.4.1 使用 TensorFlow 实现鸢尾花分类 17
1.4.2 使用 PyTorch 实现鸢尾花分类 20
本章总结 22
作业与练习 22
第 2 章 多层神经网络 24
2.1 多层神经网络的概述 24
2.1.1 隐藏层的意义 24
2.1.2 激活函数 25
2.1.3 反向传播 27
2.1.4 异或处理代码实现 28
2.2 梯度下降算法 30
2.2.1 批量梯度下降算法 30
2.2.2 随机梯度下降算法 31
2.2.3 小批量梯度下降算法 31
2.3 正则化处理 31
2.3.1 L1 正则化与 L2 正则化 31
2.3.2 Dropout 正则化 31
2.3.3 提前停止 32
2.3.4 批量标准化 32
2.4 手写数字识别
2.4.1 MNIST 数据集简介 32
2.4.2 使用 TensorFlow 实现MNIST 手写数字分类 33
2.4.3 使用 PyTorch 实现MNIST 手写数字分类 36
本章总结 39
作业与练习 39
第 3 章 卷积神经网络 41
3.1 图像基础原理 41
3.1.1 像素 41
3.1.2 灰度值 42
3.1.3 彩色图像表达 42
3.2 卷积的作用及原理 43
3.2.1 卷积的概述 43
3.2.2 卷积运算的原理 43
3.2.3 卷积运算的方式 44
3.2.4 卷积表达的含义 44
3.2.5 卷积相关术语 45
3.3 卷积神经网络的基本结构 46
3.3.1 卷积神经网络的网络结构 46
3.3.2 卷积层 47
3.3.3 ReLU 层 47
3.3.4 池化层 48
3.3.5 全连接层 49
3.4 基于卷积神经网络实现MNIST 手写数字识别 49
3.4.1 构建卷积神经网络模型 49
3.4.2 使用 TensorFlow 实现卷积神经网络 MNIST手写数字分类 50
3.4.3 使用 PyTorch 实现卷积神经网络 MNIST 手写
数字分类 52
本章总结 55
作业与练习 55
第 4 章 优化算法与模型管理 57
4.1 数据增强 57
4.1.1 数据增强的意义 57
4.1.2 使用 TensorFlow 实现数据增强 58
4.1.3 使用 PyTorch 实现数据增强 59
4.2 梯度下降优化 60
4.2.1 梯度下降优化的必要性 60
4.2.2 Momentum 优化器 60
4.2.3 Adagrad 优化器 60
4.2.4 RMSprop 优化器 61
4.2.5 Adam 优化器 62
4.3 模型的保存与加载 62
4.3.1 TensorFlow 模型保存与加载 62
4.3.2 PyTorch 模型保存与加载 63
4.4 项目案例：车辆识别 64
4.4.1 汽车数据集 65
4.4.2 项目案例实现 65
本章总结 70
作业与练习 70
第 2 部分 深度学习进阶算法与应用
第 5 章 深度卷积神经网络 74
5.1 深度卷积神经网络的概述 74
5.2 AlexNet 75
5.2.1 AlexNet 的网络结构 75
5.2.2 构建 AlexNet 模型 77
5.3 VGG 79
5.3.1 VGG 的网络结构 79
5.3.2 构建 VGG 模型 80
5.4 NiN 81
5.4.1 NiN 的网络结构 81
5.4.2 构建 NiN 模型 83
5.5 GoogLeNet 85
5.5.1 GoogLeNet 的网络结构 85
5.5.2 构建 GoogLeNet 模型 88
5.6 项目案例：车辆多属性识别 90
5.6.1 多属性识别 91
5.6.2 项目案例实现 91
本章总结 100
作业与练习 100
第 6 章 高效的卷积神经网络 102
6.1 ResNet 102
6.1.1 ResNet 的网络结构 102
6.1.2 构建 ResNet 模型 103
6.2 DenseNet 109
6.2.1 DenseNet 的网络结构 110
6.2.2 构建 DenseNet 模型 111
6.3 MobileNet 112
6.3.1 MobileNet 的网络结构 112
6.3.2 构建 MobileNet 模型 113
6.4 项目案例：违规驾驶行为识别 114
本章总结 126
作业与练习 126
第 7 章 目标检测 128
7.1 目标检测的概述 128
7.2 两阶段目标检测 129
7.2.1 R-CNN 129
7.2.2 Fast R-CNN 和Faster R-CNN 130
7.2.3 Mask R-CNN 132
7.3 一阶段目标检测 133
7.3.1 YOLO 系列 133
7.3.2 SSD 137
7.4 项目案例：车辆检测 137
本章总结 144
作业与练习 144
第 8 章 循环神经网络 145
8.1 循环神经网络的概述 145
8.2 LSTM 神经网络 147
8.2.1 LSTM 神经网络的网络结构 147
8.2.2 LSTM 门机制 147
8.3 GRU 神经网络 148
8.3.1 GRU 神经网络的网络结构 148
8.3.2 GRU 门机制 148
8.4 项目案例：文本生成 149
本章总结 159
作业与练习 159
第 9 章 深度循环神经网络 160
9.1 深度循环神经网络的概述 160
9.1.1 深度循环神经网络的特点 160
9.1.2 双向 LSTM 神经网络 162
9.2 项目案例：短时交通流量预测 163
9.2.1 解决方案 163
9.2.2 项目案例实现 164
本章总结 177
作业与练习 177
第 3 部分 时空数据模型与应用
第 10 章 CNN-LSTM 混合模型 180
10.1 编码器-解码器模型 180
10.1.1 模型结构 180
10.1.2 构建编码器-解码器模型 182
10.2 项目案例：基于时空特征的交通事故预测 183
10.2.1 数据集和评价指标 184
10.2.2 项目案例实现 184
本章总结 193
作业与练习 193
第 11 章 多元时间序列神经网络 195
11.1 图 195
11.1.1 结构和信号 196
11.1.2 图结构 197
11.1.3 图神经网络 197
11.2 图卷积网络 198
11.2.1 基本原理 198
11.2.2 数学运算 199
11.2.3 使用 GCN 模型实现图像识别 200
11.3 多元时间序列神经网络的概述 205
11.3.1 DCRNN 205
11.3.2 seq2seq 模型 207
11.4 项目案例：基于 DCRNN实现交通流量预测 209
11.4.1 解决方案 209
11.4.2 项目案例实现 210
本章总结 226
作业与练习 227
第 12 章 MTGNN 与交通流量预测 228
12.1 基于 MTGNN 实现交通流量预测 228
12.1.1 MTGNN 的网络结构 229
12.1.2 MTGNN 时空卷积 229
12.2 PyTorch-Lightning 231
12.2.1 安装 231
12.2.2 基本使用 231
12.3 项目案例：基于 MTGNN实现交通流量预测 232
本章总结 245
作业与练习 246
第 13 章 注意力机制 247
13.1 注意力机制的概述 247
13.1.1 机器翻译中的注意力机制 248
13.1.2 自注意力机制的概述 251
13.2 项目案例：视频异常检测 253
本章总结 266
作业与练习 266
第 14 章 Transformer 268
14.1 Transformer 的概述 268
14.1.1 Transformer 的简介 269
14.1.2 Transformer 的总体结构 269
14.2 Self-Attention 机制 271
14.2.1 Self-Attention 机制的原理 271
14.2.2 Self-Attention 的计算过程 272
14.2.3 Positional Encoding 和LayerNorm 273
14.3 项目案例：轨迹预测 275
14.3.1 解决方案 275
14.3.2 车辆轨迹预测数据集 276
14.3.3 实现过程 278
本章总结 290
作业与练习 290
第 4 部分 生成对抗网络及其应用
第 15 章 生成对抗网络 294
15.1 生成对抗网络的概述 294
15.1.1 GAN 模型的结构 294
15.1.2 GAN 模型的训练过程 295
15.2 TecoGAN 模型 296
15.2.1 TecoGAN 模型的结构 297
15.2.2 TecoGAN 损失函数 297
15.2.3 TecoGAN 评价指标 298
15.3 项目案例：视频超分辨率 298
本章总结 306
作业与练习 306
第 16 章 车牌检测与识别 307
16.1 项目案例：车牌检测与识别 307
16.1.1 数据集 308
16.1.2 MTCNN 模型 309
16.1.3 LPRNet 311
16.2 项目案例实现 312
本章总结 323
作业与练习 324
书单推荐
