本书以大数据系统运维工程师岗位要求为依据，以企业的实际工作任务为导向编写而成。全书分为三个部分，共7章，分别介绍：云计算与大数据运维概论、Linux操作系统、OpenStack部署与运维、Docker容器虚拟化技术、大数据运维导论、大数据运维实操、大数据运维监控。
本书可作为大学本科和高等职业技术学院大数据、云计算、计算机网络等计算机相关专业的教学用书，也可供有关技术人员参考、学习、培训之用。
（1）理论+案例的编写风格：首先以简练的语言进行理论知识的讲解，配上丰富而实用的案例，并且书中多用“图”来讲解说明知识点，更有效地帮助读者理解。
（2）充分考虑学生学习之便利：考虑到当今大学生的实际情况，教材所选的实例都是贴近读者的理解水平，术语引入节奏合理，不会让读者产生晦涩的感觉，其个别难点，都尽量讲解详尽与清晰。
华育兴业科技有限公司是集技术开发、教育产品设计、计算机技术培训为一体的科技型教育企业。公司作为“甲骨文WDP中国区运营中心”，专注于IT技术培训，开设大数据、java、WEB全栈开发、python+人工智能、全栈UI设计等培训课程。它还进行国家协同育人项目申办、高校新工科大数据专业共建、大数据实验室建设等完整大数据教育产品提供，创办13年来，死磕IT教育，已与国内上百家高校建立了合作关系，与上千家IT相关企业建立了高端雇主联盟。
第一部分 平台基础
第1章 云计算与大数据
运维概论 2
1.1 云计算产生背景 2
1.2 云计算的基本概念 4
1.2.1 云计算定义 4
1.2.2 云能力类型 4
1.2.3 云服务类别 4
1.2.4 典型云计算部署模式 5
1.2.5 云计算基本特征 7
1.3 云计算技术 8
1.3.1 云计算的发展现状 8
1.3.2 云计算技术发展特点 9
1.3.3 云计算架构 10
1.3.4 云计算网络与安全 12
1.4 云存储 12
1.4.1 数据中心构建与管理 12
1.4.2 虚拟化技术 13
1.5 云计算与大数据的关系 15
1.5.1 云计算与大数据的联系 15
1.5.2 云计算与大数据的区别 15
1.6 大数据的基本概念 15
1.6.1 什么是数据 15
1.6.2 大数据的定义 16
1.6.3 大数据的基本特征 16
1.7 大数据技术 17
1.7.1 大数据采集 17
1.7.2 大数据存储 17
1.7.3 大数据计算 17
1.7.4 大数据分析 18
1.7.5 大数据可视化 18
1.7.6 大数据平台监控 19
1.7.7 大数据平台运维 19
1.8 应用场景介绍 19
1.9 本章小结 20
1.10 习题 20
第2章 Linux操作系统 21
2.1 Linux操作系统的安装与配置 21
2.1.1 操作系统的作用 21
2.1.2 Linux操作系统 22
2.1.3 实践任务：CenOS 7的
安装与配置 24
2.1.4 磁盘分区 27
2.1.5 交换分区 28
2.2 Linux用户与组的管理 29
2.2.1 Linux用户和用户组的概念 29
2.2.2 实践任务：Linux用户的
管理 30
2.2.3 实践任务：Linux用户组的
管理 32
2.3 Linux文件管理 33
2.3.1 Linux文件的概念 33
2.3.2 Linux文件类型与权限 35
2.3.3 实践任务：文件系统的命令 37
2.3.4 实践任务：文件的压缩
与打包 40
2.3.5 实践任务：软件包的管理 42
2.4 Shell的运用 45
2.4.1 文本编辑器 46
2.4.2 Shell脚本介绍 49
2.4.3 实践任务：Shell脚本
常用命令 50
2.5 Linux进程管理 53
2.5.1 Linux进程简介 53
2.5.2 实践任务：进程管理 54
2.6 Linux网络管理 57
2.6.1 网络的基本概念 57
2.6.2 网络设备的作用 58
2.6.3 网络配置 58
2.6.4 实践任务：网络操作与
测试命令 60
2.7 本章小结 62
2.8 习题 62
第二部分 虚拟化技术
第3章 OpenStack
部署与运维 66
3.1 OpenStack概述 67
3.1.1 OpenStack的产生 67
3.1.2 OpenStack简介 68
3.1.3 OpenStack的特点 69
3.1.4 OpenStack的架构 69
3.2 OpenStack的服务 71
3.2.1 身份认证服务 71
3.2.2 镜像服务 72
3.2.3 计算服务 72
3.2.4 网络服务 73
3.2.5 对象存储服务 74
3.2.6 块存储服务 74
3.2.7 界面服务 75
3.3 OpenStack的安装与部署 75
3.3.1 基本环境配置 76
3.3.2 OpenStack软件的安装 76
3.3.3 Keystone的安装 83
3.3.4 Glance的安装 90
3.3.5 Nova的安装 96
3.3.6 Neutron的安装 111
3.3.7 Horizon的安装 124
3.4 本章小结 127
3.5 习题 128
第4章 Docker容器
虚拟化技术 129
4.1 Docker概述 130
4.1.1 Docker技术的产生 130
4.1.2 Docker的定义 131
4.1.3 Docker的工作原理 132
4.1.4 Docker与OpenStack
的区别 133
4.1.5 Docker容器与虚拟机
的关系 134
4.2 Docker的安装与配置 134
4.2.1 Docker的安装环境 134
4.2.2 Docker的目录结构 137
4.2.3 Docker的基本信息查看 138
4.3 Docker的镜像管理 139
4.3.1 获取镜像 139
4.3.2 查看镜像 141
4.3.3 查找镜像 141
4.3.4 上传镜像 142
4.3.5 删除镜像 142
4.3.6 创建镜像 143
4.4 Docker的容器管理 144
4.4.1 启动容器 144
4.4.2 终止容器 146
4.4.3 删除容器 146
4.4.4 进入容器 146
4.4.5 导出和导入容器 148
4.4.6 Docker容器的
Web界面管理 149
4.5 案例分析：在Linux操作系统中安装Docker并部署MySQL镜像 151
4.6 本章小结 154
4.7 习题 154
第三部分 大数据运维与监控
第5章 大数据运维导论 156
5.1 大数据运维概述 156
5.2 大数据运维主流工具简介 159
5.2.1 大数据系统技术方案 159
5.2.2 Hadoop原理简介 159
5.2.3 ZooKeeper原理简介 161
5.2.4 HBase原理简介 161
5.2.5 Spark原理简介 166
5.2.6 Hive原理简介 167
5.2.7 MongoDB原理简介 168
5.2.8 Kafka原理简介 170
5.2.9 Storm原理简介 172
5.2.10 Flume原理简介 174
5.3 本章小结 177
5.4 习题 177
第6章 大数据运维实操 178
6.1 Hadoop安装及配置 178
6.1.1 配置3台服务器间SSH免密远程登录 178
6.1.2 配置Java环境 181
6.1.3 Hadoop分布式文件系统
集群安装及配置 182
6.2 ZooKeeper安装及配置 189
6.3 HBase安装及配置 197
6.3.1 HBase完全分布环境搭建 197
6.3.2 HBase基本操作实例 203
6.4 Spark安装及配置 206
6.5 Hive安装及配置 211
6.5.1 安装配置MySQL 211
6.5.2 Hive本地模式安装配置 213
6.6 MongoDB安装及配置 223
6.7 Kafka安装及配置 226
6.7.1 Kafka安装 226
6.7.2 Kafka启动 226
6.8 Storm安装及配置 230
6.8.1 Storm环境搭建 230
6.8.2 安装IDEA编程环境及
配置Maven环境 233
6.8.3 IDEA下创建Maven项目 235
6.9 Flume安装及配置 248
6.10 本章小结 252
6.11 习题 252
第7章 大数据运维监控 253
7.1 使用Hadoop实现运维监控 254
7.1.1 使用Shell命令查看
Hadoop运行情况 254
7.1.2 通过浏览器监控
Hadoop运行情况 255
7.2 使用Nagios工具实现
运维监控 257
7.2.1 Nagios简介 257
7.2.2 Nagios监控安装配置 259
7.3 使用Ganglia实现对Hadoop和
HBase集群的运维监控 270
7.3.1 Ganglia简介 270
7.3.2 Ganglia安装环境准备 271
7.3.3 Ganglia安装 271
7.3.4 服务器端配置 275
7.3.5 客户机端配置 279
7.3.6 启动各个服务及监控进程 279
7.3.7 查看监控 280
7.4 本章小结 283
7.5 习题 283
参考文献 284
书单推荐
