在数字化浪潮中,大数据技术无处不在,包括互联网、体育、工业、医疗、交通等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和生活产生了重大而深远的影响。一早醒来,多篇你感兴趣的推送文章早已占领手机屏幕;走在路上,智能手环实时监测着你的健康信息;想点外卖,小程序优先推荐最符合你口味的商家;骑车出行,导航系统会提供实时路况和最优路线避开拥堵;晚上回家,收到工厂根据你的身材比例剪裁制作的个性化服装。这些现象的背后,其实都和大数据息息相关。大数据技术正在不断与人类生产生活进行交汇与融合,并潜移默化地改变着世界的运作模式。本教材将从大数据的基本概念讲起,追溯大数据发展历程,并围绕大家身边的大数据应用,包含大数据在互联网、体育、工业、医疗、交通等方面的应用,以及大数据共享、开放、隐私、安全等相关问题,带大家领略大数据改变世界的方方面面。
本书作为面向高校学生开设的通识课程的配套教材,服务于高校培养具有数据素养的综合性人才,适用于各个专业的学生,同时本书亦可以作为大数据科普读物。大数据包罗万象,很难通过一本教材将大数据概念、大数据影响以及大数据的应用讲清楚、讲完整。希望本教材能够抛砖引玉,拓宽大家的视野和知识面,培养大家的数据思维、数据意识和对大数据的兴趣,帮助更多人在大数据时代找到自己的方向和定位。
第1章 绪论:大数据时代 1
1.1 大数据的概念和特点 1
1.2 大数据的发展历程 2
1.2.1 大数据发展历程概览 3
1.2.2 大数据发展历程的三个阶段 3
1.3 大数据与人工智能 6
1.3.1 人工智能简介与应用 7
1.3.2 大数据与人工智能的关系 9
1.3.3 大数据与人工智能的历史联系 11
1.4 大数据的思想理念 12
小结 14
第2章 大数据基础 16
2.1 大数据类型 16
2.1.1 常见的数据来源 17
2.1.2 常见的数据模态 18
2.2 大数据采集 19
2.2.1 互联网数据采集 20
2.2.2 物联网数据采集 22
2.3 大数据存储 24
2.4 大数据分析 27
2.4.1 大数据分析技术 28
2.4.2 分析工具与平台 30
小结 31
第3章 大数据发展战略与影响 32
3.1 国家层面发展战略与影响 32
3.1.1 美国 34
3.1.2 英国 36
3.1.3 日本 37
3.1.4 中国 38
3.1.5 各国大数据发展战略对比与总结 39
3.2 企业层面发展战略与影响 40
3.2.1 谷歌 41
3.2.2 苹果 42
3.2.3 腾讯 43
3.2.4 阿里巴巴 44
3.3 大数据如何影响世界 46
小结 47
第4章 社交媒体大数据 49
4.1 概述 49
4.1.1 社交媒体发展历程 49
4.1.2 社交媒体数据类型 53
4.2 社交媒体大数据关键技术 54
4.2.1 图像分析技术 54
4.2.2 自然语言处理 57
4.3 社交媒体大数据典型应用场景 58
4.3.1 用户画像 59
4.3.2 推荐系统 61
4.3.3 用户评论的情感分析 65
4.4 社交媒体大数据分析案例 68
4.4.1 推荐系统应用实例 68
4.4.2 情感分析与评论筛选 71
小结 73
第5章 体育大数据 75
5.1 概述 75
5.1.1 体育大数据的发展历程 75
5.1.2 体育大数据的数据类型 77
5.2 体育大数据关键技术 78
5.2.1 强化学习技术 78
5.2.2 赛事预测技术 80
5.3 体育大数据典型应用场景 81
5.3.1 博弈类体育 81
5.3.2 赛事评价 85
5.4 体育大数据分析案例 86
5.4.1 围棋AlphaGo的成长 86
5.4.2 大数据与篮球投篮命中率 87
5.4.3 卡塔尔世界杯中的大数据 90
小结 91
第6章 工业大数据 93
6.1 概述 93
6.1.1 工业大数据的发展历程 93
6.1.2 工业大数据的特点 94
6.2 工业大数据关键技术 96
6.2.1 智能传感 96
6.2.2 信息物理系统 98
6.2.3 工业互联网 100
6.3 工业大数据典型应用场景 101
6.3.1 生产安全维护 102
6.3.2 智能工业控制 104
6.3.3 数字孪生 107
6.4 工业大数据分析案例 109
6.4.1 浙能集团工业大数据应用实践 109
6.4.2 京东“亚洲一号”无人仓案例 111
小结 113
第7章 医疗大数据 115
7.1 概述 115
7.1.1 医疗大数据的类型 115
7.1.2 医疗大数据的发展历史 118
7.2 医疗大数据关键技术 121
7.2.1 数据平台建设 121
7.2.2 物联网技术 122
7.2.3 图像分析技术 124
7.3 医疗大数据典型应用场景 127
7.3.1 医疗数据信息平台建设 127
7.3.2 智能化健康监测 129
7.3.3 计算机辅助诊断与决策 131
7.4 医疗大数据分析案例 133
7.4.1 流感预测与追踪系统 133
7.4.2 CT辅助诊断与远程医疗平台 135
小结 137
第8章 城市交通大数据 139
8.1 基于城市交通大数据的智慧交通概述 139
8.2 城市交通大数据的特点与种类 141
8.3 智慧交通系统的关键技术 143
8.3.1 交通目标检测 144
8.3.2 城市交通流量预测 146
8.4 基于城市交通大数据的智慧交通案例分析 150
8.4.1 目标检测在智慧交通中的应用 151
8.4.2 城市交通流量预测在智慧交通中的应用 156
小结 161
第9章 大数据共享、开放与交易 163
9.1 数据共享 163
9.1.1 数据孤岛 163
9.1.2 数据孤岛成因 164
9.1.3 消除数据孤岛的意义 166
9.1.4 推进数据共享的举措 167
9.1.5 数据共享案例 168
9.2 数据开放 173
9.2.1 政府开放数据 173
9.2.2 企业开放数据 176
9.2.3 数据开放案例 177
9.3 大数据交易 181
9.3.1 大数据交易概述 181
9.3.2 大数据交易的发展现状 182
9.3.3 大数据交易平台案例分析 183
9.3.4 大数据交易的问题 185
9.3.5 大数据交易发展的突破路径 186
小结 187
第10章 大数据伦理与安全 189
10.1 大数据伦理 189
10.1.1 大数据伦理的概念 189
10.1.2 大数据伦理问题的表现 190
10.1.3 大数据伦理问题的成因 193
10.1.4 大数据伦理问题的治理 194
10.2 大数据安全 195
10.2.1 大数据安全威胁 195
10.2.2 大数据安全问题与案例 197
10.2.3 大数据保护的基本原则 199
10.2.4 大数据保护的相关举措 200
10.3 大数据的法律政策规范 201
10.3.1 西方国家的大数据法律政策规范 201
10.3.2 我国的大数据法律政策规范 202
10.3.3 大数据规范与保护的未来趋势 204
小结 205
第11章 大数据的未来 207
11.1 增强现实与虚拟现实 207
11.1.1 增强现实 208
11.1.2 虚拟现实 210
11.2 区块链 212
11.2.1 大数据加密传输 213
11.2.2 医疗数据隐私保护 214
11.3 元宇宙 214
11.3.1 数据传输 215
11.3.2 数据存储 215
11.3.3 数据流动 216
11.3.4 数据共享 216
11.4 大数据的时代意义与未来价值 216
小结 217