定 价:39 元
丛书名:1 X职业技能等级证书(数据采集)配套教材
- 作者:穆建平 陈天真
- 出版时间:2021/7/1
- ISBN:9787111684145
- 出 版 社:机械工业出版社
- 中图法分类:TP274
- 页码:
- 纸张:胶版纸
- 版次:
- 开本:16开
本书为1 X职业技能等级证书(数据采集)配套教材,内容涵盖1 X《数据采集职业技能等级标准》规定的技能要求。
本书以项目任务驱动,围绕企业级应用进行项目任务设计,讲解了不同类型数据采集的实现,全书共6个项目,包括Scrapy框架网页数据采集、Windows操作系统数据采集、Linux基本操作、Apache容器数据采集、Tomcat容器数据采集和JavaScript埋点式数据采集。本书理论和实践相结合,由浅入深,内容实用,可操作性强。
本书适用于1 X数据采集职业技能等级证书培训,也可以作为各类职业院校大数据及相关专业的教材,还可作为数据采集从业人员的参考用书。
本书配有电子课件等教学资源,教师可登录机械工业出版社教育服务网(www.cmpedu.com)注册后免费下载,或联系编辑(010-88379807)咨询。
前 言
· III ·
在数据飞速增长的今天,数据产生的路径也多种多样,如网页数据、客户端APP数据、
操作系统数据、服务容器数据等,如何快速、准确地采集这些数据成为开发人员必须面对
的问题。不管是大数据、云计算还是人工智能技术的实现都离不开数据,都需要以数据为支
撑,因此数据采集技术应运而生。数据采集人员可以根据数据来源的不同,选择合适的技术
来实现海量数据的高效采集。
本书为数据采集的实现提供技术指导,可帮助开发人员快速实现不同类型数据的采集。
本书的特点
本书以不同类型数据采集的实现为主线,通过理论与实践相结合的方式,详细地对数据采
集技术的使用进行讲解,涉及多个数据采集技术,主要包含Scrapy网络爬虫技术、Windows操
作系统数据采集技术、Apache容器和Tomcat容器数据采集技术、JavaScript埋点式数据采集技术
等,在提高实际开发水平和项目能力的同时,加深对理论知识的掌握。全书知识点讲解详细,
在便于教师教学、学生理解的同时,还保持了整本书的知识深度。
本书结构条理清晰、内容详细,每个项目都通过项目情景、学习目标、任务描述、任务
步骤、知识储备、拓展任务、任务总体评价和练习题8个模块进行相应知识的讲解。其中,项
目情景通过实际情景对本项目学习的主要内容进行讲解,学习目标对本项目内容的学习提出要
求、任务描述对当前任务的实现进行概述,任务步骤对当前任务进行具体的实现,知识储备对
当前项目所需知识进行讲解,拓展任务对当前知识进行补充,使学生全面掌控所讲内容。
本书的主要内容
本书共6个项目。
项目1从网页数据采集开始,分别讲述了Scrapy的安装、项目结构、采集流程以及操作命
令使用、Spider和Selectors编写、数据保存等。
项目2详细介绍了Windows操作系统数据采集的过程,包含操作系统结构、进程及进程管
理、资源分配与调度、设备管理、文件管理系统、Windows的种类与应用、Windows的Shell脚
本以及Windows用户的日志数据拆分。
项目3详细介绍了Linux基本操作,包括Linux发展史、Linux在各领域的发展、Linux常见发
行版、用户操作、目录操作、文件操作以及Linux的Shell脚本等。
项目4详细介绍了Apache容器数据采集,包括中间件容器的概述、Apache的历史与发展、
Apache的管理与使用以及Apache日志文件等。
项目5详细介绍了Tomcat容器数据采集,包括Tomcat的应用和Linux下查看Tomcat状态和日志。
PREFACE
· IV ·
项目6详细介绍了JavaScript埋点式数据采集,包括JavaScript埋点式数据采集的意义、埋点
技术分析以及埋点实现方案等。
教学建议
项 目操作学时理论学时
项目1 Scrapy框架网页数据采集4 4
项目2 Windows操作系统数据采集4 4
项目3 Linux基本操作4 4
项目4 Apache容器数据采集4 4
项目5 Tomcat容器数据采集4 4
项目6 JavaScript埋点式数据采集4 4
本书由浪潮优派科技教育有限公司组编,由穆建平、陈天真任主编,宋磊、许国彬、刘涛
任副主编,参与编写的还有李海斌、王绪良、商程。
由于编者水平有限,书中难免出现疏漏或不足之处,恳请读者批评指正。
编 者
目 录
前言
二维码索引
项目1
Scrapy框架网页数据采集 1
任务1 安装Scrapy 2
任务2 Scrapy框架网页数据采集 7
任务总体评价 24
练习题 24
项目2
Windows操作系统数据采集 27
任务1 Windows数据收集器的
使用 28
任务2 Windows日志数据采集 37
任务总体评价 48
练习题 49
项目3
Linux基本操作 51
任务1 Linux环境安装 52
任务2 Linux常见命令操作 70
任务总体评价 85
练习题 85
项目4
Apache容器数据采集 87
任务1 Linux下Apache的安装 88
任务2 Linux下Apache容器数据
采集 92
任务3 Linux下Apache日志
分析与查看 105
任务4 Windows下Apache容器
数据采集 116
任务总体评价 128
练习题 128
项目5
Tomcat容器数据采集 131
任务1 Tomcat安装 132
任务2 Tomcat日志配置远程
rsyslog采集 140
任务3 Linux下Tomcat日志
数据采集 150
任务总体评价 159
练习题 159
项目6
JavaScript埋点式数据采集 161
任务1 初识JavaScript埋点式数据
采集 162
任务2 JavaScript埋点采集用户
网页浏览日志 173
任务总体评价 184
练习题 184
参考文献 186