大数据分析原理和应用
大数据分析原理和应用
2万+ 人选课
更新日期:2025/05/22
开课时间2025/02/24 - 2025/07/06
课程周期19 周
开课状态开课中
每周学时-
课程简介

本课程从大数据分析的原理、技术和应用的角度,围绕着大数据分析的基础知识、大数据分析平台的核心原理、大数据分析的关键技术、大数据分析的应用四个方面进行讲述,使学生能掌握大数据分析的基本原理和核心技术,同时熟悉大数据分析的原理和技术在商业、投资、保险和银行中的应用,并能搭建大数据分析平台分析大规模数据集。

课程大纲

第一章 绪论

大数据的产生背景与概念

大数据的特点和技术概述

大数据的应用与价值体现

大数据时代的思维变革

第一章单元测试

第一章单元作业

第二章 开源大数据平台

开源大数据平台(Hadoop)

开源大数据平台(Spark)

简明实验指南

第二章单元作业

第三章 Hadoop分布式文件系统——HDFS

3.1HDFS概述

3.2HDFS体系结构

3.3&3.4HDFS存储原理与优缺点分析

补充材料:熟悉常用的HDFS操作

补充材料:相关论文

第三章单元作业

第三章单元测试

第四章 MapReduce并行编程模型

4.1概述

4.2MapReduce体系结构

4.3MapReduce工作流程

4.4MapReduce实例分析

4.5MapReduce编程实践

4.6MapReduce优缺点分析

4.7MapReduce编程实践教学视频

第四章上机实验

补充资料:相关论文

第四章单元测试

第五章 Hadoop 2.0的资源管理调度框架——YARN

5.1 YARN产生的背景 &5.2 YARN设计思路

5.3 YARN体系结构

5.4 YARN工作流程

5.5 YARN优缺点分析

第五章单元作业

第六章 大数据的获取

6.1 网络爬虫基础知识

6.2 Requests库

6.3 Beautiful Soup库

6.4 综合实验

第六章单元作业

第七章 大数据分析算法

7.1 聚类算法

7.2 分类算法

第七章单元作业

第七章单元测验

第八章 大数据分析应用

8.1大数据分析在商业中的应用(大数据营销)

8.2 大数据分析在投资中的应用

8.3 大数据分析在保险中的应用

8.4 大数据分析在银行中的应用

第八章单元作业

第八章单元测试