大数据时代,基于数据获取和数据分析去发现问题并做出科学、客观的决策变得越来越重要。在数据分析技术应用中,爬虫程序作为数据采集的重要手段之一,不仅在大数据、人工智能行业有广泛的应用,在其他工科、医科、商科、文科等学科也有重要应用。
本课程的目标是教会学生使用Python程序设计语言编写程序,能够在互联网上进行不同类型数据爬取,并能够进行相应的数据预处理、数据存储、数据可视化以及简单数据分析。整门课程按照主题,分为了4个大型案例,每个案例设置了不同的情境与任务,不断地提出问题,引导学习者不断地完善改进程序,精益求精。
课程内容安排如下:
【预备知识1】Python语言基础
【预备知识2】爬虫基础(爬虫编写道德规范、理解请求响应、了解HTTP、HTML、requests库)
【案例1】单页面静态数据爬取与可视化
【案例2】多页面静态数据爬取与存储
【案例3】动态数据爬取与可视化
【案例4】复杂数据爬取与可视化