目标：
- 介绍 Spark MLlib 框架及其在机器学习中的应用。
- 培养学生基本的数据处理、建模和评估技能，使其能够独立进行简单的机器学习任务。
教学大纲：
-
介绍 Spark MLlib
- 了解 Apache Spark 和 MLlib。
- MLlib 的主要功能和优势。
- 演示如何在 Spark 中启动 MLlib。
-
基本概念和环境设置
- 理解 Spark 的 RDD 概念。
- 安装和配置 Spark 环境。
- 使用 SparkSession 创建 Spark 应用程序。
-
数据准备
- 数据加载：从文本文件加载数据集。
- 数据清洗：处理缺失值和异常值。
- 特征处理：将数据转换为特征向量。
-
分类模型
- 逻辑回归示例：预测学生是否通过考试。
- 支持向量机示例：预测文本分类。
- 朴素贝叶斯示例：垃圾邮件过滤。
-
回归模型
- 线性回归示例：预测房屋价格。
- 岭回归示例：预测销售量。
-
聚类模型
- K-means 示例：分析客户行为。
- GMM 示例：探索数据集结构。
