Python evalml 库：自动化机器学习的新前景

更多资料获取

📚 个人网站：ipengtao.com

在机器学习领域，evalml 库崭露头角，为开发者提供了一个强大而高效的自动化机器学习框架。本文将深入介绍 evalml 的核心功能、使用方法以及在实际项目中的应用。通过详实的示例代码，将更全面地理解 evalml 的强大之处。

evalml 是一款由 Feature Labs 开发的 Python 库，旨在简化机器学习流程，从数据预处理到模型选择，甚至是超参数调优。它集成了一系列功能，使得机器学习模型的开发过程更加直观、高效。

安装与基础用法

首先，来看 evalml 的安装和基础用法：

# 安装 evalml
!pip install evalml# 导入 evalml
import evalml# 加载示例数据集
X, y = evalml.demos.load_breast_cancer()# 划分数据集
X_train, X_test, y_train, y_test = evalml.preprocessing.split_data(X, y, problem_type='binary')# 初始化二分类分类器
clf = evalml.AutoMLSearch(X_train, y_train, problem_type='binary', objective='log loss', max_batches=1)

自动化特征工程

在 evalml 中，自动化特征工程是其强大功能之一。这一功能使得在机器学习项目中处理数据变得更加高效和便捷，而无需开发者手动干预。以下是关于 evalml 自动化特征工程的详细说明和示例代码：

处理缺失值

在 evalml 中，缺失值的处理是自动进行的，无需开发者额外操作。evalml 会根据数据的特性自动选择填充缺失值的方法，确保模型训练不受影响。

# 示例：加载数据集并划分
X, y = evalml.demos.load_diabetes()
X_train, X_test, y_train, y_test = evalml.preprocessing.split_data(X, y, problem_type='regression')# 示例：执行自动化特征工程
X_train_processed = clf.preprocess(X_train, y_train)

编码分类变量

evalml 会自动检测数据中的分类变量，并根据需要进行适当的编码，以确保模型能够正确理解这些变量。

# 示例：加载数据集并划分
X, y = evalml.demos.load_iris()
X_train, X_test, y_train, y_test = evalml.preprocessing.split_data(X, y, problem_type='multiclass')# 示例：执行自动化特征工程
X_train_processed = clf.preprocess(X_train, y_train)

处理日期变量

evalml 能够识别日期变量并执行相应的处理，以便模型能够更好地理解和利用这些变量。

# 示例：加载包含日期变量的数据集并划分
X, y = evalml.demos.load_churn()
X_train, X_test, y_train, y_test = evalml.preprocessing.split_data(X, y, problem_type='binary')# 示例：执行自动化特征工程
X_train_processed = clf.preprocess(X_train, y_train)

其他特征工程技术

evalml 还支持其他一系列特征工程技术，如处理文本数据、标准化数值变量等。这些技术将根据数据的特点和问题类型进行智能选择和应用。

# 示例：加载包含文本数据的数据集并划分
X, y = evalml.demos.load_spam()
X_train, X_test, y_train, y_test = evalml.preprocessing.split_data(X, y, problem_type='binary')# 示例：执行自动化特征工程
X_train_processed = clf.preprocess(X_train, y_train)

自动化模型选择

在 evalml 中，自动化模型选择是其核心功能之一。通过 AutoMLSearch，evalml 能够在给定的问题类型和目标函数下，自动选择并训练多个模型，并返回性能最佳的模型。以下是关于 evalml 自动化模型选择的详细说明和示例代码：

初始化 AutoMLSearch

首先，需要使用 AutoMLSearch 对象来执行自动化模型选择。在初始化时，需要提供训练数据、目标列（y）、问题类型和优化目标等信息。

# 示例：加载二分类数据集并划分
X, y = evalml.demos.load_breast_cancer()
X_train, X_test, y_train, y_test = evalml.preprocessing.split_data(X, y, problem_type='binary')# 示例：初始化 AutoMLSearch
automl = evalml.AutoMLSearch(X_train, y_train, problem_type='binary', objective='auc', max_batches=1)

执行自动化模型选择

通过调用 AutoMLSearch 对象的 search 方法，evalml 将自动执行多个模型的训练和评估，最终返回性能最佳的模型。

# 示例：执行自动化模型选择
best_pipeline = automl.search()

查看结果

search 方法执行完毕后，可以查看每个模型的性能结果以及最佳模型的详细信息。

# 查看每个模型的性能结果
automl.rankings

使用最佳模型进行预测

一旦得到最佳模型，可以使用该模型进行预测。

# 使用最佳模型进行预测
y_pred = best_pipeline.predict(X_test)

调整超参数

如果需要，evalml 还提供了调整超参数的功能，以优化最佳模型的性能。

# 示例：调整超参数
best_pipeline_tuned = automl.tune_pipeline(best_pipeline, objective='auc')

模型评估与解释

一旦选择了最佳模型，可以对其进行评估和解释：

# 在测试集上评估模型性能
best_pipeline.score(X_test, y_test, objectives=['log loss', 'auc'])# 获取模型解释
explain = best_pipeline.explain(X_test, y_test)
explain.plot_feature_importance()

高级功能

evalml 还提供了一系列高级功能，如自定义目标函数、调整超参数、集成多个模型等：

# 自定义目标函数
def custom_objective(y_true, y_predicted):# 自定义目标函数的实现pass# 调整超参数
best_pipeline_tuned = clf.tune_pipeline(best_pipeline, objective='log loss')# 集成多个模型
ensemble_pipeline = evalml.automl.Ensemble(X_train, y_train, problem_type='binary', objective='log loss')
ensemble_pipeline.add_model('RandomForest')
ensemble_pipeline.add_model('Linear Model')
ensemble_pipeline.add_model('XGBoost')
ensemble_pipeline.fit()

在实际项目中的应用

最后，通过一个实际项目示例来展示 evalml 的应用。假设有一个金融欺诈检测的任务，可以轻松地使用 evalml 构建并优化模型：

# 加载金融欺诈数据集
fraud_X, fraud_y = load_fraud_dataset()# 划分数据集
fraud_X_train, fraud_X_test, fraud_y_train, fraud_y_test = evalml.preprocessing.split_data(fraud_X, fraud_y, problem_type='binary')# 初始化 AutoMLSearch
fraud_clf = evalml.AutoMLSearch(fraud_X_train, fraud_y_train, problem_type='binary', objective='f1')# 执行自动化模型选择
best_fraud_pipeline = fraud_clf.search()

总结

在本文中，深入介绍了 evalml 库中的自动化模型选择功能，这是 evalml 强大的自动化机器学习框架的核心之一。通过 AutoMLSearch 对象，evalml 能够在给定的问题类型和目标函数下，智能地选择并训练多个模型，并返回性能最佳的模型。这一功能极大地简化了模型开发的流程，使得开发者能够更专注于问题本身，而无需花费大量时间尝试不同的模型和参数组合。

初始化 AutoMLSearch 非常简便，只需提供训练数据、目标列、问题类型和优化目标等信息。执行自动化模型选择后，可以查看每个模型的性能结果，并获得最佳模型的详细信息。最佳模型一旦确定，可以轻松地使用它进行预测。如果需要进一步优化，evalml 甚至提供了调整超参数的功能，以进一步提升模型性能。

总体而言，evalml 的自动化模型选择功能为机器学习开发带来了巨大的便利。通过在给定时间内智能地搜索和选择模型，evalml 提高了模型开发的效率，使得机器学习项目更具可行性。这一框架的出现为开发者提供了更高效、更智能的机器学习工具，未来其在自动化机器学习领域将持续发挥重要作用。