基于 Python 的机器学习模型部署到 Flask Web 应用:从训练到部署的完整指南

目录

引言

技术栈

步骤一:数据预处理

步骤二:训练机器学习模型

步骤三:创建 Flask Web 应用

步骤四:测试 Web 应用

步骤五:模型的保存与加载

保存模型

加载模型并在 Flask 中使用

步骤六:Web 应用的安全性考量

示例:简单的输入验证

示例:自定义错误处理

示例:使用 Flask-JWT-Extended 进行认证

结论

参考资料


引言

        在当今数据驱动的时代,机器学习模型已经广泛应用于各行各业,从金融、医疗到教育等领域。然而,仅仅训练一个高效的模型是不够的,将模型部署到生产环境中,使其能够为用户提供实时预测服务,同样至关重要。本文将详细介绍如何使用 Python 和 Flask 框架,将训练好的机器学习模型部署到 Web 应用中,实现模型的在线预测功能。我们将从数据预处理、模型训练、模型保存到 Flask Web 应用的创建和测试等步骤进行详细讲解。


技术栈

  • Python:编程语言,用于编写机器学习模型和 Flask 应用。
  • Flask:轻量级的 Web 框架,用于构建 Web 应用。
  • scikit-learn:机器学习库,用于训练模型。
  • Pandas:数据处理库,用于数据预处理。
  • Pickle:Python 的序列化库,用于保存和加载模型。
  • NumPy:用于高效处理大型多维数组和矩阵运算。
  • JSON:轻量级的数据交换格式,用于 Web 应用中的数据传输。

步骤一:数据预处理

        在训练机器学习模型之前,我们需要对数据进行预处理。这里以鸢尾花数据集为例,展示如何进行数据加载和划分。

# 导入必要的库  
import pandas as pd  
from sklearn.datasets import load_iris  
from sklearn.model_selection import train_test_split  # 加载数据集  
iris = load_iris()  
X, y = iris.data, iris.target  # 将数据转换为DataFrame格式(可选)  
df = pd.DataFrame(X, columns=iris.feature_names)  
df['target'] = y  # 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

步骤二:训练机器学习模型

        接下来,我们使用 scikit-learn 库训练一个机器学习模型。这里以随机森林分类器为例。

# 导入必要的库  
from sklearn.ensemble import RandomForestClassifier  
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix  
import pickle  # 训练模型  
model = RandomForestClassifier(n_estimators=100, random_state=42)  
model.fit(X_train, y_train)  # 评估模型  
y_pred = model.predict(X_test)  
print(f"Accuracy: {accuracy_score(y_test, y_pred)}")  
print("Classification Report:\n", classification_report(y_test, y_pred))  
print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))  # 保存模型  
with open('iris_model.pkl', 'wb') as file:  pickle.dump(model, file)

步骤三:创建 Flask Web 应用

        现在,我们已经训练并保存了机器学习模型,接下来我们将使用 Flask 框架创建一个 Web 应用,用于加载模型并提供在线预测服务。

# 导入必要的库  
from flask import Flask, request, jsonify  
import pickle  
import numpy as np  # 初始化Flask应用  
app = Flask(__name__)  # 加载模型  
with open('iris_model.pkl', 'rb') as file:  model = pickle.load(file)  # 定义预测接口  
@app.route('/predict', methods=['POST'])  
def predict():  # 获取请求数据  data = request.get_json(force=True)  inputs = np.array(data['inputs']).reshape(1, -1)  # 假设输入数据为二维数组  # 使用模型进行预测  prediction = model.predict(inputs)  # 返回预测结果  return jsonify({'prediction': prediction.tolist()})  # 运行Flask应用  
if __name__ == '__main__':  app.run(debug=True, host='0.0.0.0', port=5000)

步骤四:测试 Web 应用

        最后,我们需要测试 Flask Web 应用的预测接口。这里我们使用 Postman 工具发送 POST 请求,并查看响应结果。

  • 打开 Postman 工具。
  • 创建一个新的请求,选择 POST 方法,并输入请求的 URL(例如:http://localhost:5000/predict)。
  • 在请求体中选择 raw 格式,并选择 JSON 作为数据类型。
  • 输入测试数据,例如:{"inputs": [[5.1, 3.5, 1.4, 0.2]]}。
  • 点击发送按钮,查看响应结果。
  • 如果一切正常,你将收到一个 JSON 格式的响应,其中包含模型的预测结果。例如:{"prediction": [0]},表示预测的类别为 0(鸢尾花数据集中的 Setosa 类别)。

步骤五:模型的保存与加载

        在实际的应用中,我们通常不会直接在 Web 应用中进行模型训练。相反,我们会先训练好模型,然后将其保存起来,以便于在 Flask 应用中快速加载并使用。下面是如何使用 joblib 库来保存和加载模型的例子:

保存模型

from sklearn.ensemble import RandomForestClassifier
from joblib import dump# 假设你已经完成数据预处理,并训练好了模型
model = RandomForestClassifier()
model.fit(X_train, y_train)# 保存模型
dump(model, 'model.joblib')

加载模型并在 Flask 中使用

from flask import Flask, request, jsonify
from joblib import loadapp = Flask(__name__)# 加载预先训练好的模型
model = load('model.joblib')@app.route('/predict', methods=['POST'])
def predict():data = request.get_json(force=True)prediction = model.predict([data['features']])return jsonify({'prediction': int(prediction[0])})if __name__ == '__main__':app.run(debug=True)

        通过这种方式,你可以确保模型在每次启动应用时都被快速加载,从而减少响应时间。


步骤六:Web 应用的安全性考量

        安全性是任何 Web 应用的重要方面,特别是当涉及到敏感信息或用户数据时。以下是几个关键的安全措施:

  • HTTPS加密:确保所有通信都经过 SSL/TLS 加密。
  • 输入验证:对所有输入数据进行验证,防止 SQL 注入、XSS 攻击等。
  • 错误处理:不要向用户显示详细的错误信息,避免泄露内部信息。
  • 认证与授权:如果应用需要用户登录,请实现适当的认证机制(如 JWT)和权限控制。

示例:简单的输入验证

from flask import Flask, request, jsonifyapp = Flask(__name__)@app.route('/predict', methods=['POST'])
def predict():if not request.is_json:return jsonify({"error": "Invalid JSON"}), 400data = request.get_json()if 'features' not in data or not isinstance(data['features'], list):return jsonify({"error": "Invalid features"}), 400# 进行预测prediction = model.predict([data['features']])return jsonify({'prediction': int(prediction[0])})if __name__ == '__main__':app.run(debug=True)

示例:自定义错误处理

from flask import Flask, request, jsonifyapp = Flask(__name__)@app.errorhandler(400)
def bad_request(error):return jsonify({"error": "Bad Request", "message": str(error)}), 400@app.errorhandler(500)
def internal_error(error):return jsonify({"error": "Internal Server Error", "message": "An unexpected error occurred."}), 500# 其他路由和逻辑

示例:使用 Flask-JWT-Extended 进行认证

from flask import Flask, request, jsonify
from flask_jwt_extended import JWTManager, jwt_required, create_access_tokenapp = Flask(__name__)
app.config['JWT_SECRET_KEY'] = 'your-secret-key'
jwt = JWTManager(app)@app.route('/login', methods=['POST'])
def login():username = request.json.get('username', None)password = request.json.get('password', None)# 假设这里有一个用户验证逻辑if username != 'test' or password != 'test':return jsonify({"msg": "Bad username or password"}), 401access_token = create_access_token(identity=username)return jsonify(access_token=access_token)@app.route('/protected', methods=['GET'])
@jwt_required()
def protected():return jsonify({"msg": "This is a protected endpoint"})if __name__ == '__main__':app.run(debug=True)

结论

        通过本指南,我们从数据预处理开始,训练了一个机器学习模型,并将其部署到了一个 Flask Web 应用中。我们还讨论了如何测试 Web 应用,以及如何保存和加载模型以提高效率。最后,我们强调了安全性的重要性,并提供了几个关键的安全措施来保护你的 Web 应用免受常见威胁。

        将机器学习模型部署到 Web 应用是一个涉及多个步骤的过程,但通过遵循最佳实践和保持代码的清晰与安全,你可以构建出既高效又可靠的解决方案。希望这篇指南能够帮助你成功地将机器学习模型部署到生产环境中,并为用户提供有价值的服务。


参考资料

  • Flask 官方文档: https://flask.palletsprojects.com/
  • Scikit-learn 文档: https://scikit-learn.org/stable/
  • Marshmallow 文档: https://marshmallow.readthedocs.io/
  • Flask-JWT-Extended 文档: https://flask-jwt-extended.readthedocs.io/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/57818.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

超越OpenAI GPT-4o,Yi-Lightning指南:中国AI大模型新巅峰

Yi-Lightning 是零一万物公司最新发布的旗舰模型,它在国际权威盲测榜单 LMSYS 上超越了硅谷知名 OpenAI GPT-4o-2024-05-13、Anthropic Claude 3.5 Sonnet,排名世界第六,中国第一,这标志着中国大模型首次实现超越 OpenAI GPT-4o 的…

node.js下载安装以及环境配置超详细教程【Windows版本】

node安装以及环境变量配置 Step1:选择版本进行安装Step2:安装Node.jsStep3:环境配置Step4:检查node.js是否成功安装Step5:npm修改下载镜像 Step1:选择版本进行安装 Node.js 安装包及源码下载地址为 Node.…

从0到1搭建大数据平台v1.0

文章目录 一、 文看懂大数据的技术生态1 大数据2 大数据核心技术2.1 HDFS分布式文件系统2.2 MapReduce计算引擎2.3 Hive数据仓库2.4 快一点吧 Spark/Flink2.5 Oozie / Azkaban任务调度2.6 yarn资源管理器2.7 数据采集 Sqoop / Flume / DataX/Kafka 3 从0到1搭建大数据平台 二、…

【Qt6聊天室项目】 主界面功能实现

1. 获取当前用户的个人信息 1.1 前后端逻辑分析(主界面功能) 主界面上所有的前后端交互逻辑相同,分析到加载会话列表后其余功能仅实现。 核心逻辑总结 异步请求-响应模型 客户端发起请求,向服务器发送包含会话ID的请求服务端处…

Map(一)

HashMap 和 Hashtable 的区别 线程是否安全: HashMap 是非线程安全的,Hashtable 是线程安全的,因为 Hashtable 内部的方法基本都经过synchronized 修饰。(如果你要保证线程安全的话就使用 ConcurrentHashMap 吧!)&…

C# 委托简述

1.委托 1.1什么是委托 委托委托 官网解释: 委托是安全封装方法的类型,类似于 C 和 C 中的函数指针。 与 C 函数指针不同的是,委托是面向对象的、类型安全的和可靠的。 委托的类型由委托的名称确定。 个人理解:委托就是一个方法的模板。它可以接收…

云渲染主要是分布式(分机)渲染,如何使用blender云渲染呢?

云渲染主要是分布式(分机)渲染,比如一个镜头同时开20-100张3090显卡的机器渲染,就能同时渲染20-100帧,渲染不仅不占用自己电脑,效率也将增加几十上百倍! blender使用教程如下: 第一…

Ansible 的脚本 --- playbooks剧本

playbooks 本身由以下各部分组成 (1)Tasks:任务,即通过 task 调用 ansible 的模板将多个操作组织在一个 playbook 中运行 (2)Vars:变量 (3)Templates:模板 &a…

qt QMainWindow详解

一、概述 QMainWindow继承自QWidget,并提供了一个预定义的布局,将窗口分成了菜单栏、工具栏、状态栏和中央部件区域。这些区域共同构成了一个功能丰富的主窗口,使得应用程序的开发更加简单和高效。 二、QMainWindow的常用组件及功能 菜单栏&…

CSS的外边距合并规则

有时候,我们给组件设置了外边距,但是在实际运行可能和预期不符,这里有一个知识点叫外边距合并规则 比如我们这里有三个容器,A和B都设置了外边距10px,那他们在水平方向的间距是一个求和关系,一共是20px 但…

物联网之超声波测距模块、arduino、esp32

MENU 原理硬件电路设计软件程序设计 原理 超声波是一种频率高于20000Hz的声波,功率密度为p≥0.3W/cm,它的方向性好,反射能力强,易于获得较集中的声能。超声波用于许多不同的领域,比如检测物体和测量距离,清…

JAVA Maven 的安装与配置

一、下载地址 官方网站:Maven – Download Apache Maven 我这里是3.8.6版本 二、安装步骤 maven安装之前要先安装jdk,请确保你的系统已经安装了jdk环境。 1.将下载好的 Maven 进行解压 apache-maven-3.6.8-bin.zip 2.配置本地仓库:修改 conf/settin…

理解计算机系统_简述链接

前言 以<深入理解计算机系统>(以下称“本书”)内容为基础&#xff0c;对程序的整个过程进行梳理。本书内容对整个计算机系统做了系统性导引,每部分内容都是单独的一门课.学习深度根据自己需要来定 引入 源代码在机器层面,是以指令存在的.指令包含了指令码和操作…

vscode离线状态ssh连接不断输入密码登不上:配置commit_id

如题&#xff0c;vscode在一个离线服务器上&#xff0c;通过remote-ssh登录远程服务器&#xff0c;不断弹出密码框&#xff0c;总是进不去&#xff0c;后来了解到主要是不同vscode版本需要下载对应抑制commit-id的vscode-server-linux-x64.tar.gz包。 1&#xff09;vscode, 点…

html小游戏-飞机大战

敌机图片&#xff1a; 子弹图片&#xff1a; 我方飞机&#xff1a; 目录结构 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><title>飞机大战</title><style>* {margin: 0;padding: 0;}#ga…

WebView渲染异常导致闪退解决方案

背景&#xff1a; App主页面使用了大量WebView容器(10个以上)显示图表信息&#xff0c;最新发现bugly上面出现一些关于浏览器Native Crash&#xff0c;如下&#xff1a; 经排查&#xff0c;是WebView渲染失败导致Crash&#xff0c;可以通过webView.loadUrl("chrome://cra…

如何微调(Fine-tuning)大语言模型?

导读 本文介绍了微调的基本概念&#xff0c;以及如何对语言模型进行微调。 从 GPT3 到 ChatGPT、从GPT4 到 GitHub copilot的过程&#xff0c;微调在其中扮演了重要角色。什么是微调&#xff08;fine-tuning&#xff09;&#xff1f;微调能解决什么问题&#xff1f;什么是 Lo…

计算机网络:数据链路层 —— 以太网(Ethernet)

文章目录 局域网局域网的主要特征 以太网以太网的发展100BASE-T 以太网物理层标准 吉比特以太网载波延伸物理层标准 10吉比特以太网汇聚层交换机物理层标准 40/100吉比特以太网传输媒体 局域网 局域网&#xff08;Local Area Network, LAN&#xff09;是一种计算机网络&#x…

Newstar_week1_week2_wp

week1 wp crypto 一眼秒了 n费马分解再rsa flag&#xff1a; import libnum import gmpy2 from Crypto.Util.number import * p 9648423029010515676590551740010426534945737639235739800643989352039852507298491399561035009163427050370107570733633350911691280297…

PostgreSQL的学习心得和知识总结(一百五十六)|auto_explain — log execution plans of slow queries

目录结构 注&#xff1a;提前言明 本文借鉴了以下博主、书籍或网站的内容&#xff0c;其列表如下&#xff1a; 1、参考书籍&#xff1a;《PostgreSQL数据库内核分析》 2、参考书籍&#xff1a;《数据库事务处理的艺术&#xff1a;事务管理与并发控制》 3、PostgreSQL数据库仓库…