2023年第四届MathorCup大数据竞赛(A题)|坑洼道路检测和识别|数学建模完整代码+建模过程全解全析

当大家面临着复杂的数学建模问题时,你是否曾经感到茫然无措?作为2021年美国大学生数学建模比赛的O奖得主,我为大家提供了一套优秀的解题思路,让你轻松应对各种难题。

希望这些想法对大家的做题有一定的启发和借鉴意义。
让我们来看看MathorCup的A题!
在这里插入图片描述

问题重述:

问题1:图像特征提取和模型建立

题目要求建立一个高识别准确度、快速的模型,能够识别道路图像是正常的还是坑洼的。具体步骤包括:

  1. 解压data.zip,准备训练数据。
  2. 对图像进行预处理,如调整尺寸和数据增强。
  3. 使用深度学习模型提取图像特征。
  4. 构建一个分类模型,将特征转化为更容易分类的表示形式。
  5. 使用训练数据训练模型。

问题2:模型评估

题目要求对模型进行评估,从不同维度考察其性能。评估指标可能包括准确率、召回率、精确度、F1分数等,以及绘制ROC曲线和AUC。

问题3:测试集识别
题目求使用已经训练好的模型对未标记的测试数据集(在竞赛结束前48小时公布下载链接)中的图像进行坑洼识别。将识别结果以特定格式填写到test result.csv中,并将该文件提交以供评估。

问题一

问题一的具体建模思路通常基于深度学习方法,在这里我们使用卷积神经网络(CNN)。

  1. 数据准备

    • 将数据集划分为训练集和验证集,以用于模型训练和评估。
  2. 图像预处理

    • 调整图像大小为固定尺寸,如 224 × 224 224\times224 224×224
    • 数据增强:对训练图像进行数据增强,包括旋转、翻转、缩放和亮度调整等。
  3. 特征提取

    • 使用一个预训练的卷积神经网络(如ResNet、VGG、或MobileNet)来提取图像特征。这些模型通常包含卷积层,用于捕获图像的特征。
    • 在模型的前几层,特征图会被提取出来。
  4. 模型构建

    • 添加一个或多个全连接层,用于将提取的特征转换为最终的分类输出。
    • 使用sigmoid激活函数来输出一个0到1的值,表示道路是否坑洼。

模型的建立可以表示为以下公式:

给定一个输入图像 x x x,表示为一个 W × H × C W\times H\times C W×H×C的三维张量,其中 W W W H H H是图像的宽度和高度, C C C是通道数。卷积神经网络(CNN)将图像 x x x映射到一个输出标量 y y y,表示道路是否坑洼的概率。这个映射可以表示为:

y = σ ( f ( x ) ) y = \sigma(f(x)) y=σ(f(x))

其中:

  • f ( x ) f(x) f(x)表示卷积神经网络的前向传播过程,包括卷积、池化和全连接等层的组合,用于提取图像特征。
  • σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1 + e^{-z}} σ(z)=1+ez1 是sigmoid激活函数,将 z z z映射到0到1的范围内,表示概率。

模型的训练可以使用二元交叉熵(binary cross-entropy)损失函数来度量预测概率与实际标签之间的差异:

L ( y , y ^ ) = − ( y log ⁡ ( y ^ ) + ( 1 − y ) log ⁡ ( 1 − y ^ ) ) \mathcal{L}(y, \hat{y}) = -\left(y\log(\hat{y}) + (1 - y)\log(1 - \hat{y})\right) L(y,y^)=(ylog(y^)+(1y)log(1y^))

其中:

  • y y y 是实际标签(0表示坑洼,1表示正常道路)。
  • y ^ \hat{y} y^ 是模型的预测概率。

训练模型的目标是最小化损失函数 L \mathcal{L} L,以使预测尽可能接近实际标签。

二元交叉熵(Binary Cross-Entropy)是一种用于衡量二分类问题中模型预测与实际标签之间的差异的损失函数。它通常用于训练和评估二分类模型,例如判断一个样本属于两个类别中的哪一个。

这个损失函数的度量原理基于信息论的概念,特别是信息熵。以下是它的度量原理:

假设我们有一个二分类问题,其中样本的实际标签为 y y y,可以取0或1,而模型的预测概率为 y ^ \hat{y} y^,表示样本属于类别1的概率。

交叉熵损失的度量原理基于以下两种情况:

  1. 当实际标签 y = 1 y=1 y=1时,交叉熵损失为:

    − log ⁡ ( y ^ ) -\log(\hat{y}) log(y^)

    这表示模型预测样本属于类别1的概率越高,损失越小,反之则损失越大。这是因为实际标签为1时,我们希望模型的预测也接近1。

  2. 当实际标签 y = 0 y=0 y=0时,交叉熵损失为:

    − log ⁡ ( 1 − y ^ ) -\log(1 - \hat{y}) log(1y^)

    这表示模型预测样本属于类别0的概率越高,损失越小,反之则损失越大。这是因为实际标签为0时,我们希望模型的预测也接近0。

在训练过程中,我们会将所有样本的交叉熵损失加权求和,然后尝试最小化这个总损失。这意味着模型的目标是使其对于所有样本的预测与实际标签更加一致,以最小化总的交叉熵损失。

总的二元交叉熵损失可以表示为:

L ( y ^ , y ) = − ( y log ⁡ ( y ^ ) + ( 1 − y ) log ⁡ ( 1 − y ^ ) ) \mathcal{L}(\hat{y}, y) = -\left(y\log(\hat{y}) + (1 - y)\log(1 - \hat{y})\right) L(y^,y)=(ylog(y^)+(1y)log(1y^))

其中, L ( y ^ , y ) \mathcal{L}(\hat{y}, y) L(y^,y)表示损失, y ^ \hat{y} y^表示模型的预测概率, y y y表示实际标签。最小化这个损失将使模型尽量接近实际标签的分布,以更好地进行二分类任务。

代码:

import tensorflow as tf
from tensorflow import keras
from sklearn.model_selection import train_test_split
import numpy as np
import pandas as pd# 加载和预处理数据
def load_and_preprocess_data():# 你需要编写加载和预处理数据的代码,返回X和y# X是图像数据,y是标签(0表示坑洼,1表示正常道路)# 这里使用一个假设的示例,你需要根据实际数据进行适配X = np.random.rand(301, 224, 224, 3)  # 示例随机生成图像数据y = np.random.randint(2, size=301)  # 示例随机生成标签return {'images': X, 'labels': y}# 构建深度学习模型
def build_model():model = keras.Sequential([keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(224, 224, 3)),keras.layers.MaxPooling2D((2, 2)),keras.layers.Conv2D(64, (3, 3), activation='relu'),keras.layers.MaxPooling2D((2, 2)),keras.layers.Flatten(),keras.layers.Dense(128, activation='relu'),keras.layers.Dense(1, activation='sigmoid')])model.compile(optimizer='adam',loss='binary_crossentropy',  # 二元交叉熵损失metrics=['accuracy'])return model# 模型训练
def train_model(X_train, y_train, X_val, y_val):model = build_model()#见完整版代码

题目二

问题二的建模思路需要分为两个主要部分:模型训练和模型评估。

模型训练

  1. 数据加载与划分:首先,加载问题一中准备好的训练数据。将数据集划分为训练集( X train X_{\text{train}} Xtrain y train y_{\text{train}} ytrain)和验证集( X val X_{\text{val}} Xval y val y_{\text{val}} yval),通常采用交叉验证方法,以确保模型在不同数据子集上进行训练和评估。

  2. 模型选择:选择问题一中构建的深度学习模型,该模型已包含合适的网络结构和损失函数(二元交叉熵),用于道路坑洼的分类任务。

  3. 模型训练:使用训练集进行模型训练。迭代多个周期(epochs),使模型能够适应数据。训练过程中,模型会自动调整权重,以最小化损失函数。

  4. 超参数调优:根据需要,进行超参数调优,包括学习率、批处理大小等。这可以通过验证集上的性能来指导。你可以使用交叉验证技术来尝试不同的超参数组合。

  • 数据加载与划分:

X train , y train , X val , y val = train_test_split ( X , y , test_size = 0.2 , random_state = 42 ) X_{\text{train}}, y_{\text{train}}, X_{\text{val}}, y_{\text{val}}=\text{train\_test\_split}(X, y, \text{test\_size}=0.2,\text{random\_state}=42) Xtrain,ytrain,Xval,yval=train_test_split(X,y,test_size=0.2,random_state=42)

  • 模型选择:
    model = build_model ( ) \text{model} = \text{build\_model}() model=build_model()

  • 模型训练:

    model.fit ( X train , y train , epochs = 10 , validation_data = ( X val , y val ) \text{model.fit}(X_{\text{train}}, y_{\text{train}}, \text{epochs}=10, \text{validation\_data}=(X_{\text{val}}, y_{\text{val}}) model.fit(Xtrain,ytrain,epochs=10,validation_data=(Xval,yval)

模型评估

使用ROC曲线和AUC(Area Under the Curve)来评估模型的性能是一种常见的方法,特别适用于二分类问题。ROC曲线是一种用于可视化分类模型性能的工具,而AUC是ROC曲线下的面积,用于定量评估模型的性能。

1. 计算模型的ROC曲线

在评估模型之前,你需要使用验证集上的真正例率(True Positive Rate,召回率)和假正例率(False Positive Rate)来构建ROC曲线。这可以通过不同的分类阈值来实现。以下是ROC曲线的构建过程:

  • 为了计算ROC曲线,首先使用模型对验证集进行预测,获取每个样本的预测概率。

  • 使用不同的分类阈值(通常是0到1之间的值),将样本分为正类和负类。根据不同阈值,计算真正例率(TPR)和假正例率(FPR)。

  • 绘制TPR和FPR的曲线,即ROC曲线。

2. 计算AUC值

AUC(ROC曲线下的面积)用于量化ROC曲线的性能。AUC的值通常在0.5和1之间,越接近1表示模型性能越好。

  • 计算ROC曲线下的面积(AUC)。通常,你可以使用数值积分方法或库函数来计算AUC的值。

3. 评估模型

根据ROC曲线和AUC值进行模型评估。

  • AUC接近1表示模型具有良好的性能,可以很好地区分正类和负类样本。

  • ROC曲线越接近左上角(0,1),表示模型性能越好。

  • 如果AUC接近0.5,模型性能可能很差,类似于随机猜测。

  • 比较不同模型的AUC值,选择具有较高AUC值的模型。

  • 根据任务需求,可以根据不同的阈值来调整模型,以在召回率和精确度之间取得平衡。

import tensorflow as tf
from tensorflow import keras
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt# 加载和预处理数据(与问题一相同)
def load_and_preprocess_data():# 你需要编写加载和预处理数据的代码,返回X和y# X是图像数据,y是标签(0表示坑洼,1表示正常道路)# 这里使用一个假设的示例,你需要根据实际数据进行适配X = np.random.rand(301, 224, 224, 3)  # 示例随机生成图像数据y = np.random.randint(2, size=301)  # 示例随机生成标签return {'images': X, 'labels': y}# 构建深度学习模型(与问题一相同)
def build_model():model = keras.Sequential([# 模型结构,与问题一相同])model.compile(optimizer='adam',loss='binary_crossentropy',  # 二元交叉熵损失metrics=['accuracy'])return model# 模型训练(与问题一相同)
def train_model(X_train, y_train, X_val, y_val):model = build_model()model.fit(X_train, y_train, epochs=10, validation_data=(X_val, y_val))return model# 计算ROC曲线和AUC
def calculate_roc_auc(model, X_val, y_val):y_pred = model.predict(X_val)fpr, tpr, thresholds = roc_curve(y_val, y_pred)roc_auc = auc(fpr, tpr)return fpr, tpr, roc_auc# 绘制ROC曲线
def plot_roc_curve(fpr, tpr, roc_auc):plt.figure()plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')plt.xlim([0.0, 1.0])plt.ylim([0.0, 1.05])plt.xlabel('False Positive Rate')plt.ylabel('True Positive Rate')plt.title('Receiver Operating Characteristic')#见完整代码

问题三

问题三要求使用已训练的模型对测试集中的坑洼图像进行识别,并将识别结果保存在一个CSV文件中。以下是问题三的具体建模思路,:

模型应用

  1. 加载已训练模型:首先,加载问题一或问题二中训练好的模型。这个模型应该是能够识别道路坑洼的模型。

  2. 加载测试数据:加载问题一中提供的测试数据集(通常以图像的形式)。

  3. 图像预处理:对测试数据进行与训练数据相同的预处理,包括图像归一化、缩放等操作。

  4. 模型预测:使用加载的模型对测试数据进行预测,得到每张图像的分类结果(0表示坑洼,1表示正常道路)。

结果保存

  1. 保存识别结果:将图像文件名与对应的分类结果(0或1)保存在CSV文件中。这个文件将作为问题三的提交文件。

模型应用

  • 加载已训练模型:

model = load_trained_model ( ) \text{model} = \text{load\_trained\_model}() model=load_trained_model()

  • 加载测试数据:

    test_data = load_test_data ( ) \text{test\_data} = \text{load\_test\_data}() test_data=load_test_data()

  • 图像预处理:

    preprocessed_test_data = preprocess_images ( test_data ) \text{preprocessed\_test\_data} = \text{preprocess\_images}(\text{test\_data}) preprocessed_test_data=preprocess_images(test_data)

  • 模型预测:

    predictions = model.predict ( preprocessed_test_data ) \text{predictions} = \text{model.predict}(\text{preprocessed\_test\_data}) predictions=model.predict(preprocessed_test_data)

结果保存

  • 保存识别结果:

    save_results_to_csv ( test_data_file_names , predictions ) \text{save\_results\_to\_csv}(\text{test\_data\_file\_names}, \text{predictions}) save_results_to_csv(test_data_file_names,predictions)

import numpy as np
import pandas as pd
import tensorflow as tf
from tensorflow import keras# 加载已训练的模型
def load_trained_model(model_path):model = keras.models.load_model(model_path)return model# 加载测试数据
def load_test_data(test_data_dir):# 你需要编写加载测试数据的代码,返回测试数据集# 这里使用一个假设的示例,你需要根据实际数据进行适配test_data = np.random.rand(1000, 224, 224, 3)  # 示例随机生成测试图像数据return test_data# 图像预处理(与问题二相似)
def preprocess_images(images):# 你需要编写与问题二中相似的图像预处理代码# 包括图像归一化、缩放、通道处理等操作return preprocessed_images# 模型预测
def predict_with_model(model, test_data):predictions = model.predict(test_data)# 假设模型输出概率,可以根据阈值将概率转换为类别(0或1)predicted_labels = (predictions >= 0.5).astype(int)return predicted_labels# 保存识别结果到CSV文件
def save_results_to_csv(file_names, predicted_labels, output_csv_file):results_df = pd.DataFrame({'fnames': file_names, 'label': predicted_labels})results_df.to_csv(output_csv_file, index=False)# 示例用法
if __name__ == '__main__':model_path = 'trained_model.h5'  # 已训练模型的文件路径test_data_dir = 'test_data'  # 测试数据集的目录output_csv_file = 'test_results.csv'  # 结果保存的CSV文件名# 加载已训练的模型trained_model = load_trained_model(model_path)
#见完整版代码

完整代码+思路:
2023年第四届MathorCup大数据竞赛(A题)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/120759.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LLM系列 | 22 : Code Llama实战(下篇):本地部署、量化及GPT-4对比

引言 模型简介 依赖安装 模型inference 代码补全 4-bit版模型 代码填充 指令编码 Code Llama vs ChatGPT vs GPT4 小结 引言 青山隐隐水迢迢,秋尽江南草未凋。 小伙伴们好,我是《小窗幽记机器学习》的小编:卖热干面的小女孩。紧接…

微信小程序设计之主体文件app-ts/js

一、新建一个项目 首先,下载微信小程序开发工具,具体下载方式可以参考文章《微信小程序开发者工具下载》。 然后,注册小程序账号,具体注册方法,可以参考文章《微信小程序个人账号申请和配置详细教程》。 在得到了测…

新的iLeakage攻击从Apple Safari窃取电子邮件和密码

图片 导语:学术研究人员开发出一种新的推测性侧信道攻击,名为iLeakage,可在所有最新的Apple设备上运行,并从Safari浏览器中提取敏感信息。 攻击概述 iLeakage是一种新型的推测性执行攻击,针对的是Apple Silicon CPU和…

简单了解一下:NodeJS的WebSocket网络编程

NodeJS的webSocket网络编程。 那什么是WebSocket呢?WebSocket是HTML5提供的一种浏览器和服务器进行通信的网络技术。两者之间,只需要做一个握手动作,就可以在浏览器和服务器之间开启一条通道,就可以进行数据相互传输。 实现WebS…

c++的4中类型转换操作符(static_cast,reinterpret_cast,dynamic_cast,const_cast),RTTI

目录 引入 介绍 static_cast 介绍 使用 reinterpret_cast 介绍 使用 const_cast 介绍 使用 dynamic_cast 介绍 使用 RTTI(运行时确定类型) 介绍 typeid运算符 dynamic_cast运算符 type_info类 引入 原本在c中,我们就已经接触到了很多类型转换 -- 隐式类型转…

线程安全问题

线程安全 简单来说,在多个线程访问某个方法或者对象的时候,不管通过任何的方式调用以及线程如何去交替执行。在程序中不做任何同步干预操作的情况下,这个方法或者对象的执行/修改都能按照预期的结果来反馈,那么这个类就是线程安全…

YOLOv7优化:感受野注意力卷积运算(RFAConv),效果秒杀CBAM和CA等 | 即插即用系列

💡💡💡本文改进:感受野注意力卷积运算(RFAConv),解决卷积块注意力模块(CBAM)和协调注意力模块(CA)只关注空间特征,不能完全解决卷积核参数共享的问题 提供多种卷积变体供使用:CBAMConv,CAMConv,CAConv,RFAConv,RFCAConv RFAConv | 亲测在多个数据集能够实现…

buuctf_练[CISCN2019 华东南赛区]Web4

[CISCN2019 华东南赛区]Web4 文章目录 [CISCN2019 华东南赛区]Web4掌握知识解题思路代码分析正式解题 关键paylaod 掌握知识 ​ 根据url地址传参结构来判断php后端还是python后端;uuid.getnode()函数的了解,可以返回主机MAC地址十六进制;pyt…

Golang 自定义函数库(个人笔记)

1.用字符串连接切片元素(类似php implode) package mainimport ("fmt""strconv""strings" )func main() {data : []int{104, 101, 108, 108, 111}fmt.Println(IntSliceToString(data, ",")) }func IntSliceToS…

汽车4S店如何在数字化管理下,提高市场竞争力

在所有人都认为疫情过后,经济形势会一路向阳,但是,实际情况出乎所有人的意料,各行各业举步维艰。 新闻爆出的各大房地产,恒大的2.4万亿让人瞠目结舌,还有碧桂园和融创,也是债台高筑了&#xff…

ToLua使用原生C#List和Dictionary

ToLua是使用原生C#List 介绍Lua中使用原生ListC#调用luaLua中操作打印测试如下 Lua中使用原生DictionaryC#调用luaLua中操作打印测试如下 介绍 当你用ToLua时C#和Lua之间肯定是会互相调用的,那么lua里面使用List和Dictionary肯定是必然的,在C#中可以调用…

shell的执行流控制

目录 1.for语句 2.条件语句 while...do语句 until...do 语句 if...then...elif...then...else...fi 语句 3.case语句 4.expect 5.break,continue,exit 1.for语句 作用:为循环执行动作 for语句结构 for //定义变量 do //使用变量&#xff0…

python+requests+unittest执行自动化接口测试!

1、安装requests、xlrd、json、unittest库 <1>pip 命令安装&#xff1a; pip install requests pip install xlrd pip install json pip install unittest <2> pycharm里安装 2、利用Page Object Model 设计理念创建六类Python Package(也可根据项目要求具体实施…

企业安全—DevSecOps概述详情

0x00 前言 SDL存在的问题在于体量过于庞大&#xff0c;不利于快速进行适配和进行&#xff0c;所以就有了DevSecOps&#xff0c;实际上是因为敏捷开发也就是DevOps的推进&#xff0c;并且坐上了云服务模式的火车&#xff0c;所以这一系列的东西都开始普及。DevSecOps作为DevOps…

什么是蓝桥杯?什么是蓝桥STEMA考试?

第十五届蓝桥大赛赛事安排? STEMA考试11月(考试时间11月26日) STEMA考试1月(2024年1月) STEMA考试3月(2024年3月) 第十五届蓝桥杯省赛(2024年4月待定) 第十五届蓝桥杯国赛(2024年5月待定) 注:以上时间具体以组委会官方发布为准。 01.蓝桥杯 蓝桥杯全国软件和…

强化学习------PPO算法

目录 简介一、PPO原理1、由On-policy 转化为Off-policy2、Importance Sampling&#xff08;重要性采样&#xff09;3、off-policy下的梯度公式推导 二、PPO算法两种形式1、PPO-Penalty2、PPO-Clip 三、PPO算法实战四、参考 简介 PPO 算法之所以被提出&#xff0c;根本原因在于…

Python----break关键字对while...else结构的影响

案例&#xff1a; 女朋友生气&#xff0c;要求道歉5遍&#xff1a;老婆大人&#xff0c;我错了。道歉到第三遍的时候&#xff0c;媳妇埋怨这一遍说的不真诚&#xff0c;是不是就是要退出循环了&#xff1f;这个退出有两种可能性&#xff1a; ① 更生气&#xff0c;不打算原谅…

【Qt之QSetting】介绍及使用

概述 QSettings类提供了一种持久的、与平台无关的应用程序设置存储功能。 用户通常期望一个应用能在不同会话中记住其设置&#xff08;窗口大小和位置&#xff0c;选项等&#xff09;。在Windows上&#xff0c;这些信息通常存储在系统注册表中&#xff1b;在macOS和iOS上&…

Jenkins自动化测试

学习 Jenkins 自动化测试的系列文章 Robot Framework 概念Robot Framework 安装Pycharm Robot Framework 环境搭建Robot Framework 介绍Jenkins 自动化测试 1. Robot Framework 概念 Robot Framework是一个基于Python的&#xff0c;可扩展的关键字驱动的自动化测试框架。 它…

修复VS2015没有代码提示的问题【已解决】

问题描述 在Visual Studio 中编写代码时&#xff0c;发现使用库函数的时候&#xff0c;在类对象后输入点后&#xff0c;并没有出现类对应的成员信息的提示。 解决过程 1&#xff09;方法1&#xff1a; 百度“vs 没有代码提示”&#xff0c;搜索解决方案。 方案1&#xff1…