环境感知——自动驾驶模型训练（菜鸟版本）

简述

本文用仿真工具录制下训练数据后，存到本地CSV文件中，本文仅用方向盘转角速度进行训练。

代码示例采用Jupyter编码，如在其他编辑器运行问题，请使用Jupyter.

CSV文件中存储的数据如下：

  • "center","left","right","steering","throtlle","reverse","speed"
  • 中间摄像头图片路径，左侧摄像头图片路径，右侧摄像头图片路径，方向盘角度，油门，速度

模型训练过程

  1. 问题定义：

    • 明确待解决的任务类型（如分类、回归、聚类、推荐等）以及目标业务场景。
    • 设定具体目标，如提高预测准确性、降低误差、提升用户体验等。
    • 定义评估指标（如精度、召回率、AUC、RMSE等），用于量化模型性能。

  2. 数据收集：

    • 确定所需数据源，包括内部数据库、公开数据集、API接口、用户行为记录等。
    • 收集与问题相关且质量可靠的数据，并将其存储在合适的数据结构（如数据库、数据表、数据帧等）中。

  3. 数据预处理：

    • 数据清洗：去除重复项、修复格式错误、处理无效或不一致的数据。
    • 缺失值处理：通过填充（如使用平均值、中位数、众数、插值等方法）、删除含有缺失值的行/列或使用专门的缺失值插补技术来处理缺失数据。
    • 异常值检测与处理：识别并可能移除或修正数据集中偏离正常范围的观测值，可采用箱线图法、Z-score、IQR等方法。
    • 数据标准化/归一化：对数值特征进行尺度变换，如min-max scaling、z-score标准化等，以便不同特征间具有可比性。
    • 数据转换：根据需要进行特征编码（如独热编码、标签编码等）、特征提取（如PCA、LDA等）、特征交互（如多项式特征）等操作。
    • 数据采样：如果数据不平衡，可能需要进行过采样、欠采样或生成合成样本等以平衡类别分布。

  4. 特征选择与工程：

    • 根据领域知识和数据分析，选择与目标变量最相关的特征。
    • 创建新特征（衍生变量）以增强模型表现，可能涉及特征组合、统计计算、时间序列分析等。

  5. 模型选择：

    • 根据问题特性、数据规模、计算资源、解释性需求等因素，选择合适的机器学习算法或深度学习架构。
    • 常见模型包括线性回归、逻辑回归、决策树、随机森林、支持向量机、神经网络、AdaBoost、XGBoost、LightGBM等。

  6. 模型训练：

    • 将预处理后的数据集划分为训练集、验证集（有时还包括测试集），通常采用交叉验证以更稳健地估计模型性能。
    • 使用训练集对选定的模型进行参数调整和训练。这通常涉及使用优化算法（如梯度下降、Adam、L-BFGS等）迭代更新模型参数，以最小化预定的损失函数（如均方误差、交叉熵等）。

  7. 模型评估：

    • 在独立的验证集（或交叉验证折叠）上评估训练好的模型，计算预定义的评价指标（如精度、召回率、F1分数、AUC-ROC曲线、MAE、MSE等）。
    • 可视化关键指标、绘制学习曲线、计算特征重要性等，以深入理解模型性能和特征影响。

  8. 模型优化：

    • 调整模型超参数，通过网格搜索、随机搜索、贝叶斯优化等方法找到最优超参数组合。
    • 针对性能瓶颈尝试不同的正则化策略（如L1、L2正则化、dropout、early stopping等）减少过拟合风险。
    • 如果适用，尝试集成学习（如bagging、boosting、stacking等）提高模型泛化能力。

  9. 模型验证与部署：

    • 使用独立的测试集（如果有的话）对最终选定模型进行验证，确认其在未见过数据上的表现。
    • 将模型封装成API、嵌入应用程序或作为批处理作业集成到生产环境。
    • 实施监控系统，持续跟踪模型在实际应用中的性能，为未来模型更新或重新训练提供反馈。

  10. 后期维护与更新：

    • 定期评估模型在新数据上的表现，必要时重新训练或调整模型以适应数据变化。
    • 跟踪领域知识和算法进展，适时引入新技术或改进现有模型。

数据分析与预处理

 代码示例：

import numpy as np
import pandas as pd# 读取数据
data = pd.read_csv('driving_log.csv',names=["center","left","right","steering","throtle","reverse","speed"])# 数据展示
# 把方向盘的转角数据分成20份
counts,angle = np.histogram(data["steering"],20)
# angle有21个数据，把两次数据加在一起再求个平均，就只有20份数据了，这是中心点坐标
center = (angle[1:]+angle[:-1])/2
import matplotlib.pyplot as plt
# 柱状图展示自动驾驶数据分布情况:可以看出来角度为0直行的数据过多，需要进行剪裁
# plt.bar(center,counts,width=0.1)# 数据清洗：根据数据的分布规律，把结果一直一些特别多的训练数据给删除掉
# 过滤出直行的数据
# 记录所有的直行数据的位置信息
li = []
for i in range(0,len(data["steering"])):if data["steering"][i] == 0:li.append(i)# print(len(li))
# 画线，从中间切一刀
# plt.plot((-1,1),(300,300))
# plt.bar(center,counts,width=0.1)
# 洗牌操作，只保留300 条记录
np.random.shuffle(li)
rm_list = li[300:]
# np.drop 丢弃某些数据， 参数inplace=True： 在原来的数据集上操作
data.drop(rm_list, inplace=True)counts,angle = np.histogram(data["steering"],20)
# angle有21个数据，把两次数据加在一起再求个平均，就只有20份数据了，这是中心点坐标
center = (angle[1:]+angle[:-1])/2
plt.bar(center,counts,width=0.1)
info = data[["center","steering"]]
info.to_csv("info.csv")

数据集分割与准备

from sklearn.model_selection import train_test_split
import cv2
# 返回值：训练集、测试集、训练集结果、测试集结果
X_train,X_test,Y_train,Y_test = train_test_split(info["center"],info["steering"],test_size=0.2,random_state=23)
print(len(X_train),len(Y_test))
# 绘制转角数据直方图,用于查看数据集分布情况
plt.subplot(121)# 121:1行两列第一个
plt.hist(Y_train,20,width=0.1)
plt.subplot(122)# 121:1行两列第2个
plt.hist(Y_test,20,width=0.1)# 显示训练集中索引为2的图片
img = plt.imread(X_train.iloc[2])
# plt.imshow(img)# 图片预处理：图片
# 去掉引擎盖部分和天空部分，仅保留训练相关部分
img = img[60:135,:,:]
# 高斯模糊去除燥点
img = cv2.GaussianBlur(img,(3,3))
# 按照论文中，放入的图片尺寸为宽200*高66,YUV格式,YUV 格式很适合做图形分割与分类
img = cv2.resize(img,(200,66))
img = cv2.cvtColor(img,cv2.COLOR_RGB2YUV)# 图片预处理函数：宽高、颜色模式调整
def data_preprocessing(img_path):img = cv2.imread(img_path)img = img[60:135,:,:]img = cv2.GaussianBlur(img,(3,3),1)img = cv2.resize(img,(200,66))img = cv2.cvtColor(img,cv2.COLOR_RGB2YUV)return img# 绘图后对比原图和预处理后的图
random_index = np.random.randint(len(X_train))
src_img = plt.imread(X_train.iloc[random_index])
dst_img = data_preprocessing(X_train.iloc[random_indexa])
# 
plt.subplot(121)
plt.imshow(src_img)
plt.subplot(122)
plt.imshow(dst_img)plt.show()# 准备卷积神经网络CNN需要的训练数据
train_img = []
for i in range(0,len(X_train)):img = data_preprocessing(X_train.iloc[i])# 归一化操作img = img/255.0train_img.append(img)X_train_imgs = np.array(train_img)# 准备卷积神经网络CNN需要的训练数据
test_img = []
for i in range(0,len(X_test)):img = data_preprocessing(X_test.iloc[i])# 归一化操作img = img/255.0test_img.append(img)X_test_imgs = np.array(test_img)y_train = y_train.to_numpy()
y_test = y_test.to_numpy()

模型构建与训练

第一次训练

# 模型输出结果是-1 到 1的角度值，所以是回归问题。
# 回归问题用误差函数MSE，分类问题用的Sigmoidimport tensorflow as tf
# 线性模型库
model = tf.keras.Sequential()
# 卷积层
model.add(tf.keras.layers.Conv2D((24,(5,5),strides=(2,2),input_shape=(66,200),activation="relu"))model.add(tf.keras.layers.Conv2D((36,(5,5),strides=(2,2),activation="relu"))model.add(tf.keras.layers.Conv2D((48,(5,5),strides=(2,2),activation="relu"))model.add(tf.keras.layers.Conv2D((64,(3,3),activation="relu"))
model.add(tf.keras.layers.Conv2D((64,(3,3),activation="relu"))
model.add(tf.keras.layers.Flatten())model.add(tf.keras.layers.Dense(1164,activation="relu"))
model.add(tf.keras.layers.Dense(100,activation="relu"))
model.add(tf.keras.layers.Dense(50,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="relu"))
model.add(tf.keras.layers.Dense(1)) # 方向盘回归问题
model.summary()# 模型编译
model.compile(optimizer="rmsprop",loss="mse")
# 模型训练
history = model.fit(X_train_img,y_train,epochs=50,batch_size=128,validation_data=(X_test_img,y_test))# 展示训练集与验证集的损失比较
plt.plot(history.history["loss"])
plt.plot(history.history["val_loss"])
plt.legend(["train","test"])
plt.show()

模型参数调整

# 发现测试集表现不稳定，经常有尖锐的差距，说明模型训练过程中泛化能力差，可以增加随机取消神经元工作
# relu用于在数据集不大但模型参数很多，可能出现梯度消失模型不收敛的情况，需要换其他的激活函数# 线性模型库
model = tf.keras.Sequential()
# 卷积层
model.add(tf.keras.layers.Conv2D((24,(5,5),strides=(2,2),input_shape=(66,200),activation="elu"))# Dropout增加泛化能力，去除尖锐部分，减少训练过程中抖动情况
model.add(tf.keras.layers.Dropout(0.5))model.add(tf.keras.layers.Conv2D((36,(5,5),strides=(2,2),activation="elu"))
model.add(tf.keras.layers.Conv2D((48,(5,5),strides=(2,2),activation="elu"))# Dropout增加泛化能力，去除尖锐部分，减少训练过程中抖动情况
model.add(tf.keras.layers.Dropout(0.2))model.add(tf.keras.layers.Conv2D((64,(3,3),activation="elu"))
model.add(tf.keras.layers.Conv2D((64,(3,3),activation="elu"))
model.add(tf.keras.layers.Flatten())model.add(tf.keras.layers.Dense(1164,activation="elu"))
model.add(tf.keras.layers.Dense(100,activation="elu"))
model.add(tf.keras.layers.Dense(50,activation="elu"))# Dropout增加泛化能力，去除尖锐部分，减少训练过程中抖动情况
model.add(tf.keras.layers.Dropout(0.2))model.add(tf.keras.layers.Dense(10,activation="elu"))
model.add(tf.keras.layers.Dense(1)) # 方向盘回归问题
model.summary()# 模型编译
model.compile(optimizer="rmsprop",loss="mse")
# 模型训练
history = model.fit(X_train_img,y_train,epochs=50,batch_size=128,validation_data=(X_test_img,y_test))
model.save("model.h5")
# 展示训练集与验证集的损失比较
plt.plot(history.history["loss"])
plt.plot(history.history["val_loss"])
plt.legend(["train","test"])
plt.show()

模型测试 

test_index = np.random.randint(len(X_test_imgs))
models = tf.keras.models.load_model("model.h5")
result = models.predict(X_test_imgs[test_index].reshape(1,66,200,3))
predict_result = result[0][0]

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/1540.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Mysql学习大纲

Mysql学习大纲

文章目录 整体大纲总结 整体大纲 大纲 MySQL在金融互联网行业的企业级安装部署mysql启动关闭原理和实战，及常见错误排查 花钱9.9 订阅了专栏MySQL字符集和校对规则史上最详细的Mysql用户权原理和实战，生产案例InnoDB引擎原理和实战，通俗易懂…
阅读更多...
IoT、IIoT、AIoT的区别是什么？

IoT、IIoT、AIoT的区别是什么？

一、IoT、IIoT、AIoT的区别是什么？ IoT、IIoT和AIoT都是物联网（Internet of Things）的不同应用和发展方向，但它们之间存在一些区别。 IoT（物联网）：物联网是指通过互联网连接各种物理设备&#x…
阅读更多...
Arcgis 定义投影、投影变换、导出栅格为tif

Arcgis 定义投影、投影变换、导出栅格为tif

目录 一、Arcgis 定义投影 1、定义投影 2、设置平移 二、投影变换 1、栅格数据的投影变换 2、矢量数据的投影变换
阅读更多...
【Linux】小知识点温习---命令

【Linux】小知识点温习---命令

许多常见命令会用，但是很少注意他们的区别；亦或在学习中使用较少，容易忘记，今天做一个回顾。 ls系列 -a:显示所有文件（包括隐藏文件） -l:将文件以竖列形式显示 -i：显示文件的inode编号 pwd 显…
阅读更多...
MacOS 文件系统种类及介绍

MacOS 文件系统种类及介绍

MacOS 文件系统种类 详细介绍 详细介绍 从图片中我们可以看到一个文件系统选择器的界面，列出了多种不同的文件系统选项。这些文件系统各有其特点和用途，以下是它们之间的主要区别： APFS：Apple File System，是苹果公司为…
阅读更多...
车载电子电器架构 —— 功能安全开发（首篇）

车载电子电器架构 —— 功能安全开发（首篇）

车载电子电器架构 —— 功能安全开发 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。非必要不费力证明自己…
阅读更多...
2.2 海思SS928开发 - 编译测试 - kernel

2.2 海思SS928开发 - 编译测试 - kernel

2.2 编译测试 - kernel 创建仓库 在 gitlab 上创建 SS928 kernel 仓库，并命名为 SS928_KERNEL_V4.19。 进入开发虚拟机，克隆仓库： cd ~ mkdir -p hiss928/kernel && cd hiss928/kernel git clone http://gitlab.xxx.com/KERNEL/SS9…
阅读更多...
acwing算法提高之图论--欧拉回路和欧拉路径

acwing算法提高之图论--欧拉回路和欧拉路径

目录 1 介绍2 训练 1 介绍 本专题用来记录欧拉回路和欧拉路径相关的题目。 相关结论： （1）对于无向图，所有边都是连通的。 （1.1）存在欧拉路径的充要条件：度数为奇数的结点只能是0个或者2个。 &…
阅读更多...
江西智博环境| 邀您参加2024全国水科技大会暨技术装备成果展览会

江西智博环境| 邀您参加2024全国水科技大会暨技术装备成果展览会

展位号：A28 企业介绍 江西智博环境技术有限公司始创于2008年初，总部位于江西省域副中心城市-赣州。公司主要从事一体化净水设备、单村供站、泵船、无负压供水设备自动化控制系统、低配电系统、工艺设备及智慧水务的设计研发、生产、销售、安装、调试等业…
阅读更多...
kubeadm 升级 k8s集群 1.17到1.20

kubeadm 升级 k8s集群 1.17到1.20

云原生学习路线导航页（持续更新中） 本文是 Kubernetes 基础学习 系列文章，主要讲解 使用kubeadm，将kubernetes集群从1.17升级到1.20 1.kubernetes一般不要跨大版本升级 一般来说，跨越多个主要版本的升级需要逐个升级每…
阅读更多...
WordPress SQLite Docker 镜像封装细节

WordPress SQLite Docker 镜像封装细节

为了让大家用的放心，同时解答 GitHub 社区中的疑问。这篇文章聊聊上一篇文章的 Docker 容器封装细节。 写在前面 在前一篇文章《WordPress 告别 MySQL：Docker SQLite WordPress》中，如果你跟着文章实践，大概三分钟就能够启动一个…
阅读更多...
PHP 脚本，其中包含一个函数，该函数会从给定的字符串列表中随机选择一个字符串并返回

PHP 脚本，其中包含一个函数，该函数会从给定的字符串列表中随机选择一个字符串并返回

PHP 脚本&#xff0c;其中包含一个函数&#xff0c;该函数会从给定的字符串列表中随机选择一个字符串并返回: <?php// 定义函数&#xff0c;随机选择一个字符串 function getRandomString() {// 声明字符串列表$strings array("apple", "banana", &q…
阅读更多...
【批量区域识别内容重命名】批量识别图片区域文字并重命名，批量图片部分识别内容重命文件，PDF区域识别提取重命名

【批量区域识别内容重命名】批量识别图片区域文字并重命名，批量图片部分识别内容重命文件，PDF区域识别提取重命名

我们在工作和生活中经常遇到这样的需求&#xff1a;比如将以下的图片区域识别进行重命名&#xff0c;批量识别后改成以时间和工作内容重命名&#xff0c;便于日后检索&#xff0c;快速查询 首先我们拍摄照片用到的是水印相机&#xff0c;这里的文字呢我们需要加个背景&#xff…
阅读更多...
华为机考入门python3--（16）牛客16-购物单最大满意度

华为机考入门python3--（16）牛客16-购物单最大满意度

分类&#xff1a;动态规划&#xff0c;组合&#xff0c;最大值&#xff0c;装箱问题 知识点&#xff1a; 生成递减数 100, 90, 80, ..., 0 range(100, -1, -10) 访问列表的下标key for key, value in enumerate(my_list): 动态规划-捆绑装箱问题 a. 把有捆绑约束的物…
阅读更多...
AI大模型日报#0421：「个性化」图像Gen4Gen框架、吴恩达亲授智能体设计模式、国内14大LLM最新评测报告

AI大模型日报#0421：「个性化」图像Gen4Gen框架、吴恩达亲授智能体设计模式、国内14大LLM最新评测报告

导读&#xff1a; 欢迎阅读《AI大模型日报》&#xff0c;内容基于Python爬虫和LLM自动生成。目前采用“文心一言”生成了每条资讯的摘要。 标题: 小冰徐元春&#xff1a;AIGC已经让普通人开始赚钱 | 中国AIGC产业峰会 摘要: 要点提炼&#xff1a; 在中国AIGC产业峰会上&…
阅读更多...
ceph mds 文件系统的挂载方式

ceph mds 文件系统的挂载方式

概述 近期测试发现&#xff0c;部分版本和服务器使用ceph mds内核态挂载时&#xff0c;性能较差&#xff0c;可能和存储和系统版本有关&#xff0c;用户态性能反而更稳定&#xff0c;这里补充两种挂载方式。 内核态 开启ceph认证&#xff0c;使用admin挂载&#xff0c;monip…
阅读更多...
浏览器生成Excel文件 ，Apache POI 使用方法及示例

浏览器生成Excel文件 ，Apache POI 使用方法及示例

Apache POI 是 Apache 软件基金会的开源项目&#xff0c;它提供 API 用于读取和写入 Microsoft Office 格式的文件&#xff0c;如 Excel、Word 等。在 Spring Boot 应用中&#xff0c;结合使用 Apache POI 可以方便地处理 Excel 文件 一 引入依赖&#xff1a; <dependency&…
阅读更多...
Llama 3大模型发布！快速体验推理及微调

Llama 3大模型发布！快速体验推理及微调

Meta&#xff0c;一家全球知名的科技和社交媒体巨头&#xff0c;在其官方网站上正式宣布了一款开源的大型预训练语言模型——Llama-3。 据了解&#xff0c;Llama-3模型提供了两种不同参数规模的版本&#xff0c;分别是80亿参数和700亿参数。这两种版本分别针对基础的预训练任务…
阅读更多...
2024mac苹果电脑如何清理磁盘空间？用什么软件最好

2024mac苹果电脑如何清理磁盘空间？用什么软件最好

苹果电脑已成为我们日常生活和工作不可或缺的一部分。随着时间的推移&#xff0c;不论是办公文档、个人照片还是各式各样的应用程序&#xff0c;都会逐渐积累&#xff0c;导致电脑的磁盘空间日益紧张。对于用户来说&#xff0c;苹果电脑如何清理磁盘空间&#xff0c;以保持设备…
阅读更多...
博客摘录「 自动微分----pytorch中的梯度运算与反向传播函数(预备知识)5」2024年4月18日

博客摘录「 自动微分----pytorch中的梯度运算与反向传播函数(预备知识)5」2024年4月18日

Python控制流的梯度计算 使用自动微分的一个好处是&#xff1a; 即使构建函数的计算图需要通过Python控制流&#xff08;例如&#xff0c;条件、循环或任意函数调用&#xff09;&#xff0c;我们仍然可以计算得到的变量的梯度。 在下面的代码中&#xff0c;while循环的迭代次数…
阅读更多...
最新文章

Copyright @ 2022~2023