第六十四周周报 TCN-LSTM

文章目录

  • week 64 TCN-LSTM
  • 摘要
  • Abstract
    • 1. 题目
    • 2. Abstract
    • 3. 文献解读
      • 3.1 Introduction
      • 3.2 创新点
    • 4. 网络结构
      • 4.1 数据分析
      • 4.2 混合深度学习框架的开发
    • 5. 实验结果
    • 6.结论

week 64 TCN-LSTM

摘要

本周阅读了题为A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant的论文。该项研究提出了一种将TCN与LSTM结合的混合模型,以增强污水处理厂出水TN的模拟。该模型使用中国江苏省某污水处理厂的实时数据进行训练和测试。TCN-LSTM模型结合了TCN的灵活接受域和LSTM的长期依赖关系提取能力,有效防止特征退化和过拟合。实验结果显示,与单一TCN或LSTM相比,混合模型的每小时实时预报精度提高了33.1%,与传统FFNN相比,性能效率提高了63.6%。

Abstract

This week’s weekly newspaper decodes the paper entitled A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant. This study proposes a hybrid model that combines TCN and LSTM to enhance the simulation of TN in wastewater treatment plant effluents. The model was trained and tested using real-time data from a wastewater treatment plant in Jiangsu Province, China. The TCN-LSTM model integrates the flexible receptive field of TCN and the long-term dependency extraction capability of LSTM, effectively preventing feature degradation and overfitting. Experimental results show that compared to single TCN or LSTM models, the hybrid model improves hourly real-time forecasting accuracy by 33.1%. Compared to traditional FFNN, the performance efficiency is increased by 63.6%.

1. 题目

标题:A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant

作者:Yifan Xie a, Yongqi Chen b,c, Qing Wei b,c, Hailong Yin b,c,*

发布:Water Research

  • https://doi.org/10.1016/j.watres.2023.121092
  • Volume 250, 15 February 2024, 121092

2. Abstract

污水处理厂的运行由于进水特性的巨大变化和污水处理过程的非线性而非常复杂。有效的污水处理厂出水水质建模可以为污水处理厂的运行和管理提供有价值的决策支持。在这项研究中,我们开发了一种新的混合深度学习模型,将时间卷积网络(TCN)模型与长短期记忆(LSTM)网络模型相结合,以改进污水处理厂出水小时总氮(TN)浓度的模拟。在江苏某污水处理厂进行了模型测试,将TCN-LSTM混合模型与单一深度学习模型(TCN和LSTM)和传统机器学习模型(前馈神经网络,FFNN)的预测结果进行了比较。与单一TCN或LSTM模型相比,混合TCNLSTM模型的准确率提高了33.1%,与传统FFNN模型相比,其性能提高了63.6%。与单独的TCN、LSTM和FFNN模型相比,所开发的混合模型在8小时内对污水处理厂出水TN的预测能力更高。最后,采用Shapley加性解释的模型解释方法识别影响污水处理厂出水水质行为的关键参数,发现去除对模型输出没有贡献的变量可以进一步提高建模效率,同时优化监测和管理策略。

3. 文献解读

3.1 Introduction

为了解决这些问题,本研究开发了一个混合TCN-LSTM模型来模拟污水处理厂每小时流出TN浓度。我们首次探索了混合TCN-LSTM模型模拟污水处理厂运行的可行性,并将混合模型的性能与单机机器学习模型的性能进行了比较。此外,我们对混合模型进行了可解释性分析,以识别直接影响模型性能的最具影响力的参数,并探讨了混合模型在扩展时间提前预测中的鲁棒性。

3.2 创新点

鉴于深度学习模型框架(如CNN、GRU、注意力机制和GCN)在特定场景下的优异性能,开发了一种混合深度学习预测框架(GCN - cnnga)来解决ietp中建模影响的挑战性问题。本研究的主要贡献如下:

  1. 首次探索了混合TCN-LSTM模型模拟污水处理厂运行的可行性
  2. 对混合模型进行了可解释性分析,以识别直接影响模型性能的最具影响力的参数
  3. 采用Shapley加性解释的模型解释方法识别影响污水处理厂出水水质行为的关键参数

4. 网络结构

4.1 数据分析

污水厂处理流程如图一

表1提供了用于建模开发的2022年1 - 7月污水处理厂进出水量数据统计。从表中可以看出,污水处理厂的进水浓度在水量和水质方面变化很大。每小时进水流量在12.2 ~ 70.8 m3/h之间波动较大,平均流量为49.8 m3/h,变异系数(CV)为0.21。同样,进水COD、TN、TP和NH3-N的CV均超过0.30,范围在0.31 ~ 0.64之间,表现出较高的变异性。

与进水特征相似,污水处理厂出水TN浓度在研究期间也发生了很大变化。出水TN在1.63 ~ 22.8 mg/L之间波动明显,CV为0.38。总体而言,该污水处理厂出水TN平均浓度维持在7.33 mg/L,符合中国城市污水处理厂一级a排放标准(GB18918-2002)。但也有超过15 mg/L的排放限值的观察。目前,中国许多城市正在对污水处理厂进行升级改造,以达到更严格的排放标准,例如中国国家地表水水质标准的准IV级。在这种情况下,出水TN浓度的排放限值应进一步从15 mg/L降低到10 mg/L。因此,准确预测污水处理厂排放出水TN浓度对未来污水处理厂运行监管变化的实时指导具有重要意义。

4.2 混合深度学习框架的开发

混合深度学习模型的结构如图2所示,该模型由四层组成,依次为TCN层、LSTM层、dense层、output层。该算法是在spyder上使用python 3.9开发的,使用了来自TensorFlow、Scikit-learn、NumPy、Matplotlib和Pandas的包。

输入到TCN-LSTM模型的时间序列数据包括33个在线参数,其中6个进水参数,21个过程控制参数,6个出水参数,如2.2.1节所述。TCN结构的超参数包含5个隐藏层,膨胀率分别为2、4、8、16和32,滤波器尺寸为3,dropout率为0.1。对于LSTM结构,超参数包括1个LSTM层,3个隐含层,每层67个神经元,确定为输入参数的2倍加1 (Xie et al., 2022), drop - out率为0.3。密度层中的神经元与LSTM层中的神经元相等。基于Adam优化器对模型进行训练,相关超参数包括学习率、β1、β2和θ,分别设置为0.001、0.95、0.999和1 × 10−8。将损失函数设置为平均绝对误差,使所建立的模型对异常值敏感。epoch数设置为80,批大小配置为32。

此外,原始数据采用滑动窗口排列,如图2所示。在本研究中,模型在时间步长t处的输出对应于区间[t, m t−1]内的原始数据。然后,按照以下三个步骤对污水处理厂出水水质进行预测。

  1. 获取的WWTP数据S = (s1, s2, s3,…, st)分为训练数据集和测试数据集。将训练集作为TCN模型的输入,然后TCN模型对输入信息进行特征提取。提取这些数据后,特征X = (x1, x2, x3,…, xt)会暴露得更明显,这有利于后续LSTM模型的学习。
  2. 将TCN模型提取的特征输入到LSTM模型中。然后,运行LSTM模型来反映时间序列数据在最终预测的污水处理厂出水数据中的长期关系Y = (y1, y2, y3,…通过记住需要长期记忆的关键信息,并通过输入、遗忘和输出门忘记不重要的信息。
  3. 将预测结果与训练数据集进行比较,确定能保证模型最优调优的模型参数。测试集作为输入,进一步验证模型,完成预测任务。

5. 实验结果

评估标准

使用平均绝对百分比误差(MAPE)、平均绝对误差(MAE)、均方根误差(RMSE)和决定系数(R2)来测试污水处理厂出水预测的准确性。

模型可释性

Shapley加性解释(SHAP)是一种事后方法,也被用来进一步解释所开发的机器学习模型的行为(Zhu et al., 2022b;Zhang等人,2023)。SHAP方法基于来自合作博弈论的Shapley值,该值为联盟成员之间分配收益提供了一种合理的方法(Aas等人,2021)。特征(即预测器)的Shapley值是其对预测的贡献:Shapley绝对值越大,表示该特征的贡献越大。因此,SHAP值的一个优点是它能够描述模型预测如何根据模型特征值的变化而变化。

混合深度学习模型相对于TCN和LSTM的预测增强

单个LSTM和TCN网络以及TCN-LSTM混合网络的建模性能如图3和表2所示。图3展示了单深度学习模型和混合深度学习模型对1小时前的观测和预测时间序列数据集的比较。表2提供了单一和混合深度学习方法的MAPE、MAE、RMSE和R2的预测精度统计数据。

如上所述,在整个数据组中,较低的MAPE、MAE和RMSE以及较高的R2表明了模型的稳健性。从表2出水TN的结果可以看出,当使用训练数据时,TCN模型的性能指标(MAPE、MAE、RMSE和R2)分别为0.073、0.532、1.041和0.855。LSTM模型的MAPE、MAE、RMSE和R2分别为0.085、0.726、1.148和0.850。结果表明,TCN在训练数据集上的表现优于LSTM。采用TCN-LSTM混合模型对训练数据集的性能优于TCN和LSTM。

经检验数据评估,TCN模型的性能指标(MAPE、MAE、RMSE和R2)分别为0.132、1.018、1.421和0.746。LSTM模型检验的MAPE、MAE、RMSE和R2分别为0.139、1.004、1.326和0.747。通过MAPE、MAE和R2测量,TCN具有与LSTM相似的准确性。如果用RMSE测量,LSTM比TCN具有更高的精度。总的来说,可以得出TCN模型的性能接近LSTM模型的性能。然而,考虑到TCN和LSTM模型对训练数据的结果优于对测试数据的结果,TCN和LSTM在测试数据集的流出模拟中可能存在过拟合问题。

与单一TCN和LSTM模型相比,混合TCN-LSTM模型进一步显示了更好的预测性能。混合TCN- lstm模型的MAPE、MAE和RMSE测量指标比单一TCN模型提高了28.1~ 29.5%。使用TCN-LSTM模型后,试验数据预测值与观测值之间的R2由0.746提高到0.855。与独立LSTM模型相比,混合TCN-LSTM模型的MAPE、MAE和RMSE测量的准确率提高了22.9% ~ 33.1%。TCN-LSTM模型的R2为0.855,高于LSTM模型。

混合深度学习模型与FFNN模型的比较

基于时间序列出水TN数据,将TCN-LSTM混合模型与经典FFNN模型进行了比较(图4和表3)。图4显示了TCN-LSTM和FFNN模型提前一步观测到的时间序列数据集与预测的时间序列数据集的比较。表3给出了两种建模方法的MAPE、MAE、RMSE和R2的预测精度统计。

表3显示,混合TCN-LSTM在模拟出水TN浓度方面优于FFNN。以试验数据为测量值,FFNN近似废水处理过程的MAPE、MAE和RMSE分别为0.235、1.976和2.454,而使用TCN-LSTM的MAPE、MAE和RMSE分别为0.093、0.719和1.022。与FFNN相比,TCN-LSTM的性能效率提高了58.3% ~ 63.6%。如果基于R2对测试数据集进行比较,使用TCN-LSTM后,它从0.460增加到0.855。

6.结论

在这项研究中,我们提出了一个将TCN与LSTM相结合的混合建模框架,以增强对日益严格的排放标准的污水处理厂出水TN的模拟。该模型使用中国江苏省某污水处理厂的实时数据进行了训练和测试。所建立的TCN-LSTM混合模型结合了TCN和LSTM网络的优点,从输入数据中提取有效的时间特征。这种结构使得TCN模型具有灵活的接受域和更长的时间尺度,然后LSTM网络在保留TCN中提取的特征的同时进一步提取长期依赖关系。这样,该方法可以防止特征退化并克服单个深度学习模型中可能出现的过拟合现象,同时在应对污水处理厂进水参数的大变化和复杂的污水处理厂操作时表现出良好的性能。试验数据表明,与单一TCN或LSTM相比,混合TCN-LSTM模型的每小时实时预报精度可提高33.1%。与传统FFNN相比,TCN-LSTM的性能效率提高了63.6%。TCN-LSTM混合技术在未来多个时间步长中对污水处理厂出水TN浓度的预警能力也很强。与TCN、LSTM和FFNN模型相比,采用TCN-LSTM混合模型对污水处理厂出水TN进行提前8 h预警,预测可靠性提高10%以上。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/60849.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

单元测试时报错找不到@SpringBootConfiguration

找到问题出现原因: 错误表示 Spring Boot 在运行测试时无法找到 SpringBootConfiguration 注解。 通常,SpringBootTest注解用于加载 Spring Boot 应用上下文,但它需要找到一个带有SpringBootConfiguration(或者Configuration&am…

性能优化、安全

一、懒加载 延迟加载&#xff0c;减轻服务器压力&#xff0c;减小浏览器负担 图片懒加载 img.offsetTop < window.innerHeight document.body.srcollTop 二、回流与重绘 回流&#xff1a;修改字体、颜色、背景等 重绘&#xff1a; 增加、删除、内容尺寸等会重绘 回流不一定…

【图像压缩感知】论文阅读:Content-Aware Scalable Deep Compressed Sensing

tips&#xff1a; 本文为个人阅读论文的笔记&#xff0c;仅作为学习记录所用。本文参考另一篇论文阅读笔记 Title&#xff1a; Content-Aware Scalable Deep Compressed Sensing Journal&#xff1a; TIP 2022 代码链接&#xff1a; https://github.com/Guaishou74851/CASNet…

浙大版《C语言程序设计(第4版)》题目集(一)

✨博客主页&#xff1a; https://blog.csdn.net/m0_63815035?typeblog &#x1f497;《博客内容》&#xff1a;.NET、Java.测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识 &#x1f4e2;博客专栏&#xff1a; https://blog.csdn.net/m0_63815035/cat…

谷歌AI进军教育,这将改变未来?

近日&#xff0c;谷歌&#xff08;Google&#xff09;正式发布了一款名为“Learn About”的全新人工智能工具&#xff0c;这犹如一颗耀眼的新星&#xff0c;在教育领域掀起了一阵波澜。这款产品具有诸多令人瞩目的亮点&#xff0c;为学习者带来了全新的学习体验。 个性化的学习…

Python酷库之旅-第三方库Pandas(218)

目录 一、用法精讲 1021、pandas.DatetimeIndex.inferred_freq属性 1021-1、语法 1021-2、参数 1021-3、功能 1021-4、返回值 1021-5、说明 1021-6、用法 1021-6-1、数据准备 1021-6-2、代码示例 1021-6-3、结果输出 1022、pandas.DatetimeIndex.indexer_at_time方…

MATLAB用到的矩阵基础知识(矩阵的乘和矩阵的逆)

1. 矩阵乘法 方法: 设第一个矩阵为 A A A,第二个矩阵为 B B B,则 A A A的第一行乘 B B B的第一列,先想乘再相加,作为目标矩阵的一个元素。 前提条件: 所以我们可以看到矩阵相乘的前提条件:第一个矩阵的列数等于第二个矩阵的行数。否则,我们就无法进行行和列的相乘。 最…

SpringBoot+MyBatis+MySQL的Point实现范围查找

前言 最近做了一个功能&#xff0c;需要通过用户当前位置点获取指定范围内的数据。由于后端存储用的是 MySQL&#xff0c;故选择使用 MySQL 中的 Point 实现范围查找功能。ORM 框架用的是 MyBatis&#xff0c;MyBatis 原生并不支持 Point 字段与 POJO 的映射&#xff0c;需要自…

共享门店模式:创新零售的新篇章

​在消费升级和数字化转型的双重浪潮下&#xff0c;传统零售业正面临前所未有的挑战与机遇。其中&#xff0c;共享门店模式作为一种创新的商业模式&#xff0c;正逐渐成为实体店铺应对电商冲击、提升运营效率和市场竞争力的重要途径。本文将深入解析共享门店模式的内涵、优势、…

通过JS删除当前域名中的全部COOKIE教程

有时候需要通过JS来控制一下网站的登录状态&#xff0c;就例如:网站登出功能&#xff0c;我们可以直接通过JS将所有COOKIE删除&#xff0c;COOKIE删除之后&#xff0c;网站自然也就退出了。 那么今天我就给大家分享一段JS的函数&#xff0c;通过调用这段函数就可以实现删除COO…

QT开发之版本选择

在选择Qt开发版本时&#xff0c;以下是一些建议&#xff1a; 1. **稳定性和广泛使用**&#xff1a;Qt5系列是目前使用最广泛的版本&#xff0c;其中一些长期支持&#xff08;LTS&#xff09;版本因其稳定性和长期维护而受到推荐。 2. **Qt5 LTS版本推荐**&#xff1a;以下是一…

docker desktop运行rabittmq容器,控制台无法访问

docker desktop运行rabittmq容器&#xff0c;控制台无法访问 启动过程&#xff1a;…此处缺略&#xff0c;网上一大堆 原因 原因是在Docker上运行的RabbitMQ&#xff0c;默认情况下是没有启用管理插件和管理页面的 解决办法 使用命令 docker exec -it 容器id /bin/bash 进…

「Mac玩转仓颉内测版15」PTA刷题篇6 - L1-006 连续因子

本篇将继续讲解PTA平台上的题目 L1-006 连续因子&#xff0c;通过因子分解与连续因子的计算&#xff0c;进一步提升Cangjie编程语言的算法设计与数学运算能力。 关键词 PTA刷题因子分解连续因子数学运算Cangjie语言 一、L1-006 连续因子 题目描述&#xff1a;给定一个正整数 …

cocosCreator视频web模式播放踩坑解决

/*** 对外输出接口*/ export interface VideoPlayerManageInterface {//初始化视频播放器init(list: VideoPlayerManageInitListType[],options?: VideoPlayerManageInitOptionsType): Promise<void>;//播放视频play(url: string, currentTime?: number): Promise<v…

C++中的栈(Stack)和堆(Heap)

在C中&#xff0c;堆&#xff08;heap&#xff09;和栈&#xff08;stack&#xff09;是两种用于存储数据的内存区域。理解它们的原理和区别&#xff0c;对于优化代码性能和确保代码的安全性至关重要。以下是对C中堆栈的详细解析&#xff0c;包括它们的分配方式、优缺点、应用场…

爬虫开发工具与环境搭建——环境配置

第二章&#xff1a;爬虫开发工具与环境搭建 第二节&#xff1a;环境配置 在进行爬虫开发之前&#xff0c;首先需要配置好开发环境。一个良好的开发环境不仅能提高开发效率&#xff0c;还能避免因环境不一致带来的问题。以下是环境配置的详细步骤&#xff0c;涵盖了Python开发…

git本地分支推送到远程和远程pull到本地

文章目录 本地分支推送到远程仓库git拉取远程分支到本地 本地分支推送到远程仓库 要将本地分支推送到远程仓库的某个分支&#xff08;可以是同名的分支&#xff0c;也可以是不同名的分支&#xff09;&#xff0c;你可以使用 git push 命令。这里有几种不同的情况&#xff1a; …

[Qt] QProcess使用误区

使用start接口来启动一个子程序会导致主程序退出后&#xff0c;子程序也会退出。使用静态成员函数 startDetached。来启动子程序。环境变量是没有用的&#xff0c;&#xff08;一个QProcess对象&#xff0c;设置了对应的环境变量&#xff0c;然后以对象的形式调用静态成员函数&…

wpf的C1FlexGrid可见表格合并计算操作

计算动态加载行后的部分字段的计算求和操作 表格上添加事件触发ItemsSourceChanged属性&#xff0c;触发事件 <c1:C1FlexGrid Name"CfgSaleOrderReviewItem" Style"{StaticResource Green}" ItemsSource"{Binding SaleOrderList,ModeTwoWay}"…

使用OpenFeign+Eureka实现HTTP调用的简单示例

由于RPC调用需要使用注册中心&#xff0c;所以首先需要创建eureka服务&#xff0c;创建SpringBoot项目后导入spring-cloud-starter-netflix-eureka-server&#xff0c;注意SpringBoot和SpringCloud版本一致性&#xff0c;然后进行配置&#xff0c;启动类添加注解EnableEurekaSe…