深度学习之负荷分解——LSTM(一对多)任务场景

1.任务场景

以家庭为例,假设该家庭有m种电器和总负荷的曲线,其中,总负荷为y={y_{1},y_{2},...,y_{n}},各个电器的负荷有M_{j}^{i}={m_{1}^{1},m_{2}^{2},...,m_{m}^{n}}(m是电器个数,n是n个时刻)。我们需要通过对总负荷曲线进行分解,识别出该负荷有几种电器同时运行实现。

之前的博客已经用NILMTK的组合优化和因子隐马尔可夫实现过了,因为效果不是很好,考虑用LSTM实现。

2.算法原理

RNN是循环神经网络,与CNN不同,循环神经网络可以很好地处理文本数据变长且有序的输入序列。RNN设计的初衷是解决长距离输入之间的依赖,但是在用基于时间距离的反向传播算法(BPTT)时,会出现神经网络中的梯度消失问题。LSTM(长短时记忆网络)和GRU通过加入门控机制,来弥补梯度消失问题。

遗忘门:损失函数是sigmoid。

记忆门:损失函数是tanh函数,生成候选记忆。

输出门:损失函数是sigmoid。

当输入的序列中没有重要信息时,LSTM的遗忘门的值接近于1,输入门的值接近于0,此时,过去的记忆将会被保存,从而实现长期记忆的功能。当输出的序列中有重要信息时,输入门为1,遗忘门接近于0,这样旧的记忆就会被遗忘,新的重要记忆被重新记忆。

3.理论实现

(1)基于Tensorflow的Keras

首先,建立一个LSTM模型,输入维度是批次大小(batch_size),特征向量值(n_in,vector),因为这里是1对多,因此,n_in应为1。

RepeatVector是如果输入的形状为(None,32),经过添加RepeatVector(3)层之后,输出变为(None,3,32),RepeatVector不改变我们的步长,改变我们的每一步的维数(即:属性长度)

TimeDistributed和Dense一起配合使用,主要应用于一对多,多对多的情况。首先使用TimeDistributed(Dense(8),input_shape = (1,16))把每一步的维度为16变成8,不改变步长的大小,若该层的批输入形状然后(50, 10, 16),则这一层之后的输出为(50, 10, 8)

这里vetor=120,经数据处理之后,时间并非是一秒一个负荷数据。代表每120个时刻的负荷数据构成一组输入变量。

model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, n_in, vector), stateful=True))
model.add(RepeatVector(n_out))
model.add(LSTM(150, return_sequences=True, stateful=True))
model.add(TimeDistributed(Dense(vector, activation='softmax')))
print(model.summary())

(2)基于pytorch

(暂时不会,后期更新)

4.实战

(1)基于Tensorflow的Keras

读取数据redd的功率数据集

import pandas as pd
import numpy as np
import os
from keras.models import Sequential
from keras.layers import LSTM,Dense,TimeDistributed,RepeatVector
import tensorflow as tffrom sklearn.model_selection import train_test_splitdef read_data_all(file_dir):    data = []for parent, dirnames, filenames in os.walk(file_dir):if parent==file_dir:print('父目录')else:for curDir, dirs, files in os.walk(parent):print("当前文件夹:",curDir)
#                fl = open(parent+'/'+'labels.dat','r',encoding='utf-8')
#                for f in fl.readlines():
#                    f = f.split(' ')[1].strip()
#                    labels.append(f)for i in range(len(files)-1):fo = open(parent+'/'+files[i],'r',encoding='utf-8')
#                    fo = pd.DataFrame(fo.readlines(),columns=['1'])#                    channel_1 = fo['1'].str.strip().str.split(' ',expand=True)
#                    channel_1 = channel_1.rename(columns={0:'date',1:'power'})
#                    channel_1['date']=channel_1['date'].astype(int)
#                    channel_1['label']=labels[i]
#                    data = pd.concat([data,channel_1],axis=0)for file in fo.readlines():file = file.strip()file =[float(i) for i in  file.split(' ')]data.append((int(file[0]),file[1],str(i+1),curDir.split('/')[-1]))return data#获取数据
file_dir = 'F:/aayu/负荷分解/low_freq/'
data = read_data_all(file_dir)

选择house_1为训练数据,并进行数据预处理

#选择第一个家庭进行训练
data = pd.DataFrame(data,columns=['date','power','type','house'])
house_1 =data[data['house']=='house_1'] #house_1 = house_1.set_index(['date'])#各个电器时间点拼接
elec_type = list(set(house_1['type'].tolist()))
house = pd.DataFrame()
for i in elec_type:print(i)e = house_1[house_1['type']==i][['date','power']]e = e.rename(columns={'power':i})e = e.set_index(['date'])print(e.shape)house = pd.concat([house,e],axis=1)print(house.shape)#处理缺失
rows = []
for row in house.index[house.isnull().sum(axis=1)>0]:rows.append(row)
house = house.drop(rows,axis=0)
#  for i in list(Udata.columns[Udata.isnull().sum(axis=0)>0]):
#                columnsU.append(i)
house = house.drop(['12'],axis=1)填充1,mains
#house['1'] = house['1'].fillna(house['1'].mean())#将用电量小的电器也做剔除
#columns = house[['3','4','5','6','7','8','9','10','11','13','14','15','16','17','18','19','20']].sum().sort_values(ascending=False)[:5].index
#columns = np.append(columns,['1'])
#columns = np.append(columns,['2'])
#house=house[columns]elec_y = []
elec_X_1= []
elec_X_2= []
for j in range(0,house.shape[0],120):
#        print(j)if j+120>house.shape[0]: #print('data limits')else:
#            print(j)
#            print(len(elec[j:j+3600]))elec_X_1.append((np.array(house[j:j+120][['1']]).T))elec_X_2.append((np.array(house[j:j+120][['2']]).T))elec_y.append((np.array(house[j:j+120][['3','4','5','6','7','8','9','10','11','13','14','15','16','17','18','19']]).T))X = np.array(elec_X_1)
y = np.array(elec_y)

通过sklearn进行数据集划分

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42, test_size=0.1) 

使用Keras进行模型训练

batch_size = 2
n_in = 1
vector = 120
n_out = 20model = Sequential()
model.add(LSTM(150, batch_input_shape=(batch_size, n_in, vector), stateful=True))
model.add(RepeatVector(n_out))
model.add(LSTM(150, return_sequences=True, stateful=True))
model.add(TimeDistributed(Dense(vector, activation='softmax')))
print(model.summary())model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])  
model.fit(X_train, y_train, epochs=20, validation_data=(X_test, y_test), batch_size=batch_size)  

5.模型优化

在进行模型训练时,表现性并不好,忽略数据质量的问题,可以考虑进行模型调参。模型调参一般从以下方面进行考虑:

  • 神经网络的层数

  • 每层神经元的个数

  • 如何初始化Weights和biases

  • loss函数选择哪一个

  • 选择何种Regularization?L1,L2

  • Regularization parameter lambda 选择多大合适

  • 激励函数如何选择

  • 是否使用dropout

  • 训练集多大比较合适

  • mini-batch选择多大

  • 学习率多少合适

  • 选择何种梯度下降算法

  • 何时停止Epoch训练

  • 自己模型的超参数

参考资料

keras中TimeDistributed和RepeatVector的解释

Pytorch TimeDistributed 层封装器

keras中使用LSTM实现一对多和多对多

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/466676.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

这是我见过最秀的代码

这么秀的代码,你能写出来吗?技术主管来了都不好使,main函数里第一个函数必须是这个。佛祖保佑版:void godBless(void) { // _ooOoo_ // o8888888o // …

java-构建jar带哟参数提示的

使用command的cli包构建带有参数提示的jar包 需要引入command cli的依赖 <commons.version>1.2</commons.version> <dependency><groupId>commons-cli</groupId><artifactId>commons-cli</artifactId><version>${commons.vers…

Cortex M3存储器映射

CortexM3存储器系统 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 CM3 只有一个单一固定的存储器映射。这一点极大地方便了软件在各种 CM3 单片机间的移植。 存储空间的一些位置用于调试组件等私有外设&#xff0c;这个地址段被称为“私有外设区”。私…

sql server 分页

分页方案一&#xff1a;(利用Not In和SELECT TOP分页) 语句形式&#xff1a; SELECT TOP 10 * FROM TestTable WHERE (ID NOT IN (SELECT TOP 20 id FROM TestTable ORDER BY id)) ORDER BY ID SELECT TOP 页大小 * FROM TestTable WHERE (ID NOT IN (SELECT TOP 页大小*页数 i…

这些年,NLP常见的预训练模型剖析

“预训练-微调”&#xff08;pre-training and fine-tune&#xff09; 已经成为解决NLP任务的一种新的范式。基于预训练语言模型的词表示由于可以建模上下文信息&#xff0c;进而解决传统静态词向量不能建模“一词多义”语言现象的问题。传统的词向量有one-hot&#xff08;杜热…

Linux Ftrace 使用

Ftrace相关的文章如何利用ftrace精确跟踪特定进程调度信息1、Ftrace 是什么东西&#xff1f;Ftrace是一个直接内置在Linux内核中的跟踪工具。许多发行版在最近的发行版中已经启用了各种各样的Ftrace配置。Ftrace给Linux带来的好处之一是能够看到内核中发生了什么。因此&#xf…

java中原始数据文件的输入

in.data中的数据"28.7812 34.4632 31.3381 31.2834..."File fileInnew File("in.data");//File fileOutnew File("out.data");if(fileIn.exists()){System.out.println("the files path:"fileIn.getPath());System.out.println("…

Cortex M3寄存器组

寄存器组 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 1、通用目的寄存器R0~R7 R0-R7 也被称为低组寄存器。所有指令都能访问它们。它们的字长全是 32 位&#xff0c;复位后的初始值是不可预料的。 2、通用目的寄存器 R8-R12 R8-R12 也被称为高组寄…

深度学习-超参数调优

在机器学习中有很多调优的方式机器学习——超参数调优&#xff0c;深度学习中也存在同样的方式&#xff0c;接下来&#xff0c;介绍一下深度学习框架里边的自动调参模块。 1. 基于Tensorflow的Keras tuner 官方教程如下&#xff1a;Introduction to the Keras Tuner | Tens…

【文章汇总】嵌入式Linux公众号

据悉,深圳某工程师沦为C语言笔试枪手 修改cmdline 把内存改成512MB 上拉电阻的作用

Leetcode分类

二叉树平衡二叉树easy 108. Convert Sorted Array to Binary Search Tree 2. 二叉树 617. Merge Two Binary Trees 104. Maximum Depth of Binary Tree 列表题&#xff1a;21. Merge Two Sorted Lists 字符串题数组题排序347. Top K Frequent Elements 归并递归70. Climbing S…

第5节 三个败家子(5)——刘封,被封印的秘密

根据《三国志刘封传》记载“刘封者&#xff0c;本罗侯寇氏之子&#xff0c;长沙刘氏之甥也。先主至荆州&#xff0c;以未有继嗣&#xff0c;养封为子。及先主入蜀&#xff0c;自葭萌还攻刘璋&#xff0c;时封年二十余”。等等&#xff0c;各位看官说了&#xff0c;时间上不对啊…

Paddle——常见的评估指标

在模型评估过程中&#xff0c;分类、回归、排序问题往往使用不同的指标进行评估。分类问题通常用准确率、召回率、精准率、F1值等指标进行评估&#xff1b;回归问题使用MSE、RMSE、R^2、MAPE等&#xff1b; 1 分类评估原理 1.1 准确率的局限性 我们经常接触的评价指标就是准…

大江大河,随笔观后感

我是「大江大河」的铁粉&#xff0c;非常喜欢这部剧&#xff0c;从这部剧里面能看到生活的一些影子。从这部剧里面也可以看到不同阶层的人们对待生活&#xff0c;对待理想&#xff0c;对待身边的朋友亲人的态度。—— 知乎热论「程开颜为什么输给了杨思申&#xff1f;」程开颜并…

Cortex M3内核架构

CortexM3内核架构 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 1、ARMCortex-M3处理器 Cortex-M3处理器内核是单片机的中央处理单元&#xff08; CPU&#xff09;。 完整的基于CM3的MCU还需要很多其它组件。在芯片制造商得到CM3处理器内核的使用授权…

瀑布流布局(1)

前言 完成一个动漫人物的瀑布流布局&#xff0c;分别通过原生JavaScript、Css3和Jquery方式实现。 首先是使用JavaScript。 一、创建基本框架 1 HTML结构 <main> //便于以后进行 相对定位<div class"wrap"> //为了方便设置图片和图…

NLP——序列标注之命名实体识别

1.概述 序列标注包括自然语言处理中的分词&#xff0c;词性标注&#xff0c;命名实体识别&#xff0c;关键词抽取&#xff0c;词义角色标注等。解决方案是NN模型&#xff08;神经网络模型&#xff09;CRF 命名实体识别&#xff08;Named Entity Recognition&#xff0c;简称N…

C语言验证6174数学问题

有意思的数学问题任意4位不完全一样的数字&#xff0c;能组合出的最大数字减去能组合出的最小数字&#xff0c;得到一个新的数字(3位数补0&#xff09;&#xff0c;重复以上操作&#xff0c;不超过7个循环&#xff0c;必然得到一个数&#xff1a;6174这个问题是之前发布的文章&…

Cortex-M3工作模式与异常

Cortex-M3工作模式与异常 宗旨&#xff1a;技术的学习是有限的&#xff0c;分享的精神是无限的。 一、工作模式 线程模式和手柄模式。 当处理器处在线程状态下时&#xff0c;既可以使用特权级&#xff0c;也可以使用用户级&#xff1b;另一方面&#xff0c; handler模式总是特…