C#构建一个简单的循环神经网络，模拟对话

循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的神经网络模型。与传统的前馈神经网络不同，RNN具有内部记忆能力，可以捕捉到序列中元素之间的依赖关系。这种特性使得RNN在自然语言处理、语音识别、时间序列预测等需要考虑上下文信息的任务中表现出色。

RNN的基本结构

RNN的基本结构包括输入层、隐藏层和输出层。在处理序列数据时，RNN会按照序列的时间顺序逐个处理每个元素。对于序列中的每一个时间步，RNN不仅会接收该时间步的输入，还会接收上一个时间步的隐藏状态作为输入。这样，通过将之前的信息传递给后续的处理步骤，RNN能够利用历史信息来影响当前的输出。

方法

  • InitializeWeightsAndBiases()：使用随机值初始化权重矩阵和偏置向量。
  • Sigmoid()：激活函数，用于隐藏层的非线性变换。
  • RandomMatrix()：生成指定大小的随机矩阵，用于权重的初始化。
  • Softmax()：通常用于多分类问题中的输出层，将输出转换为概率分布。
  • Forward()：前向传播方法，根据输入数据计算每个时间步的输出。它会更新隐藏状态，并最终返回所有时间步的输出列表。
  • Backward()：反向传播方法，用于根据预测输出与目标输出之间的差异调整模型参数。它计算梯度并更新权重和偏置。
  • UpdateWeights()：根据计算出的梯度更新模型的权重和偏置。
  • Train()：训练模型的方法，通过多次迭代（epoch）对输入数据进行前向传播和反向传播，以优化模型参数。
  • Predict()：预测方法，根据输入数据返回每个时间步的预测结果索引，即输出概率最高的类别。

说明

这只是一个基础的 RNN 模型实现，实际应用中可能需要考虑更多的优化技术，比如使用长短期记忆网络（LSTM）、门控循环单元（GRU）等更复杂的架构来改善性能。

using System;
using System.Linq;
using System.Collections.Generic;namespace Project.NeuralNetwork
{/// <summary>/// 构建神经网络/// </summary>public class RnnModel{/// <summary>/// 输入层大小/// </summary>private readonly int _inputSize;/// <summary>/// 隐藏层大小/// </summary>private readonly int _hiddenSize;/// <summary>/// 输出层大小/// </summary>private readonly int _outputSize;/// <summary>/// 输入到隐藏层的权重/// </summary>private double[,] _weightsInputHidden;/// <summary>/// 隐藏层到隐藏层的权重/// </summary>private double[,] _weightsHiddenHidden;/// <summary>/// 隐藏层到输出层的权重/// </summary>private double[,] _weightsHiddenOutput;/// <summary>/// 隐藏层偏置/// </summary>private double[] _biasHidden;/// <summary>/// 输出层偏置/// </summary>private double[] _biasOutput;/// <summary>/// 隐藏层状态/// </summary>private double[] _hiddenState;/// <summary>/// 初始化模型的构造函数/// </summary>/// <param name="inputSize"></param>/// <param name="hiddenSize"></param>/// <param name="outputSize"></param>public RnnModel(int inputSize, int hiddenSize, int outputSize){_inputSize = inputSize;_hiddenSize = hiddenSize;_outputSize = outputSize;InitializeWeightsAndBiases();}/// <summary>/// 初始化权重和偏置/// </summary>private void InitializeWeightsAndBiases(){_weightsInputHidden = RandomMatrix(_inputSize, _hiddenSize);_weightsHiddenHidden = RandomMatrix(_hiddenSize, _hiddenSize);_weightsHiddenOutput = RandomMatrix(_hiddenSize, _outputSize);_biasHidden = new double[_hiddenSize];_biasOutput = new double[_outputSize];}/// <summary>/// 激活函数/// </summary>/// <param name="x"></param>/// <returns></returns>private double Sigmoid(double x){return 1 / (1 + Math.Exp(-x));}/// <summary>/// 生成随机矩阵/// </summary>/// <param name="rows"></param>/// <param name="cols"></param>/// <returns></returns>private double[,] RandomMatrix(int rows, int cols){var matrix = new double[rows, cols];var random = new Random();for (int i = 0; i < rows; i++){for (int j = 0; j < cols; j++){matrix[i, j] = random.NextDouble() * 2 - 1; // [-1, 1]}}return matrix;}/// <summary>/// 前向传播/// </summary>/// <param name="inputs"></param>/// <returns></returns>public List<double[]> Forward(List<double[]> inputs){_hiddenState = new double[_hiddenSize];var outputs = new List<double[]>();foreach (var input in inputs){var hidden = new double[_hiddenSize];for (int h = 0; h < _hiddenSize; h++){hidden[h] = _biasHidden[h];for (int i = 0; i < _inputSize; i++){hidden[h] += _weightsInputHidden[i, h] * input[i];}for (int hh = 0; hh < _hiddenSize; hh++){hidden[h] += _weightsHiddenHidden[hh, h] * _hiddenState[hh];}hidden[h] = Sigmoid(hidden[h]);}_hiddenState = hidden;var output = Output(hidden);outputs.Add(output);}return outputs;}/// <summary>/// 输出层/// </summary>/// <param name="h"></param>/// <returns></returns>private double[] Output(double[] h){double[] y = new double[_outputSize];for (int i = 0; i < _outputSize; i++){double sum = _biasOutput[i];for (int j = 0; j < _hiddenSize; j++){sum += h[j] * _weightsHiddenOutput[j, i];}y[i] = sum;}return Softmax(y);}/// <summary>/// 输出层的激活函数/// </summary>/// <param name="x"></param>/// <returns></returns>private double[] Softmax(double[] x){double max = x.Max();double expSum = x.Select(xi => Math.Exp(xi - max)).Sum();return x.Select(xi => Math.Exp(xi - max) / expSum).ToArray();}/// <summary>/// 反向传播/// </summary>/// <param name="inputs"></param>/// <param name="targets"></param>/// <param name="outputs"></param>/// <param name="learningRate"></param>private void Backward(List<double[]> inputs, List<double[]> targets, List<double[]> outputs, double learningRate){//输入到隐藏层的梯度double[,] dWeightsInputHidden = new double[_inputSize, _hiddenSize];//隐藏层到隐藏层的梯度double[,] dWeightsHiddenHidden = new double[_hiddenSize, _hiddenSize];//隐藏层到输出层的梯度double[,] dWeightsHiddenOutput = new double[_hiddenSize, _outputSize];//隐藏层的偏置double[] dBiasHidden = new double[_hiddenSize];//输出层的偏置double[] dBiasOutput = new double[_outputSize];for (int t = inputs.Count - 1; t >= 0; t--){double[] targetVector = new double[_outputSize];Array.Copy(targets[t], targetVector, _outputSize);// 计算输出层的误差for (int o = 0; o < _outputSize; o++){dBiasOutput[o] = outputs[t][o] - targetVector[o];}// 计算隐藏层到输出层的梯度for (int o = 0; o < _outputSize; o++){for (int h = 0; h < _hiddenSize; h++){dWeightsHiddenOutput[h, o] += dBiasOutput[o] * _hiddenState[h];}}// 计算隐藏层的偏置double[] dh = new double[_hiddenSize];for (int h = 0; h < _hiddenSize; h++){double error = 0;for (int o = 0; o < _outputSize; o++){error += dBiasOutput[o] * _weightsHiddenOutput[h, o];}dh[h] = error * (_hiddenState[h] * (1 - _hiddenState[h]));}for (int h = 0; h < _hiddenSize; h++){dBiasHidden[h] += dh[h];}//计算输入到隐藏层的梯度for (int h = 0; h < _hiddenSize; h++){for (int i = 0; i < _inputSize; i++){dWeightsInputHidden[i, h] += dh[h] * inputs[t][i];}}// 计算输入到隐藏层的梯度if (t > 0){for (int h = 0; h < _hiddenSize; h++){for (int hh = 0; hh < _hiddenSize; hh++){dWeightsHiddenHidden[hh, h] += dh[h] * _hiddenState[hh];}}}}// 更新权重和偏置UpdateWeights(dWeightsInputHidden, dWeightsHiddenHidden, dWeightsHiddenOutput, dBiasHidden, dBiasOutput, learningRate);}/// <summary>/// 更新权重/// </summary>/// <param name="dWxh"></param>/// <param name="dWhh"></param>/// <param name="dWhy"></param>/// <param name="dbh"></param>/// <param name="dby"></param>/// <param name="learningRate"></param>private void UpdateWeights(double[,] dWeightsInputHidden, double[,] dWeightsHiddenHidden, double[,] dWeightsHiddenOutput, double[] dBiasHidden, double[] dBiasOutput, double learningRate){// 更新输入到隐藏层的权重for (int i = 0; i < _inputSize; i++){for (int h = 0; h < _hiddenSize; h++){_weightsInputHidden[i, h] -= learningRate * dWeightsInputHidden[i, h];}}//更新隐藏层到隐藏层的权重for (int h = 0; h < _hiddenSize; h++){for (int hh = 0; hh < _hiddenSize; hh++){_weightsHiddenHidden[h, hh] -= learningRate * dWeightsHiddenHidden[h, hh];}}//更新隐藏层到输出层的权重for (int h = 0; h < _hiddenSize; h++){for (int o = 0; o < _outputSize; o++){_weightsHiddenOutput[h, o] -= learningRate * dWeightsHiddenOutput[h, o];}}//更新隐藏层的偏置for (int h = 0; h < _hiddenSize; h++){_biasHidden[h] -= learningRate * dBiasHidden[h];}//更新输出层的偏置for (int o = 0; o < _outputSize; o++){_biasOutput[o] -= learningRate * dBiasOutput[o];}}/// <summary>/// 训练/// </summary>/// <param name="inputs"></param>/// <param name="targets"></param>/// <param name="epochs"></param>/// <param name="learningRate"></param>public void Train(List<List<double[]>> inputs, List<List<double[]>> targets, double learningRate, int epochs){for (int epoch = 0; epoch < epochs; epoch++){for (int i = 0; i < inputs.Count; i++){List<double[]> input = inputs[i];List<double[]> target = targets[i];List<double[]> outputs = Forward(input);Backward(input, target, outputs, learningRate);}}}/// <summary>/// 预测/// </summary>/// <param name="inputs"></param>/// <returns></returns>public int[] Predict(List<double[]> inputs){var output = Forward(inputs);var predictedIndices = output.Select(o => Array.IndexOf(o, o.Max())).ToArray();return predictedIndices;}}
}
  • 准备训练数据
  • 训练网络
  • 测试并输出结果
public static void Rnn_Predict()
{// 定义数据集var data = new List<Tuple<string[], string[]>>{Tuple.Create(new string[] { "早安" }, new string[] { "早上好" }),Tuple.Create(new string[] { "午安" }, new string[] { "中午好" }),Tuple.Create(new string[] { "晚安" }, new string[] { "晚上好" }),Tuple.Create(new string[] { "你好吗？" }, new string[] { "我很好，谢谢。" })};// 创建词汇表var allWords = data.SelectMany(t => t.Item1.Concat(t.Item2)).Distinct().ToList();var wordToIndex = allWords.ToDictionary(word => word, word => allWords.IndexOf(word));// 将字符串转换为one-hot编码List<List<double[]>> inputsData = new List<List<double[]>>();List<List<double[]>> targetsData = new List<List<double[]>>();foreach (var item in data){var inputSequence = item.Item1.Select(word => OneHotEncode(word, wordToIndex)).ToList();var targetSequence = item.Item2.Select(word => OneHotEncode(word, wordToIndex)).ToList();inputsData.Add(inputSequence);targetsData.Add(targetSequence);}double[] OneHotEncode(string word, Dictionary<string, int> wordToIndex){var encoding = new double[wordToIndex.Count];encoding[wordToIndex[word]] = 1;return encoding;}//开始训练int inputSize = allWords.Count;int hiddenSize = allWords.Count;int outputSize = allWords.Count;RnnModel model = new RnnModel(inputSize, hiddenSize, outputSize);int epochs = 10000;double learningRate = 0.1;model.Train(inputsData, targetsData, learningRate, epochs);//预测while (true){Console.Write("你: ");string userInput = Console.ReadLine();if (userInput.ToLower() == "exit"){break;}if (!allWords.Contains(userInput)){Console.WriteLine("对不起，我不认识这些词。");continue;}var testInput = new List<double[]> { OneHotEncode(userInput, wordToIndex) };var prediction = model.Predict(testInput);var predictedWords = prediction.Select(index => allWords[index]).ToArray();Console.WriteLine($"机器人: {string.Join(", ", predictedWords)}");}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/61953.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

线性代数的发展简史

线性代数的发展简史

线性代数的发展简史 线性代数作为数学的一个重要分支&#xff0c;其发展历史悠久而丰富。从古代文明中的基础计算到现代复杂的理论体系&#xff0c;线性代数经历了多个阶段的演变。 古代的起源 线性代数的雏形可以追溯到古埃及、古希腊、古印度和古代中国时期。这些早期文明…
阅读更多...
网安瞭望台第4期：nuclei最新poc分享

网安瞭望台第4期：nuclei最新poc分享

国内外要闻 多款 D-Link 停产路由器漏洞&#xff1a;攻击者可远程执行代码 近日&#xff0c;知名网络硬件制造商 D-Link 发布重要安全公告。由于存在严重的远程代码执行&#xff08;RCE&#xff09;漏洞&#xff0c;其敦促用户淘汰并更换多款已停产的 VPN 路由器型号。 此次…
阅读更多...
面试经典 150 题:205,55

面试经典 150 题:205,55

205. 同构字符串 【解题思路】 来自大佬Krahets 【参考代码】 class Solution { public:bool isIsomorphic(string s, string t) {map<char, char> Smap, Tmap;for(int i0; i<s.size(); i){char a s[i], b t[i];//map容器存在该字符&#xff0c;且不等于之前映射…
阅读更多...
IEC61850读服务器目录命令——GetServerDirectory介绍

IEC61850读服务器目录命令——GetServerDirectory介绍

IEC61850标准中的GetServerDirectory命令是变电站自动化系统中非常重要的一个功能&#xff0c;它主要用于读取服务器的目录信息&#xff0c;特别是服务器的逻辑设备节点&#xff08;LDevice&#xff09;信息。以下是对GetServerDirectory命令的详细介绍。 目录 一、命令功能 …
阅读更多...
【PHP】 环境以及插件的配置，自学笔记（一）

【PHP】 环境以及插件的配置，自学笔记（一）

文章目录 环境的准备安装 XAMPPWindowMacOS 配置开发环境Vscode 关于 PHP 的插件推荐Vscode 配置 php 环境Apache 启动Hello php配置热更新 参考 环境的准备 下载 XAMPP , 可以从 官网下载 https://www.apachefriends.org/download.html 安装 XAMPP XAMPP 是一个跨平台的集成开…
阅读更多...
Jenkins-Git Parameter 插件实现指定版本的发布和回滚

Jenkins-Git Parameter 插件实现指定版本的发布和回滚

在上一篇文章的基础设置上进行 1. 机器准备 开发10.0.0.204gitlab10.0.0.201jenkins10.0.0.200web10.0.0.202 2. 开发主机 在开发机器上修改不同版本的前端页面&#xff0c;并打上标签 第一次修改 [rootdev wheel]#vim index.html [rootdev wheel]#git commit -am "1…
阅读更多...
神经网络10-Temporal Fusion Transformer (TFT)

神经网络10-Temporal Fusion Transformer (TFT)

Temporal Fusion Transformer (TFT) 是一种专为时序数据建模而设计的深度学习模型&#xff0c;它结合了Transformer架构和其他技术&#xff0c;旨在有效地处理和预测时序数据中的复杂模式。TFT 于 2020 年由 Google Research 提出&#xff0c;旨在解决传统模型在时序预测中的一…
阅读更多...
vue11.22

vue11.22

数据代理Object.defineproperty ler person { name:张三, sex:男, age:18 } console.log(Object.keys(person)) Object.keys是把对象的属性变成数组 let person { name: 张三, sex: 男, // age: 18 } Object.defineProperty(person, age, { value: 18 }) console.log(Obj…
阅读更多...
1、HCIP之RSTP协议与STP相关安全配置

1、HCIP之RSTP协议与STP相关安全配置

目录 RSTP—快速生成树协议 STP STP的缺点&#xff1a; STP的选举&#xff08;Listening状态中&#xff09;&#xff1a; RSTP P/A&#xff08;提议/同意&#xff09;机制 同步机制&#xff1a; 边缘端口的配置&#xff1a; RSTP的端口角色划分&#xff1a; ensp模拟…
阅读更多...
【python系列】Python数据类型转换详解

【python系列】Python数据类型转换详解

在编程中&#xff0c;数据类型的正确使用和转换是开发中常见且重要的操作之一。Python 提供了隐式和显式两种数据类型转换方式。本文将详细介绍数据类型的基本概念、隐式和显式转换的区别与操作&#xff0c;并提供练习题帮助理解。 1. 数据类型概念及数据类型之间的区别 Pytho…
阅读更多...
新160个crackme - 102-haggar-keyme1

新160个crackme - 102-haggar-keyme1

运行分析 用win7或win xp系统可以运行输入Serial&#xff0c;点击Check无反应 PE分析 ASM程序&#xff0c;32位&#xff0c;无壳 静态分析&动态调试 ida找到关键字符串 在sub_401E6B处按x&#xff0c;返回上一步函数 来到关键函数&#xff0c;静态分析逻辑如下&#xff1a;…
阅读更多...
LCR-003比特位计数

LCR-003比特位计数

一.题目&#xff1a; . - 力扣&#xff08;LeetCode&#xff09; 二.我的原始解法-一次性通过的python内置bin函数解法&#xff1a; 思路和题目描述一致&#xff0c;就是把0-n的每个数字转为二进制&#xff0c;计算这个二进制中1的个数添加到返回数组中&#xff0c;掌握基础函…
阅读更多...
动态求连续区间和(线段树 树状数组）

动态求连续区间和(线段树 树状数组）

向上更新&#xff0c;建树&#xff0c;求区间和&#xff0c;修改节点值 向上更新&#xff1a; 返回左右节点值的和 建树&#xff1a; 如果是叶子节点&#xff0c;赋值结构体的左区间&#xff0c;右区间&#xff0c;值 如果不是叶子节点&#xff0c;那么先求中点&#xff0c…
阅读更多...
聊聊Flink：这次把Flink的window分类(滚动、滑动、会话、全局)、窗口函数讲透

聊聊Flink：这次把Flink的window分类(滚动、滑动、会话、全局)、窗口函数讲透

一、窗口 窗口&#xff08;Window&#xff09;是处理无界流的关键所在。窗口将流分成有限大小的“桶”&#xff0c;我们可以在其上应用算子计算。Flink可以使用window()和windowAll()定义一个窗口&#xff0c;二者都需要传入一个窗口分配器WindowAssigner&#xff0c;WindowAs…
阅读更多...
友思特新闻 | 友思特荣获广州科技创新创业大赛智能装备行业赛初创组优胜企业！

友思特新闻 | 友思特荣获广州科技创新创业大赛智能装备行业赛初创组优胜企业！

2024年11月19日&#xff0c;第十三届中国创新创业大赛&#xff08;广东广州赛区&#xff09;暨2024年广州科技创新创业大赛智能装备行业赛颁奖典礼隆重举行。 赛事奖项介绍&#xff1a;广州科技创新创业大赛智能装备行业赛 第十三届“中国创新创业大赛&#xff08;广东广州赛区…
阅读更多...
2024强网拟态决赛-eBeepf

2024强网拟态决赛-eBeepf

漏洞分析与利用 分析后面看情况吧&#xff0c;有时间再写吧&#xff0c;先贴个利用脚本&#xff1a; #ifndef _GNU_SOURCE #define _GNU_SOURCE #endif#include <stdio.h> #include <unistd.h> #include <stdlib.h> #include <fcntl.h> #include <…
阅读更多...
Kotlin Multiplatform 未来将采用基于 JetBrains Fleet 定制的独立 IDE

Kotlin Multiplatform 未来将采用基于 JetBrains Fleet 定制的独立 IDE

近期 Jetbrains 可以说是动作不断&#xff0c;我们刚介绍了 IntelliJ IDEA 2024.3 K2 模式发布了稳定版支持 &#xff0c;而在官方最近刚调整过的 Kotlin Multiplatform Roadmap 优先关键事项里&#xff0c;可以看到其中就包含了「独立的 Kotlin Multiplatform IDE&#xff0c;…
阅读更多...
RangeInt，开源一个有限范围计数器模块。c语言的。 可以用于单片机

RangeInt，开源一个有限范围计数器模块。c语言的。 可以用于单片机

开源一个有限范围计数器模块。c语言的。 可以用于单片机 这个类的用途是 实现一个小范围&#xff08;比如从0~314&#xff0c;或者-100到100&#xff09;的整数&#xff0c;可以智能 --操作。 超过范围可以不再增长&#xff08;可以理解为上饱和&#xff0c;或者下饱和&#xf…
阅读更多...
RK3588适配MTK7921 USB接口WiFi驱动开发

RK3588适配MTK7921 USB接口WiFi驱动开发

在当前RK原厂提供的SDK里面已经适配的WiFi模组有不少，但是支持的模组大部分集中在realtek、正基、英飞凌等厂家。主要型号有Realtek的RTL8188系列、RTL8723系列、RTL8812系列、RTL8821系列、RTL8822系列和支持WiFi 6 的RTL8852系列，正基的AP6275系列、AP6276系列等。接下来将…
阅读更多...
38_转置卷积

38_转置卷积

转置卷积也被称为&#xff08;Transposed Convolution&#xff09;&#xff0c;也被称为fractionally_strided convolution、deconvolution。 转置卷积不是卷积的逆运算。 转置卷积也是卷积 转置卷积的作用是上采样。 1. 基础概念 转置卷积&#xff08;Transposed Convolution…
阅读更多...
最新文章

Copyright @ 2022~2023