通过之前作业中完成的所有组件，使用高性能的网络结构来解决一些问题。首先会增加一些新的算子（使用CPU/CUDA后端），然后完成卷积、以及用一个卷积神经网络来在CIFAR-10图像数据集上训练一个分类器。接着需要完成循环神经网络（带LSTM），并在Penn Treebank数据集上完成字符级的预测

实现功能

1. 在python/needle/ops.py中添加三个新算子：Tanh、Stack、Split
2. 实现CIFAR-10数据集的Dataset以及在此基础上训练自己实现的卷积神经网络（本篇暂只关注下面的循环神经网络，这个先跳过）
3. 实现循环神经网络
   先实现单个RNN cell（class RNNCell），然后将多个RNNcell叠加起来，形成更复杂的网络结构（class RNN），如下图所示，图1为单个RNNcell，图二为多个RNNcell组成的RNN
   
   
   • 实现单个RNN cell（class RNNCell(Module)）：
     • \_\_init__()初始化函数：进行一系列参数初始化，用均匀分布初始化参数矩阵，并选用激活函数（Tanh或ReLU）
     • forward(X,h)函数：即实现$h_t=\tanh (x_t{W}_{ih}+b_{ih}+h_{(t-1)}{W}_{hh}+b_{hh})$（其中tanh也可换为relu），代码如下：

       def forward(self, X, h=None):batch_size, _ = X.shapeif h is None:h = init.zeros(batch_size, self.hidden_size, device=self.device, dtype=self.dtype)if self.bias:return self.nonlinearity(X @ self.W_ih + self.bias_ih.reshape((1, self.hidden_size)).broadcast_to((batch_size, self.hidden_size)) \+ h @ self.W_hh + self.bias_hh.reshape((1, self.hidden_size)).broadcast_to((batch_size, self.hidden_size)))else:return self.nonlinearity(X @ self.W_ih + h @ self.W_hh)
       

   • 实现多层RNN（class RNN(Module)）
     • \_\_init__()初始化函数：
     • forward(X,h0)函数：将X(seq_len, bs, input_size)分割成seq_len个X(bs, input_size)，将每个分割部分分别输入每个RNN cells，得到num_layers个hiddens和seq_len个out。最终将out组装到一起、将hiddens组装到一起，返回out和hs

       def forward(self, X, h0=None):_, batch_size, _ = X.shapeif h0 is None:h0 = [init.zeros(batch_size, self.hidden_size, device=self.device, dtype=self.dtype) for _ in range(self.num_layers)]else:h0 = tuple(ops.split(h0, 0))h_n = []inputs = list(tuple(ops.split(X, 0)))for num_layer in range(self.num_layers):h = h0[num_layer]for t, input in enumerate(inputs):h = self.rnn_cells[num_layer](input, h)inputs[t] = hh_n.append(h)return ops.stack(inputs, 0), ops.stack(h_n, 0)
       

4. 实现LSTM网络（在此学习使用numpy一步步实现lstm的流程））
   • 实现Sigmoid
   • 实现单个LSTMCell
     • __init__()函数：初始化
     • forward()函数：

       def forward(self, X, h=None):batch_size, _ = X.shape  # X:(batch_size, feature_size)if h is None:h0, c0 = init.zeros(batch_size, self.hidden_size, device=self.device, dtype=self.dtype), \init.zeros(batch_size, self.hidden_size, device=self.device, dtype=self.dtype)else:h0, c0 = hif self.bias:gates_all = X @ self.W_ih + self.bias_ih.reshape((1, 4 * self.hidden_size)).broadcast_to((batch_size, 4 * self.hidden_size)) \+ h0 @ self.W_hh + self.bias_hh.reshape((1, 4 * self.hidden_size)).broadcast_to((batch_size, 4 * self.hidden_size))else:gates_all = X @ self.W_ih + h0 @ self.W_hhgates_all_split = tuple(ops.split(gates_all, axis = 1))gates = []for i in range(4):gates.append