论文笔记之：Deep Attention Recurrent Q-Network

Deep Attention Recurrent Q-Network

5vision groups

　摘要：本文将 DQN 引入了 Attention 机制，使得学习更具有方向性和指导性。（前段时间做一个工作打算就这么干，谁想到，这么快就被这几个孩子给实现了，自愧不如啊( ⊙ o ⊙ )）

　引言：我们知道 DQN 是将连续 4帧的视频信息输入到 CNN 当中，那么，这么做虽然取得了不错的效果，但是，仍然只是能记住这 4 帧的信息，之前的就会遗忘。所以就有研究者提出了 Deep Recurrent Q-Network (DRQN)，一个结合 LSTM 和 DQN 的工作：

　　1. the fully connected layer in the latter is replaced for a LSTM one ,

　　2. only the last visual frame at each time step is used as DQN's input.

　　作者指出虽然只是使用了一帧的信息，但是 DRQN 仍然抓住了帧间的相关信息。尽管如此，仍然没有看到在 Atari game上有系统的提升。

　　另一个缺点是：长时间的训练时间。据说，在单个 GPU 上训练时间达到 12-14天。于是，有人就提出了并行版本的算法来提升训练速度。作者认为并行计算并不是唯一的，最有效的方法来解决这个问题。　

　　最近 visual attention models 在各个任务上都取得了惊人的效果。利用这个机制的优势在于：仅仅需要选择然后注意一个较小的图像区域，可以帮助降低参数的个数，从而帮助加速训练和测试。对比 DRQN，本文的 LSTM 机制存储的数据不仅用于下一个 actions 的选择，也用于选择下一个 Attention 区域。此外，除了计算速度上的改进之外，Attention-based models 也可以增加 Deep Q-Learning 的可读性，提供给研究者一个机会去观察 agent 的集中区域在哪里以及是什么，（where and what）。

　　Deep Attention Recurrent Q-Network：

　　如上图所示，DARQN 结构主要由三种类型的网络构成：convolutional (CNN), attention, and recurrent . 在每一个时间步骤 t，CNN 收到当前游戏状态 $s_t$ 的一个表示，根据这个状态产生一组 D feature maps，每一个的维度是 m * m。Attention network 将这些 maps 转换成一组向量 $v_t = \{ v_t^1, ... , v_t^L \}$，L = m*m，然后输出其线性组合 $z_t$，称为 a context vector. 这个 recurrent network，在我们这里是 LSTM，将 context vector 作为输入，以及之前的 hidden state $h_{t-1}$，memory state $c_{t-1}$，产生 hidden state $h_t$ 用于：

　　1. a linear layer for evaluating Q-value of each action $a_t$ that the agent can take being in state $s_t$ ;

　　2. the attention network for generating a context vector at the next time step t+1.

　　Soft attention :

　　这一小节提到的 "soft" Attention mechanism 假设 the context vector $z_t$ 可以表示为所有向量 $v_t^i$ 的加权和，每一个对应了从图像不同区域提取出来的 CNN 特征。权重和这个 vector 的重要程度成正比例，并且是通过 Attention network g 衡量的。g network 包含两个 fc layer 后面是一个 softmax layer。其输出可以表示为：