摘  要：在强化学习中，智能体对状态序列进行编码，根据历史信息指导动作的选择，通常将其建模为递归型神经网络，但其存在梯度消失和梯度爆炸的问题，难以处理长序列。以自注意力机制为核心的 Transformer 是一种能够有效整合长时间范围内信息的机制，将传统 Transformer 直接应用于强化学习中存在训练不稳定和计算复杂度高的问题。门控 Transformer-XL(GTrXL)解决了 Transformer 在强化学习中训练不稳定的问题，但仍具有很高的计算复杂度。针对此问题，本研究提出了一种具有探针稀疏注意力机制的门控 Transformer(PS-GTr)，其在 GTrXL 中的恒等映射重排和门控机制的基础上引入了探针稀疏注意力机制，降低了时间复杂度和空间复杂度，进一步提高了训练效率。通过实验验证，PS-GTr 在强化学习任务中的性能与 GTrXL 相当，而且训练时间更短，内存占用更少。

论文下载：

09.pdf

  浏览次数：