经验回放
经验回放（Experience Replay）是一种在强化学习中常用的策略，它允许模型学习过程中将过去的经验存储起来，然后在之后的时间点对这些经验进行再学习。这种方式借鉴了人类和动物的学习方式：我们不仅在做事的时候学习，而且在事后反思时也会进行学习。
下面详细解释经验回放的过程：
- 初始化Q表或神经网络参数
- 在环境中进行探索，每进行一步动作，就生成一条经验(e)，经验e通常表示为一个五元组(s, a, r, s’, d)，其中s为当前状态，a为在s状态下采取的动作，r为执行动作a后获得的奖励，s’为执行动作a后的下一状态，d为表示是否到达终止状态的标志。
- 将经验e存储在经验池（也称经验回放缓冲区）中。
- 从经验池中随机抽取一批经验，利用这些经验进行学习，更新Q表或神经网络参数。
举例说明：
假设我们正在训练一个玩电子游戏（例如Atari游戏）的模型，模型的任务是通过尽可能地获得更高的得分来玩好这个游戏。
在开始时，模型对游戏一无所知，所以它可能会随机地选择动作，比如向上移动，向下移动，向左移动，向右移动，或者进行攻击。每次执行动作后，模型会获得一些奖励（游戏得分）。这些信息（状态，动作，奖励，新状态）被存储为一条经验，放入经验回放缓冲区。
然后，模型不是立即学习这一条新的经验，而是在经验回放缓冲区中积累多条经验。当积累到一定数量的经验后，模型开始从缓冲区中随机选择一些经验来学习。这个过程就像是在回顾和反思过去的行为，看看什么动作带来了好的结果，什么动作没有。
这种方式的优点是可以打破数据之间的时间相关性，提高学习的稳定性，同时也可以复用过去的经验，提高学习的效率。