强化学习——Actor Critic Method
本文介绍CartPole-V0环境中Actor-Critic方法的实现。该方法含Actor和Critic两个网络,前者输出动作概率,后者估计未来回报。训练时,通过交互收集数据,计算回报和优势,分别更新两个网络。实验显示,训练后代理能长时间保持杆子平衡,体现了该方法结合策略与值函数逼近、单步更新、高效利用数据的优势。

强化学习——Actor Critic Method
一、介绍
这个脚本展示了CartPole-V0环境中Actor-Critic方法的一个实现。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
Actor Critic Method(演员--评论家算法)
当代理在环境中执行操作和移动时,它将学习将观察到的环境状态映射到两个可能的输出:
推荐动作:动作空间中每个动作的概率值。代理中负责此输出的部分称为actor(演员)。未来预期回报:它预期在未来获得的所有回报的总和。负责此输出的代理部分是critic(评论家)。 演员和评论家学习执行他们的任务,这样演员推荐的动作就能获得最大的回报。CartPole-V0
在无摩擦的轨道上,一根杆子系在一辆推车上。agent(代理)必须施加力才能移动推车。每走一步,杆子就保持直立,这是奖励。因此,agent(代理)必须学会防止杆子掉下来。
二、环境配置
本教程基于Paddle 2.0 编写,如果您的环境不是本版本,请先参考正式安装 Paddle 2.0 。
In [ ]import gym, osfrom itertools import countimport paddleimport paddle.nn as nnimport paddle.optimizer as optimimport paddle.nn.functional as Ffrom paddle.distribution import Categorical登录后复制
三、实施演员-评论家网络
这个网络学习两个功能:
演员Actor:它将环境的状态作为输入,并为其动作空间中的每个动作返回一个概率值。评论家Critic:它将我们的环境状态作为输入,并返回对未来总回报的估计。In [ ]device = paddle.get_device()env = gym.make("CartPole-v0") ### 或者 env = gym.make("CartPole-v0").unwrapped 开启无锁定环境训练state_size = env.observation_space.shape[0]action_size = env.action_space.nlr = 0.001##定义“演员”网络class Actor(nn.Layer): def __init__(self, state_size, action_size): super(Actor, self).__init__() self.state_size = state_size self.action_size = action_size self.linear1 = nn.Linear(self.state_size, 128) self.linear2 = nn.Linear(128, 256) self.linear3 = nn.Linear(256, self.action_size) def forward(self, state): output = F.relu(self.linear1(state)) output = F.relu(self.linear2(output)) output = self.linear3(output) distribution = Categorical(F.softmax(output, axis=-1)) return distribution##定义“评论家”网络class Critic(nn.Layer): def __init__(self, state_size, action_size): super(Critic, self).__init__() self.state_size = state_size self.action_size = action_size self.linear1 = nn.Linear(self.state_size, 128) self.linear2 = nn.Linear(128, 256) self.linear3 = nn.Linear(256, 1) def forward(self, state): output = F.relu(self.linear1(state)) output = F.relu(self.linear2(output)) value = self.linear3(output) return value登录后复制 四、训练模型
In [ ]def compute_returns(next_value, rewards, masks, gamma=0.99): R = next_value returns = [] for step in reversed(range(len(rewards))): R = rewards[step] + gamma * R * masks[step] returns.insert(0, R) return returns## 定义训练过程def trainIters(actor, critic, n_iters): optimizerA = optim.Adam(lr, parameters=actor.parameters()) optimizerC = optim.Adam(lr, parameters=critic.parameters()) for iter in range(n_iters): state = env.reset() log_probs = [] values = [] rewards = [] masks = [] entropy = 0 env.reset() for i in count(): # env.render() state = paddle.to_tensor(state,dtype="float32",place=device) dist, value = actor(state), critic(state) action = dist.sample([1]) next_state, reward, done, _ = env.step(action.cpu().squeeze(0).numpy()) #env.step(action.cpu().squeeze(0).numpy()) log_prob = dist.log_prob(action); entropy += dist.entropy().mean() log_probs.append(log_prob) values.append(value) rewards.append(paddle.to_tensor([reward], dtype="float32", place=device)) masks.append(paddle.to_tensor([1-done], dtype="float32", place=device)) state = next_state if done: if iter % 10 == 0: print('Iteration: {}, Score: {}'.format(iter, i)) break next_state = paddle.to_tensor(next_state, dtype="float32", place=device) next_value = critic(next_state) returns = compute_returns(next_value, rewards, masks) log_probs = paddle.concat(log_probs) returns = paddle.concat(returns).detach() values = paddle.concat(values) advantage = returns - values actor_loss = -(log_probs * advantage.detach()).mean() critic_loss = advantage.pow(2).mean() optimizerA.clear_grad() optimizerC.clear_grad() actor_loss.backward() critic_loss.backward() optimizerA.step() optimizerC.step() paddle.save(actor.state_dict(), 'model/actor.pdparams') paddle.save(critic.state_dict(), 'model/critic.pdparams') env.close()if __name__ == '__main__': if os.path.exists('model/actor.pdparams'): actor = Actor(state_size, action_size) model_state_dict = paddle.load('model/actor.pdparams') actor.set_state_dict(model_state_dict ) print('Actor Model loaded') else: actor = Actor(state_size, action_size) if os.path.exists('model/critic.pdparams'): critic = Critic(state_size, action_size) model_state_dict = paddle.load('model/critic.pdparams') critic.set_state_dict(model_state_dict ) print('Critic Model loaded') else: critic = Critic(state_size, action_size) trainIters(actor, critic, n_iters=201)登录后复制 Iteration: 0, Score: 19Iteration: 10, Score: 59Iteration: 20, Score: 24Iteration: 30, Score: 33Iteration: 40, Score: 39Iteration: 50, Score: 62Iteration: 60, Score: 44Iteration: 70, Score: 59Iteration: 80, Score: 21Iteration: 90, Score: 85Iteration: 100, Score: 152Iteration: 110, Score: 103Iteration: 120, Score: 69Iteration: 130, Score: 170Iteration: 140, Score: 199Iteration: 150, Score: 197Iteration: 160, Score: 199Iteration: 170, Score: 199Iteration: 180, Score: 163Iteration: 190, Score: 199Iteration: 200, Score: 199登录后复制
开启无锁定环境训练
200分就是上限,还不能体现模型的能力,现在咱们开启无锁定环境的训练,将env = gym.make("CartPole-v0").unwrapped ,可以适当提高训练轮次。 (所有代码均已封装到train.py文件中,并用vdl记录)
In [3]!python train.py登录后复制
W0303 17:18:01.972481 3940 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1W0303 17:18:01.977756 3940 device_context.cc:372] device: 0, cuDNN Version: 7.6.Actor Model loadedCritic Model loadedIteration: 0, Score: 325登录后复制
这是用vdl记录的Agent可以连续保持平衡的轮数的记录,最大值已经高达131540了,这是一个惊人的数字。
五、效果展示
在训练的早期
在训练的后期
六、总结
Actor-Critic,其实是用了两个网络: 一个输出策略,负责选择动作,我们把这个网络称为Actor;一个负责计算每个动作的分数,我们把这个网络称为Critic大家可以形象地想象为,Actor是舞台上的舞者,Critic是台下的评委,Actor在台上跳舞,一开始舞姿并不好看,Critic根据Actor的舞姿打分。Actor通过Critic给出的分数,去学习:如果Critic给的分数高,那么Actor会调整这个动作的输出概率;相反,如果Critic给的分数低,那么就减少这个动作输出的概率。Actor-Critic方法结合了值函数逼近(Critic)和策略函数逼近(Actor),它从与环境的交互中学习到越来越精确的Critic(评估),能够实现单步更新,相对单纯的策略梯度,Actor-Critic能够更充分的利用数据。
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
白瓜AI 提供智能文案生成和敏感词检测,助力用户创作小红书内容
白瓜AI产品介绍 在内容为王的时代,高效产出高质量文案,几乎是每个创作者的刚需。今天要聊的这款工具——白瓜AI,正是为此而生。它专注于为小红书及自媒体内容创作提供智能解决方案,目标很明确:帮你把创意更快、更稳地落地成爆款。 白瓜AI功能介绍 那么,这款工具具体能做什么?它的功能矩阵相当清晰,直击内容
LaunchPal
LaunchPal是什么 如果说产品发布是一场需要精心策划的战役,那么LaunchPal就是为你配备的AI作战指挥中心。这款由专业团队打造的工具,其核心目标很明确:将品牌从繁琐、线性的产品发布和营销工作中解放出来。它不像一个零散的功能合集,更像一位总揽全局的“数字项目经理”,从最初的产品信息整合、内
Onepic AI
OnepicAI是什么 在图像处理领域,有一款工具正悄然改变着人们处理图片的方式,它就是OnepicAI。这款由AI Pure公司开发的AI图片处理工具,核心目标非常明确:帮助用户轻松提升图片质量、修复珍贵的老照片,或是创造出全新的背景。其背后依托的,是先进的深度学习算法。无论是视觉内容创作者,还是
Marketch
Marketch是什么 在招聘领域,技术团队的同质化问题由来已久,而偏见往往潜藏在筛选简历的第一眼。如今,一款名为Marketch的AI招聘工具试图破解这个困局。它的目标很明确:帮助招聘人员以更公正、高效的方式发掘人才,从源头上促进团队构成的多样性。这款由未知开发者推出的产品,本质上是一个智能招聘引
Botisimo
Botisimo是什么 简单来说,Botisimo是一个让直播不再“自言自语”的强大工具箱。它本质上是一款跨平台的聊天机器人与观众互动解决方案,由Botisimo公司开发。无论你的主阵地是Twitch、YouTube Gaming,还是Trovo、Facebook Gaming,甚至是Dlive和D
- 日榜
- 周榜
- 月榜
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
热门话题

