时间：2026-01-10 21:52
人气：
作者：admin
本课程是为了帮助大家快速入门强化学习和学会应用深度强化学习进行单智能体的算法开发。
鉴于网上有许多开源的强化学习理论基础的视频，而且许多项目都是基于gym游戏进行开发的简单项目，并未涉及使用前沿的carla环境等自动驾驶仿真环境进行强化学习开发与讲解，所以本课程着重从模态化的单智能体的深度强化学习入手，以实战项目为驱动进行学习，并设立有学习交流社区群，购买后即可加入，一起探讨科研问题。
先说一下，下单前可以尽情了解清楚是否适合自己（包括能否跑carla，具体的效果，想学习的内容，学习目的等等），仔细看博客的介绍和交流清楚问题。下单后不给予退款处理！！！，如果下单进群后还想以自己不适合用等借口要求退款的，请滚开不要浪费各自的时间。社区群是用来学习交流的，不是来和那些奇葩拉扯的。
1.答疑工程运行环境搭建，协助跑起来代码
2.算法实战经验交流，包括改bug，调参经验等
3.论文idea交流，可以交流一些创新点想法，但是注意，这不不会帮你改代码和确保你发论文，只是交流想法，启发也很重要
1.结合作者们丰富的实战经验，帮助小白快速入门自动驾驶DRL实战，而不是只停留在强化学习基础理论（理论视频很多，但是缺乏具体场景的carla仿真软件实战应用）。
2.可拓展性，比如本项目可以自行扩展到多个模态，可以在拓展方面给学生提供一定帮助。
3.会不断完善项目，不定期与学员交流，让小白学会看bug改bug，快速提供实战经验。
4.很多付费课程只有一年期限，本学习社区无期限，直到学员不再接触此行业。
5.代码可读性较强，好移植，节省大量代码开发时间。
6.有配套的详细文档，协助更好地入门。
7.可以作为端到端实战项目写到简历中。
硬件需求:
单智能体，因为涉及多个版本的carla，最高版本是0.9.13，所以一般跑0.9.13不卡就行。我跑过的最低的电脑配置为：
显卡：GTX 1050 Ti
内存：8.00 GB
显存：至少16G，8G可能不够，看batchszie
当然，越高级越无敌。
我想说的是，win跑Carla的训练可能有卡退现象，除非配置真的很好，所以一般都是在服务器跑完训练传到win本地跑一下测试可视化效果，介意这一点的可以不购买。
软件需求
win: 显卡要适应python3.7，最好不要比3.7高，因为0.9.8的carla的win只适应
python3.7。如果你的显卡只能适应python3.8，那也可以将carla版本改为0.9.13，不过代码需要改一些api配置。但是一定不能比python3.8高，比如python3.9，3.10，3.11。
ubuntu：python3.7和python3.8都可以跑0.9.8的carla。但是一定不能比python3.8高，比如python3.9，3.10，3.11。
购买须知:
1.ubuntu版本没有要求，只要能跑conda环境就行，carla版本最好用0.9.8，因为高版本更吃显卡，0.9.8可以满足基本场景搭建需求了。但是win的无法使用python3.8及以上的版本来跑carla0.9.8版本，ubuntu服务器可以。
2.carla可以多版本存在，内存够用就行，不用很死板地认为一个系统只能用一个carla，不知道怎么多版本存在可以学一下。
3.关于工程涉及的场景，目前是定义起点到终点的跟踪RL决策，可以加其他车辆行人，训练过90度弯道和直道，具体可以看b站效果视频。但是注意任何算法都不是万能的，起点和终点不能太远，不然很难训练。另外，已经设置了鬼探头场景，随机车辆行人场景，跟车场景。自动驾驶场景太多了，不可能给大家全部列出来满足所有人需求，但是基本框架搭建了，大家可以自行搭建自己的场景进行训练。
4.奖励函数可以灵活修改，很多参数都可以调参，代码都是灵活的，不是所有东西都是满足开箱即用。
5.目前比较完善的是dqn和ppo算法，sac也还可以（包括deepmdp），另外ddpg加了但还没空测试效果，没那么快。
6.视频讲解主要是对学生疑惑的代码逻辑点进行讲解，原理网上太多好教程不想重复。凡是有代码不理解的，都可以交流。视频讲解会不断完善更新，一开始看不懂先别急，先跟着readme搭环境跑起来代码先。
7.每个人具体的需求想法不一样，但是，实战学习，必须学习前人的经验代码，然后在基础上再去改为自己的想法代码，而不是一来就凭空想着如何实现自己的想法。
8.这边不是系统课程，而是围绕工程代码进行实战，有比较详细的文档，有学习交流群。不是强化学习的系统课程！如果代码有疑问都可以答疑。
9.模仿学习的话没有提供工程，但是博主对carla leaderboard框架比较熟悉，也可以交流学习。
10.有些指标我们可能没写，比如转角变化率等等，所以这个只能学员自己学习使用carla，然后自己加，加到tensorboard上去显示即可。
11.python代码不难看懂，要静下心来学习。
12.不同算法目前包括在了不同工程，详细的工程介绍在：
单智能体carla强化学习实战工程介绍
请购买前仔细阅读一下这个工程介绍，没问题就可以加入社区学习。
13.环境的搭建安装是详细文档的形式，因为我发现对于小白来说，录视频不如不断完善文档，因为有些人跟着视频操作也会有问题。
期望：
1.集思广益，为大家提供一个科研和工程的学习交流平台。
2.如果需要一对一全程答疑完成毕设或投稿，需要另外谈价。
3.自主开发的工程具备计算机软件著作权和代码版权，禁止转让和倒卖。
下单后，进群学习+项目代码+代码答疑+科研交流+相互进步（如果是毕设需求一对一指导，需要二次付费）。具体的内容如下：
单智能体Carla端到端RL实战应用与科研探讨套餐内容如下：
理论方面的学习交流（网上资料好的很多，不会进行理论录制视频），一般要学习到的基本知识包括：
1.贝尔曼方程和动态规划
2.蒙特卡洛
3.TD误差
4.GAE优势函数
5.基于值函数和基于策略的学习方法的概念和区别
6.on-policy和off-policy
算法方面的学习交流（网上资料好的很多，不会进行理论录制视频），一般要学习到的基本算法包括：
1.DQN
2.AC
3.PPO
4.PG和DDPG
5.SAC
项目代码的学习-本套餐的主要交流点，实战代码和经验分享讲解：
以上各种RL算法在carla上的实战 （有代码框架，视频还没出，但是已经出了部分代码讲解视频，和一些答疑视频）
工程是基于Carla的强化学习端到端实战，目前包括的算法实战有：
ddqn
ppo
sac
ddpg
td3
场景包括：
停车场场景
高速公路随机动态车辆
固定导航路线RL
行人鬼探头场景
车辆横穿马路
十字路口
环岛场景
换道场景（待加）
注意：单智能体内容偏向于代码实战经验，与网上开源的代码是会有差别的，会指导如何添加自己的场景等。DRL算法涉及的新算法，比如Diffusion Policy等等，这些都可以交流到。
加入单智能体社区，你将学习到：
1.RL算法在Carla上的各种场景的应用。
2.学习RL算法的实战调参。
3.在已经搭建好的工程上，进行创新，比如加入大模型等外在特征，在视觉编码器使用vit，加模态的RL学习等等操作，去优化一个RL算法，而不是开发一个新的RL算法，这样也可以发paper。
更多的演示效果视频可以在b站个人主页查看：
https://space.bilibili.com/300556577?spm_id_from=333.788.upinfo.head.click
关注微信