一：智能体策略类型

多智能体系统下，每个智能体发出动作获得的奖励会受到其他智能体动作影响。多智能体系统的目标便是学习一种策略使系统达到均衡稳态。

1. 完全合作型

系统的最大奖励需要智能体的相互合作才能获得。
这类的应用场景有机器人足球、设备组装、并发控制和通信等。

2. 完全竞争型

一般采取最大最小化原则，即无论对方采取任何行动，智能体总是采取是自己受益最大的动作。

3. 混合类型

一般针对静态任务，直接对每个智能体应用单智能体RL算法，不需要了解其他智能体的算法。

二： 理论基础

MARL通常用马尔可夫博弈描述。马尔可夫博弈又称为随机博弈。马尔可夫指的是多智能体系统的状态符合马尔可夫性，即下一时刻的状态只与当前状态有关，与前面的时刻没有关系。博弈则描述了智能体之间的关系。
可以用如下元组描述多智能体系统：

N为智能体个数，S为系统状态，一般指系统的联合状态。T为状态转移函数，即根据当前系统的状态和联合动作，给出下一状态的概率分布。r为奖励。为折扣因子。

三： 优势与挑战

• 优势
  • 不同智能体之间可以共享经验，从而更快、更好地完成任务
  • 可以将大任务拆成子任务，不同智能体并行执行子任务
  • 某个智能体出现问题时，其他智能体可以替代其工作，提升鲁棒性
  • 系统可拓展性强
• 挑战
  • 随状态、动作、智能体数码增加，计算复杂度呈指数级增长
  • 学习目标难以定义
  • 无法单独最大化某个智能体的奖励，难以收敛到最优解
  • 探索过程复杂。不仅需要环境信息，还需要其他智能体的信息，过度探索还可能打破系统平衡。