type
status
date
slug
summary
tags
category
icon
password
URL
谷歌 DeepMind 公司的研究人员利用强化学习技术教会了小型仿人机器人各种足球技能。这些机器人学会了组合动作、预测动作和适应对手。
足球运动员需要掌握从转身、踢球到跟踪球等各种动态技能。谷歌 DeepMind 现已利用深度强化学习技术训练人工智能代理学习一系列敏捷行为。
DeepMind 的足球代理首先通过 MuJoCo 物理引擎进行模拟训练，然后转移到带有 20 个可动关节的 Robotis OP3 型小型仿人机器人上。
培训分两个阶段进行：首先，代理学习站立和进球等单项技能。然后，将这些技能合并成一个代理，并通过与越来越强大的对手独立比赛来训练该代理。
这样，代理就能适应不同的游戏情况。
机器人技术面临的一个特殊挑战就是所谓的现实差距--简单的计算机模拟与复杂的现实世界之间的差距。
为了弥补这一差距，研究小组特意在模拟器中加入了破坏力和有针对性的巧合。这样，在模拟器中通过试错学习的代理就能在现实世界中应对意想不到的干扰。
人工智能培训胜过传统编程
在实验中，与手动编程的同类机器人相比，机器人球员的奔跑速度提高了 181%，转身速度提高了 302%，站立速度提高了 63%，投篮速度提高了 34%。
他还学会了利用微妙的防守跑动路线，并根据比赛情况调整步幅。
他还培养了结合动作进球、预测球的移动和阻挡对手射门的能力，从而对 1 对 1 的比赛有了基本的了解。
研究小组认为，这项工作是朝着训练一般机器人而不仅仅是特定任务的方向迈出的一步。这需要了解机器人学习敏捷运动技能所需的最低指导量，同时利用多模态基本模型的可能性。
总结
- 谷歌 DeepMind 的研究人员利用强化学习训练仿人机器人踢足球。这些机器人在模拟中学习各种技能，并将它们结合起来以适应比赛情况。
- 为了缩小模拟与现实世界之间的差距，研究人员特意在模拟器中加入了干扰和巧合。这让代理学会了如何应对突发情况。
- 经过人工智能训练的机器人在速度、机动性和射门方面都优于手动编程的机器人。它们学会了组合动作、预测球和阻挡射门。
该团队认为，这是朝着训练一般机器人而不仅仅是特定任务的方向迈出的一步。