一个研究小组首次表明，强化学习——即:它是一种神经网络，可以根据一系列奖励学习在每个时刻采取最佳行动，使自动驾驶车辆和水下机器人能够定位并仔细跟踪海洋物体和动物。
这些细节发表在《科学机器人》杂志上。
目前，面对探索海洋的许多困难，水下机器人正在成为提高海洋知识的关键工具，水下机器人能够下潜到4000米的深度。此外，它们提供的现场数据有助于补充其他数据，例如从卫星获得的数据。这项技术使研究小规模现象成为可能，例如海洋生物捕获二氧化碳，这有助于调节气候变化。
具体来说，这项新工作揭示了强化学习，广泛应用于控制和机器人领域，以及与自然语言处理相关的工具(如ChatGPT)的开发，允许水下机器人学习在任何给定时间执行什么动作来实现特定目标。这些行动策略与基于分析开发的传统方法相匹配，甚至在某些情况下进行改进。
“这种类型的学习使我们能够训练神经网络来优化特定的任务，否则很难实现。例如，我们已经能够证明，有可能优化车辆的轨迹，以定位和跟踪水下移动的物体，”该研究的主要作者Ivan masmitjjo解释说，他曾在Mar城市研究所(ICM-CSIC)和蒙特利湾水族馆研究所(MBARI)之间工作。
这“将使我们能够深入研究生态现象，例如使用自主机器人的众多海洋物种的小型和大型迁徙或运动。”此外，这些进步将使通过机器人网络实时监测其他海洋仪器成为可能，其中一些可以在海面上监测并通过卫星传输海底其他机器人平台的动作，”ICM-CSIC研究员Joan Navarro指出，他也参与了这项研究。
为了完成这项工作，研究人员使用了距离声学技术，该技术可以根据在不同点进行的距离测量来估计物体的位置。然而，这一事实使得定位目标的精度高度依赖于声学距离测量的位置。
这就是人工智能的应用，特别是强化学习，它可以识别最佳点，因此，机器人执行的最佳轨迹，变得很重要。
神经网络的部分训练是使用巴塞罗那超级计算中心(BSC-CNS)的计算机集群进行的，该中心拥有西班牙最强大的超级计算机，也是欧洲最强大的超级计算机之一。“这使得调整不同算法参数的速度比使用传统计算机快得多，”UPC计算机科学系的马里奥·马丁教授表示，他是这项研究的作者。
经过训练后，这些算法在不同的自动驾驶车辆上进行了测试，包括VICOROB开发的AUV Sparus II，在Sant Feliu de Guíxols港、Baix empordcom和Monterey Bay(加利福尼亚州)开发的一系列实验任务中，与MBARI生物灵感实验室的首席研究员Kakani Katija合作。
来自UdG的Narcís Palomeras解释说:“我们的模拟环境结合了真实车辆的控制架构，这使我们能够在出海前有效地实施算法。”
对于未来的研究，该团队将研究应用相同算法解决更复杂任务的可能性。例如，通过多平台强化学习技术，使用多个车辆来定位物体，检测锋面和温跃峰或合作藻类上涌。
更多信息:I. Masmitja等人，使用强化学习的水下目标动态机器人跟踪，Science Robotics(2023)。DOI: 10.1126 / scirobotics。期刊信息:Science Robotics
由西班牙国家提供
国家研究委员会
引用:强化学习允许水下机器人定位和跟踪水下物体(2023年，7月28日)2023年7月28日检索自https://techxplore.com/news/2023-07-underwater-robots-track.html本文档
作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司
内容仅供参考之用。
