V-IRL：在虚拟环境中模拟现实世界

共计 890 个字符，预计需要花费 3 分钟才能阅读完成。

来自香港城市大学与纽约大学的研究人员提出了一个名为 V -IRL（Virtual Intelligence in Real Life）的平台，它旨在弥合数字世界与现实世界之间的感官鸿沟，使人工智能（AI）代理能够在一个虚拟但逼真的环境中与现实世界互动。V-IRL 平台利用真实的地理空间数据和街景图像，让 AI 代理能够在现实世界的虚拟表示中导航、执行复杂任务，并实时互动。

项目主页：https://virl-platform.github.io

主要功能：

1. 地理空间交互： AI 代理能够利用真实的地理坐标在城市中定位自己，并使用地图、街景图像和相关信息来导航。
2. 任务执行： 平台支持代理执行各种实用任务，如路线优化、地点推荐、城市基础设施评估等。
3. 视觉感知： AI 代理能够通过街景图像进行视觉感知，识别和计数物体，以及执行视觉驱动的任务。

主要特点：

1. 真实世界数据： V-IRL 平台使用来自 Google Maps Platform 的实时数据，确保代理与现实世界紧密相连。
2. 灵活性和可扩展性： 平台设计灵活，可以与任意地理空间平台和 API 集成，支持研究人员在全球范围内创建和测试多样化的自主代理。
3. 全球规模基准测试： 提供了全球规模的基准测试，用于衡量基础语言和视觉模型在现实世界数据上的性能。

工作原理： V-IRL 平台的核心是其层次化架构，包括环境（提供导航能力）、视觉（处理街景图像）、语言（支持决策和协作）以及代理（利用这些能力解决特定任务）。代理通过编写特定的运行（run）例程，结合平台的 API 和预训练模型来完成任务。平台还提供了自动数据和注释收集管道，以便在全球范围内进行规模化测试。

具体应用场景：

1. 城市导航： AI 代理可以帮助用户规划最短路线，或在城市中寻找特定的地点。
2. 旅游推荐： 代理可以根据用户的喜好和位置推荐餐厅或购物地点。
3. 城市规划： 代理可以评估城市基础设施，如垃圾箱分布，为城市规划提供数据支持。
4. 交互式助手： AI 代理可以与用户合作，提供个性化的旅行建议和行程规划。

V-IRL 平台为研究人员提供了一个强大的工具，用于开发和测试能够在现实世界中有效运作的 AI 代理，同时为未来的 AI 研究开辟了新的方向。