Nvidia自动驾驶汽车的"ChatGPT时刻"来临及

为了结束周一的Nvidia GTC主题演讲，CEO黄仁勋带来了一位意外嘉宾：迪士尼《冰雪奇缘》电影中动画雪人奥拉夫的走路说话机器人版本。黄仁勋向机器人奥拉夫解释说，它运行在Nvidia的Jetson平台上，并在公司的Omniverse模拟器中学会了行走。

奥拉夫的回应并不总是合理——对话显得尴尬，但想法很清楚：在未来，机器人角色可以使用Nvidia的技术在迪士尼乐园中四处走动。

物理AI——嵌入在机器人或汽车等机器中、能够导航真实世界环境的AI系统，与困在云端或手机上的模型相对——在过去一年中一直在升温，并且在今年1月的CES上随处可见。在GTC大会上，Nvidia对这项技术进行了多项投资，从新模型到支持构建或决定物理AI系统成败的数据。

以下是新发布的内容。

Nvidia发布了几个面向改善机器人和车辆在现实世界中功能的新基础模型。其中包括Cosmos 3，用于生成合成世界以帮助物理AI导航复杂环境；Isaac GR00T N1.7，一个专为人形机器人构建的"开放推理视觉语言动作（VLA）模型"，公司称其"在商业上可用于现实世界部署"；以及Alpamayo 1.5，另一个推理VLA模型，为自动驾驶车辆提供更好的导航指导和提示规范。

Nvidia称Alpamayo 1.5为其现有自动驾驶车辆模型系列中的"重大升级"，指出它"以驾驶视频、自我运动历史、导航指导和自然语言提示作为输入"。它将这些输入转化为驾驶轨迹，让开发人员能够密切跟踪车辆行为并通过提示创建安全防护栏。Nvidia表示，Alpamayo 1.5可以通过让系统更容易从不可预测的道路事件、天气条件或行人活动中学习，帮助将自动驾驶提升到新水平。

目前，Nvidia表示，其客户正在使用Cosmos 3训练物理AI系统，使用GR00T N1.7"扩展人形机器人部署"。

在110个不同机器人的画面背景下，Nvidia CEO黄仁勋描述了我们的现在，称"自动驾驶汽车的ChatGPT时刻已经到来"。

Nvidia正在扩大与Uber的合作伙伴关系，表示将"推出一支自动驾驶车队"，完全由Nvidia的Drive AV软件驱动，到2028年在四大洲28个城市运营，洛杉矶和旧金山将在2027年更早开始。这大概意味着用户将能够在更大规模上通过Uber应用预订自动驾驶汽车。

"这支由DRIVE Hyperion驱动的车队将利用NVIDIA Alpamayo开放模型和NVIDIA Halos操作系统，加速全球安全、可扩展的机器人出租车服务的开发和部署，"公司在发布中表示。

该公司还在其机器人出租车计划中增加了几家汽车制造商，包括比亚迪、现代、日产和吉利，该计划已经包括通用汽车、梅赛德斯和丰田。这些新增加的公司中有几家继续使用Nvidia的Drive Hyperion平台和其Alpamayo模型来扩展"4级"车辆训练，或最高级别的自动驾驶（一辆功能齐全的自动驾驶汽车，基本上不需要人类乘客的指导）。

Nvidia还与T-Mobile和诺基亚合作，在远程位置使用AI无线接入网（AI-RAN）基础设施加速物理AI。该公司表示，这可以帮助物理AI的现实世界数据收集穿越未连接、隔离或拥挤的区域，使用（但不中断）5G连接。

"通过与T-Mobile和诺基亚将5G网络转变为分布式AI计算机，我们正在为世界边缘AI基础设施创建一个可扩展的蓝图，"黄仁勋在公告中表示。

边缘AI的好处是低延迟：本地集线器允许信息移动比必须穿越整个互联网时更快。Nvidia的合作伙伴关系使用T-Mobile现有的基础设施来支持物理AI的开发。该公司表示，公用事业和运营公司已经在这个基础设施上使用物理AI智能体、系统和数字双胞胎，用于优化交通灯时序或修复输电线路等用例。

在另一项公告中，Nvidia还涉足太空计算。该公司表示，其新平台，包括Vera Rubin，正在"开启太空创新的新时代，将AI计算带到轨道数据中心（ODCs）、地理空间情报和自主太空操作"。

这在实践中意味着：Nvidia正在开发可以在地球和太空之间以及太空和太空之间运行的AI应用。Nvidia表示，其IGX ThorTM和Jetson OrinTM平台提供了在轨道上执行任何操作所需的节能推理和数据处理——这就是边缘AI，在太空中作为本地集线器运行，在云端之外。

"当我们部署卫星星座并探索更深太空时，智能必须生活在数据产生的任何地方，"黄仁勋在发布中表示。

但轨道数据中心仍然是理论上的——不是不可能，但还不是完全的现实。虽然Nvidia的IGX Thor和Jetson Orin平台今天就可以使用，但今天宣布的公司太空计划的Vera Rubin Space-1组件将"在以后的日期"可用。

物理AI存在于机器人、自动驾驶车辆和其他现实世界应用中，这可能意味着如果机械或计算上出现问题，风险会更高。这个问题最好通过高质量的训练数据来避免，这些数据为物理AI系统准备尽可能多的情况，以确保它们采取更安全、更可预测和更有效的行动。

为了配合对物理AI的关注，Nvidia还宣布了其物理AI数据工厂蓝图，这是一个"开放参考架构，统一并自动化训练数据的生成、增强和评估方式，降低大规模训练物理AI系统的成本、时间和复杂性"。

蓝图将于下个月在GitHub上提供，让公司使用Nvidia的Cosmos世界基础模型系列来处理现实世界数据并大规模生成合成数据来训练物理AI系统。它还支持自动驾驶车辆和其他物理AI系统的强化学习和测试过程。据Nvidia称，蓝图通过包含边缘案例和其他在现实世界中更难或昂贵记录的不频繁场景的合成示例来确保数据集的多样性。

虽然要到4月才能广泛使用，但Nvidia表示Uber已经在使用蓝图开发自动驾驶车辆，Skild AI正在将其用于通用机器人技术。

物理AI的进步具有消费者应用，如Waymo汽车和你可能遇到的病毒式家务机器人，但最直接相关的是工业工程。更有能力的自主机器人将对我们的公共和工业景观产生最大影响：在道路上、工厂里，显然还有走在主题公园里。

Q&A

Q1：Alpamayo 1.5模型有什么新功能？

A：Alpamayo 1.5是Nvidia自动驾驶车辆模型系列中的重大升级，它以驾驶视频、自我运动历史、导航指导和自然语言提示作为输入，将这些转化为驾驶轨迹，让开发人员能够密切跟踪车辆行为并通过提示创建安全防护栏，帮助系统更容易从不可预测的道路事件中学习。

Q2：Nvidia与Uber的合作计划是什么？

A：Nvidia将与Uber合作推出完全由Nvidia Drive AV软件驱动的自动驾驶车队，到2028年在四大洲28个城市运营，洛杉矶和旧金山将在2027年更早开始。这意味着用户将能够在更大规模上通过Uber应用预订自动驾驶汽车。

Q3：什么是物理AI数据工厂蓝图？

A：物理AI数据工厂蓝图是Nvidia推出的开放参考架构，统一并自动化训练数据的生成、增强和评估方式，降低大规模训练物理AI系统的成本、时间和复杂性。它将于下个月在GitHub上提供，让公司使用Nvidia的Cosmos模型处理现实世界数据并生成合成数据来训练物理AI系统。