对话NVIDIA英伟达：AI已照进现实

NVIDIA创始人兼首席执行官黄仁勋在GTC 2024主题演讲上表示：下一波 AI 浪潮将是 AI 对物理世界的学习。

当下，全球范围内价值超过50万亿美金的行业正在竞相实现数字化，数字孪生技术正在赋能千行百业。NVIDIA Omniverse 中国区业务负责人何展表示，AI正在进入物理世界。每一栋建筑、每一个仓库、每一个工厂，都将实现AI化，并持续优化。新一代的数字孪生更需要使用数字化的技术、模拟世界的技术，来训练和测试AI。

生成式 AI 有望彻底改变它所触及的每一个行业，掌握技术是迎接挑战的关键。而我们想要的AI一定是值得信赖的、高性能的，这样级别的AI，需要在一个遵守物理定律的数字孪生世界中进行模拟、验证和仿真。

来听NVIDIA英伟达的专家们聊聊，如何将物理世界模拟和AI融合在一起。

一、NVIDIA的“三大灵魂”

今年的GTC主题演讲上，黄仁勋说：“计算机图形学、物理学引擎模拟仿真和AI是NVIDIA的灵魂所在。”

1、计算机图形学

众所周知，NVIDIA是靠图形学起家的。何展表示，不夸张地说，几乎每一位NVIDIA的员工都以此为傲。利用NVIDIA的底层技术，开发者们可以将现实世界中每一个真实存在物品，都极度逼真地渲染及模拟出来。

2、物理世界模拟技术

有了可以以假乱真的计算机图形学技术，做出了好的数字资产，要真正赋能到应用，还缺一个要素——物理世界模拟技术。

来看两个例子，一个是从宏观的世界去模拟，一个是在极其微小的粒子世界里做模拟技术，以赋能应用。

通过Omniverse渲染引擎模拟粒子爆炸的实际情况，运用大量的计算去模拟真实的粒子分析，并且加速了很多倍，以呈现真实的效果。

微观世界分子结构异常复杂的设计也需要模拟，且物理准确模拟非常重要。一个简单的例子，如果模拟精准度不够真实，那么我们今天的靶向药物治疗等方式，就都是无效的。

3、AI技术

过去几年，AI技术的变革颠覆了众多行业。有了AI的加持，Omniverse也带来了全新的功能和体验。

怎样通过AI技术快速构建一座数字孪生工厂？首先用2D的PDF图纸，通过文字描述生成3D结构，用到的工具是NVIDIA的DeepSearch，可以通过深度学习的方式检索出你想要的模型资产，并放置在数字孪生环境中。接着调用SA软件BlenderGPT，通过文字生成工厂系统。再用Adobe通过文字生成大理石地面。然后通过其他软件生成GIS数据，最终一个数字孪生工厂的Demo便完成了。

这一过程较传统设计有了巨大的变化，无需操作其他软件，只需通过文字和Omniverse便完成了这样一个复杂的数字孪生制作过程。过去，如此复杂、专业的设计需要科班出身的设计师以及在工厂的实践经验才能完成。现在，NVIDIA提供的技术和平台可以让每个用户，只需输入文字、会使用Omniverse的平台软件，就可以完成。

这就是AI和Omniverse结合之后实现的全新设计流程。

以上，NVIDIA的三大灵魂，融合起来就是Omniverse。数据显示，Omniverse由超过300万行的代码编写而成，在全球范围内已经集成和整合了超过240款工具软件。如今，Omniverse的数字孪生几乎无处不在，涵盖汽车、制造、媒体、建筑、能源、科学运算仿真等等各行各业。

二、融合三大灵魂的 Omniverse能做什么？

“三大灵魂”全部融合在一起，能做什么？

全球气候模型Earth-2，需要进行3D交互式的天气和季候数据的数字孪生模型，不仅要训练大量的数据，还要把它们数字化。在这个模型中，我们可以看气象的走向、大气河的流动，还能看到飓风，并且精确到1公里范围内，以帮助人类预测它的准确路径。充分应用了图形学、物理世界模拟仿真，以及AI。

能否用“三大灵魂”分析更多事呢？如何把这些技术融入到真实的企业应用环境中至关重要。

每一个场站的布局背后都有很多的数字孪生模型，就像有一只无形的手在操作，这个手就是AI Agents，辅助这个标点符号里每一个场站ARM小车最优的路径，这就是物理世界和数字世界交互的一个非常生动的例子。

给一辆小车布一个最优路径尝试一下，再给它一个突发事件，看它如何实时调整路径。假设这边货架突然倒塌，它能否及时调整路径？可以看到，ARM小车不但重新规划了自己的路径，路过时还对AI Agents说：“我感觉出现问题了，你赶紧去处理。”这个过程背后技术的复杂程度其实是非常高的，同时需要数字孪生模型、AI和算力。

而随着各行业竞相将自己重塑为软件驱动的科技公司，每个领域的生成式AI也都如雨后春笋般兴起，3D数据正在实现互操作性，高级图形学以及从边缘到云的仿真计算能力的进步，都为各行业的物理流程数字化带来了全新机遇。

三、仿真工作流 加速AI训练

今年GTC上，Omniverse带来的最大更新便是Omniverse Cloud API，把Omniverse放到云端，提供一个应用程序编程接口API，让开发人员可以将Omniverse最核心的技术直接集成到已有的应用层和工作流中。

Omniverse不仅可以帮助全球工业企业加速自动驾驶车辆、人形机器人、智能仓储、大规模智慧城市等工作流程，Omniverse Cloud API，更将为基于AI的数字孪生仿真工作流的训练、模拟，以及后阶段的部署带来全新加速。

随着全球自动驾驶汽车和机器人需求的不断增加，AI开发人员可能需要更多的传感器数据来进行训练、测试、验证这些AI的感知系统，而这些感知系统可以通过传感器模拟方式去实现一个合成数据的1:1数字孪生世界，在Omniverse构架的虚拟世界里进行训练、测试、仿真、验证等。这些合成数据都需要物理上非常精确的、符合物理定律的渲染。

AI是如何在虚拟世界中进行训练的？

AI和仿真最重要的是软件在环（SIL）和硬件在环（HIL）。将所有机器人、自动驾驶汽车、自主移动设备、传感器全部仿真放在Omniverse里，环境、场景都是实时渲染出来的，以实时喂料的方式喂给机器人的传感器，传感器看到的数据是假的，传感器本身也是虚拟出来的，汽车传感器看到的画面也是合成数据。把虚拟传感器捕捉到的数据，和汽车传感器得到的数据融合在一起，放在数字孪生里渲染，称之为SIL。将SIL里训练好的模型，部署到硬件设备上，再做物理的路测或环境测试，叫做HIL。做强化学习的时候，要确保学习环境是真实有效的，训练好的模型也是真实有效的，最后再到物理世界去部署。

最终，机器人系统、AI和Omniverse形成了技术闭环。

四、Omniverse登录Apple Vision Pro

全球最受瞩目的两家科技巨头携手，NVIDIA与Apple一起，把Omniverse带到了Apple Vision Pro中去，将许多3D工作流尤其是工业环境下的数字孪生的工作流游戏化，打破了传统的工业工作流程。

Omniverse里的GPU是顶尖的RTX GPU，三大核心点：1.传统着色的部分，可以用来做像素的渲染，确保画面是美轮美奂的；2.光线追踪加速，用包裹体便利的方式去做实时光线追踪，延迟更低，帧率更高，与用户的互动性也更强；3.Tensor，RTX GPU里有针对张量运算的tensor运算，还可以加速AI的训练，如大模型、GenA、neural graphics、NeRF等，都可以用AI去运算。

在云端Omniverse API连接各种应用程序，基于USD或OpenUSD打通数字资产之间的连接和调用，再通过RTX GPU强大的算力和符合物理定律的实时光线追踪完成画面渲染，最后呈现在Apple Vision Pro用户眼前的就是真实的3D空间场景。

Omniverse强大的空间计算带来的全新工作流，使得设计师可以在Apple Vision Pro里实现沉浸式体验，以及人、产品、流程与物理空间之间的无缝互动。在MR里设计出的虚拟产品将与物理世界中的实际产品一模一样，所见即所得，想想都令人兴奋。

结语：

波士顿咨询公司（BCG）对企业最高管理层的调查显示，近四分之三的管理者计划在今年增加公司的技术投资，89% 的管理者将 AI 和生成式 AI 列为前三大优先事项中。超半数的企业希望利用 AI 提高生产力、改善客户服务和提升 IT 效率，以实现降本增效。

“AI已经进入了物理世界。未来将是可生成的。”