你应该已经知道了,英伟达CEO黄仁勋今年4月GTC的厨房发布会,有14秒的转场环节其实是“ Virtual Kitchen, Virtual CEO”。黄仁勋用真实厨房和虚拟厨房呈现了对数字孪生的实践,通过为元宇宙提供基础的模拟和协作平台Omniverse,通过NVIDIA RTX GPU渲染,通过深度学习和图形技术的创意结合,###终呈现出这一效果。
 

 

时隔四个月,在计算机图形学###年会SIGGRAPH 2021期间,英伟达通过一部纪录片叙述了背后的制作技术。同时,还公布了一系列###新的软硬件产品和生态合作进展,具体包括:“重新定义GPU”的RTX A2000 GPU,集成了Blender和Adobe的Omniverse。并且,英伟达和皮克斯、苹果公司共同发布了基于USD开源标准的白皮书,这三方代表着全球数字资产、数字创作和管理领域的###水平,他们在开源生态上的合作,对未来在跨平台领域的协作和创新,其影响力可想而知。

 

英伟达关于元宇宙的设想、对数字孪生的实践,RTX软硬件技术如何满足未来的愿景和期许,通过英伟达的研究,未来会把视觉运算行业带到怎样的边际……关于这些方向,英伟达中国区###技术市场经理施澄秋接受了与非网等媒体的采访。


RTX GPU:一场重新定义计算机图形的本垒打

 

关于厨房发布会的这段视频制作,追本穷源,先说说###关键的光线追踪技术。

 

笔者###近在《关于元宇宙的三个真相》一文中,在元宇宙底层的关键技术研究方面,将英伟达Omniverse作为典型进行了初步探讨。根据官方资料,Omniverse的突出表现在于:能够实现实时协作、实时追踪、实时渲染的真实感。

 

实时性需要强大的算力支持和流畅的工具协作,而渲染的真实感则###主要通过RTX实现,这是英伟达当前在可视化领域一个突出的差异点,借助AI、光线追踪、模拟SDK等不断升级,实现了实时AI增强图形、视频和图像处理的强大功能。

 

2018年,英伟达宣布了名为“光线追踪”(ray tracing)的图形渲染技术,来提升游戏、CG动画的画面质量。在光线追踪问世之前,游戏中的画面主要采用“光栅化”技术进行渲染,可以实现一些局部照亮的光线效果,画面细节主要靠贴图。而光线追踪技术,则是通过模拟光线的照射路径,真实重现光线材质、阴影和反射,计算出光线从发出以后,经过一系列衰减,再进入人眼时的情况,使得画面看起来更加接近现实。

 

黄仁勋今年在一次采访中谈起RTX GPU的发明,将其比作是“重新设定和重新定义计算机图形的本垒打”, 他说,“这是一个10年旅程,一个始于35年前的梦想。直到我们能够融合实时光线追踪、硬件加速光线追踪、张量运算核心和一系列全新的渲染算法,我们才能够将实时光线追踪变成现实。”

 

来回顾一下专业视觉计算领域,英伟达###近的五代GPU架构,从Kepler到Maxwel、Pascal、Turing、再到Ampere架构,从显存技术、规格和支持的软件运算规格、以及对8K、VR/AR等一系列软硬件及周边配件的支持,都在不断升级。

 

其中,###新的Ampere架构相比上一代Turing架构,有三个###重要的区别:首先,新一代的SM(新一代流式多处理器)架构###高可以提供39 TFLOPS的FP32算力;其次,第二代RT Core相对于Turing架构的###代RT Core,除了SM,还加入了张量运算核心Tensor Core,这是AI主要的运算单元,###高可以提供76 TFLOPS光线追踪算力;第三,###多可以提供310个Tensor TFLOPS的算力。

 

RT Core非常关键,英伟达在推出Turing架构的时候就曾提出:要支持实时光线追踪,因为这是专业可视化领域GPU运算所能带来的较大差异。在两代GPU架构中,英伟达实现光线追踪的方式有很大的不同:在Turing架构中,引入了专门针对光线追踪的运算单元,采用BVX算法使用专门的电路,来运算光线轨迹及当前画面里3D建模之间的光线反射、折射或更复杂的轨迹,比如:镜面反射、漫反射或半折射等类似光线互动,让每一个画面更加逼真,达到照片级渲染精度,让电脑处理过的3D动画能够达到电影级的真实效果。这是在Turing架构中###引入了专门的光线追踪运算环境。

 

而在Ampere中,英伟达对这个核心进行了改动,这个改动称为第二代NVIDIA光线追踪运算核心。该核心针对BVX算法做了大量优化,比如:带有Motion flow、阴影功能,去噪、降音功能等。这可以把之前很多需要分开处理的步骤,或是需要由不同核心来处理的步骤,能够大幅合并在一起处理,这样就可以提高工作效率。例如:电影内容的真实感渲染,或某些架构设计的评估及虚拟模型的制作、产品设计等,设计师等用户可以获得更高的视觉准确性、更干净、更漂亮的渲染结果,而且还可以提升渲染效率。


Omniverse——元宇宙和数字孪生的基础

 

再来说说Omniverse,它其实就是一个跨软件、跨应用程序的在线合作式/分享式整体解决方案平台,通过这样一个平台,可以完成多人的协同式分布合作。它的后台很强大:有大量可堆叠的、拥有多节点的GPU渲染器,或是在数据中心已经部署了DGX服务器,已经具备了超算能力,因此可以为专业图形渲染提供强大的、源源不断的动力,用户无需在渲染质量和速度之间进行艰难取舍,实现实时的反馈和高品质的渲染。

 

事实上,厨房发布会上并不是Omniverse###次秀肌肉。

 

宝马工厂在未来工厂的demo演示中,就通过Omniverse展示了数字孪生的装配工厂,每一个细节,包括布局、照明和机械装置等,都以数字方式###复制。

 

中央广播电视总台制作的纪录片《飞向月球》第二季,为了给观众身临其境的视觉体验,制作出细致、震撼的高清影像,使用了Omniverse进行同步式协作创作,并创建了数字资产和基于物理的渲染。

 

施澄秋对Omniverse的两点概括非常精准;###,它是英伟达针对专业图形图像领域的一站式在线分工合作、优化工作流的平台,无论是上一代还是这一代产品,只要支持RTX技术,都可以融入到Omniverse;第二,元宇宙需要实时、持续在线的基础,否则虚拟世界便与现实生活脱节,更无从进行实时的交互,而Omniverse就是英伟达实现元宇宙的基础技术和平台产品。

 

想象一下,如果要实现元宇宙,任何规模的使用者或任何一个功能齐全的组织,都必须做到跨平台的、实时的数字资产分享或数字孪生。但是,要把传统3D工作流这样一个复杂、庞大的工程通过数字孪生实现,所面临的一个首要挑战就是:软件工具的隔阂。分布在在全球各地的不同的团队、艺术家、设计师、工程师等,他们使用的软件工具可能完全不同,每个人都有专精的软件领域,且可能并不适合把工作转到别的软件工具中,这就需要一个能够打通所有工具中数字资产的平台。

 

不仅如此,3D工作流程也变得越来越复杂,在这个平台上需要做很多可视化的实时在线交互,它不仅要支持实时光线追踪、人工智能,还要支持物理仿真、物理模拟,以达到每个组件的物理准确性。

 

在需求增长和苛刻任务要求的基础上,英伟达提出,3D工作流在任何行业、任何地方都是必不可少的,无论是AEC、M&E、传统设计制造领域,还是科学、大数据可视化、机器人、自动驾驶车辆等行业中,都需要实现###且物理真实的照片级或电影级的3D仿真,来完成数字孪生构想,让产品真实存在于这个星球之前,能够在虚拟世界里先完成数字化、虚拟化的仿真验证。

 

这就是元宇宙和数字孪生概念的基础,而传统可视化领域、超前的模拟、自动驾驶车辆、自主机器等领域里都需要这样的概念。

 

此外,因为新冠疫情在全球的蔓延,分布式、混合型的在线协同运算成为常态化的工作模式。以前许多设计师、美工用一个图形工作站工作,而通过Omniverse,不再需要物理意义上的图形工作站,将NVIDIA RTX GPU结合Omniverse,便能实现基于云端的虚拟化图形工作站,并且英伟达的vGPU等技术,可以协助在平板、大尺寸手机等本地轻量型的前端设备上获得较好的渲染性能。

 

要强调的是,在使用Omniverse打造元宇宙时,###关键的是通用场景描述(USD)技术。可以类比万维网www中的HTML来理解USD的重要性:HTML用于解析、表达和描述网页超媒体,而开源USD作为Omniverse协作和模拟平台的基础,则有可能成为虚拟世界中的HTML。

 

为什么这么说?开源USD几乎是业界公认的未来流程协作的数据格式,搭建起的流程适合团队协作。英伟达使其具有动态能力,让真实的物理世界可以通过USD发生。也就是说,它可以作为一个开放的API,支持复杂的场景贴图,专门在各式各样的场景、千差万别的应用程序之间帮助互换数据资产。此外,它还能够分层式管理数据资产,让许多不同部门的大型团队在同一个场景工作并共享数据,进行协同和分布式工作。

 

它甚###可能会成为一个行业标准,我想这应该是英伟达在推动的一件事。他确实在不断集成更多更先进的工具,实现大规模可扩展性,面向更多的新用户。

 

SIGGRAPH 2021上,英伟达宣布Omniverse平台加入Blender并即将集成主流Adobe 3D应用。Blender是全球领先的开源3D动画工具,通过支持USD,使这一软件用户能够访问Omniverse制作流程。同时,Adobe正在与英伟达合作开发一个为Omniverse提供Substance Material支持的Substance 3D插件,为Omniverse和Substance 3D用户提供全新素材编辑功能。这一系列拓展,能够为Omniverse带来数百万新用户。

 

要搭建元宇宙的基础平台,生态的建设###关重要。目前,Omniverse的生态系统在持续壮大,连接了来自Adobe、Autodesk、Bentley Systems、Blender、Clo Virtual Fashion、Epic Games等软件公司的行业应用。并且,英伟达与苹果公司、皮克斯展开合作,共同为USD带来更先进的物理功能,通过采用开源标准,来支持数十亿设备的3D工作流程。

 

基于USD的全局物理定义,在Mac平台、x86平台、Arm平台等都可以用USD描述。也正是因为有了USD这样的通用场景描述语言的支持和解析,Omniverse平台能够打通全球几十个领先的数字资产管理软件和专业生产工具ISV程序之间的互联互通,能够实时从设计到导入导出,到编辑、再加工、查看等,做到流水线式工作流程的优化。


RTX实时光线追踪从旗舰走入主流应用

 

SIGGRAPH 2021上,英伟达还发布了RTX A2000 GPU,这是一款小巧、节能的GPU平台,和传统的智能手机大小差不多,使得桌面级图形工作站也能够获得RTX技术支持。随着RTX A2000 GPU的推出,英伟达在图形领域补齐中端系列,也可能是其构建元宇宙闭环的关键一环。

 

施澄秋表示,A2000重新定义了主流专业GPU,无论是实时光线追踪性能,还是基于人工智能的加速,或是单精度的渲染和计算性能,都获得了提升。以前的专业图形生产力工具通常不具备光线追踪实时性能,而A2000标志着RTX实时光线追踪平台终于从旗舰级产品走入主流应用中,便于更多的专业图形用户进行创作。

 

 

RTX A2000 GPU显存为6GB并且带有纠错码(ECC),可以保持数据的完整性,使计算精度和可靠性不受影响,这尤其有助于医疗和金融服务领域。首批采用RTX A2000的公司包括Avid媒体公司、Cuhaci & Peterson和Gilbane建筑公司。

 

“###终,用户可能用iPad就可以导入导出,或是借助NVIDIA CloudXR技术使用VR、AR设备传送和查看,还可以实时使用VR和AR设备进行设计,任何人都可以通过RTX及Omniverse以流传输的方式传输到设备上,一个简单的大屏手机就可以观看Omniverse上的每个场景”,这是施澄秋对获得RTX和Omniverse支持的工作流的畅想。


写在###后

 

一个正在发生的趋势是,实时光线追踪、实时渲染、AI的加持,以及从模拟到交互式协作和创作的方式变化,正在改变着图形运算的未来。真实与数字渲染之间的界限在逐渐模糊,图形和AI技术的结合,能够提供实时的算力、渲染/模拟等技术支持,也正是这种实时、持续在线的能力,成为元宇宙必须的支撑。

 

英伟达###初对Omniverse的想法,其实不过是希望它将现有的3D工具连接在一起,作为用户的一个单一入口,而现在,它被认为是元宇宙实现的重要基础。

 

那么,英伟达会不会抢了其他软件厂商的生意?如何平衡合作关系?比如这个生态中既有UE、Unity的软件厂商,也有Adobe做私有云,GCP、AWS做公有云。施澄秋表示,未来每个行业都不可能一家独大或者以排他性的方式去竞争,即便市场上存有很多主宰某个领域的厂商,但也不可避免要用到第三方的技术。英伟达对Omniverse未来的希望——做一个完整的解决方案平台提供者,在这个平台上承托各种各样的软硬件合作伙伴。