NVIDIA 的研究人员将在 SIGGRAPH 现场介绍仿真研究如何改进 AI 模型以及 AI 模型如何提升仿真技术。

　　NVIDIA 将于 7 月 28 日至 8 月 1 日在美国丹佛市举行的顶尖计算机图形大会 SIGGRAPH 2024 上展示渲染、仿真和生成式 AI 领域的诸多最新进展。

　　NVIDIA Research 的 20 多篇论文介绍了推动合成数据生成器和逆渲染工具发展的创新成果，这些工具能够为训练下一代模型提供助力。NVIDIA 的 AI 研究工作通过提高图像质量和解锁新的真实或想象世界 3D 呈现方式，使仿真模拟更优化。

　　这些论文专注于研究适用于视觉生成式 AI 的扩散模型、基于物理的仿真以及日益逼真的 AI 渲染。其中有两篇论文荣获最佳技术论文奖，还有一些是与美国、加拿大、中国、以色列和日本的大学以及 Adobe 和 Roblox 等公司的研究人员联合撰写的。

　　这些研究项目将有助于为开发者和企业创造出用于生成复杂虚拟物体、角色和环境的工具。然后可以使用合成数据生成讲述精彩的视觉故事，帮助科学家理解自然现象，或协助机器人和自动驾驶汽车的仿真模拟训练。

　　扩散模型改进纹理绘制

　　和文本转图像生成

　　扩散模型是一种将文本提示转化成图像的主流工具。它能帮助艺术家、设计师和其他创作者快速生成脚本或作品的视觉效果，缩短将创意变成现实所需的时间。

　　NVIDIA 撰写的两篇论文推动了这些生成式 AI 模型功能的发展。

　　ConsiStory 由 NVIDIA 与特拉维夫大学的研究人员联合开发，能够使多幅同一个主角的图像生成变得更加容易，这对于绘制连环画或开发脚本等叙事应用场景来说至关重要。研究人员开发出的这个方法引入了一种名为“主体驱动的共享注意力”的技术，可将生成一致主体图像所需的时间从 13 分钟缩短到 30 秒左右。

　　ConsiStory 能够生成一系列以同一人物为主题的图像

　　在去年，NVIDIA 研究人员凭借将文本或图像提示转化成自定义纹理材料的 AI 模型赢得了 SIGGRAPH 的 Real-Time Live 最佳展示奖。今年，NVIDIA 研究人员发表的一篇论文介绍了如何将 2D 生成扩散模型应用于 3D 网格上的交互式纹理绘制，使艺术家能够基于任何参考图像实时绘制出复杂的纹理。

　　在基于物理的仿真中启动开发工作

　　图形研究人员正在使用基于物理的仿真缩小实物与其虚拟呈现之间的差距。此类基于物理的仿真技术，可以使数字物体和角色如同在真实世界中一样运动。

　　多篇 NVIDIA Research 论文介绍了该领域的突破性进展，包括一个用以解决基于文本提示模拟复杂人体动作这一挑战的名为 SuperPADL 项目。

　　研究人员通过将强化学习与监督学习相结合，展示了如何训练 SuperPADL 框架再现 5000 多种技能的动作，以及该框架如何在消费级 NVIDIA GPU 上实时运行。

　　NVIDIA 的另一篇论文介绍了一种神经物理学方法。该方法将 AI 应用于学习物体（无论是以 3D 网格、NeRF 还是由文本转 3D 模型技术生成的实体物体呈现）在环境中移动时的行为方式。

　　一篇与卡内基梅隆大学研究人员合作撰写的论文介绍了一种新型渲染器。这种渲染器不是用于物理光建模，而是能够用于执行热分析、静电分析和流体力学分析。该论文是获评本届 SIGGRAPH “最佳论文”的五篇论文之一，它所介绍的方法易于并行化且不需要繁琐的模型清理，为加速工程设计周期带来了新的可能性。

　　在上面的示例中，渲染器对好奇号火星探测器进行了热分析，将温度保持在特定范围内对任务成功至关重要

　　其他几篇研究仿真的论文介绍了一种更加高效的头发建模技术和一种可将流体仿真速度加快 10 倍的工作流。

　　提高渲染逼真度和衍射模拟的标准

　　NVIDIA 撰写的另一组论文介绍了一些新技术。这些技术能够将可见光建模速度提速最高达 25 倍，将模拟衍射效应（例如用于训练自动驾驶汽车的雷达模拟）的速度提速最多达 1000 倍。

　　NVIDIA 和滑铁卢大学的研究人员撰写的一篇论文解决了自由空间衍射问题。自由空间衍射是一种光线在物体边缘扩散或弯曲的光学现象。该团队的方法可以与路径追踪工作流集成，以提高复杂场景中模拟衍射的效率，最多可提供 1000 倍的加速。除渲染可见光外，该模型还可用于模拟波长较长的雷达、声波或无线电波。

　　城市蜂窝信号覆盖模拟

　　路径追踪可以对多个路径（穿过场景的多束光线）进行采样，从而创造出照片般逼真的图片。两篇 SIGGRAPH 论文介绍了如何提高 ReSTIR 的采样质量。ReSTIR 是 NVIDIA 和达特茅斯学院研究人员在 SIGGRAPH 2020 上首次发布的路径追踪算法，是将路径追踪技术应用于游戏和其他实时渲染产品的关键之处。

　　其中一篇 NVIDIA 与犹他大学合作撰写的论文介绍了一种重复利用计算路径的新方法，最多可将有效采样数增加 25 倍，大大提升了图像质量。另一种方法则是通过随机改变光的路径的子集来提高采样质量。这有助于更好地运行去噪算法，减少最终渲染中产生的视觉伪影。

　　从左到右：早前采样、25 倍改进后的样本和参照图像之间的视觉质量比较。

　　示例由 Blender 工作室提供

　　教会 AI 用 3D 思维进行思考

　　NVIDIA 研究人员还将在 SIGGRAPH 上展示用于 3D 呈现和设计的多用途 AI 工具。

　　其中一篇论文介绍了一种 GPU 优化的 3D 深度学习框架—— fVDB，该框架能够匹配现实世界的规模。fVDB 框架为实现城市规模 3D 模型和 NeRF 的大空间尺度与高分辨率，以及大规模点云的分割和重建提供了 AI 基础设施。

　　NVIDIA 与达特茅斯学院研究人员合作撰写的一篇论文获得了最佳技术论文奖。这篇论文介绍了一种呈现 3D 物体如何与光相互作用的理论。该理论能够将各种不同的外观统一到一个单一的模型中。

　　NVIDIA 与东京大学、多伦多大学和 Adobe Research 合作撰写的一篇论文介绍了一种可在 3D 网格上实时生成平滑的空间填充曲线的算法。相较以前的方法需要运行几个小时，该框架的运行时间只需要几秒钟，并能够支持用户对输出结果进行高度控制，以实现交互设计。

　　获取更多 NVIDIA 参加 SIGGRAPH 信息

　　此次 SIGGRAPH 大会的特别活动包括 NVIDIA 创始人兼首席执行官黄仁勋和《连线》资深撰稿人 Lauren Goode 探讨机器人和 AI 如何影响工业数字化的炉边谈话。

　　NVIDIA 的研究人员还将举办 NVIDIA OpenUSD 日。这场全天活动将展示开发人员和行业领导者如何通过使用和发展 OpenUSD 来构建 AI 赋能的 3D 工作流。

关注同花顺财经（ths518），获取更多机会