DreamMat：根据文字描述生成高质量基于物理渲染的材质

快科技5月31日消息，我们从问界汽车官方获悉，问界M7自上市以来，累计大定数已突破18万台，刷新了问界家族的销量记录。到2024年4月，问界M7智驾总里程已超过9946万公里，其

划重点:

是一种工具，可以根据文字描述生成高质量 PBR（基于物理渲染） 材质。

它采用几何和光照感知的扩散模型，确保生成的材质与给定的几何和光照环境匹配。

DreamMat 消除了常见的固定阴影效果，使渲染效果更真实，适用于游戏和电影制作等领域。

6月5日 消息:近期研究取得突破，通过2D 扩散模型在未纹理的原始网格上生成外观。然而，这些方法生成 RGB 纹理时往往包含不必要的固定阴影效果，在下游应用中导致渲染效果不真实。与其只生成 RGB 纹理，生成物理渲染（PBR）材质可能是一个更有前景的解决方案。然而，直接从2D 扩散模型提取 PBR 材质参数仍然存在材质分解不正确的问题，例如在反照率中固定的阴影效果。

DreamMat 应运而生，致力于解决上述问题，通过文字描述生成高质量 PBR（基于物理渲染） 材质。发现大规模2D 扩散模型只能训练生成最终着色颜色，导致在提取过程中材质分解不足的问题。

为了解决这个问题，其大致流程为，首先通过微调新的光照感知2D 扩散模型，使其根据给定光照环境条件，生成特定光照条件下的着色结果。然后，在材质提取过程中应用相同的环境光，DreamMat 可以生成高质量的 PBR （基于物理的渲染）材质，不仅与给定的几何一致，而且在反照率中不包含任何固定的阴影效果。

大量实验表明，通过这种方法生成的材质对用户更具吸引力，并在渲染质量上显著优于基准方法，适用于游戏和电影制作等下游任务。