NVIDIA 研究人员展示了“RANA”，这是一种新型人工智能框架，用于学习人类的可照明和铰接式神经化身

这些类人神经化身可以多种方式使用，包括远程呈现和动画。 它们在视觉内容创建方面也有多种用途。 如果要广泛使用，这些神经化身需要易于创建，易于动画化为新的姿势，并且能够渲染逼真的图片。 在新情况下，它们还必须易于重新点燃。 单目电影通常用于教授神经化身。 该方法允许逼真的图像和运动，但生成的合成图像仍然受到训练视频光照条件的限制。 一些研究侧重于重新照亮人类化身。 它们不允许用户控制身体姿势。 这些方法通常需要在 Light Stage 上拍摄多视图照片，而这只能在受控环境中完成。

一些现代技术旨在在 RGB 电影中重现动态人物。 他们缺乏对身体姿势的控制。 要创建化身，他们需要一个简短的单眼视频剪辑来显示人物的自然位置、衣着和身体姿势。 仅使用小说的身体姿势及其照明就可以做出推论。 在不熟悉的环境中，很难从单眼 RGB 胶片中推断出活跃个体的神经特征。 他们在这里介绍了 Relightable Articulated Neural Avatar 技术 (RANA)，该技术允许在任何新的身体位置、视角和照明场景下对人类进行逼真的动画。 首先，它必须模拟人体解剖学的复杂关节和几何特征。

为了启用重新照明，纹理、几何和照明信息需要从 RGB 素材中分离出来。 这是一项具有挑战性的任务。 为了克服这些挑战，研究人员首先使用称为 SMPL+D 的人体形状统计模型来提取粗略的几何形状和纹理数据。 然后，他们建议使用人工数据训练的独特卷积网络，以从粗糙纹理中去除阴影信息。 作者将潜在特征添加到粗糙的纹理和几何体中，然后将数据发送到他们的神经化身架构。 这使用两个卷积网络为处于所需身体姿势下的人生成法线和反照率的精细图。

来源和详细信息：
https://www.marktechpost.com/2022/12/12/nvidia-researchers-present-rana-a-novel-artificial-intelligence-framework-for-learning-relightable-and-articulated-neural-avatars-of-humans/