3d人物建模软件,3d建模创业

智东西（公众号：zhidxcom）

作者|文淑

编辑|页边距

1月26日，来自伦敦帝国理工学院和初创公司FaceSoft.io的研究人员设计了一个人脸建模系统AvatarMe。AvatarMe可以根据任何人脸照片和一些人脸细节，生成4K x 6K分辨率的3D人脸模型。

AvatarMe是第一个可以从单个图像生成高分辨率3D人脸模型的系统。未来，AvatarMe可能会用于视频会议等各种VR应用场景。

该研究发表于《CVPR 2020》，题目为《AvatarMe：“在野外”的真实的可渲染的3D脸部重建（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。

论文链接：https://arxiv.org/pdf/2003.13845.pdf

CVPR(计算机视觉和模式识别会议)是由IEEE组织的计算机视觉和模式识别领域的顶级会议。这次会议从6月13日至6月19日举行。

一、AvatarMe：依据一张照片生成逼真的3D人脸

遗传神经网络由生成网络和鉴别网络组成。GAN模型的学习过程就是生成网络和鉴别网络相互博弈的过程：生成网络随机合成一张图片，鉴别网络判断图片真假，然后根据鉴别网络给出的反馈不断提高“伪造”的能力，最终达到真伪。

然而，在从任意人脸照片生成三维人脸模型时，现有的解决方案普遍性能较差，生成的三维人脸模型分辨率较低。

伦敦帝国理工学院和初创公司FaceSoft.io的研究人员认为，这是因为两个原因：

一方面，研究人员缺乏可用于培训的数据；另一方面，很少有稳健的方法可以成功地应用于高分辨率数据。

为了解决这些问题，伦敦帝国理工学院和初创公司FaceSoft.io的研究人员捕获了一个关于面部形状和反射率的大型数据集。

同时，研究人员使用基于艺术状态的三维纹理和形状重建方法来渲染每个像素所需的分辨率和镜面反射分量。最后，研究人员成功优化了三维人脸建模结果。

AvatarMe系统的管道结果

二、采用两种捕获方法，收集超200张人脸图像

第一种方法中，研究人员利用一个有168个光源的极化LED球泡灯和9台单反相机，捕获高分辨率的孔隙级人脸反射率图。极化LED球泡灯中，一半的光源是垂直极化的，另一半光源是水平极化的。两种极化方式的光源交错排布。

第二种方法中，研究人员利用非极化的LED球泡灯进行色彩空间分析，以捕获解缠的纹理。相比于第一种方法，利用非极化的LED球泡灯只需捕获不到一半的数据，因此捕获时间较短短。另外，由于不需要偏振片（polarizer），非极化的LED球泡灯设置也比较简单。

通过这两种方法，研究人员采集到超过200个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究人员将收集到的图像引入一个标准拓扑结构中，建立人脸数据库。

研究人员将这一数据库命名为RealFaceDB，根据论文，与同类人脸数据库相比，RealFaceDB规模为最大。

将人脸图像引入标准拓扑结构

三、不仅能用低分辨率照片建模，戴墨镜照片也行

基于RealFaceDB数据库，研究人员开始训练基于GAN的AvatarMe系统。

训练过程中，研究人员首先输入一张低分辨率的人脸图片，用3DMM算法重建一个带纹理的基本几何体。然后，利用一个超级分辨率网络，研究人员重建纹理映射。接下来，研究人员利用一个去照明网络获得高分辨率的漫反射函数（AD）。最后，研究人员利用漫反射函数AD和基本几何体，推断出其他部分的函数（AS、ND、NS），进而建立仿真的3D人脸模型。

经过训练，AvatarMe系统可以输出4K x 6K分辨率的3D人脸模型。

为了评估AvatarMe的性能，研究人员输入随机图片，观察AvatarMe重建的3D模型是否逼真。结果显示，AvatarMe系统重建的3D人脸模型没有产生伪影。另外，在照片主人公戴有墨镜的情况下，系统也能较精准地建模。

结语：未来计划把RealFaceDB数据库开源

本项研究中，伦敦帝国理工学院和初创公司FaceSoft.io的研究人员设计出人脸建模系统AvatarMe。AvatarMe可以利用任意一张人脸照片，建立出较高分辨率的3D人脸模型。

研究人员还建立了同类数据库中规模最大的RealFaceDB数据库。研究人员称，未来计划将这一数据库向科学界开源。

同时，论文指出，RealFaceDB数据库还存在一些局限性。比如，RealFaceDB数据库中缺乏来自深肤色种族的样本。因此，在依据深肤色种族样本建模时，AvatarMe系统建立的3D人脸模型分辨率有所降低。

参考信源：VentureBeat、arXiv