E4S:一个精细化的面部交换(换脸)技术
与传统的换脸技术不同,E4S更加精细和高级。它不仅能让你在照片或视频中换脸,还能确保换出来的脸在形状、纹理和光照方面都非常自然和逼真。
它能够非常精确地处理脸部的每一个小细节,包括你脸上的每一颗痣、每一条皱纹,甚至是光照和阴影。
工作原理:
1、分离形状和纹理:E4S使用一种叫做“区域GAN反演”(Regional GAN Inversion,简称RGI)的技术,能够把脸部的形状和纹理(比如皮肤的颜色、痣或者皱纹等)分开来处理。
2、多层面的处理:E4S在一个预先训练好的模型(StyleGAN)的基础上工作。它使用一个特殊的编码器,这个编码器能够识别脸部的各个部分(比如眼睛、嘴巴等)并分别处理。
3、样式和掩码交换:通过这种分离和多层面的处理,换脸就变得相对简单了。简单来说,就是把一个人脸的形状和纹理信息“复制”过来,然后“粘贴”到另一个人脸上。
4、光照调整:因为不同照片的光照条件可能不同,E4S还有一个“重新着色网络”来调整光照,使得换脸后看起来更自然。
5、后处理修复:最后,如果换脸过程中有些地方不太匹配或者出现了小问题,E4S还有一个“面部修复网络”来进行微调。
项目地址:https://t.co/ysbYLxu5ls
论文:https://t.co/sr6Kc1obKL
GitHub:https://t.co/0TATDkfL2b