【AI数字人】如何基于GeneFace自训练AI数字人，GeneFace自训练AI数字人指南

摘要：基于GeneFace自训练的AI数字人技术，通过利用深度学习算法和大规模人脸数据集，实现了人工智能在数字人领域的应用。该技术通过自我学习优化，提升人脸识别、表情分析等功能，可广泛应用于虚拟偶像、智能客服、虚拟代言等场景，为数字人产业带来革命性变革。

环境配置

由于我已经在ER-NeRF项目中搭建了虚拟环境，GeneFace和ER-NeRF项目都是基于NeRF的数字人项目，因此可以在ER-NeRF的虚拟环境中，按照以下命令行安装GeneFace项目所需的库文件。

1、安装必要的Python库：

pip install -r docs/prepare_env/requirements.txt
bash docs/prepare_env/install_ext.sh

2、由于install_ext.sh安装的gridencoder可能与ER-NeRF项目的gridencoder存在冲突，导致运行ER-NeRF项目时报错，因此建议创建一个新的虚拟环境进行安装。

conda create -n geneface python=3.9.16 -y
conda activate geneface
pip install fvcore iopath
conda install -c bottler nvidiacub -y
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
sudo apt-get install libasound2-dev portaudio19-dev
pip install -r docs/prepare_env/requirements.txt
bash docs/prepare_env/install_ext.sh

准备3DMM模型

AD-NeRF、ER-NeRF和GeneFace这些基于NeRF的数字人项目都需要用到MorphableModel文件，我已经在AD-NeRF项目中下载了MorphableModel文件，将其复制到指定文件夹即可，同样需要生成face_tracking所需的文件，具体命令如下：

切换到相应目录并执行以下命令：

cd data_util/face_tracking
conda activate geneface
python convert_BFM.py #生成info文件保存在data_util/face_tracking/3DMM/3DMM_info.npy中，下载Exp_Pca.bin和BFM_model_front.mat文件并保存至指定文件夹，下载FaceRecon Model的预训练模型epoch_20.pth并保存至指定文件夹，如果无法下载上述文件，可以通过提供的链接下载（链接和密码由GeneFace官方提供），设置环境变量后，进行测试验证配置是否正确，具体命令如下：export PYTHONPATH=./ # 不加这一行会报错“No module named 'deep_3drecon'”，CUDA_VISIBLE_DEVICES=0 python deep_3drecon/test.py进行验证测试，三、数据准备和预处理针对LMS3数据集特定说话人的视频运行脚本进行数据处理命令行如下所示：export PYTHONPATH=./export VIDEO_ID=MayCUDA_VISIBLE_DEVICES=0 data_gen/nerf/process_data.sh $VIDEO_ID四、遇到的bug及解决方式数据处理过程可能会遇到很多bug，可以通过逐个任务运行查看具体的bug所在并解决，例如任务7的AttributeError: _2D错误，解决方案可以在issue中找到，同样的问题也出现在计算3DMM时，需要在相应文件中进行修改，五、训练GeneFace包含三个模块：一个训练于LRS3数据集并通用于所有说话人的语音转动作模块；一个适用于特定说话人的动作后处理网络；一个适用于特定说话人的基于NeRF的渲染器，SyncNet和Audio2Motion模块可以在LRS3数据集上预训练的模型，也可以使用自己的数据集进行训练，PostNet模型仅适用于对应的说话人视频，需要对每个新的说话人视频训练一个新的PostNet模型，选择合适的checkpoint对于训练过程非常重要，可以通过验证损失函数和对抗损失来选择最优的checkpoint，六、基于RAD-NeRF的渲染器NeRF模型仅适用于对应的说话人视频，需要对每个新的说话人视频训练一个新的NeRF模型，在训练过程中可能会遇到一些错误，例如使用已弃用的ANTIALIAS，改为使用Ressampling.LANCZOS即可解决，七、推理生成说话人视频当进行推理时，需要两步完成：第一步使用postnet模型生成3D landmark序列；第二步使用radnerf模型进行推理，生成合成的视频，具体命令如下：bash scripts/infer_postnet.sh #预测3D landmark序列bash scripts/infer_lm3d_radnerf.sh八、参考GeneFace code以上内容仅供参考，具体实现细节请参考GeneFace官方文档和代码实现，```