语音驱动AI人脸表情-慈云数据

（图片来源网络，侵删）

GasusianTalker没有开源预训练

unity捏脸工程

（图片来源网络，侵删）

BIWI vocaset模板下载：

mesh加载

faceDiffuser

audio2face

DiffSpeaker

cvpr2023 CodeTalker

EmoTalk 可以推理，没有训练代码

FaceFormer 语音驱动 3D人脸动画

预训练下载地址

MODA 基于人脸关键点的语音驱动单张图数字人生成（ICCV2023）

sadTalker 从音频中生成3DMM的头部姿势和表情

audio2face torch

测试代码有bug，修改之后的：

Media2Face 还没开源

GasusianTalker没有开源预训练

GitHub - KU-CVLAB/GaussianTalker

unity捏脸工程

https://download.csdn.net/download/u014361280/12096164

BIWI vocaset模板下载：

https://download.csdn.net/download/jacke121/89222783

mesh加载

  if cfg.dataset == "BIWI":
        template_file = os.path.join(cfg.data_root, "BIWI.ply")
    elif cfg.dataset == "vocaset":
        template_file = os.path.join(cfg.data_root, "FLAME_sample.ply")
         
    print("rendering: ", test_name)
                 
    template = Mesh(filename=template_file)

faceDiffuser

GitHub - uuembodiedsocialai/FaceDiffuser

依赖项：

需要版本tokenizers==0.11

安装报错error: can't find Rust compiler

audio2face

https://github.com/FACEGOOD/FACEGOOD-Audio2Face/tree/main

这个是TensorFlow平台，有演示demo，训练代码，没有发现数据集

DiffSpeaker

GitHub - theEricMa/DiffSpeaker: This is the official repository for DiffSpeaker: Speech-Driven 3D Facial Animation with Diffusion Transformer

cvpr2023 CodeTalker

GitHub - Doubiiu/CodeTalker: [CVPR 2023] CodeTalker: Speech-Driven 3D Facial Animation with Discrete Motion Prior

EmoTalk 可以推理，没有训练代码

https://github.com/psyai-net/EmoTalk_release/tree/main

训练代码是faceformer

FaceFormer 语音驱动 3D人脸动画

预训练下载地址

GitHub - psyai-net/SelfTalk_release: This is the official source for our ACM MM 2023 paper "SelfTalk: A Self-Supervised Commutative Training Diagram to Comprehend 3D Talking Faces""

FaceFormer阅读笔记-CSDN博客

[audio2face]FaceFormer: 基于Transformers的，语音驱动的3D人脸动画生成 - 知乎

直观感受：

输入raw audio，人的语音，在线的或者录音好的；
输出=一帧一帧的人脸，一秒应该是输出24帧或者更多帧；
faceformer是采用自回归的结构，即前面的若干frame（图像的frame），会参与到后续的frames的生成上来。
眼球没有画出，看来重点在于面部肌肉和嘴型的变化，而且没有舌头可见。。。

GitHub - psyai-net/EmoTalk_release: This is the official source for our ICCV 2023 paper "EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation"

MODA 基于人脸关键点的语音驱动单张图数字人生成（ICCV2023）

【数字人】2、MODA | 基于人脸关键点的语音驱动单张图数字人生成（ICCV2023）_moda face-CSDN博客

sadTalker 从音频中生成3DMM的头部姿势和表情

数字人解决方案— SadTalker语音驱动图像生成视频原理与源码部署_sadtalker 调参-CSDN博客

audio2face torch

GitHub - xtliu97/audio2face-pytorch: Pytorch implementation of audio generating face mesh or blendshape models, including Aduio2Mesh, VOCA, etc

好像没有预训练

测试代码有bug，修改之后的：

main.py

import numpy as np
import cv2
from utils.facemesh import FaceMesh
from utils.renderer import Renderer, images_to_video
if __name__ == "__main__":
    texture_mesh = FaceMesh.load("assets/FLAME_sample.obj")
    renderer = Renderer(texture_mesh)
    verts = np.load("assets/verts_sample.npy")
    rendered_images = renderer.render(verts)
    out='output'
    os.makedirs(out,exist_ok=True)
    images_to_video(rendered_images, out)