gitextract_jmo9ls54/ ├── .gitignore ├── DAWN_256.yaml ├── DM_3/ │ ├── datasets_hdtf_wpose_lmk_block_lmk.py │ ├── datasets_hdtf_wpose_lmk_block_lmk_rand.py │ ├── modules/ │ │ ├── local_attention.py │ │ ├── text.py │ │ ├── video_flow_diffusion_model_multiGPU_v0_crema_vgg_floss_plus_faceemb_flow_fast_init_cond_mouth_mask_6D.py │ │ ├── video_flow_diffusion_model_multiGPU_v0_crema_vgg_floss_plus_faceemb_flow_fast_init_cond_mouth_mask_rand_6D.py │ │ ├── video_flow_diffusion_model_multiGPU_v0_crema_vgg_floss_plus_faceemb_flow_fast_init_cond_test.py │ │ ├── video_flow_diffusion_multiGPU_v0_crema_plus_faceemb_ca_multi.py │ │ ├── video_flow_diffusion_multiGPU_v0_crema_plus_faceemb_ca_multi_test.py │ │ └── video_flow_diffusion_multiGPU_v0_crema_plus_faceemb_ca_multi_test_local_opt.py │ ├── test_lr.py │ ├── train_vdm_hdtf_wpose_plus_faceemb_init_cond_liploss_6D.py │ ├── train_vdm_hdtf_wpose_plus_faceemb_init_cond_liploss_6D_s2.py │ └── utils.py ├── LFG/ │ ├── __init__.py │ ├── augmentation.py │ ├── frames_dataset.py │ ├── hdtf_dataset.py │ ├── modules/ │ │ ├── avd_network.py │ │ ├── bg_motion_predictor.py │ │ ├── flow_autoenc.py │ │ ├── generator.py │ │ ├── model.py │ │ ├── pixelwise_flow_predictor.py │ │ ├── region_predictor.py │ │ └── util.py │ ├── run_hdtf.py │ ├── run_hdtf_crema.py │ ├── sync_batchnorm/ │ │ ├── __init__.py │ │ ├── batchnorm.py │ │ ├── comm.py │ │ ├── replicate.py │ │ └── unittest.py │ ├── test_flowautoenc_crema_video.py │ ├── test_flowautoenc_hdtf_video.py │ ├── test_flowautoenc_hdtf_video_256.py │ ├── train.py │ └── vis_flow.py ├── PBnet/ │ ├── run_cvae_h_ann_reemb_rope_eye_3.sh │ └── src/ │ ├── __init__.py │ ├── config.py │ ├── datasets/ │ │ ├── __init__.py │ │ ├── datasets_hdtf_pos_chunk_norm_2_fast.py │ │ ├── datasets_hdtf_pos_chunk_norm_eye_fast.py │ │ ├── datasets_hdtf_pos_df.py │ │ ├── datasets_hdtf_pos_dict_norm_2.py │ │ ├── datasets_hdtf_wpose_lmk_block.py │ │ ├── get_dataset.py │ │ └── tools.py │ ├── evaluate/ │ │ ├── __init__.py │ │ ├── action2motion/ │ │ │ ├── accuracy.py │ │ │ ├── diversity.py │ │ │ ├── evaluate.py │ │ │ ├── fid.py │ │ │ └── models.py │ │ ├── evaluate_cvae.py │ │ ├── evaluate_cvae_debug.py │ │ ├── evaluate_cvae_f3.py │ │ ├── evaluate_cvae_f3_debug.py │ │ ├── evaluate_cvae_f3_mel.py │ │ ├── evaluate_cvae_norm.py │ │ ├── evaluate_cvae_norm_all.py │ │ ├── evaluate_cvae_norm_all_seg.py │ │ ├── evaluate_cvae_norm_all_seg_weye.py │ │ ├── evaluate_cvae_norm_all_seg_weye2.py │ │ ├── evaluate_cvae_norm_eye_pose.py │ │ ├── evaluate_cvae_norm_eye_pose_test.py │ │ ├── evaluate_cvae_onlyeye_all_seg.py │ │ ├── othermetrics/ │ │ │ ├── acceleration.py │ │ │ └── evaluation.py │ │ ├── stgcn/ │ │ │ ├── accuracy.py │ │ │ ├── diversity.py │ │ │ ├── evaluate.py │ │ │ └── fid.py │ │ ├── tables/ │ │ │ ├── archtable.py │ │ │ ├── bstable.py │ │ │ ├── easy_table.py │ │ │ ├── easy_table_A2M.py │ │ │ ├── kltable.py │ │ │ ├── latexmodela2m.py │ │ │ ├── latexmodelsa2m.py │ │ │ ├── latexmodelsstgcn.py │ │ │ ├── losstable.py │ │ │ ├── maketable.py │ │ │ ├── numlayertable.py │ │ │ └── posereptable.py │ │ ├── tools.py │ │ ├── tvae_eval.py │ │ ├── tvae_eval_norm.py │ │ ├── tvae_eval_norm_all.py │ │ ├── tvae_eval_norm_eye_pose.py │ │ ├── tvae_eval_norm_eye_pose_seg.py │ │ ├── tvae_eval_norm_seg.py │ │ ├── tvae_eval_onlyeye_all_seg.py │ │ ├── tvae_eval_single.py │ │ ├── tvae_eval_single_both_eye_pose.py │ │ ├── tvae_eval_std.py │ │ ├── tvae_eval_train.py │ │ ├── tvae_eval_train_norm.py │ │ └── tvae_eval_train_std.py │ ├── generate/ │ │ └── generate_sequences.py │ ├── models/ │ │ ├── __init__.py │ │ ├── architectures/ │ │ │ ├── __init__.py │ │ │ ├── autotrans.py │ │ │ ├── fc.py │ │ │ ├── gru.py │ │ │ ├── grutrans.py │ │ │ ├── mlp.py │ │ │ ├── resnet34.py │ │ │ ├── tools/ │ │ │ │ ├── embeddings.py │ │ │ │ ├── resnet.py │ │ │ │ ├── transformer_layers.py │ │ │ │ └── util.py │ │ │ ├── transformer.py │ │ │ ├── transformerdecoder.py │ │ │ ├── transformerdecoder4.py │ │ │ ├── transformerdecoder5.py │ │ │ ├── transformerreemb.py │ │ │ ├── transformerreemb5.py │ │ │ ├── transformerreemb6.py │ │ │ └── transgru.py │ │ ├── get_model.py │ │ ├── modeltype/ │ │ │ ├── __init__.py │ │ │ ├── cae.py │ │ │ ├── cae_0.py │ │ │ ├── cvae.py │ │ │ └── lstm.py │ │ ├── rotation2xyz.py │ │ ├── smpl.py │ │ └── tools/ │ │ ├── __init__.py │ │ ├── graphconv.py │ │ ├── hessian_penalty.py │ │ ├── losses.py │ │ ├── mmd.py │ │ ├── msssim_loss.py │ │ ├── normalize_data.py │ │ ├── ssim_loss.py │ │ └── tools.py │ ├── parser/ │ │ ├── base.py │ │ ├── checkpoint.py │ │ ├── dataset.py │ │ ├── evaluation.py │ │ ├── finetunning.py │ │ ├── generate.py │ │ ├── model.py │ │ ├── recognition.py │ │ ├── tools.py │ │ ├── training.py │ │ └── visualize.py │ ├── preprocess/ │ │ ├── humanact12_process.py │ │ ├── phspdtools.py │ │ └── uestc_vibe_postprocessing.py │ ├── recognition/ │ │ ├── compute_accuracy.py │ │ ├── get_model.py │ │ └── models/ │ │ ├── stgcn.py │ │ └── stgcnutils/ │ │ ├── graph.py │ │ └── tgcn.py │ ├── render/ │ │ ├── renderer.py │ │ └── rendermotion.py │ ├── train/ │ │ ├── __init__.py │ │ ├── train_cvae_ganloss_ann_eye.py │ │ ├── train_cvae_ganloss_ann_fast.py │ │ ├── trainer.py │ │ ├── trainer_gan.py │ │ └── trainer_gan_ann.py │ ├── utils/ │ │ ├── PYTORCH3D_LICENSE │ │ ├── __init__.py │ │ ├── fixseed.py │ │ ├── get_model_and_data.py │ │ ├── misc.py │ │ ├── rotation_conversions.py │ │ ├── tensors.py │ │ ├── tensors_eye.py │ │ ├── tensors_eye_eval.py │ │ ├── tensors_hdtf.py │ │ ├── tensors_onlyeye.py │ │ ├── utils.py │ │ └── video.py │ └── visualize/ │ ├── __init__.py │ ├── anim.py │ ├── visualize.py │ ├── visualize_checkpoint.py │ ├── visualize_dataset.py │ ├── visualize_latent_space.py │ ├── visualize_nturefined.py │ └── visualize_sequence.py ├── README.md ├── README_CN.md ├── config/ │ ├── DAWN_128.yaml │ ├── DAWN_256.yaml │ ├── hdtf128.yaml │ ├── hdtf128_1000ep.yaml │ ├── hdtf128_1000ep_crema.yaml │ ├── hdtf256.yaml │ └── hdtf256_400ep.yaml ├── extract_init_states/ │ ├── FaceBoxes/ │ │ ├── FaceBoxes.py │ │ ├── FaceBoxes_ONNX.py │ │ ├── __init__.py │ │ ├── build_cpu_nms.sh │ │ ├── models/ │ │ │ ├── __init__.py │ │ │ └── faceboxes.py │ │ ├── onnx.py │ │ ├── readme.md │ │ ├── utils/ │ │ │ ├── .gitignore │ │ │ ├── __init__.py │ │ │ ├── box_utils.py │ │ │ ├── build.py │ │ │ ├── config.py │ │ │ ├── functions.py │ │ │ ├── nms/ │ │ │ │ ├── .gitignore │ │ │ │ ├── __init__.py │ │ │ │ ├── cpu_nms.cp38-win_amd64.pyd │ │ │ │ ├── cpu_nms.pyx │ │ │ │ └── py_cpu_nms.py │ │ │ ├── nms_wrapper.py │ │ │ ├── prior_box.py │ │ │ └── timer.py │ │ └── weights/ │ │ ├── .gitignore │ │ ├── FaceBoxesProd.pth │ │ └── readme.md │ ├── TDDFA_ONNX.py │ ├── bfm/ │ │ ├── .gitignore │ │ ├── __init__.py │ │ ├── bfm.py │ │ ├── bfm_onnx.py │ │ └── readme.md │ ├── build.sh │ ├── configs/ │ │ ├── .gitignore │ │ ├── BFM_UV.mat │ │ ├── bfm_noneck_v3.onnx │ │ ├── bfm_noneck_v3.pkl │ │ ├── indices.npy │ │ ├── mb05_120x120.yml │ │ ├── mb1_120x120.yml │ │ ├── ncc_code.npy │ │ ├── param_mean_std_62d_120x120.pkl │ │ ├── readme.md │ │ ├── resnet_120x120.yml │ │ └── tri.pkl │ ├── demo_pose_extract_2d_lmk_img.py │ ├── functions.py │ ├── models/ │ │ ├── __init__.py │ │ ├── mobilenet_v1.py │ │ ├── mobilenet_v3.py │ │ └── resnet.py │ ├── pose.py │ ├── readme.md │ ├── utils/ │ │ ├── __init__.py │ │ ├── asset/ │ │ │ ├── .gitignore │ │ │ ├── build_render_ctypes.sh │ │ │ └── render.c │ │ ├── depth.py │ │ ├── functions.py │ │ ├── io.py │ │ ├── onnx.py │ │ ├── pncc.py │ │ ├── pose.py │ │ ├── render.py │ │ ├── render_ctypes.py │ │ ├── serialization.py │ │ ├── tddfa_util.py │ │ └── uv.py │ └── weights/ │ ├── .gitignore │ ├── mb05_120x120.pth │ ├── mb1_120x120.onnx │ ├── mb1_120x120.pth │ └── readme.md ├── filter_fourier.py ├── hubert_extract/ │ └── data_gen/ │ └── process_lrs3/ │ ├── binarizer.py │ ├── process_audio_hubert.py │ ├── process_audio_hubert_interpolate.py │ ├── process_audio_hubert_interpolate_batch.py │ ├── process_audio_hubert_interpolate_demo.py │ ├── process_audio_hubert_interpolate_single.py │ └── process_audio_mel_f0.py ├── misc.py ├── requirements.txt ├── run_ood_test/ │ ├── run_DM_v0_df_test_128_both_pose_blink.sh │ ├── run_DM_v0_df_test_128_separate_pose_blink.sh │ ├── run_DM_v0_df_test_256.sh │ ├── run_DM_v0_df_test_256_1.sh │ └── run_DM_v0_df_test_256_1_separate_pose_blink.sh ├── sync_batchnorm/ │ ├── __init__.py │ ├── batchnorm.py │ ├── comm.py │ ├── replicate.py │ ├── replicate_ddp.py │ └── unittest.py └── unified_video_generator.py