gitextract_0arsiegg/ ├── .gitignore ├── .gitmodules ├── .pre-commit-config.yaml ├── ACCEPTABLE_USE_POLICY ├── CODE_OF_CONDUCT.md ├── CONTRIBUTING.md ├── LICENSE ├── MIT_LICENSE ├── README.md ├── SEAMLESS_LICENSE ├── Seamless_Tutorial.ipynb ├── demo/ │ ├── .gitignore │ ├── dino_pretssel/ │ │ ├── index.html │ │ ├── jquery-3.5.js │ │ ├── styles.css │ │ └── wavesurfer.js │ ├── expressive/ │ │ ├── app.py │ │ ├── requirements.txt │ │ └── utils.py │ ├── m4tv1/ │ │ ├── app.py │ │ └── requirements.txt │ └── m4tv2/ │ ├── app.py │ ├── lang_list.py │ └── requirements.txt ├── dev_requirements.txt ├── docs/ │ ├── expressive/ │ │ ├── README.md │ │ └── seamless_align_expressive_README.md │ ├── m4t/ │ │ ├── README.md │ │ ├── on_device_README.md │ │ ├── seamless_align_README.md │ │ └── unity2_aligner_README.md │ └── streaming/ │ └── README.md ├── ggml/ │ ├── CMakeLists.txt │ ├── LICENSE │ ├── Makefile │ ├── README.md │ ├── build.zig │ ├── ci/ │ │ └── run.sh │ ├── cmake/ │ │ ├── BuildTypes.cmake │ │ └── GitVars.cmake │ ├── ctypes_utils.py │ ├── examples/ │ │ ├── CMakeLists.txt │ │ ├── common-ggml.cpp │ │ ├── common-ggml.h │ │ ├── common.cpp │ │ ├── common.h │ │ ├── dr_wav.h │ │ ├── kaldi-native-fbank/ │ │ │ ├── CMakeLists.txt │ │ │ └── csrc/ │ │ │ ├── CMakeLists.txt │ │ │ ├── feature-fbank.cc │ │ │ ├── feature-fbank.h │ │ │ ├── feature-functions.cc │ │ │ ├── feature-functions.h │ │ │ ├── feature-window.cc │ │ │ ├── feature-window.h │ │ │ ├── fftsg.c │ │ │ ├── log.cc │ │ │ ├── log.h │ │ │ ├── mel-computations.cc │ │ │ ├── mel-computations.h │ │ │ ├── online-feature.cc │ │ │ ├── online-feature.h │ │ │ ├── rfft.cc │ │ │ └── rfft.h │ │ ├── python/ │ │ │ ├── README.md │ │ │ ├── api.h │ │ │ ├── example_add_quant.py │ │ │ ├── example_test_all_quants.py │ │ │ ├── ggml/ │ │ │ │ ├── __init__.py │ │ │ │ ├── __init__.pyi │ │ │ │ ├── cffi.py │ │ │ │ ├── ffi/ │ │ │ │ │ └── __init__.pyi │ │ │ │ └── utils.py │ │ │ ├── regenerate.py │ │ │ ├── stubs.py │ │ │ └── test_tensor.py │ │ └── unity/ │ │ ├── CMakeLists.txt │ │ ├── fairseq2.cpp │ │ ├── fairseq2.h │ │ ├── lib/ │ │ │ ├── unity_lib.cpp │ │ │ └── unity_lib.h │ │ ├── model_loader.cpp │ │ ├── model_loader.h │ │ └── unity.cpp │ ├── ggml.pc.in │ ├── ggml.py │ ├── ggml_convert.py │ ├── include/ │ │ └── ggml/ │ │ ├── ggml-alloc.h │ │ ├── ggml-backend.h │ │ └── ggml.h │ ├── mt.py │ ├── requirements.txt │ ├── scripts/ │ │ ├── sync-llama.sh │ │ └── sync-whisper.sh │ ├── src/ │ │ ├── CMakeLists.txt │ │ ├── ggml-alloc.c │ │ ├── ggml-backend-impl.h │ │ ├── ggml-backend.c │ │ ├── ggml-cuda.cu │ │ ├── ggml-cuda.h │ │ ├── ggml-impl.h │ │ ├── ggml-metal.h │ │ ├── ggml-metal.m │ │ ├── ggml-metal.metal │ │ ├── ggml-opencl.cpp │ │ ├── ggml-opencl.h │ │ ├── ggml-quants.c │ │ ├── ggml-quants.h │ │ └── ggml.c │ ├── test_ggml_integration.py │ ├── test_unity_cpp.py │ ├── tests/ │ │ ├── CMakeLists.txt │ │ ├── test-blas0.c │ │ ├── test-conv-transpose.c │ │ ├── test-customop.c │ │ ├── test-grad0.cpp │ │ ├── test-mul-mat0.c │ │ ├── test-mul-mat1.c │ │ ├── test-mul-mat2.c │ │ ├── test-opt.cpp │ │ ├── test-pool.c │ │ ├── test-quantize-fns.cpp │ │ ├── test-quantize-perf.cpp │ │ ├── test-rel-pos.c │ │ ├── test-svd0.c │ │ ├── test-vec0.c │ │ ├── test-vec1.c │ │ ├── test-vec2.c │ │ ├── test-xpos.c │ │ ├── test0.c │ │ ├── test0.zig │ │ ├── test1.c │ │ ├── test1.zig │ │ ├── test2.c │ │ ├── test2.zig │ │ ├── test3.c │ │ └── test3.zig │ └── third_party_ggml.py ├── pyproject.toml ├── setup.py ├── src/ │ └── seamless_communication/ │ ├── __init__.py │ ├── cards/ │ │ ├── conformer_shaw.yaml │ │ ├── expresso.yaml │ │ ├── mexpresso_text.yaml │ │ ├── mintox.yaml │ │ ├── mutox.yaml │ │ ├── nano.yaml │ │ ├── nar_t2u_aligner.yaml │ │ ├── seamlessM4T_large.yaml │ │ ├── seamlessM4T_medium.yaml │ │ ├── seamlessM4T_v2_large.yaml │ │ ├── seamless_expressivity.yaml │ │ ├── seamless_streaming_monotonic_decoder.yaml │ │ ├── seamless_streaming_unity.yaml │ │ ├── unity_nllb-100.yaml │ │ ├── unity_nllb-200.yaml │ │ ├── vocoder_36langs.yaml │ │ ├── vocoder_pretssel.yaml │ │ ├── vocoder_pretssel_16khz.yaml │ │ ├── vocoder_v2.yaml │ │ └── xlsr2_1b_v2.yaml │ ├── cli/ │ │ ├── __init__.py │ │ ├── eval_utils/ │ │ │ ├── __init__.py │ │ │ ├── compute_metrics.py │ │ │ └── lang_mapping.py │ │ ├── expressivity/ │ │ │ ├── __init__.py │ │ │ ├── data/ │ │ │ │ ├── __init__.py │ │ │ │ └── prepare_mexpresso.py │ │ │ ├── evaluate/ │ │ │ │ ├── __init__.py │ │ │ │ ├── evaluate.py │ │ │ │ ├── post_process_pauserate.py │ │ │ │ └── run_asr_bleu.py │ │ │ └── predict/ │ │ │ ├── __init__.py │ │ │ ├── predict.py │ │ │ └── pretssel_generator.py │ │ ├── m4t/ │ │ │ ├── __init__.py │ │ │ ├── audio_to_units/ │ │ │ │ ├── README.md │ │ │ │ ├── __init__.py │ │ │ │ └── audio_to_units.py │ │ │ ├── evaluate/ │ │ │ │ ├── README.md │ │ │ │ ├── __init__.py │ │ │ │ └── evaluate.py │ │ │ ├── finetune/ │ │ │ │ ├── README.md │ │ │ │ ├── __init__.py │ │ │ │ ├── dataloader.py │ │ │ │ ├── dataset.py │ │ │ │ ├── dist_utils.py │ │ │ │ ├── finetune.py │ │ │ │ └── trainer.py │ │ │ └── predict/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ └── predict.py │ │ ├── streaming/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── evaluate.py │ │ │ └── scorers/ │ │ │ ├── __init__.py │ │ │ └── seamless_quality_scorer.py │ │ └── toxicity/ │ │ ├── etox/ │ │ │ ├── README.md │ │ │ ├── asr_etox.py │ │ │ └── etox.py │ │ ├── mutox/ │ │ │ ├── README.md │ │ │ ├── mutox_example.ipynb │ │ │ ├── mutox_speech.py │ │ │ └── mutox_text.py │ │ └── mutox_group_annotations/ │ │ └── README.md │ ├── datasets/ │ │ ├── __init__.py │ │ ├── datatypes.py │ │ └── huggingface.py │ ├── denoise/ │ │ ├── __init__.py │ │ └── demucs.py │ ├── inference/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── generator.py │ │ ├── transcriber.py │ │ └── translator.py │ ├── models/ │ │ ├── __init__.py │ │ ├── aligner/ │ │ │ ├── __init__.py │ │ │ ├── alignment_extractor.py │ │ │ ├── builder.py │ │ │ ├── loader.py │ │ │ └── model.py │ │ ├── conformer_shaw/ │ │ │ ├── __init__.py │ │ │ ├── builder.py │ │ │ └── loader.py │ │ ├── generator/ │ │ │ ├── __init__.py │ │ │ ├── builder.py │ │ │ ├── ecapa_tdnn.py │ │ │ ├── ecapa_tdnn_builder.py │ │ │ ├── loader.py │ │ │ ├── streamable.py │ │ │ └── vocoder.py │ │ ├── monotonic_decoder/ │ │ │ ├── __init__.py │ │ │ ├── builder.py │ │ │ ├── loader.py │ │ │ ├── model.py │ │ │ ├── monotonic_decoder.py │ │ │ ├── monotonic_decoder_layer.py │ │ │ └── p_choose.py │ │ ├── pretssel/ │ │ │ ├── __init__.py │ │ │ ├── ecapa_tdnn.py │ │ │ └── ecapa_tdnn_builder.py │ │ ├── tokenizer.py │ │ ├── unit_extractor/ │ │ │ ├── __init__.py │ │ │ ├── kmeans.py │ │ │ ├── unit_extractor.py │ │ │ └── wav2vec2_layer_output.py │ │ ├── unity/ │ │ │ ├── __init__.py │ │ │ ├── adaptor_block.py │ │ │ ├── builder.py │ │ │ ├── char_tokenizer.py │ │ │ ├── fft_decoder.py │ │ │ ├── fft_decoder_layer.py │ │ │ ├── film.py │ │ │ ├── length_regulator.py │ │ │ ├── loader.py │ │ │ ├── model.py │ │ │ ├── nar_decoder_frontend.py │ │ │ ├── t2u_builder.py │ │ │ └── unit_tokenizer.py │ │ └── vocoder/ │ │ ├── __init__.py │ │ ├── builder.py │ │ ├── codehifigan.py │ │ ├── hifigan.py │ │ ├── loader.py │ │ └── vocoder.py │ ├── py.typed │ ├── segment/ │ │ ├── __init__.py │ │ └── silero_vad.py │ ├── store.py │ ├── streaming/ │ │ ├── __init__.py │ │ ├── agents/ │ │ │ ├── __init__.py │ │ │ ├── common.py │ │ │ ├── detokenizer.py │ │ │ ├── dual_vocoder_agent.py │ │ │ ├── offline_w2v_bert_encoder.py │ │ │ ├── online_feature_extractor.py │ │ │ ├── online_text_decoder.py │ │ │ ├── online_unit_decoder.py │ │ │ ├── online_vocoder.py │ │ │ ├── pretssel_vocoder.py │ │ │ ├── seamless_s2st.py │ │ │ ├── seamless_streaming_s2st.py │ │ │ ├── seamless_streaming_s2t.py │ │ │ ├── silero_vad.py │ │ │ └── unity_pipeline.py │ │ └── dataloaders/ │ │ ├── __init__.py │ │ └── s2tt.py │ └── toxicity/ │ ├── __init__.py │ ├── etox_bad_word_checker.py │ ├── mintox.py │ └── mutox/ │ ├── builder.py │ ├── classifier.py │ ├── loader.py │ └── speech_pipeline.py └── tests/ ├── __init__.py ├── common.py ├── conftest.py ├── integration/ │ ├── __init__.py │ ├── inference/ │ │ ├── __init__.py │ │ ├── test_mintox.py │ │ └── test_translator.py │ └── models/ │ ├── __init__.py │ ├── test_conformer_shaw.py │ └── test_unity2_aligner.py └── unit/ ├── __init__.py ├── denoise/ │ ├── __init__.py │ └── test_demucs.py ├── models/ │ ├── __init__.py │ └── unity/ │ ├── __init__.py │ └── test_unity.py └── segment/ ├── __init__.py └── test_silero_vad.py