gitextract_u_nl6j7f/ ├── .dockerignore ├── .gitattributes ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug_report.yaml │ │ └── feature_request.yaml │ └── workflows/ │ ├── assign.yaml │ ├── docker-cd.yaml │ ├── issue.yaml │ ├── pr_auto_run_gen_docs.yaml │ ├── python.yaml │ └── release.yaml ├── .gitignore ├── .pre-commit-config.yaml ├── .readthedocs.yaml ├── LICENSE ├── MANIFEST.in ├── README.md ├── README_ja_JP.md ├── README_zh_CN.md ├── benchmark/ │ ├── README.md │ ├── benchmark_embedding.py │ ├── benchmark_latency.py │ ├── benchmark_long.py │ ├── benchmark_rerank.py │ ├── benchmark_runner.py │ ├── benchmark_serving.py │ └── utils.py ├── doc/ │ ├── Makefile │ ├── source/ │ │ ├── _static/ │ │ │ └── switcher.json │ │ ├── conf.py │ │ ├── development/ │ │ │ ├── contributing_codebase.rst │ │ │ ├── contributing_environment.rst │ │ │ ├── index.rst │ │ │ └── xinference_internals.rst │ │ ├── examples/ │ │ │ ├── ai_podcast.rst │ │ │ ├── chatbot.rst │ │ │ ├── gradio_chatinterface.rst │ │ │ ├── index.rst │ │ │ ├── langchain_streamlit_doc_chat.rst │ │ │ └── pdf_chatbot.rst │ │ ├── gen_docs.py │ │ ├── getting_started/ │ │ │ ├── environments.rst │ │ │ ├── index.rst │ │ │ ├── installation.rst │ │ │ ├── installation_npu.rst │ │ │ ├── logging.rst │ │ │ ├── release_notes.rst │ │ │ ├── troubleshooting.rst │ │ │ ├── using_docker_image.rst │ │ │ ├── using_kubernetes.rst │ │ │ └── using_xinference.rst │ │ ├── index.rst │ │ ├── locale/ │ │ │ └── zh_CN/ │ │ │ └── LC_MESSAGES/ │ │ │ ├── development/ │ │ │ │ ├── contributing_codebase.po │ │ │ │ ├── contributing_environment.po │ │ │ │ ├── index.po │ │ │ │ └── xinference_internals.po │ │ │ ├── examples/ │ │ │ │ ├── ai_podcast.po │ │ │ │ ├── chatbot.po │ │ │ │ ├── gradio_chatinterface.po │ │ │ │ ├── index.po │ │ │ │ ├── langchain_streamlit_doc_chat.po │ │ │ │ └── pdf_chatbot.po │ │ │ ├── getting_started/ │ │ │ │ ├── environments.po │ │ │ │ ├── index.po │ │ │ │ ├── installation.po │ │ │ │ ├── installation_npu.po │ │ │ │ ├── logging.po │ │ │ │ ├── release_notes.po │ │ │ │ ├── troubleshooting.po │ │ │ │ ├── using_docker_image.po │ │ │ │ ├── using_kubernetes.po │ │ │ │ └── using_xinference.po │ │ │ ├── getting_started.po │ │ │ ├── index.po │ │ │ ├── models/ │ │ │ │ ├── builtin/ │ │ │ │ │ ├── audio/ │ │ │ │ │ │ └── index.po │ │ │ │ │ ├── embedding/ │ │ │ │ │ │ ├── bge-base-en-v1.5.po │ │ │ │ │ │ ├── bge-base-en.po │ │ │ │ │ │ ├── bge-base-zh-v1.5.po │ │ │ │ │ │ ├── bge-base-zh.po │ │ │ │ │ │ ├── bge-large-en-v1.5.po │ │ │ │ │ │ ├── bge-large-en.po │ │ │ │ │ │ ├── bge-large-zh-noinstruct.po │ │ │ │ │ │ ├── bge-large-zh-v1.5.po │ │ │ │ │ │ ├── bge-large-zh.po │ │ │ │ │ │ ├── bge-small-en-v1.5.po │ │ │ │ │ │ ├── bge-small-zh-v1.5.po │ │ │ │ │ │ ├── bge-small-zh.po │ │ │ │ │ │ ├── e5-large-v2.po │ │ │ │ │ │ ├── gte-base.po │ │ │ │ │ │ ├── gte-large.po │ │ │ │ │ │ ├── index.po │ │ │ │ │ │ ├── jina-embeddings-v2-base-en.po │ │ │ │ │ │ ├── jina-embeddings-v2-small-en.po │ │ │ │ │ │ └── multilingual-e5-large.po │ │ │ │ │ ├── image/ │ │ │ │ │ │ ├── flux.1-dev.po │ │ │ │ │ │ ├── flux.1-schnell.po │ │ │ │ │ │ ├── index.po │ │ │ │ │ │ ├── kolors.po │ │ │ │ │ │ ├── sd-turbo.po │ │ │ │ │ │ ├── sd3-medium.po │ │ │ │ │ │ ├── sdxl-turbo.po │ │ │ │ │ │ ├── stable-diffusion-2-inpainting.po │ │ │ │ │ │ ├── stable-diffusion-inpainting.po │ │ │ │ │ │ ├── stable-diffusion-v1.5.po │ │ │ │ │ │ ├── stable-diffusion-xl-base-1.0.po │ │ │ │ │ │ └── stable-diffusion-xl-inpainting.po │ │ │ │ │ ├── index.po │ │ │ │ │ ├── llm/ │ │ │ │ │ │ ├── baichuan-2-chat.po │ │ │ │ │ │ ├── baichuan-2.po │ │ │ │ │ │ ├── baichuan-chat.po │ │ │ │ │ │ ├── baichuan.po │ │ │ │ │ │ ├── chatglm.po │ │ │ │ │ │ ├── chatglm2-32k.po │ │ │ │ │ │ ├── chatglm2.po │ │ │ │ │ │ ├── chatglm3-32k.po │ │ │ │ │ │ ├── chatglm3.po │ │ │ │ │ │ ├── code-llama-instruct.po │ │ │ │ │ │ ├── code-llama-python.po │ │ │ │ │ │ ├── code-llama.po │ │ │ │ │ │ ├── deepseek-chat.po │ │ │ │ │ │ ├── deepseek-coder-instruct.po │ │ │ │ │ │ ├── falcon-instruct.po │ │ │ │ │ │ ├── falcon.po │ │ │ │ │ │ ├── glaive-coder.po │ │ │ │ │ │ ├── gorilla-openfunctions-v1.po │ │ │ │ │ │ ├── gpt-2.po │ │ │ │ │ │ ├── index.po │ │ │ │ │ │ ├── internlm-20b.po │ │ │ │ │ │ ├── internlm-7b.po │ │ │ │ │ │ ├── internlm-chat-20b.po │ │ │ │ │ │ ├── internlm-chat-7b.po │ │ │ │ │ │ ├── llama-2-chat.po │ │ │ │ │ │ ├── llama-2.po │ │ │ │ │ │ ├── mistral-instruct-v0.1.po │ │ │ │ │ │ ├── mistral-instruct-v0.2.po │ │ │ │ │ │ ├── mistral-v0.1.po │ │ │ │ │ │ ├── mixtral-instruct-v0.1.po │ │ │ │ │ │ ├── mixtral-v0.1.po │ │ │ │ │ │ ├── openbuddy.po │ │ │ │ │ │ ├── openhermes-2.5.po │ │ │ │ │ │ ├── opt.po │ │ │ │ │ │ ├── orca.po │ │ │ │ │ │ ├── qwen-chat.po │ │ │ │ │ │ ├── starchat-beta.po │ │ │ │ │ │ ├── starcoder.po │ │ │ │ │ │ ├── starcoderplus.po │ │ │ │ │ │ ├── tiny-llama.po │ │ │ │ │ │ ├── vicuna-v1.3.po │ │ │ │ │ │ ├── vicuna-v1.5-16k.po │ │ │ │ │ │ ├── vicuna-v1.5.po │ │ │ │ │ │ ├── wizardcoder-python-v1.0.po │ │ │ │ │ │ ├── wizardlm-v1.0.po │ │ │ │ │ │ ├── wizardmath-v1.0.po │ │ │ │ │ │ ├── xverse-chat.po │ │ │ │ │ │ ├── xverse.po │ │ │ │ │ │ ├── yi-200k.po │ │ │ │ │ │ ├── yi-chat.po │ │ │ │ │ │ ├── yi.po │ │ │ │ │ │ ├── zephyr-7b-alpha.po │ │ │ │ │ │ └── zephyr-7b-beta.po │ │ │ │ │ ├── rerank/ │ │ │ │ │ │ ├── bge-reranker-base.po │ │ │ │ │ │ ├── bge-reranker-large.po │ │ │ │ │ │ └── index.po │ │ │ │ │ └── video/ │ │ │ │ │ ├── cogvideox-2b.po │ │ │ │ │ └── index.po │ │ │ │ ├── custom.po │ │ │ │ ├── index.po │ │ │ │ ├── lora.po │ │ │ │ ├── model_abilities/ │ │ │ │ │ ├── audio.po │ │ │ │ │ ├── chat.po │ │ │ │ │ ├── embed.po │ │ │ │ │ ├── flexible.po │ │ │ │ │ ├── image.po │ │ │ │ │ ├── index.po │ │ │ │ │ ├── multimodal.po │ │ │ │ │ ├── rerank.po │ │ │ │ │ ├── tools.po │ │ │ │ │ └── video.po │ │ │ │ ├── model_memory.po │ │ │ │ ├── model_update.po │ │ │ │ ├── source/ │ │ │ │ │ └── source.po │ │ │ │ ├── sources/ │ │ │ │ │ └── sources.po │ │ │ │ ├── virtualenv.po │ │ │ │ ├── xinference_model_hub.po │ │ │ │ └── xinference_models_hub.po │ │ │ ├── reference/ │ │ │ │ └── index.po │ │ │ ├── reference.po │ │ │ └── user_guide/ │ │ │ ├── auth_system.po │ │ │ ├── backends.po │ │ │ ├── cache_management.po │ │ │ ├── client_api.po │ │ │ ├── continuous_batching.po │ │ │ ├── distributed_inference.po │ │ │ ├── index.po │ │ │ ├── launch.po │ │ │ └── vllm_enhancement.po │ │ ├── models/ │ │ │ ├── builtin/ │ │ │ │ ├── audio/ │ │ │ │ │ ├── belle-distilwhisper-large-v2-zh.rst │ │ │ │ │ ├── belle-whisper-large-v2-zh.rst │ │ │ │ │ ├── belle-whisper-large-v3-zh.rst │ │ │ │ │ ├── chattts.rst │ │ │ │ │ ├── cosyvoice-300m-instruct.rst │ │ │ │ │ ├── cosyvoice-300m-sft.rst │ │ │ │ │ ├── cosyvoice-300m.rst │ │ │ │ │ ├── cosyvoice2-0.5b.rst │ │ │ │ │ ├── f5-tts-mlx.rst │ │ │ │ │ ├── f5-tts.rst │ │ │ │ │ ├── fishspeech-1.5.rst │ │ │ │ │ ├── fun-asr-mlt-nano-2512.rst │ │ │ │ │ ├── fun-asr-nano-2512.rst │ │ │ │ │ ├── index.rst │ │ │ │ │ ├── indextts2.rst │ │ │ │ │ ├── kokoro-82m-mlx.rst │ │ │ │ │ ├── kokoro-82m-v1.1-zh.rst │ │ │ │ │ ├── kokoro-82m.rst │ │ │ │ │ ├── megatts3.rst │ │ │ │ │ ├── melotts-chinese.rst │ │ │ │ │ ├── melotts-english-v2.rst │ │ │ │ │ ├── melotts-english-v3.rst │ │ │ │ │ ├── melotts-english.rst │ │ │ │ │ ├── melotts-french.rst │ │ │ │ │ ├── melotts-japanese.rst │ │ │ │ │ ├── melotts-korean.rst │ │ │ │ │ ├── melotts-spanish.rst │ │ │ │ │ ├── paraformer-zh-hotword.rst │ │ │ │ │ ├── paraformer-zh-long.rst │ │ │ │ │ ├── paraformer-zh-spk.rst │ │ │ │ │ ├── paraformer-zh.rst │ │ │ │ │ ├── qwen3-asr-0.6b.rst │ │ │ │ │ ├── qwen3-asr-1.7b.rst │ │ │ │ │ ├── seaco-paraformer-zh.rst │ │ │ │ │ ├── sensevoicesmall.rst │ │ │ │ │ ├── whisper-base-mlx.rst │ │ │ │ │ ├── whisper-base.en-mlx.rst │ │ │ │ │ ├── whisper-base.en.rst │ │ │ │ │ ├── whisper-base.rst │ │ │ │ │ ├── whisper-large-v3-mlx.rst │ │ │ │ │ ├── whisper-large-v3-turbo-mlx.rst │ │ │ │ │ ├── whisper-large-v3-turbo.rst │ │ │ │ │ ├── whisper-large-v3.rst │ │ │ │ │ ├── whisper-medium-mlx.rst │ │ │ │ │ ├── whisper-medium.en-mlx.rst │ │ │ │ │ ├── whisper-medium.en.rst │ │ │ │ │ ├── whisper-medium.rst │ │ │ │ │ ├── whisper-small-mlx.rst │ │ │ │ │ ├── whisper-small.en-mlx.rst │ │ │ │ │ ├── whisper-small.en.rst │ │ │ │ │ ├── whisper-small.rst │ │ │ │ │ ├── whisper-tiny-mlx.rst │ │ │ │ │ ├── whisper-tiny.en-mlx.rst │ │ │ │ │ ├── whisper-tiny.en.rst │ │ │ │ │ └── whisper-tiny.rst │ │ │ │ ├── embedding/ │ │ │ │ │ ├── bce-embedding-base_v1.rst │ │ │ │ │ ├── bge-base-en-v1.5.rst │ │ │ │ │ ├── bge-base-en.rst │ │ │ │ │ ├── bge-base-zh-v1.5.rst │ │ │ │ │ ├── bge-base-zh.rst │ │ │ │ │ ├── bge-large-en-v1.5.rst │ │ │ │ │ ├── bge-large-en.rst │ │ │ │ │ ├── bge-large-zh-noinstruct.rst │ │ │ │ │ ├── bge-large-zh-v1.5.rst │ │ │ │ │ ├── bge-large-zh.rst │ │ │ │ │ ├── bge-m3.rst │ │ │ │ │ ├── bge-small-en-v1.5.rst │ │ │ │ │ ├── bge-small-zh-v1.5.rst │ │ │ │ │ ├── bge-small-zh.rst │ │ │ │ │ ├── e5-large-v2.rst │ │ │ │ │ ├── gme-qwen2-vl-2b-instruct.rst │ │ │ │ │ ├── gme-qwen2-vl-7b-instruct.rst │ │ │ │ │ ├── gte-base.rst │ │ │ │ │ ├── gte-large.rst │ │ │ │ │ ├── gte-qwen2.rst │ │ │ │ │ ├── index.rst │ │ │ │ │ ├── jina-clip-v2.rst │ │ │ │ │ ├── jina-embeddings-v2-base-en.rst │ │ │ │ │ ├── jina-embeddings-v2-base-zh.rst │ │ │ │ │ ├── jina-embeddings-v2-small-en.rst │ │ │ │ │ ├── jina-embeddings-v3.rst │ │ │ │ │ ├── jina-embeddings-v4.rst │ │ │ │ │ ├── m3e-base.rst │ │ │ │ │ ├── m3e-large.rst │ │ │ │ │ ├── m3e-small.rst │ │ │ │ │ ├── multilingual-e5-large.rst │ │ │ │ │ ├── qwen3-embedding-0.6b.rst │ │ │ │ │ ├── qwen3-embedding-4b.rst │ │ │ │ │ ├── qwen3-embedding-8b.rst │ │ │ │ │ ├── qwen3-vl-embedding-2b.rst │ │ │ │ │ ├── qwen3-vl-embedding-8b.rst │ │ │ │ │ ├── text2vec-base-chinese-paraphrase.rst │ │ │ │ │ ├── text2vec-base-chinese-sentence.rst │ │ │ │ │ ├── text2vec-base-chinese.rst │ │ │ │ │ ├── text2vec-base-multilingual.rst │ │ │ │ │ └── text2vec-large-chinese.rst │ │ │ │ ├── image/ │ │ │ │ │ ├── cogview4.rst │ │ │ │ │ ├── deepseek-ocr.rst │ │ │ │ │ ├── flux.1-dev.rst │ │ │ │ │ ├── flux.1-kontext-dev.rst │ │ │ │ │ ├── flux.1-schnell.rst │ │ │ │ │ ├── flux.2-dev.rst │ │ │ │ │ ├── flux.2-klein-4b.rst │ │ │ │ │ ├── flux.2-klein-9b.rst │ │ │ │ │ ├── got-ocr2_0.rst │ │ │ │ │ ├── hunyuandit-v1.2-distilled.rst │ │ │ │ │ ├── hunyuandit-v1.2.rst │ │ │ │ │ ├── hunyuanocr.rst │ │ │ │ │ ├── index.rst │ │ │ │ │ ├── kolors.rst │ │ │ │ │ ├── mineru2.5-2509-1.2b.rst │ │ │ │ │ ├── paddleocr-vl.rst │ │ │ │ │ ├── qwen-image-2512.rst │ │ │ │ │ ├── qwen-image-edit-2509.rst │ │ │ │ │ ├── qwen-image-edit-2511.rst │ │ │ │ │ ├── qwen-image-edit.rst │ │ │ │ │ ├── qwen-image-layered.rst │ │ │ │ │ ├── qwen-image.rst │ │ │ │ │ ├── sd-turbo.rst │ │ │ │ │ ├── sd3-medium.rst │ │ │ │ │ ├── sd3.5-large-turbo.rst │ │ │ │ │ ├── sd3.5-large.rst │ │ │ │ │ ├── sd3.5-medium.rst │ │ │ │ │ ├── sdxl-turbo.rst │ │ │ │ │ ├── stable-diffusion-2-inpainting.rst │ │ │ │ │ ├── stable-diffusion-inpainting.rst │ │ │ │ │ ├── stable-diffusion-v1.5.rst │ │ │ │ │ ├── stable-diffusion-xl-base-1.0.rst │ │ │ │ │ ├── stable-diffusion-xl-inpainting.rst │ │ │ │ │ ├── z-image-turbo.rst │ │ │ │ │ └── z-image.rst │ │ │ │ ├── index.rst │ │ │ │ ├── llm/ │ │ │ │ │ ├── baichuan-2-chat.rst │ │ │ │ │ ├── baichuan-2.rst │ │ │ │ │ ├── baichuan-m2.rst │ │ │ │ │ ├── code-llama-instruct.rst │ │ │ │ │ ├── code-llama-python.rst │ │ │ │ │ ├── code-llama.rst │ │ │ │ │ ├── codegeex4.rst │ │ │ │ │ ├── codeqwen1.5-chat.rst │ │ │ │ │ ├── codeqwen1.5.rst │ │ │ │ │ ├── codeshell-chat.rst │ │ │ │ │ ├── codeshell.rst │ │ │ │ │ ├── codestral-v0.1.rst │ │ │ │ │ ├── cogagent.rst │ │ │ │ │ ├── deepseek-chat.rst │ │ │ │ │ ├── deepseek-coder-instruct.rst │ │ │ │ │ ├── deepseek-coder.rst │ │ │ │ │ ├── deepseek-prover-v2.rst │ │ │ │ │ ├── deepseek-r1-0528-qwen3.rst │ │ │ │ │ ├── deepseek-r1-0528.rst │ │ │ │ │ ├── deepseek-r1-distill-llama.rst │ │ │ │ │ ├── deepseek-r1-distill-qwen.rst │ │ │ │ │ ├── deepseek-r1.rst │ │ │ │ │ ├── deepseek-v2-chat-0628.rst │ │ │ │ │ ├── deepseek-v2-chat.rst │ │ │ │ │ ├── deepseek-v2.5.rst │ │ │ │ │ ├── deepseek-v3-0324.rst │ │ │ │ │ ├── deepseek-v3.1.rst │ │ │ │ │ ├── deepseek-v3.2-exp.rst │ │ │ │ │ ├── deepseek-v3.2.rst │ │ │ │ │ ├── deepseek-v3.rst │ │ │ │ │ ├── deepseek-vl2.rst │ │ │ │ │ ├── deepseek.rst │ │ │ │ │ ├── dianjin-r1.rst │ │ │ │ │ ├── ernie4.5.rst │ │ │ │ │ ├── fin-r1.rst │ │ │ │ │ ├── gemma-3-1b-it.rst │ │ │ │ │ ├── gemma-3-it.rst │ │ │ │ │ ├── glm-4.1v-thinking.rst │ │ │ │ │ ├── glm-4.5.rst │ │ │ │ │ ├── glm-4.5v.rst │ │ │ │ │ ├── glm-4.6.rst │ │ │ │ │ ├── glm-4.7-flash.rst │ │ │ │ │ ├── glm-4.7.rst │ │ │ │ │ ├── glm-4v.rst │ │ │ │ │ ├── glm-5.rst │ │ │ │ │ ├── glm-edge-chat.rst │ │ │ │ │ ├── glm4-0414.rst │ │ │ │ │ ├── glm4-chat-1m.rst │ │ │ │ │ ├── glm4-chat.rst │ │ │ │ │ ├── gorilla-openfunctions-v2.rst │ │ │ │ │ ├── gpt-2.rst │ │ │ │ │ ├── gpt-oss.rst │ │ │ │ │ ├── huatuogpt-o1-llama-3.1.rst │ │ │ │ │ ├── huatuogpt-o1-qwen2.5.rst │ │ │ │ │ ├── index.rst │ │ │ │ │ ├── internlm3-instruct.rst │ │ │ │ │ ├── internvl3.rst │ │ │ │ │ ├── kat-v1.rst │ │ │ │ │ ├── kimi-k2.5.rst │ │ │ │ │ ├── llama-2-chat.rst │ │ │ │ │ ├── llama-2.rst │ │ │ │ │ ├── llama-3-instruct.rst │ │ │ │ │ ├── llama-3.1-instruct.rst │ │ │ │ │ ├── llama-3.1.rst │ │ │ │ │ ├── llama-3.2-vision-instruct.rst │ │ │ │ │ ├── llama-3.2-vision.rst │ │ │ │ │ ├── llama-3.3-instruct.rst │ │ │ │ │ ├── llama-3.rst │ │ │ │ │ ├── marco-o1.rst │ │ │ │ │ ├── mineru2.5-2509-1.2b.rst │ │ │ │ │ ├── minicpm-2b-dpo-bf16.rst │ │ │ │ │ ├── minicpm-2b-dpo-fp16.rst │ │ │ │ │ ├── minicpm-2b-dpo-fp32.rst │ │ │ │ │ ├── minicpm-2b-sft-bf16.rst │ │ │ │ │ ├── minicpm-2b-sft-fp32.rst │ │ │ │ │ ├── minicpm-v-2.6.rst │ │ │ │ │ ├── minicpm-v-4.5.rst │ │ │ │ │ ├── minicpm3-4b.rst │ │ │ │ │ ├── minicpm4.rst │ │ │ │ │ ├── minimax-m2.5.rst │ │ │ │ │ ├── minimax-m2.rst │ │ │ │ │ ├── mistral-instruct-v0.1.rst │ │ │ │ │ ├── mistral-instruct-v0.2.rst │ │ │ │ │ ├── mistral-instruct-v0.3.rst │ │ │ │ │ ├── mistral-large-instruct.rst │ │ │ │ │ ├── mistral-nemo-instruct.rst │ │ │ │ │ ├── mistral-v0.1.rst │ │ │ │ │ ├── mixtral-8x22b-instruct-v0.1.rst │ │ │ │ │ ├── mixtral-instruct-v0.1.rst │ │ │ │ │ ├── mixtral-v0.1.rst │ │ │ │ │ ├── moonlight-16b-a3b-instruct.rst │ │ │ │ │ ├── openhermes-2.5.rst │ │ │ │ │ ├── opt.rst │ │ │ │ │ ├── orion-chat.rst │ │ │ │ │ ├── ovis2.rst │ │ │ │ │ ├── phi-2.rst │ │ │ │ │ ├── phi-3-mini-128k-instruct.rst │ │ │ │ │ ├── phi-3-mini-4k-instruct.rst │ │ │ │ │ ├── qvq-72b-preview.rst │ │ │ │ │ ├── qwen-chat.rst │ │ │ │ │ ├── qwen1.5-chat.rst │ │ │ │ │ ├── qwen1.5-moe-chat.rst │ │ │ │ │ ├── qwen2-audio-instruct.rst │ │ │ │ │ ├── qwen2-instruct.rst │ │ │ │ │ ├── qwen2-moe-instruct.rst │ │ │ │ │ ├── qwen2-vl-instruct.rst │ │ │ │ │ ├── qwen2.5-coder-instruct.rst │ │ │ │ │ ├── qwen2.5-coder.rst │ │ │ │ │ ├── qwen2.5-instruct-1m.rst │ │ │ │ │ ├── qwen2.5-instruct.rst │ │ │ │ │ ├── qwen2.5-omni.rst │ │ │ │ │ ├── qwen2.5-vl-instruct.rst │ │ │ │ │ ├── qwen2.5.rst │ │ │ │ │ ├── qwen3-coder.rst │ │ │ │ │ ├── qwen3-instruct.rst │ │ │ │ │ ├── qwen3-next-instruct.rst │ │ │ │ │ ├── qwen3-next-thinking.rst │ │ │ │ │ ├── qwen3-omni-instruct.rst │ │ │ │ │ ├── qwen3-omni-thinking.rst │ │ │ │ │ ├── qwen3-thinking.rst │ │ │ │ │ ├── qwen3-vl-instruct.rst │ │ │ │ │ ├── qwen3-vl-thinking.rst │ │ │ │ │ ├── qwen3.5.rst │ │ │ │ │ ├── qwen3.rst │ │ │ │ │ ├── qwenlong-l1.rst │ │ │ │ │ ├── qwq-32b-preview.rst │ │ │ │ │ ├── qwq-32b.rst │ │ │ │ │ ├── seallm_v2.5.rst │ │ │ │ │ ├── seallm_v2.rst │ │ │ │ │ ├── seallms-v3.rst │ │ │ │ │ ├── seed-oss.rst │ │ │ │ │ ├── skywork-math.rst │ │ │ │ │ ├── skywork-or1-preview.rst │ │ │ │ │ ├── skywork-or1.rst │ │ │ │ │ ├── skywork.rst │ │ │ │ │ ├── telechat.rst │ │ │ │ │ ├── tiny-llama.rst │ │ │ │ │ ├── wizardcoder-python-v1.0.rst │ │ │ │ │ ├── wizardmath-v1.0.rst │ │ │ │ │ ├── xiyansql-qwencoder-2504.rst │ │ │ │ │ ├── xverse-chat.rst │ │ │ │ │ ├── xverse.rst │ │ │ │ │ ├── yi-1.5-chat-16k.rst │ │ │ │ │ ├── yi-1.5-chat.rst │ │ │ │ │ ├── yi-1.5.rst │ │ │ │ │ ├── yi-200k.rst │ │ │ │ │ ├── yi-chat.rst │ │ │ │ │ └── yi.rst │ │ │ │ ├── rerank/ │ │ │ │ │ ├── bce-reranker-base_v1.rst │ │ │ │ │ ├── bge-reranker-base.rst │ │ │ │ │ ├── bge-reranker-large.rst │ │ │ │ │ ├── bge-reranker-v2-gemma.rst │ │ │ │ │ ├── bge-reranker-v2-m3.rst │ │ │ │ │ ├── bge-reranker-v2-minicpm-layerwise.rst │ │ │ │ │ ├── index.rst │ │ │ │ │ ├── jina-reranker-v2.rst │ │ │ │ │ ├── jina-reranker-v3.rst │ │ │ │ │ ├── minicpm-reranker.rst │ │ │ │ │ ├── qwen3-reranker-0.6b.rst │ │ │ │ │ ├── qwen3-reranker-4b.rst │ │ │ │ │ ├── qwen3-reranker-8b.rst │ │ │ │ │ ├── qwen3-vl-reranker-2b.rst │ │ │ │ │ └── qwen3-vl-reranker-8b.rst │ │ │ │ └── video/ │ │ │ │ ├── cogvideox-2b.rst │ │ │ │ ├── cogvideox-5b.rst │ │ │ │ ├── hunyuanvideo.rst │ │ │ │ ├── index.rst │ │ │ │ ├── wan2.1-1.3b.rst │ │ │ │ ├── wan2.1-14b.rst │ │ │ │ ├── wan2.1-flf2v-14b-720p.rst │ │ │ │ ├── wan2.1-i2v-14b-480p.rst │ │ │ │ ├── wan2.1-i2v-14b-720p.rst │ │ │ │ ├── wan2.2-a14b.rst │ │ │ │ ├── wan2.2-i2v-a14b.rst │ │ │ │ └── wan2.2-ti2v-5b.rst │ │ │ ├── custom.rst │ │ │ ├── index.rst │ │ │ ├── lora.rst │ │ │ ├── model_abilities/ │ │ │ │ ├── audio.rst │ │ │ │ ├── chat.rst │ │ │ │ ├── embed.rst │ │ │ │ ├── flexible.rst │ │ │ │ ├── image.rst │ │ │ │ ├── index.rst │ │ │ │ ├── multimodal.rst │ │ │ │ ├── rerank.rst │ │ │ │ ├── tools.rst │ │ │ │ └── video.rst │ │ │ ├── model_memory.rst │ │ │ ├── model_update.rst │ │ │ ├── sources/ │ │ │ │ └── sources.rst │ │ │ ├── virtualenv.rst │ │ │ └── xinference_models_hub.rst │ │ ├── norm_zh.py │ │ ├── reference/ │ │ │ └── index.rst │ │ └── user_guide/ │ │ ├── auth_system.rst │ │ ├── backends.rst │ │ ├── client_api.rst │ │ ├── continuous_batching.rst │ │ ├── distributed_inference.rst │ │ ├── index.rst │ │ ├── launch.rst │ │ ├── metrics.rst │ │ └── vllm_enhancement.rst │ └── templates/ │ ├── audio.rst.jinja │ ├── audio_index.rst.jinja │ ├── embedding.rst.jinja │ ├── embedding_index.rst.jinja │ ├── image.rst.jinja │ ├── image_index.rst.jinja │ ├── llm.rst.jinja │ ├── llm_index.rst.jinja │ ├── metrics.jinja │ ├── rerank.rst.jinja │ ├── rerank_index.rst.jinja │ ├── video.rst.jinja │ └── video_index.rst.jinja ├── examples/ │ ├── AI_podcast.py │ ├── AI_podcast_ZH.py │ ├── AI_translate.py │ ├── Custom_StableDiffusion_ControlNet.ipynb │ ├── FunctionCall.ipynb │ ├── LangChain_QA.ipynb │ ├── LangChain_Streamlit_Doc_Chat.py │ ├── StableDiffusionControlNet.ipynb │ ├── Xinference_Quick_Start.ipynb │ ├── audio_to_text.ipynb │ ├── chat.py │ ├── chat_vl.ipynb │ └── gradio_chatinterface.py ├── pyproject.toml ├── setup.cfg ├── setup.py ├── versioneer.py └── xinference/ ├── __init__.py ├── _compat.py ├── _version.py ├── api/ │ ├── __init__.py │ ├── dependencies.py │ ├── oauth2/ │ │ ├── __init__.py │ │ ├── auth_service.py │ │ ├── types.py │ │ └── utils.py │ ├── responses.py │ ├── restful_api.py │ ├── routers/ │ │ ├── __init__.py │ │ ├── admin.py │ │ ├── audio.py │ │ ├── embeddings.py │ │ ├── images.py │ │ ├── llm.py │ │ ├── models.py │ │ ├── rerank.py │ │ └── videos.py │ ├── schemas/ │ │ ├── __init__.py │ │ └── requests.py │ ├── tests/ │ │ ├── __init__.py │ │ ├── test_admin.py │ │ └── test_utils.py │ └── utils.py ├── client/ │ ├── __init__.py │ ├── common.py │ ├── handlers.py │ ├── restful/ │ │ ├── __init__.py │ │ ├── async_restful_client.py │ │ └── restful_client.py │ └── tests/ │ ├── __init__.py │ ├── test_async_client.py │ ├── test_async_client_with_auth.py │ ├── test_client.py │ └── test_client_with_auth.py ├── conftest.py ├── constants.py ├── core/ │ ├── __init__.py │ ├── cache_tracker.py │ ├── event.py │ ├── launch_strategy.py │ ├── metrics.py │ ├── model.py │ ├── otel.py │ ├── progress_tracker.py │ ├── resource.py │ ├── status_guard.py │ ├── supervisor.py │ ├── tests/ │ │ ├── __init__.py │ │ ├── test_continuous_batching.py │ │ ├── test_launch_strategy.py │ │ ├── test_metrics.py │ │ ├── test_model.py │ │ ├── test_progressor.py │ │ ├── test_restful_api.py │ │ ├── test_types.py │ │ ├── test_utils.py │ │ └── test_worker.py │ ├── utils.py │ ├── virtual_env_manager.py │ └── worker.py ├── deploy/ │ ├── __init__.py │ ├── cmdline.py │ ├── docker/ │ │ ├── Dockerfile │ │ ├── Dockerfile.cpu │ │ ├── docker-compose-distributed.yml │ │ ├── docker-compose.yml │ │ ├── requirements/ │ │ │ ├── requirements-base.txt │ │ │ ├── requirements-ml.txt │ │ │ └── requirements-models.txt │ │ └── requirements_cpu/ │ │ ├── requirements_cpu-base.txt │ │ ├── requirements_cpu-ml.txt │ │ └── requirements_cpu-models.txt │ ├── local.py │ ├── supervisor.py │ ├── test/ │ │ ├── __init__.py │ │ └── test_cmdline.py │ ├── utils.py │ └── worker.py ├── device_utils.py ├── fields.py ├── isolation.py ├── model/ │ ├── __init__.py │ ├── audio/ │ │ ├── __init__.py │ │ ├── chattts.py │ │ ├── core.py │ │ ├── cosyvoice.py │ │ ├── custom.py │ │ ├── f5tts.py │ │ ├── f5tts_mlx.py │ │ ├── fish_speech.py │ │ ├── funasr.py │ │ ├── indextts2.py │ │ ├── kokoro.py │ │ ├── kokoro_mlx.py │ │ ├── kokoro_zh.py │ │ ├── megatts.py │ │ ├── melotts.py │ │ ├── model_spec.json │ │ ├── qwen3_asr.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── bbc_news.npy │ │ │ ├── jfk.flac │ │ │ ├── test_chattts.py │ │ │ ├── test_cosyvoice.py │ │ │ ├── test_f5tts.py │ │ │ ├── test_f5tts_mlx.py │ │ │ ├── test_fish_speech.py │ │ │ ├── test_funasr.py │ │ │ ├── test_kokoro.py │ │ │ ├── test_megatts.py │ │ │ ├── test_melotts.py │ │ │ ├── test_whisper.py │ │ │ └── test_whisper_mlx.py │ │ ├── utils.py │ │ ├── whisper.py │ │ └── whisper_mlx.py │ ├── batch.py │ ├── cache_manager.py │ ├── core.py │ ├── custom.py │ ├── embedding/ │ │ ├── __init__.py │ │ ├── cache_manager.py │ │ ├── core.py │ │ ├── custom.py │ │ ├── embed_family.py │ │ ├── flag/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ └── test_flag.py │ │ ├── llama_cpp/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ └── test_llama_cpp.py │ │ ├── model_spec.json │ │ ├── sentence_transformers/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ └── test_sentence_transformers.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_embedding_models.py │ │ │ ├── test_integrated_embedding.py │ │ │ └── test_qwen3_vl_engine_params.py │ │ └── vllm/ │ │ ├── __init__.py │ │ ├── core.py │ │ └── tests/ │ │ ├── __init__.py │ │ └── test_vllm_embedding.py │ ├── flexible/ │ │ ├── __init__.py │ │ ├── core.py │ │ ├── custom.py │ │ ├── launchers/ │ │ │ ├── __init__.py │ │ │ ├── image_process_launcher.py │ │ │ ├── modelscope_launcher.py │ │ │ ├── transformers_launcher.py │ │ │ └── yolo_launcher.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ └── test_flexible_models.py │ │ └── utils.py │ ├── image/ │ │ ├── __init__.py │ │ ├── cache_manager.py │ │ ├── core.py │ │ ├── custom.py │ │ ├── engine.py │ │ ├── engine_family.py │ │ ├── model_spec.json │ │ ├── ocr/ │ │ │ ├── __init__.py │ │ │ ├── deepseek_ocr.py │ │ │ ├── got_ocr2.py │ │ │ ├── hunyuan_ocr.py │ │ │ ├── mlx.py │ │ │ ├── ocr_family.py │ │ │ ├── paddleocr_vl.py │ │ │ └── vllm.py │ │ ├── scheduler/ │ │ │ ├── __init__.py │ │ │ └── flux.py │ │ ├── sdapi.py │ │ ├── stable_diffusion/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── mlx.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_got_ocr2.py │ │ │ └── test_stable_diffusion.py │ │ └── utils.py │ ├── llm/ │ │ ├── __init__.py │ │ ├── cache_manager.py │ │ ├── config_parser.py │ │ ├── core.py │ │ ├── custom.py │ │ ├── harmony.py │ │ ├── llama_cpp/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_gguf.py │ │ │ └── test_structured.py │ │ ├── llm_family.json │ │ ├── llm_family.py │ │ ├── lmdeploy/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── tests/ │ │ │ └── __init__.py │ │ ├── memory.py │ │ ├── mlx/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ ├── distributed_models/ │ │ │ │ ├── __init__.py │ │ │ │ ├── core.py │ │ │ │ ├── deepseek_v3.py │ │ │ │ ├── qwen2.py │ │ │ │ ├── qwen3.py │ │ │ │ └── qwen3_moe.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_distributed_model.py │ │ │ └── test_mlx.py │ │ ├── reasoning_parser.py │ │ ├── sglang/ │ │ │ ├── __init__.py │ │ │ └── core.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_harmony.py │ │ │ ├── test_llm_family.py │ │ │ ├── test_llm_model.py │ │ │ ├── test_memory_estimate.py │ │ │ ├── test_multimodal.py │ │ │ ├── test_stream_options.py │ │ │ └── test_utils.py │ │ ├── tool_parsers/ │ │ │ ├── __init__.py │ │ │ ├── abstract_tool_parser.py │ │ │ ├── deepseek_r1_tool_parser.py │ │ │ ├── deepseek_v3_1_tool_parser.py │ │ │ ├── deepseek_v3_tool_parser.py │ │ │ ├── glm4_tool_parser.py │ │ │ ├── llama3_tool_parser.py │ │ │ ├── minimax_tool_parser.py │ │ │ ├── qwen_tool_parser.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_deepseek_r1_tool_parser.py │ │ │ ├── test_deepseek_v3_1_tool_parser.py │ │ │ ├── test_deepseek_v3_tool_parser.py │ │ │ ├── test_glm4_tool_parser.py │ │ │ ├── test_llama3_tool_parser.py │ │ │ └── test_qwen_tool_parser.py │ │ ├── transformers/ │ │ │ ├── __init__.py │ │ │ ├── chatglm.py │ │ │ ├── core.py │ │ │ ├── deepseek_v2.py │ │ │ ├── gemma3.py │ │ │ ├── gpt_oss.py │ │ │ ├── multimodal/ │ │ │ │ ├── __init__.py │ │ │ │ ├── cogagent.py │ │ │ │ ├── core.py │ │ │ │ ├── deepseek_vl2.py │ │ │ │ ├── gemma3.py │ │ │ │ ├── glm4_1v.py │ │ │ │ ├── glm4v.py │ │ │ │ ├── intern_vl.py │ │ │ │ ├── minicpmv26.py │ │ │ │ ├── minicpmv45.py │ │ │ │ ├── ovis2.py │ │ │ │ ├── qwen-omni.py │ │ │ │ ├── qwen2_audio.py │ │ │ │ └── qwen2_vl.py │ │ │ ├── opt.py │ │ │ ├── tensorizer_utils.py │ │ │ ├── tests/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_opt.py │ │ │ │ └── test_tensorizer.py │ │ │ └── utils.py │ │ ├── utils.py │ │ └── vllm/ │ │ ├── __init__.py │ │ ├── core.py │ │ ├── distributed_executor.py │ │ ├── distributed_executor_v1.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_core_chat_model.py │ │ │ └── test_distributed_executor.py │ │ ├── utils.py │ │ └── xavier/ │ │ ├── __init__.py │ │ ├── allocator.py │ │ ├── block.py │ │ ├── block_manager.py │ │ ├── block_tracker.py │ │ ├── collective.py │ │ ├── collective_manager.py │ │ ├── engine.py │ │ ├── executor.py │ │ ├── scheduler.py │ │ ├── test/ │ │ │ ├── __init__.py │ │ │ └── test_xavier.py │ │ ├── transfer.py │ │ └── utils.py │ ├── rerank/ │ │ ├── __init__.py │ │ ├── cache_manager.py │ │ ├── core.py │ │ ├── custom.py │ │ ├── llama_cpp/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ └── test_llama_cpp.py │ │ ├── model_spec.json │ │ ├── rerank_family.py │ │ ├── sentence_transformers/ │ │ │ ├── __init__.py │ │ │ ├── core.py │ │ │ └── tests/ │ │ │ ├── __init__.py │ │ │ └── test_sentence_transformers.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_qwen3_vl_reranker_virtualenv.py │ │ │ └── test_rerank.py │ │ ├── utils.py │ │ └── vllm/ │ │ ├── __init__.py │ │ ├── core.py │ │ └── tests/ │ │ ├── __init__.py │ │ └── test_vllm.py │ ├── scheduler/ │ │ ├── __init__.py │ │ ├── batch.py │ │ ├── core.py │ │ └── request.py │ ├── tests/ │ │ ├── __init__.py │ │ └── test_utils.py │ ├── utils.py │ └── video/ │ ├── __init__.py │ ├── cache_manager.py │ ├── core.py │ ├── diffusers.py │ ├── model_spec.json │ └── tests/ │ ├── __init__.py │ └── test_diffusers_video.py ├── thirdparty/ │ ├── __init__.py │ ├── audiotools/ │ │ ├── __init__.py │ │ ├── core/ │ │ │ ├── __init__.py │ │ │ ├── audio_signal.py │ │ │ ├── display.py │ │ │ ├── dsp.py │ │ │ ├── effects.py │ │ │ ├── ffmpeg.py │ │ │ ├── loudness.py │ │ │ ├── playback.py │ │ │ ├── templates/ │ │ │ │ ├── __init__.py │ │ │ │ ├── headers.html │ │ │ │ ├── pandoc.css │ │ │ │ └── widget.html │ │ │ ├── util.py │ │ │ └── whisper.py │ │ ├── data/ │ │ │ ├── __init__.py │ │ │ ├── datasets.py │ │ │ ├── preprocess.py │ │ │ └── transforms.py │ │ ├── metrics/ │ │ │ ├── __init__.py │ │ │ ├── distance.py │ │ │ ├── quality.py │ │ │ └── spectral.py │ │ ├── ml/ │ │ │ ├── __init__.py │ │ │ ├── accelerator.py │ │ │ ├── decorators.py │ │ │ ├── experiment.py │ │ │ └── layers/ │ │ │ ├── __init__.py │ │ │ ├── base.py │ │ │ └── spectral_gate.py │ │ ├── post.py │ │ └── preference.py │ ├── cosyvoice/ │ │ ├── __init__.py │ │ ├── bin/ │ │ │ ├── average_model.py │ │ │ ├── export_jit.py │ │ │ ├── export_onnx.py │ │ │ ├── inference_deprecated.py │ │ │ ├── spk2info.pt │ │ │ └── train.py │ │ ├── cli/ │ │ │ ├── __init__.py │ │ │ ├── cosyvoice.py │ │ │ ├── frontend.py │ │ │ └── model.py │ │ ├── dataset/ │ │ │ ├── __init__.py │ │ │ ├── dataset.py │ │ │ └── processor.py │ │ ├── flow/ │ │ │ ├── decoder.py │ │ │ ├── flow.py │ │ │ ├── flow_matching.py │ │ │ └── length_regulator.py │ │ ├── hifigan/ │ │ │ ├── discriminator.py │ │ │ ├── f0_predictor.py │ │ │ ├── generator.py │ │ │ └── hifigan.py │ │ ├── llm/ │ │ │ └── llm.py │ │ ├── tokenizer/ │ │ │ ├── assets/ │ │ │ │ └── multilingual_zh_ja_yue_char_del.tiktoken │ │ │ └── tokenizer.py │ │ ├── transformer/ │ │ │ ├── __init__.py │ │ │ ├── activation.py │ │ │ ├── attention.py │ │ │ ├── convolution.py │ │ │ ├── decoder.py │ │ │ ├── decoder_layer.py │ │ │ ├── embedding.py │ │ │ ├── encoder.py │ │ │ ├── encoder_layer.py │ │ │ ├── label_smoothing_loss.py │ │ │ ├── positionwise_feed_forward.py │ │ │ ├── subsampling.py │ │ │ └── upsample_encoder.py │ │ ├── utils/ │ │ │ ├── __init__.py │ │ │ ├── class_utils.py │ │ │ ├── common.py │ │ │ ├── executor.py │ │ │ ├── file_utils.py │ │ │ ├── frontend_utils.py │ │ │ ├── losses.py │ │ │ ├── mask.py │ │ │ ├── scheduler.py │ │ │ └── train_utils.py │ │ └── vllm/ │ │ └── cosyvoice2.py │ ├── deepseek_vl/ │ │ ├── __init__.py │ │ ├── models/ │ │ │ ├── __init__.py │ │ │ ├── clip_encoder.py │ │ │ ├── image_processing_vlm.py │ │ │ ├── modeling_vlm.py │ │ │ ├── processing_vlm.py │ │ │ ├── projector.py │ │ │ ├── sam.py │ │ │ └── siglip_vit.py │ │ ├── serve/ │ │ │ ├── __init__.py │ │ │ ├── app_deepseek.py │ │ │ ├── app_modules/ │ │ │ │ ├── __init__.py │ │ │ │ ├── gradio_utils.py │ │ │ │ ├── overwrites.py │ │ │ │ ├── presets.py │ │ │ │ └── utils.py │ │ │ ├── assets/ │ │ │ │ ├── Kelpy-Codos.js │ │ │ │ ├── custom.css │ │ │ │ └── custom.js │ │ │ └── inference.py │ │ └── utils/ │ │ ├── __init__.py │ │ ├── conversation.py │ │ └── io.py │ ├── deepseek_vl2/ │ │ ├── __init__.py │ │ ├── models/ │ │ │ ├── __init__.py │ │ │ ├── configuration_deepseek.py │ │ │ ├── conversation.py │ │ │ ├── modeling_deepseek.py │ │ │ ├── modeling_deepseek_vl_v2.py │ │ │ ├── processing_deepseek_vl_v2.py │ │ │ └── siglip_vit.py │ │ ├── serve/ │ │ │ ├── __init__.py │ │ │ ├── app_modules/ │ │ │ │ ├── __init__.py │ │ │ │ ├── gradio_utils.py │ │ │ │ ├── overwrites.py │ │ │ │ ├── presets.py │ │ │ │ └── utils.py │ │ │ ├── assets/ │ │ │ │ ├── Kelpy-Codos.js │ │ │ │ ├── custom.css │ │ │ │ ├── custom.js │ │ │ │ └── simsun.ttc │ │ │ └── inference.py │ │ └── utils/ │ │ ├── __init__.py │ │ └── io.py │ ├── f5_tts/ │ │ ├── __init__.py │ │ ├── api.py │ │ ├── configs/ │ │ │ ├── E2TTS_Base_train.yaml │ │ │ ├── E2TTS_Small_train.yaml │ │ │ ├── F5TTS_Base_train.yaml │ │ │ └── F5TTS_Small_train.yaml │ │ ├── eval/ │ │ │ ├── README.md │ │ │ ├── ecapa_tdnn.py │ │ │ ├── eval_infer_batch.py │ │ │ ├── eval_infer_batch.sh │ │ │ ├── eval_librispeech_test_clean.py │ │ │ ├── eval_seedtts_testset.py │ │ │ └── utils_eval.py │ │ ├── infer/ │ │ │ ├── README.md │ │ │ ├── examples/ │ │ │ │ ├── basic/ │ │ │ │ │ └── basic.toml │ │ │ │ ├── multi/ │ │ │ │ │ ├── country.flac │ │ │ │ │ ├── main.flac │ │ │ │ │ ├── story.toml │ │ │ │ │ ├── story.txt │ │ │ │ │ └── town.flac │ │ │ │ └── vocab.txt │ │ │ ├── infer_cli.py │ │ │ ├── infer_gradio.py │ │ │ ├── speech_edit.py │ │ │ └── utils_infer.py │ │ ├── model/ │ │ │ ├── __init__.py │ │ │ ├── backbones/ │ │ │ │ ├── README.md │ │ │ │ ├── dit.py │ │ │ │ ├── mmdit.py │ │ │ │ └── unett.py │ │ │ ├── cfm.py │ │ │ ├── dataset.py │ │ │ ├── modules.py │ │ │ ├── trainer.py │ │ │ └── utils.py │ │ ├── scripts/ │ │ │ ├── count_max_epoch.py │ │ │ └── count_params_gflops.py │ │ ├── socket_server.py │ │ └── train/ │ │ ├── README.md │ │ ├── datasets/ │ │ │ ├── prepare_csv_wavs.py │ │ │ ├── prepare_emilia.py │ │ │ ├── prepare_libritts.py │ │ │ ├── prepare_ljspeech.py │ │ │ └── prepare_wenetspeech4tts.py │ │ ├── finetune_cli.py │ │ ├── finetune_gradio.py │ │ └── train.py │ ├── fish_speech/ │ │ ├── __init__.py │ │ ├── fish_speech/ │ │ │ ├── __init__.py │ │ │ ├── callbacks/ │ │ │ │ ├── __init__.py │ │ │ │ └── grad_norm.py │ │ │ ├── configs/ │ │ │ │ ├── base.yaml │ │ │ │ ├── firefly_gan_vq.yaml │ │ │ │ ├── lora/ │ │ │ │ │ └── r_8_alpha_16.yaml │ │ │ │ └── text2semantic_finetune.yaml │ │ │ ├── conversation.py │ │ │ ├── datasets/ │ │ │ │ ├── concat_repeat.py │ │ │ │ ├── protos/ │ │ │ │ │ ├── text-data.proto │ │ │ │ │ ├── text_data_pb2.py │ │ │ │ │ └── text_data_stream.py │ │ │ │ ├── semantic.py │ │ │ │ └── vqgan.py │ │ │ ├── i18n/ │ │ │ │ ├── README.md │ │ │ │ ├── __init__.py │ │ │ │ ├── core.py │ │ │ │ ├── locale/ │ │ │ │ │ ├── en_US.json │ │ │ │ │ ├── es_ES.json │ │ │ │ │ ├── ja_JP.json │ │ │ │ │ ├── ko_KR.json │ │ │ │ │ ├── pt_BR.json │ │ │ │ │ └── zh_CN.json │ │ │ │ └── scan.py │ │ │ ├── models/ │ │ │ │ ├── text2semantic/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── lit_module.py │ │ │ │ │ ├── llama.py │ │ │ │ │ └── lora.py │ │ │ │ └── vqgan/ │ │ │ │ ├── __init__.py │ │ │ │ ├── modules/ │ │ │ │ │ ├── firefly.py │ │ │ │ │ └── fsq.py │ │ │ │ └── utils.py │ │ │ ├── scheduler.py │ │ │ ├── text/ │ │ │ │ ├── __init__.py │ │ │ │ ├── chn_text_norm/ │ │ │ │ │ ├── .gitignore │ │ │ │ │ ├── README.md │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── basic_class.py │ │ │ │ │ ├── basic_constant.py │ │ │ │ │ ├── basic_util.py │ │ │ │ │ ├── cardinal.py │ │ │ │ │ ├── date.py │ │ │ │ │ ├── digit.py │ │ │ │ │ ├── fraction.py │ │ │ │ │ ├── money.py │ │ │ │ │ ├── percentage.py │ │ │ │ │ ├── telephone.py │ │ │ │ │ └── text.py │ │ │ │ ├── clean.py │ │ │ │ └── spliter.py │ │ │ ├── tokenizer.py │ │ │ ├── train.py │ │ │ ├── utils/ │ │ │ │ ├── __init__.py │ │ │ │ ├── braceexpand.py │ │ │ │ ├── context.py │ │ │ │ ├── file.py │ │ │ │ ├── instantiators.py │ │ │ │ ├── logger.py │ │ │ │ ├── logging_utils.py │ │ │ │ ├── rich_utils.py │ │ │ │ ├── spectrogram.py │ │ │ │ └── utils.py │ │ │ └── webui/ │ │ │ ├── css/ │ │ │ │ └── style.css │ │ │ ├── html/ │ │ │ │ └── footer.html │ │ │ ├── js/ │ │ │ │ └── animate.js │ │ │ ├── launch_utils.py │ │ │ └── manage.py │ │ └── tools/ │ │ ├── api_client.py │ │ ├── api_server.py │ │ ├── download_models.py │ │ ├── e2e_webui.py │ │ ├── extract_model.py │ │ ├── file.py │ │ ├── fish_e2e.py │ │ ├── inference_engine/ │ │ │ ├── __init__.py │ │ │ ├── reference_loader.py │ │ │ ├── utils.py │ │ │ └── vq_manager.py │ │ ├── llama/ │ │ │ ├── build_dataset.py │ │ │ ├── eval_in_context.py │ │ │ ├── generate.py │ │ │ ├── merge_lora.py │ │ │ ├── quantize.py │ │ │ └── rebuild_tokenizer.py │ │ ├── run_webui.py │ │ ├── schema.py │ │ ├── sensevoice/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── auto_model.py │ │ │ ├── fun_asr.py │ │ │ └── vad_utils.py │ │ ├── server/ │ │ │ ├── agent/ │ │ │ │ ├── __init__.py │ │ │ │ ├── generate.py │ │ │ │ ├── generation_utils.py │ │ │ │ └── pre_generation_utils.py │ │ │ ├── api_utils.py │ │ │ ├── exception_handler.py │ │ │ ├── inference.py │ │ │ ├── model_manager.py │ │ │ ├── model_utils.py │ │ │ └── views.py │ │ ├── smart_pad.py │ │ ├── vqgan/ │ │ │ ├── create_train_split.py │ │ │ ├── extract_vq.py │ │ │ └── inference.py │ │ ├── webui/ │ │ │ ├── __init__.py │ │ │ ├── inference.py │ │ │ └── variables.py │ │ └── whisper_asr.py │ ├── indextts/ │ │ ├── BigVGAN/ │ │ │ ├── ECAPA_TDNN.py │ │ │ ├── __init__.py │ │ │ ├── activations.py │ │ │ ├── alias_free_activation/ │ │ │ │ ├── __init__.py │ │ │ │ ├── cuda/ │ │ │ │ │ ├── .gitignore │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── activation1d.py │ │ │ │ │ ├── anti_alias_activation.cpp │ │ │ │ │ ├── anti_alias_activation_cuda.cu │ │ │ │ │ ├── compat.h │ │ │ │ │ ├── load.py │ │ │ │ │ └── type_shim.h │ │ │ │ └── torch/ │ │ │ │ ├── __init__.py │ │ │ │ ├── act.py │ │ │ │ ├── filter.py │ │ │ │ └── resample.py │ │ │ ├── alias_free_torch/ │ │ │ │ ├── __init__.py │ │ │ │ ├── act.py │ │ │ │ ├── filter.py │ │ │ │ └── resample.py │ │ │ ├── bigvgan.py │ │ │ ├── models.py │ │ │ ├── nnet/ │ │ │ │ ├── CNN.py │ │ │ │ ├── __init__.py │ │ │ │ ├── linear.py │ │ │ │ └── normalization.py │ │ │ └── utils.py │ │ ├── __init__.py │ │ ├── cli.py │ │ ├── gpt/ │ │ │ ├── __init__.py │ │ │ ├── conformer/ │ │ │ │ ├── __init__.py │ │ │ │ ├── attention.py │ │ │ │ ├── embedding.py │ │ │ │ └── subsampling.py │ │ │ ├── conformer_encoder.py │ │ │ ├── model.py │ │ │ ├── model_v2.py │ │ │ ├── perceiver.py │ │ │ ├── transformers_beam_search.py │ │ │ ├── transformers_generation_utils.py │ │ │ ├── transformers_gpt2.py │ │ │ └── transformers_modeling_utils.py │ │ ├── infer.py │ │ ├── infer_v2.py │ │ ├── s2mel/ │ │ │ ├── dac/ │ │ │ │ ├── __init__.py │ │ │ │ ├── __main__.py │ │ │ │ ├── model/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── base.py │ │ │ │ │ ├── dac.py │ │ │ │ │ ├── discriminator.py │ │ │ │ │ └── encodec.py │ │ │ │ ├── nn/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── layers.py │ │ │ │ │ ├── loss.py │ │ │ │ │ └── quantize.py │ │ │ │ └── utils/ │ │ │ │ ├── __init__.py │ │ │ │ ├── decode.py │ │ │ │ └── encode.py │ │ │ ├── hf_utils.py │ │ │ ├── modules/ │ │ │ │ ├── alias_free_torch/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── act.py │ │ │ │ │ ├── filter.py │ │ │ │ │ └── resample.py │ │ │ │ ├── audio.py │ │ │ │ ├── bigvgan/ │ │ │ │ │ ├── activations.py │ │ │ │ │ ├── alias_free_activation/ │ │ │ │ │ │ ├── cuda/ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ ├── activation1d.py │ │ │ │ │ │ │ ├── anti_alias_activation.cpp │ │ │ │ │ │ │ ├── anti_alias_activation_cuda.cu │ │ │ │ │ │ │ ├── compat.h │ │ │ │ │ │ │ ├── load.py │ │ │ │ │ │ │ └── type_shim.h │ │ │ │ │ │ └── torch/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── act.py │ │ │ │ │ │ ├── filter.py │ │ │ │ │ │ └── resample.py │ │ │ │ │ ├── bigvgan.py │ │ │ │ │ ├── config.json │ │ │ │ │ ├── env.py │ │ │ │ │ ├── meldataset.py │ │ │ │ │ └── utils.py │ │ │ │ ├── campplus/ │ │ │ │ │ ├── DTDNN.py │ │ │ │ │ ├── classifier.py │ │ │ │ │ └── layers.py │ │ │ │ ├── commons.py │ │ │ │ ├── diffusion_transformer.py │ │ │ │ ├── encodec.py │ │ │ │ ├── flow_matching.py │ │ │ │ ├── gpt_fast/ │ │ │ │ │ ├── generate.py │ │ │ │ │ ├── model.py │ │ │ │ │ └── quantize.py │ │ │ │ ├── hifigan/ │ │ │ │ │ ├── f0_predictor.py │ │ │ │ │ └── generator.py │ │ │ │ ├── layers.py │ │ │ │ ├── length_regulator.py │ │ │ │ ├── openvoice/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── api.py │ │ │ │ │ ├── attentions.py │ │ │ │ │ ├── checkpoints_v2/ │ │ │ │ │ │ └── converter/ │ │ │ │ │ │ └── config.json │ │ │ │ │ ├── commons.py │ │ │ │ │ ├── mel_processing.py │ │ │ │ │ ├── models.py │ │ │ │ │ ├── modules.py │ │ │ │ │ ├── openvoice_app.py │ │ │ │ │ ├── se_extractor.py │ │ │ │ │ ├── transforms.py │ │ │ │ │ └── utils.py │ │ │ │ ├── quantize.py │ │ │ │ ├── rmvpe.py │ │ │ │ ├── vocos/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── heads.py │ │ │ │ │ ├── helpers.py │ │ │ │ │ ├── loss.py │ │ │ │ │ ├── models.py │ │ │ │ │ ├── modules.py │ │ │ │ │ ├── pretrained.py │ │ │ │ │ └── spectral_ops.py │ │ │ │ └── wavenet.py │ │ │ ├── optimizers.py │ │ │ └── wav2vecbert_extract.py │ │ ├── utils/ │ │ │ ├── __init__.py │ │ │ ├── arch_util.py │ │ │ ├── checkpoint.py │ │ │ ├── common.py │ │ │ ├── feature_extractors.py │ │ │ ├── front.py │ │ │ ├── maskgct/ │ │ │ │ └── models/ │ │ │ │ ├── codec/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── amphion_codec/ │ │ │ │ │ │ ├── codec.py │ │ │ │ │ │ ├── quantize/ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ ├── factorized_vector_quantize.py │ │ │ │ │ │ │ ├── lookup_free_quantize.py │ │ │ │ │ │ │ ├── residual_vq.py │ │ │ │ │ │ │ └── vector_quantize.py │ │ │ │ │ │ └── vocos.py │ │ │ │ │ ├── codec_dataset.py │ │ │ │ │ ├── codec_inference.py │ │ │ │ │ ├── codec_sampler.py │ │ │ │ │ ├── codec_trainer.py │ │ │ │ │ ├── facodec/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── alias_free_torch/ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ ├── act.py │ │ │ │ │ │ │ ├── filter.py │ │ │ │ │ │ │ └── resample.py │ │ │ │ │ │ ├── facodec_dataset.py │ │ │ │ │ │ ├── facodec_inference.py │ │ │ │ │ │ ├── facodec_trainer.py │ │ │ │ │ │ ├── modules/ │ │ │ │ │ │ │ ├── JDC/ │ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ │ ├── bst.t7 │ │ │ │ │ │ │ │ └── model.py │ │ │ │ │ │ │ ├── attentions.py │ │ │ │ │ │ │ ├── commons.py │ │ │ │ │ │ │ ├── gradient_reversal.py │ │ │ │ │ │ │ ├── layers.py │ │ │ │ │ │ │ ├── quantize.py │ │ │ │ │ │ │ ├── style_encoder.py │ │ │ │ │ │ │ └── wavenet.py │ │ │ │ │ │ └── optimizer.py │ │ │ │ │ ├── kmeans/ │ │ │ │ │ │ ├── repcodec_model.py │ │ │ │ │ │ └── vocos.py │ │ │ │ │ ├── melvqgan/ │ │ │ │ │ │ └── melspec.py │ │ │ │ │ ├── ns3_codec/ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── alias_free_torch/ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ ├── act.py │ │ │ │ │ │ │ ├── filter.py │ │ │ │ │ │ │ └── resample.py │ │ │ │ │ │ ├── facodec.py │ │ │ │ │ │ ├── gradient_reversal.py │ │ │ │ │ │ ├── melspec.py │ │ │ │ │ │ ├── quantize/ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ ├── fvq.py │ │ │ │ │ │ │ └── rvq.py │ │ │ │ │ │ └── transformer.py │ │ │ │ │ ├── speechtokenizer/ │ │ │ │ │ │ ├── model.py │ │ │ │ │ │ └── modules/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── conv.py │ │ │ │ │ │ ├── lstm.py │ │ │ │ │ │ ├── norm.py │ │ │ │ │ │ ├── quantization/ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ ├── ac.py │ │ │ │ │ │ │ ├── core_vq.py │ │ │ │ │ │ │ ├── distrib.py │ │ │ │ │ │ │ └── vq.py │ │ │ │ │ │ └── seanet.py │ │ │ │ │ └── vevo/ │ │ │ │ │ └── vevo_repcodec.py │ │ │ │ └── tts/ │ │ │ │ └── maskgct/ │ │ │ │ ├── ckpt/ │ │ │ │ │ └── wav2vec2bert_stats.pt │ │ │ │ ├── llama_nar.py │ │ │ │ └── maskgct_s2a.py │ │ │ ├── maskgct_utils.py │ │ │ ├── text_utils.py │ │ │ ├── typical_sampling.py │ │ │ ├── utils.py │ │ │ ├── webui_utils.py │ │ │ └── xtransformers.py │ │ └── vqvae/ │ │ ├── __init__.py │ │ └── xtts_dvae.py │ ├── internvl/ │ │ ├── __init__.py │ │ └── conversation.py │ ├── llava/ │ │ ├── __init__.py │ │ ├── conversation.py │ │ ├── mm_utils.py │ │ └── model/ │ │ ├── __init__.py │ │ ├── clip_encoder/ │ │ │ ├── __init__.py │ │ │ ├── builder.py │ │ │ └── clip_encoder.py │ │ ├── constants.py │ │ ├── llava_arch.py │ │ ├── llava_llama.py │ │ └── multimodal_projector/ │ │ ├── __init__.py │ │ └── builder.py │ ├── matcha/ │ │ ├── VERSION │ │ ├── __init__.py │ │ ├── app.py │ │ ├── cli.py │ │ ├── data/ │ │ │ ├── __init__.py │ │ │ ├── components/ │ │ │ │ └── __init__.py │ │ │ └── text_mel_datamodule.py │ │ ├── hifigan/ │ │ │ ├── LICENSE │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── denoiser.py │ │ │ ├── env.py │ │ │ ├── meldataset.py │ │ │ ├── models.py │ │ │ └── xutils.py │ │ ├── models/ │ │ │ ├── __init__.py │ │ │ ├── baselightningmodule.py │ │ │ ├── components/ │ │ │ │ ├── __init__.py │ │ │ │ ├── decoder.py │ │ │ │ ├── flow_matching.py │ │ │ │ ├── text_encoder.py │ │ │ │ └── transformer.py │ │ │ └── matcha_tts.py │ │ ├── onnx/ │ │ │ ├── __init__.py │ │ │ ├── export.py │ │ │ └── infer.py │ │ ├── text/ │ │ │ ├── __init__.py │ │ │ ├── cleaners.py │ │ │ ├── numbers.py │ │ │ └── symbols.py │ │ ├── train.py │ │ └── utils/ │ │ ├── __init__.py │ │ ├── audio.py │ │ ├── generate_data_statistics.py │ │ ├── get_durations_from_trained_model.py │ │ ├── instantiators.py │ │ ├── logging_utils.py │ │ ├── model.py │ │ ├── monotonic_align/ │ │ │ ├── __init__.py │ │ │ ├── core.pyx │ │ │ └── setup.py │ │ ├── pylogger.py │ │ ├── rich_utils.py │ │ └── utils.py │ ├── megatts3/ │ │ ├── __init__.py │ │ └── tts/ │ │ ├── frontend_function.py │ │ ├── gradio_api.py │ │ ├── infer_cli.py │ │ ├── modules/ │ │ │ ├── aligner/ │ │ │ │ └── whisper_small.py │ │ │ ├── ar_dur/ │ │ │ │ ├── ar_dur_predictor.py │ │ │ │ └── commons/ │ │ │ │ ├── layers.py │ │ │ │ ├── nar_tts_modules.py │ │ │ │ ├── rel_transformer.py │ │ │ │ ├── rot_transformer.py │ │ │ │ ├── seq_utils.py │ │ │ │ └── transformer.py │ │ │ ├── llm_dit/ │ │ │ │ ├── cfm.py │ │ │ │ ├── dit.py │ │ │ │ ├── time_embedding.py │ │ │ │ └── transformer.py │ │ │ └── wavvae/ │ │ │ ├── decoder/ │ │ │ │ ├── diag_gaussian.py │ │ │ │ ├── hifigan_modules.py │ │ │ │ ├── seanet_encoder.py │ │ │ │ └── wavvae_v3.py │ │ │ └── encoder/ │ │ │ └── common_modules/ │ │ │ ├── conv.py │ │ │ ├── lstm.py │ │ │ └── seanet.py │ │ └── utils/ │ │ ├── audio_utils/ │ │ │ ├── align.py │ │ │ ├── io.py │ │ │ └── plot.py │ │ ├── commons/ │ │ │ ├── ckpt_utils.py │ │ │ └── hparams.py │ │ └── text_utils/ │ │ ├── dict.json │ │ ├── ph_tone_convert.py │ │ ├── split_text.py │ │ └── text_encoder.py │ ├── melo/ │ │ ├── __init__.py │ │ ├── api.py │ │ ├── app.py │ │ ├── attentions.py │ │ ├── commons.py │ │ ├── configs/ │ │ │ └── config.json │ │ ├── data/ │ │ │ └── example/ │ │ │ └── metadata.list │ │ ├── data_utils.py │ │ ├── download_utils.py │ │ ├── infer.py │ │ ├── init_downloads.py │ │ ├── losses.py │ │ ├── main.py │ │ ├── mel_processing.py │ │ ├── models.py │ │ ├── modules.py │ │ ├── monotonic_align/ │ │ │ ├── __init__.py │ │ │ └── core.py │ │ ├── preprocess_text.py │ │ ├── split_utils.py │ │ ├── text/ │ │ │ ├── __init__.py │ │ │ ├── chinese.py │ │ │ ├── chinese_bert.py │ │ │ ├── chinese_mix.py │ │ │ ├── cleaner.py │ │ │ ├── cleaner_multiling.py │ │ │ ├── cmudict.rep │ │ │ ├── cmudict_cache.pickle │ │ │ ├── english.py │ │ │ ├── english_bert.py │ │ │ ├── english_utils/ │ │ │ │ ├── __init__.py │ │ │ │ ├── abbreviations.py │ │ │ │ ├── number_norm.py │ │ │ │ └── time_norm.py │ │ │ ├── es_phonemizer/ │ │ │ │ ├── __init__.py │ │ │ │ ├── base.py │ │ │ │ ├── cleaner.py │ │ │ │ ├── es_symbols.json │ │ │ │ ├── es_symbols.txt │ │ │ │ ├── es_symbols_v2.json │ │ │ │ ├── es_to_ipa.py │ │ │ │ ├── example_ipa.txt │ │ │ │ ├── gruut_wrapper.py │ │ │ │ ├── punctuation.py │ │ │ │ ├── spanish_symbols.txt │ │ │ │ └── test.ipynb │ │ │ ├── fr_phonemizer/ │ │ │ │ ├── __init__.py │ │ │ │ ├── base.py │ │ │ │ ├── cleaner.py │ │ │ │ ├── en_symbols.json │ │ │ │ ├── example_ipa.txt │ │ │ │ ├── fr_symbols.json │ │ │ │ ├── fr_to_ipa.py │ │ │ │ ├── french_abbreviations.py │ │ │ │ ├── french_symbols.txt │ │ │ │ ├── gruut_wrapper.py │ │ │ │ └── punctuation.py │ │ │ ├── french.py │ │ │ ├── french_bert.py │ │ │ ├── japanese.py │ │ │ ├── japanese_bert.py │ │ │ ├── ko_dictionary.py │ │ │ ├── korean.py │ │ │ ├── opencpop-strict.txt │ │ │ ├── spanish.py │ │ │ ├── spanish_bert.py │ │ │ ├── symbols.py │ │ │ └── tone_sandhi.py │ │ ├── train.py │ │ ├── train.sh │ │ ├── transforms.py │ │ └── utils.py │ ├── mlx/ │ │ ├── __init__.py │ │ └── flux/ │ │ ├── __init__.py │ │ ├── autoencoder.py │ │ ├── clip.py │ │ ├── datasets.py │ │ ├── flux.py │ │ ├── layers.py │ │ ├── lora.py │ │ ├── model.py │ │ ├── sampler.py │ │ ├── t5.py │ │ ├── tokenizers.py │ │ ├── trainer.py │ │ └── utils.py │ └── whisper/ │ ├── __init__.py │ ├── __main__.py │ ├── assets/ │ │ ├── gpt2.tiktoken │ │ ├── mel_filters.npz │ │ └── multilingual.tiktoken │ ├── audio.py │ ├── decoding.py │ ├── model.py │ ├── normalizers/ │ │ ├── __init__.py │ │ ├── basic.py │ │ ├── english.json │ │ └── english.py │ ├── timing.py │ ├── tokenizer.py │ ├── transcribe.py │ ├── triton_ops.py │ ├── utils.py │ └── version.py ├── types.py ├── ui/ │ ├── __init__.py │ ├── gradio/ │ │ ├── __init__.py │ │ ├── chat_interface.py │ │ ├── media_interface.py │ │ └── utils/ │ │ ├── __init__.py │ │ └── latex.py │ └── web/ │ └── ui/ │ ├── .eslintignore │ ├── .eslintrc.yml │ ├── .gitignore │ ├── .prettierignore │ ├── .prettierrc.yml │ ├── package.json │ ├── public/ │ │ └── index.html │ └── src/ │ ├── App.js │ ├── components/ │ │ ├── MenuSide.js │ │ ├── Title.js │ │ ├── alertComponent.js │ │ ├── apiContext.js │ │ ├── authAlertDialog.js │ │ ├── copyComponent.js │ │ ├── deleteDialog.js │ │ ├── errorMessageSnackBar.js │ │ ├── fetchWrapper.js │ │ ├── fetcher.js │ │ ├── hotkeyFocusTextField.js │ │ ├── successMessageSnackBar.js │ │ ├── tableTitle.js │ │ ├── themeButton.js │ │ ├── themeContext.js │ │ ├── titleTypography.js │ │ ├── translateButton.js │ │ ├── utils.js │ │ └── versionLabel.js │ ├── i18n.js │ ├── index.css │ ├── index.js │ ├── locales/ │ │ ├── en.json │ │ ├── ja.json │ │ ├── ko.json │ │ └── zh.json │ ├── router/ │ │ └── index.js │ ├── scenes/ │ │ ├── _layout/ │ │ │ └── index.js │ │ ├── cluster_info/ │ │ │ ├── index.js │ │ │ ├── nodeInfo.js │ │ │ └── style.js │ │ ├── launch_model/ │ │ │ ├── LaunchModel.js │ │ │ ├── components/ │ │ │ │ ├── cachedListDialog.js │ │ │ │ ├── commandBuilder.js │ │ │ │ ├── dynamicFieldList.js │ │ │ │ ├── editCustomModelDialog.js │ │ │ │ ├── launchModelDrawer.js │ │ │ │ ├── modelFormConfig.js │ │ │ │ ├── pasteDialog.js │ │ │ │ ├── progress.js │ │ │ │ ├── selectField.js │ │ │ │ └── virtualenvListDialog.js │ │ │ ├── data/ │ │ │ │ └── data.js │ │ │ ├── index.js │ │ │ ├── launchCustom.js │ │ │ ├── modelCard.js │ │ │ └── styles/ │ │ │ └── modelCardStyle.css │ │ ├── login/ │ │ │ ├── header.js │ │ │ └── login.js │ │ ├── register_model/ │ │ │ ├── components/ │ │ │ │ ├── addControlnet.js │ │ │ │ ├── addModelSpecs.js │ │ │ │ ├── addStop.js │ │ │ │ └── addVirtualenv.js │ │ │ ├── data/ │ │ │ │ └── languages.js │ │ │ ├── index.js │ │ │ ├── registerModel.js │ │ │ └── styles/ │ │ │ └── registerModelStyle.css │ │ └── running_models/ │ │ └── index.js │ └── theme.js └── utils.py