gitextract_p22ybhoq/ ├── .agents/ │ ├── adding-backends.md │ ├── api-endpoints-and-auth.md │ ├── building-and-testing.md │ ├── coding-style.md │ ├── llama-cpp-backend.md │ └── testing-mcp-apps.md ├── .air.toml ├── .devcontainer/ │ ├── devcontainer.json │ ├── docker-compose-devcontainer.yml │ ├── grafana/ │ │ └── datasource.yml │ └── prometheus/ │ └── prometheus.yml ├── .devcontainer-scripts/ │ ├── postcreate.sh │ ├── poststart.sh │ └── utils.sh ├── .dockerignore ├── .editorconfig ├── .gitattributes ├── .github/ │ ├── FUNDING.yml │ ├── ISSUE_TEMPLATE/ │ │ ├── bug_report.md │ │ ├── config.yml │ │ └── feature_request.md │ ├── PULL_REQUEST_TEMPLATE.md │ ├── bump_deps.sh │ ├── bump_docs.sh │ ├── check_and_update.py │ ├── checksum_checker.sh │ ├── ci/ │ │ └── modelslist.go │ ├── dependabot.yml │ ├── gallery-agent/ │ │ ├── agent.go │ │ ├── gallery.go │ │ ├── main.go │ │ ├── testing.go │ │ └── tools.go │ ├── labeler.yml │ ├── release.yml │ ├── stale.yml │ └── workflows/ │ ├── backend.yml │ ├── backend_build.yml │ ├── backend_build_darwin.yml │ ├── backend_pr.yml │ ├── build-test.yaml │ ├── bump_deps.yaml │ ├── bump_docs.yaml │ ├── checksum_checker.yaml │ ├── deploy-explorer.yaml │ ├── disabled/ │ │ ├── comment-pr.yaml │ │ ├── dependabot_auto.yml │ │ ├── labeler.yml │ │ ├── localaibot_automerge.yml │ │ ├── notify-models.yaml │ │ ├── prlint.yaml │ │ └── test-gpu.yml │ ├── gallery-agent.yaml │ ├── generate_grpc_cache.yaml │ ├── generate_intel_image.yaml │ ├── image-pr.yml │ ├── image.yml │ ├── image_build.yml │ ├── notify-releases.yaml │ ├── release.yaml │ ├── secscan.yaml │ ├── stalebot.yml │ ├── test-extra.yml │ ├── test.yml │ ├── tests-e2e.yml │ ├── tests-ui-e2e.yml │ ├── update_swagger.yaml │ └── yaml-check.yml ├── .gitignore ├── .gitmodules ├── .goreleaser.yaml ├── .vscode/ │ ├── extensions.json │ └── launch.json ├── .yamllint ├── AGENTS.md ├── CONTRIBUTING.md ├── Dockerfile ├── Entitlements.plist ├── LICENSE ├── Makefile ├── README.md ├── SECURITY.md ├── backend/ │ ├── Dockerfile.golang │ ├── Dockerfile.llama-cpp │ ├── Dockerfile.python │ ├── README.md │ ├── backend.proto │ ├── cpp/ │ │ ├── grpc/ │ │ │ ├── .gitignore │ │ │ └── Makefile │ │ └── llama-cpp/ │ │ ├── CMakeLists.txt │ │ ├── Makefile │ │ ├── grpc-server.cpp │ │ ├── package.sh │ │ ├── prepare.sh │ │ └── run.sh │ ├── go/ │ │ ├── acestep-cpp/ │ │ │ ├── CMakeLists.txt │ │ │ ├── Makefile │ │ │ ├── acestepcpp_test.go │ │ │ ├── cpp/ │ │ │ │ ├── goacestepcpp.cpp │ │ │ │ └── goacestepcpp.h │ │ │ ├── goacestepcpp.go │ │ │ ├── main.go │ │ │ ├── package.sh │ │ │ ├── run.sh │ │ │ └── test.sh │ │ ├── llm/ │ │ │ └── llama/ │ │ │ ├── llama.go │ │ │ └── main.go │ │ ├── local-store/ │ │ │ ├── Makefile │ │ │ ├── debug.go │ │ │ ├── main.go │ │ │ ├── package.sh │ │ │ ├── production.go │ │ │ ├── run.sh │ │ │ └── store.go │ │ ├── opus/ │ │ │ ├── Makefile │ │ │ ├── codec.go │ │ │ ├── csrc/ │ │ │ │ └── opus_shim.c │ │ │ ├── main.go │ │ │ ├── opus.go │ │ │ ├── opus_test.go │ │ │ ├── package.sh │ │ │ └── run.sh │ │ ├── piper/ │ │ │ ├── Makefile │ │ │ ├── main.go │ │ │ ├── package.sh │ │ │ ├── piper.go │ │ │ └── run.sh │ │ └── silero-vad/ │ │ ├── Makefile │ │ ├── main.go │ │ ├── package.sh │ │ ├── run.sh │ │ └── vad.go │ ├── index.yaml │ └── python/ │ ├── README.md │ ├── ace-step/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── chatterbox/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-install.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── common/ │ │ ├── libbackend.sh │ │ └── template/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── protogen.sh │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ └── test.sh │ ├── coqui/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── diffusers/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── backend.py │ │ ├── diffusers_dynamic_loader.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── faster-qwen3-tts/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-install.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── faster-whisper/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── protogen.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ └── test.sh │ ├── fish-speech/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── package.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── kitten-tts/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── kokoro/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── mlx/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── mlx_cache.py │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ ├── test.sh │ │ └── test_mlx_cache.py │ ├── mlx-audio/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── mlx-distributed/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── coordinator.py │ │ ├── install.sh │ │ ├── mlx_cache.py │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── sharding.py │ │ ├── test.py │ │ └── test.sh │ ├── mlx-vlm/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── moonshine/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── protogen.sh │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── nemo/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── protogen.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── neutts/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-after.txt │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── outetts/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── pocket-tts/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── protogen.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── qwen-asr/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12-after.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel-after.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── qwen-tts/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12-after.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel-after.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── rerankers/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── rfdetr/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ └── test.sh │ ├── transformers/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── vibevoice/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── vllm/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-after.txt │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12-after.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-install.txt │ │ ├── requirements-intel.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── vllm-omni/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── requirements-after.txt │ │ ├── requirements-cublas12-after.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ ├── voxcpm/ │ │ ├── Makefile │ │ ├── backend.py │ │ ├── install.sh │ │ ├── protogen.sh │ │ ├── requirements-cpu.txt │ │ ├── requirements-cublas12.txt │ │ ├── requirements-cublas13.txt │ │ ├── requirements-hipblas.txt │ │ ├── requirements-intel.txt │ │ ├── requirements-l4t12.txt │ │ ├── requirements-l4t13.txt │ │ ├── requirements-mps.txt │ │ ├── requirements.txt │ │ ├── run.sh │ │ ├── test.py │ │ └── test.sh │ └── whisperx/ │ ├── Makefile │ ├── backend.py │ ├── install.sh │ ├── protogen.sh │ ├── requirements-cpu.txt │ ├── requirements-cublas12.txt │ ├── requirements-cublas13.txt │ ├── requirements-hipblas.txt │ ├── requirements-mps.txt │ ├── requirements.txt │ ├── run.sh │ ├── test.py │ └── test.sh ├── cmd/ │ ├── launcher/ │ │ ├── icon.go │ │ ├── internal/ │ │ │ ├── launcher.go │ │ │ ├── launcher_suite_test.go │ │ │ ├── launcher_test.go │ │ │ ├── release_manager.go │ │ │ ├── release_manager_test.go │ │ │ ├── systray_manager.go │ │ │ └── ui.go │ │ └── main.go │ └── local-ai/ │ └── main.go ├── configuration/ │ └── .keep ├── core/ │ ├── application/ │ │ ├── agent_jobs.go │ │ ├── application.go │ │ ├── config_file_watcher.go │ │ ├── p2p.go │ │ ├── startup.go │ │ └── watchdog.go │ ├── backend/ │ │ ├── backend_suite_test.go │ │ ├── detection.go │ │ ├── embeddings.go │ │ ├── image.go │ │ ├── llm.go │ │ ├── llm_test.go │ │ ├── options.go │ │ ├── rerank.go │ │ ├── soundgeneration.go │ │ ├── stores.go │ │ ├── token_metrics.go │ │ ├── tokenize.go │ │ ├── transcript.go │ │ ├── tts.go │ │ ├── vad.go │ │ └── video.go │ ├── cli/ │ │ ├── agent.go │ │ ├── agent_test.go │ │ ├── backends.go │ │ ├── cli.go │ │ ├── completion.go │ │ ├── completion_test.go │ │ ├── context/ │ │ │ └── context.go │ │ ├── deprecations.go │ │ ├── explorer.go │ │ ├── federated.go │ │ ├── models.go │ │ ├── run.go │ │ ├── soundgeneration.go │ │ ├── transcript.go │ │ ├── tts.go │ │ ├── util.go │ │ └── worker/ │ │ ├── worker.go │ │ ├── worker_llamacpp.go │ │ ├── worker_mlx_common.go │ │ ├── worker_mlx_distributed.go │ │ ├── worker_p2p.go │ │ └── worker_p2p_mlx.go │ ├── clients/ │ │ └── store.go │ ├── config/ │ │ ├── application_config.go │ │ ├── application_config_test.go │ │ ├── config_suite_test.go │ │ ├── gallery.go │ │ ├── gguf.go │ │ ├── guesser.go │ │ ├── model_config.go │ │ ├── model_config_filter.go │ │ ├── model_config_loader.go │ │ ├── model_config_test.go │ │ ├── model_test.go │ │ └── runtime_settings.go │ ├── dependencies_manager/ │ │ └── manager.go │ ├── explorer/ │ │ ├── database.go │ │ ├── database_test.go │ │ ├── discovery.go │ │ └── explorer_suite_test.go │ ├── gallery/ │ │ ├── backend_resolve.go │ │ ├── backend_types.go │ │ ├── backends.go │ │ ├── backends_test.go │ │ ├── gallery.go │ │ ├── gallery_suite_test.go │ │ ├── gallery_test.go │ │ ├── importers/ │ │ │ ├── diffuser.go │ │ │ ├── diffuser_test.go │ │ │ ├── importers.go │ │ │ ├── importers_suite_test.go │ │ │ ├── importers_test.go │ │ │ ├── llama-cpp.go │ │ │ ├── llama-cpp_test.go │ │ │ ├── mlx.go │ │ │ ├── mlx_test.go │ │ │ ├── transformers.go │ │ │ ├── transformers_test.go │ │ │ ├── vllm.go │ │ │ └── vllm_test.go │ │ ├── metadata_type.go │ │ ├── models.go │ │ ├── models_test.go │ │ ├── models_types.go │ │ └── request_test.go │ ├── http/ │ │ ├── app.go │ │ ├── app_test.go │ │ ├── auth/ │ │ │ ├── apikeys.go │ │ │ ├── apikeys_test.go │ │ │ ├── auth_suite_test.go │ │ │ ├── db.go │ │ │ ├── db_nosqlite.go │ │ │ ├── db_sqlite.go │ │ │ ├── db_test.go │ │ │ ├── features.go │ │ │ ├── helpers_test.go │ │ │ ├── middleware.go │ │ │ ├── middleware_test.go │ │ │ ├── models.go │ │ │ ├── oauth.go │ │ │ ├── password.go │ │ │ ├── permissions.go │ │ │ ├── roles.go │ │ │ ├── roles_test.go │ │ │ ├── session.go │ │ │ ├── session_test.go │ │ │ ├── usage.go │ │ │ └── usage_test.go │ │ ├── endpoints/ │ │ │ ├── anthropic/ │ │ │ │ └── messages.go │ │ │ ├── elevenlabs/ │ │ │ │ ├── soundgeneration.go │ │ │ │ └── tts.go │ │ │ ├── explorer/ │ │ │ │ └── dashboard.go │ │ │ ├── jina/ │ │ │ │ └── rerank.go │ │ │ ├── localai/ │ │ │ │ ├── agent_collections.go │ │ │ │ ├── agent_jobs.go │ │ │ │ ├── agent_responses.go │ │ │ │ ├── agent_skills.go │ │ │ │ ├── agents.go │ │ │ │ ├── backend.go │ │ │ │ ├── backend_monitor.go │ │ │ │ ├── cors_proxy.go │ │ │ │ ├── detection.go │ │ │ │ ├── edit_model.go │ │ │ │ ├── edit_model_test.go │ │ │ │ ├── gallery.go │ │ │ │ ├── get_token_metrics.go │ │ │ │ ├── import_model.go │ │ │ │ ├── localai_suite_test.go │ │ │ │ ├── mcp.go │ │ │ │ ├── mcp_prompts.go │ │ │ │ ├── mcp_resources.go │ │ │ │ ├── mcp_tools.go │ │ │ │ ├── metrics.go │ │ │ │ ├── p2p.go │ │ │ │ ├── settings.go │ │ │ │ ├── stores.go │ │ │ │ ├── system.go │ │ │ │ ├── tokenize.go │ │ │ │ ├── tts.go │ │ │ │ ├── types.go │ │ │ │ ├── vad.go │ │ │ │ ├── video.go │ │ │ │ └── welcome.go │ │ │ ├── mcp/ │ │ │ │ └── tools.go │ │ │ ├── openai/ │ │ │ │ ├── chat.go │ │ │ │ ├── chat_test.go │ │ │ │ ├── completion.go │ │ │ │ ├── constants.go │ │ │ │ ├── edit.go │ │ │ │ ├── embeddings.go │ │ │ │ ├── image.go │ │ │ │ ├── image_test.go │ │ │ │ ├── inference.go │ │ │ │ ├── inference_test.go │ │ │ │ ├── inpainting.go │ │ │ │ ├── inpainting_test.go │ │ │ │ ├── list.go │ │ │ │ ├── openai_suite_test.go │ │ │ │ ├── realtime.go │ │ │ │ ├── realtime_model.go │ │ │ │ ├── realtime_transport.go │ │ │ │ ├── realtime_transport_webrtc.go │ │ │ │ ├── realtime_transport_ws.go │ │ │ │ ├── realtime_webrtc.go │ │ │ │ ├── transcription.go │ │ │ │ └── types/ │ │ │ │ ├── client_events.go │ │ │ │ ├── int_or_inf.go │ │ │ │ ├── message_item.go │ │ │ │ ├── server_events.go │ │ │ │ └── types.go │ │ │ └── openresponses/ │ │ │ ├── responses.go │ │ │ ├── store.go │ │ │ ├── store_suite_test.go │ │ │ ├── store_test.go │ │ │ └── websocket.go │ │ ├── explorer.go │ │ ├── http_suite_test.go │ │ ├── middleware/ │ │ │ ├── auth.go │ │ │ ├── auth_test.go │ │ │ ├── baseurl.go │ │ │ ├── baseurl_test.go │ │ │ ├── middleware_suite_test.go │ │ │ ├── request.go │ │ │ ├── strippathprefix.go │ │ │ ├── strippathprefix_test.go │ │ │ ├── trace.go │ │ │ └── usage.go │ │ ├── openresponses_test.go │ │ ├── react-ui/ │ │ │ ├── e2e/ │ │ │ │ ├── backend-logs.spec.js │ │ │ │ ├── manage-logs-link.spec.js │ │ │ │ ├── models-gallery.spec.js │ │ │ │ ├── navigation.spec.js │ │ │ │ ├── settings-backend-logging.spec.js │ │ │ │ ├── traces-errors.spec.js │ │ │ │ └── traces.spec.js │ │ │ ├── eslint.config.js │ │ │ ├── index.html │ │ │ ├── package.json │ │ │ ├── playwright.config.js │ │ │ ├── src/ │ │ │ │ ├── App.css │ │ │ │ ├── App.jsx │ │ │ │ ├── components/ │ │ │ │ │ ├── CanvasPanel.jsx │ │ │ │ │ ├── ClientMCPDropdown.jsx │ │ │ │ │ ├── CodeEditor.jsx │ │ │ │ │ ├── ConfirmDialog.jsx │ │ │ │ │ ├── LoadingSpinner.jsx │ │ │ │ │ ├── MCPAppFrame.jsx │ │ │ │ │ ├── Modal.jsx │ │ │ │ │ ├── ModelSelector.jsx │ │ │ │ │ ├── OperationsBar.jsx │ │ │ │ │ ├── RequireAdmin.jsx │ │ │ │ │ ├── RequireAuth.jsx │ │ │ │ │ ├── RequireFeature.jsx │ │ │ │ │ ├── ResourceCards.jsx │ │ │ │ │ ├── ResourceMonitor.jsx │ │ │ │ │ ├── SearchableModelSelect.jsx │ │ │ │ │ ├── SearchableSelect.jsx │ │ │ │ │ ├── SettingRow.jsx │ │ │ │ │ ├── Sidebar.jsx │ │ │ │ │ ├── ThemeToggle.jsx │ │ │ │ │ ├── Toast.jsx │ │ │ │ │ ├── Toggle.jsx │ │ │ │ │ ├── UnifiedMCPDropdown.jsx │ │ │ │ │ └── UserGroupSection.jsx │ │ │ │ ├── context/ │ │ │ │ │ └── AuthContext.jsx │ │ │ │ ├── contexts/ │ │ │ │ │ └── ThemeContext.jsx │ │ │ │ ├── hooks/ │ │ │ │ │ ├── useAgentChat.js │ │ │ │ │ ├── useChat.js │ │ │ │ │ ├── useMCPClient.js │ │ │ │ │ ├── useModels.js │ │ │ │ │ ├── useOperations.js │ │ │ │ │ ├── useResources.js │ │ │ │ │ └── useUserMap.js │ │ │ │ ├── index.css │ │ │ │ ├── main.jsx │ │ │ │ ├── pages/ │ │ │ │ │ ├── Account.jsx │ │ │ │ │ ├── AgentChat.jsx │ │ │ │ │ ├── AgentCreate.jsx │ │ │ │ │ ├── AgentJobDetails.jsx │ │ │ │ │ ├── AgentJobs.jsx │ │ │ │ │ ├── AgentStatus.jsx │ │ │ │ │ ├── AgentTaskDetails.jsx │ │ │ │ │ ├── Agents.jsx │ │ │ │ │ ├── BackendLogs.jsx │ │ │ │ │ ├── Backends.jsx │ │ │ │ │ ├── Chat.jsx │ │ │ │ │ ├── CollectionDetails.jsx │ │ │ │ │ ├── Collections.jsx │ │ │ │ │ ├── Explorer.jsx │ │ │ │ │ ├── Home.jsx │ │ │ │ │ ├── ImageGen.jsx │ │ │ │ │ ├── ImportModel.jsx │ │ │ │ │ ├── Login.jsx │ │ │ │ │ ├── Manage.jsx │ │ │ │ │ ├── ModelEditor.jsx │ │ │ │ │ ├── Models.jsx │ │ │ │ │ ├── NotFound.jsx │ │ │ │ │ ├── P2P.jsx │ │ │ │ │ ├── Settings.jsx │ │ │ │ │ ├── SkillEdit.jsx │ │ │ │ │ ├── Skills.jsx │ │ │ │ │ ├── Sound.jsx │ │ │ │ │ ├── TTS.jsx │ │ │ │ │ ├── Talk.jsx │ │ │ │ │ ├── Traces.jsx │ │ │ │ │ ├── Usage.jsx │ │ │ │ │ ├── Users.jsx │ │ │ │ │ ├── VideoGen.jsx │ │ │ │ │ └── auth.css │ │ │ │ ├── router.jsx │ │ │ │ ├── theme.css │ │ │ │ └── utils/ │ │ │ │ ├── api.js │ │ │ │ ├── artifacts.js │ │ │ │ ├── basePath.js │ │ │ │ ├── config.js │ │ │ │ ├── format.js │ │ │ │ ├── markdown.js │ │ │ │ └── mcpClientStorage.js │ │ │ └── vite.config.js │ │ ├── render.go │ │ ├── routes/ │ │ │ ├── agents.go │ │ │ ├── anthropic.go │ │ │ ├── auth.go │ │ │ ├── auth_test.go │ │ │ ├── elevenlabs.go │ │ │ ├── explorer.go │ │ │ ├── health.go │ │ │ ├── jina.go │ │ │ ├── localai.go │ │ │ ├── openai.go │ │ │ ├── openresponses.go │ │ │ ├── ui.go │ │ │ ├── ui_api.go │ │ │ ├── ui_api_backends_test.go │ │ │ ├── ui_backend_gallery.go │ │ │ └── ui_gallery.go │ │ ├── static/ │ │ │ ├── animations.css │ │ │ ├── assets/ │ │ │ │ ├── alpine.js │ │ │ │ ├── font1.css │ │ │ │ ├── font2.css │ │ │ │ ├── fontawesome/ │ │ │ │ │ └── css/ │ │ │ │ │ ├── all.css │ │ │ │ │ ├── brands.css │ │ │ │ │ ├── fontawesome.css │ │ │ │ │ ├── regular.css │ │ │ │ │ ├── solid.css │ │ │ │ │ ├── svg-with-js.css │ │ │ │ │ ├── v4-font-face.css │ │ │ │ │ ├── v4-shims.css │ │ │ │ │ └── v5-font-face.css │ │ │ │ ├── fontawesome.css │ │ │ │ ├── highlightjs.css │ │ │ │ ├── highlightjs.js │ │ │ │ ├── htmx.js │ │ │ │ ├── marked.js │ │ │ │ ├── purify.js │ │ │ │ ├── tailwindcss.js │ │ │ │ ├── tw-elements.css │ │ │ │ └── tw-elements.js │ │ │ ├── chat.js │ │ │ ├── components.css │ │ │ ├── general.css │ │ │ ├── image.js │ │ │ ├── p2panimation.js │ │ │ ├── sound.js │ │ │ ├── talk.js │ │ │ ├── theme.css │ │ │ ├── tts.js │ │ │ ├── typography.css │ │ │ └── video.js │ │ └── views/ │ │ ├── 404.html │ │ ├── agent-job-details.html │ │ ├── agent-jobs.html │ │ ├── agent-task-details.html │ │ ├── backends.html │ │ ├── chat.html │ │ ├── error.html │ │ ├── explorer.html │ │ ├── image.html │ │ ├── index.html │ │ ├── login.html │ │ ├── manage.html │ │ ├── model-editor.html │ │ ├── models.html │ │ ├── p2p.html │ │ ├── partials/ │ │ │ ├── footer.html │ │ │ ├── head.html │ │ │ ├── inprogress.html │ │ │ ├── navbar.html │ │ │ └── navbar_explorer.html │ │ ├── settings.html │ │ ├── sound.html │ │ ├── talk.html │ │ ├── traces.html │ │ ├── tts.html │ │ └── video.html │ ├── p2p/ │ │ ├── federated.go │ │ ├── federated_server.go │ │ ├── node.go │ │ ├── p2p.go │ │ └── p2p_common.go │ ├── schema/ │ │ ├── agent_jobs.go │ │ ├── anthropic.go │ │ ├── anthropic_test.go │ │ ├── backend.go │ │ ├── elevenlabs.go │ │ ├── gallery-model.schema.json │ │ ├── jina.go │ │ ├── localai.go │ │ ├── message.go │ │ ├── message_test.go │ │ ├── openai.go │ │ ├── openresponses.go │ │ ├── prediction.go │ │ ├── request.go │ │ ├── schema_suite_test.go │ │ ├── tokenize.go │ │ └── transcription.go │ ├── services/ │ │ ├── agent_jobs.go │ │ ├── agent_jobs_test.go │ │ ├── agent_pool.go │ │ ├── agent_pool_sse.go │ │ ├── backend_monitor.go │ │ ├── backends.go │ │ ├── backends_test.go │ │ ├── gallery.go │ │ ├── list_models.go │ │ ├── metrics.go │ │ ├── models.go │ │ ├── operation.go │ │ ├── services_suite_test.go │ │ ├── user_services.go │ │ └── user_storage.go │ ├── startup/ │ │ ├── model_preload.go │ │ ├── model_preload_test.go │ │ └── startup_suite_test.go │ ├── templates/ │ │ ├── cache.go │ │ ├── evaluator.go │ │ ├── evaluator_test.go │ │ ├── multimodal.go │ │ ├── multimodal_test.go │ │ └── templates_suite_test.go │ └── trace/ │ ├── audio_snippet.go │ └── backend_trace.go ├── custom-ca-certs/ │ └── .keep ├── docker-compose.yaml ├── docs/ │ ├── Dockerfile │ ├── README.md │ ├── assets/ │ │ └── jsconfig.json │ ├── content/ │ │ ├── _index.md │ │ ├── advanced/ │ │ │ ├── _index.en.md │ │ │ ├── _index.md │ │ │ ├── advanced-usage.md │ │ │ ├── fine-tuning.md │ │ │ ├── model-configuration.md │ │ │ ├── reverse-proxy-tls.md │ │ │ └── vram-management.md │ │ ├── faq.md │ │ ├── features/ │ │ │ ├── GPU-acceleration.md │ │ │ ├── _index.en.md │ │ │ ├── agents.md │ │ │ ├── audio-to-text.md │ │ │ ├── authentication.md │ │ │ ├── backend-monitor.md │ │ │ ├── backends.md │ │ │ ├── constrained_grammars.md │ │ │ ├── distributed_inferencing.md │ │ │ ├── embeddings.md │ │ │ ├── gpt-vision.md │ │ │ ├── image-generation.md │ │ │ ├── mcp.md │ │ │ ├── mlx-distributed.md │ │ │ ├── model-gallery.md │ │ │ ├── object-detection.md │ │ │ ├── openai-functions.md │ │ │ ├── openai-realtime.md │ │ │ ├── p2p.md │ │ │ ├── reranker.md │ │ │ ├── runtime-settings.md │ │ │ ├── sound-generation.md │ │ │ ├── stores.md │ │ │ ├── text-generation.md │ │ │ ├── text-to-audio.md │ │ │ ├── video-generation.md │ │ │ └── voice-activity-detection.md │ │ ├── getting-started/ │ │ │ ├── _index.en.md │ │ │ ├── build.md │ │ │ ├── container-images.md │ │ │ ├── customize-model.md │ │ │ ├── kubernetes.md │ │ │ ├── models.md │ │ │ ├── quickstart.md │ │ │ ├── troubleshooting.md │ │ │ └── try-it-out.md │ │ ├── installation/ │ │ │ ├── _index.en.md │ │ │ ├── build.md │ │ │ ├── containers.md │ │ │ ├── docker.md │ │ │ ├── kubernetes.md │ │ │ ├── linux.md │ │ │ └── macos.md │ │ ├── integrations.md │ │ ├── overview.md │ │ ├── reference/ │ │ │ ├── _index.en.md │ │ │ ├── _index.md │ │ │ ├── api-errors.md │ │ │ ├── architecture.md │ │ │ ├── binaries.md │ │ │ ├── cli-reference.md │ │ │ ├── compatibility-table.md │ │ │ ├── nvidia-l4t.md │ │ │ ├── shell-completion.md │ │ │ └── system-info.md │ │ └── whats-new.md │ ├── data/ │ │ ├── landing.yaml │ │ └── version.json │ ├── docker-compose.yaml │ ├── go.mod │ ├── go.sum │ ├── hugo.toml │ ├── layouts/ │ │ ├── 404.html │ │ ├── partials/ │ │ │ ├── docs/ │ │ │ │ ├── gitinfo.html │ │ │ │ ├── sidebar.html │ │ │ │ └── top-header.html │ │ │ ├── head.html │ │ │ ├── header.html │ │ │ ├── logo.html │ │ │ └── menu-footer.html │ │ └── shortcodes/ │ │ ├── github.html │ │ ├── pr.html │ │ └── version.html │ ├── netlify.toml │ ├── package.json │ └── static/ │ └── site.webmanifest ├── entrypoint.sh ├── examples/ │ └── README.md ├── gallery/ │ ├── alpaca.yaml │ ├── arch-function.yaml │ ├── cerbero.yaml │ ├── chatml-hercules.yaml │ ├── chatml.yaml │ ├── codellama.yaml │ ├── command-r.yaml │ ├── deephermes.yaml │ ├── deepseek-r1.yaml │ ├── deepseek.yaml │ ├── dreamshaper.yaml │ ├── falcon3.yaml │ ├── flux-ggml.yaml │ ├── flux.yaml │ ├── gemma.yaml │ ├── granite.yaml │ ├── granite3-2.yaml │ ├── granite4.yaml │ ├── harmony.yaml │ ├── hermes-2-pro-mistral.yaml │ ├── hermes-vllm.yaml │ ├── index.yaml │ ├── jamba.yaml │ ├── lfm.yaml │ ├── llama3-instruct.yaml │ ├── llama3.1-instruct-grammar.yaml │ ├── llama3.1-instruct.yaml │ ├── llama3.1-reflective.yaml │ ├── llama3.2-fcall.yaml │ ├── llama3.2-quantized.yaml │ ├── llava.yaml │ ├── mathstral.yaml │ ├── mistral-0.3.yaml │ ├── moondream.yaml │ ├── mudler.yaml │ ├── nanbeige4.1.yaml │ ├── noromaid.yaml │ ├── openvino.yaml │ ├── parler-tts.yaml │ ├── phi-2-chat.yaml │ ├── phi-2-orange.yaml │ ├── phi-3-chat.yaml │ ├── phi-3-vision.yaml │ ├── phi-4-chat-fcall.yaml │ ├── phi-4-chat.yaml │ ├── piper.yaml │ ├── pocket-tts.yaml │ ├── qwen-fcall.yaml │ ├── qwen-image.yaml │ ├── qwen3-deepresearch.yaml │ ├── qwen3-openbuddy.yaml │ ├── qwen3.yaml │ ├── rerankers.yaml │ ├── rwkv.yaml │ ├── sd-ggml.yaml │ ├── sentencetransformers.yaml │ ├── smolvlm.yaml │ ├── stablediffusion3.yaml │ ├── tuluv2.yaml │ ├── vibevoice.yaml │ ├── vicuna-chat.yaml │ ├── virtual.yaml │ ├── vllm.yaml │ ├── whisper-base.yaml │ ├── wizardlm2.yaml │ └── z-image-ggml.yaml ├── go.mod ├── go.sum ├── internal/ │ └── version.go ├── pkg/ │ ├── audio/ │ │ ├── audio.go │ │ ├── audio_suite_test.go │ │ ├── audio_test.go │ │ └── identify.go │ ├── concurrency/ │ │ ├── concurrency_suite_test.go │ │ ├── jobresult.go │ │ └── jobresult_test.go │ ├── downloader/ │ │ ├── downloader_suite_test.go │ │ ├── huggingface.go │ │ ├── progress.go │ │ ├── uri.go │ │ └── uri_test.go │ ├── format/ │ │ └── transcription.go │ ├── functions/ │ │ ├── chat_deltas.go │ │ ├── function_structure.go │ │ ├── functions.go │ │ ├── functions_suite_test.go │ │ ├── functions_test.go │ │ ├── grammars/ │ │ │ ├── bnf_rules.go │ │ │ ├── grammars_suite_test.go │ │ │ ├── json_schema.go │ │ │ ├── json_schema_test.go │ │ │ ├── llama31_schema.go │ │ │ ├── llama31_schema_test.go │ │ │ ├── options.go │ │ │ ├── rules.go │ │ │ └── types.go │ │ ├── iterative_parser.go │ │ ├── json_mode.go │ │ ├── json_stack_parser.go │ │ ├── parse.go │ │ ├── parse_test.go │ │ ├── peg/ │ │ │ ├── arena.go │ │ │ ├── builder.go │ │ │ ├── chat.go │ │ │ ├── chat_test.go │ │ │ ├── parser.go │ │ │ ├── parser_test.go │ │ │ ├── peg_suite_test.go │ │ │ ├── trie.go │ │ │ ├── types.go │ │ │ └── utils_test.go │ │ ├── peg_integration.go │ │ └── peg_integration_test.go │ ├── grpc/ │ │ ├── backend.go │ │ ├── base/ │ │ │ ├── base.go │ │ │ └── singlethread.go │ │ ├── client.go │ │ ├── embed.go │ │ ├── interface.go │ │ └── server.go │ ├── huggingface-api/ │ │ ├── client.go │ │ ├── client_test.go │ │ └── hfapi_suite_test.go │ ├── langchain/ │ │ └── langchain.go │ ├── model/ │ │ ├── backend_log_store.go │ │ ├── filters.go │ │ ├── initializers.go │ │ ├── loader.go │ │ ├── loader_options.go │ │ ├── loader_test.go │ │ ├── model.go │ │ ├── model_suite_test.go │ │ ├── process.go │ │ ├── watchdog.go │ │ ├── watchdog_options.go │ │ ├── watchdog_options_test.go │ │ └── watchdog_test.go │ ├── oci/ │ │ ├── blob.go │ │ ├── blob_test.go │ │ ├── image.go │ │ ├── image_test.go │ │ ├── oci_suite_test.go │ │ ├── ollama.go │ │ ├── ollama_test.go │ │ └── tarball.go │ ├── reasoning/ │ │ ├── config.go │ │ ├── extractor.go │ │ ├── extractor_test.go │ │ ├── reasoning.go │ │ ├── reasoning_suite_test.go │ │ └── reasoning_test.go │ ├── signals/ │ │ └── handler.go │ ├── sound/ │ │ ├── float32.go │ │ ├── int16.go │ │ ├── int16_test.go │ │ ├── sound_suite_test.go │ │ └── testutil_test.go │ ├── store/ │ │ └── client.go │ ├── system/ │ │ ├── capabilities.go │ │ ├── capabilities_test.go │ │ ├── state.go │ │ └── system_suite_test.go │ ├── utils/ │ │ ├── base64.go │ │ ├── base64_test.go │ │ ├── ffmpeg.go │ │ ├── hash.go │ │ ├── json.go │ │ ├── logging.go │ │ ├── path.go │ │ ├── strings.go │ │ ├── untar.go │ │ ├── urlfetch.go │ │ ├── urlfetch_test.go │ │ └── utils_suite_test.go │ ├── vram/ │ │ ├── cache.go │ │ ├── estimate.go │ │ ├── estimate_test.go │ │ ├── gguf_reader.go │ │ ├── hf_estimate.go │ │ ├── hf_estimate_test.go │ │ ├── types.go │ │ └── vram_suite_test.go │ ├── xio/ │ │ └── copy.go │ ├── xsync/ │ │ ├── map.go │ │ ├── map_test.go │ │ └── sync_suite_test.go │ └── xsysinfo/ │ ├── cpu.go │ ├── gpu.go │ └── memory.go ├── prompt-templates/ │ ├── alpaca.tmpl │ ├── getting_started.tmpl │ ├── ggml-gpt4all-j.tmpl │ ├── koala.tmpl │ ├── llama2-chat-message.tmpl │ ├── vicuna.tmpl │ └── wizardlm.tmpl ├── renovate.json ├── scripts/ │ ├── build/ │ │ ├── golang-darwin.sh │ │ ├── llama-cpp-darwin.sh │ │ ├── package-gpu-libs.sh │ │ └── python-darwin.sh │ ├── changed-backends.js │ ├── latest_hf.py │ ├── model_gallery_info.py │ └── prepare-libs.sh ├── swagger/ │ ├── docs.go │ ├── swagger.json │ └── swagger.yaml ├── tests/ │ ├── e2e/ │ │ ├── e2e_anthropic_test.go │ │ ├── e2e_mcp_test.go │ │ ├── e2e_suite_test.go │ │ ├── e2e_websocket_responses_test.go │ │ ├── mock_backend_test.go │ │ ├── realtime_webrtc_test.go │ │ └── realtime_ws_test.go │ ├── e2e-aio/ │ │ ├── e2e_suite_test.go │ │ ├── e2e_test.go │ │ ├── models/ │ │ │ ├── embeddings.yaml │ │ │ ├── image-gen.yaml │ │ │ ├── rerank.yaml │ │ │ ├── speech-to-text.yaml │ │ │ ├── text-to-speech.yaml │ │ │ ├── text-to-text.yaml │ │ │ ├── vad.yaml │ │ │ └── vision.yaml │ │ └── sample_data_test.go │ ├── e2e-ui/ │ │ ├── .gitignore │ │ ├── Dockerfile │ │ └── main.go │ ├── fixtures/ │ │ ├── backend-image/ │ │ │ ├── Dockerfile │ │ │ ├── run.sh │ │ │ └── src/ │ │ │ └── .keep │ │ └── gallery_simple.yaml │ ├── integration/ │ │ ├── integration_suite_test.go │ │ └── stores_test.go │ └── models_fixtures/ │ ├── completion.tmpl │ ├── config.yaml │ ├── embeddings.yaml │ ├── ggml-gpt4all-j.tmpl │ ├── gpt4.yaml │ ├── gpt4_2.yaml │ ├── grpc.yaml │ ├── rwkv.yaml │ └── whisper.yaml └── webui_static.yaml