gitextract_pvz9t_lh/ ├── .devops/ │ ├── cloud-v-pipeline │ ├── full-cuda.Dockerfile │ ├── full-rocm.Dockerfile │ ├── full.Dockerfile │ ├── llama-cpp-clblast.srpm.spec │ ├── llama-cpp-cublas.srpm.spec │ ├── llama-cpp.srpm.spec │ ├── main-cuda.Dockerfile │ ├── main-rocm.Dockerfile │ ├── main.Dockerfile │ └── tools.sh ├── .dockerignore ├── .ecrc ├── .editorconfig ├── .flake8 ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug.md │ │ ├── enhancement.md │ │ └── question.md │ └── workflows/ │ ├── build.yml │ ├── code-coverage.yml │ ├── docker.yml │ ├── editorconfig.yml │ ├── gguf-publish.yml │ ├── tidy-post.yml │ ├── tidy-review.yml │ └── zig-build.yml ├── .gitignore ├── .gitmodules ├── .pre-commit-config.yaml ├── CMakeLists.txt ├── LICENSE ├── Package.swift ├── README.md ├── SHA256SUMS ├── atomic_windows.h ├── build.zig ├── ci/ │ ├── README.md │ └── run.sh ├── cmake/ │ └── FindSIMD.cmake ├── codecov.yml ├── common/ │ ├── CMakeLists.txt │ ├── base64.hpp │ ├── build-info.cpp.in │ ├── common.cpp │ ├── common.h │ ├── console.cpp │ ├── console.h │ ├── grammar-parser.cpp │ ├── grammar-parser.h │ ├── log.h │ ├── sampling.cpp │ ├── sampling.h │ ├── stb_image.h │ ├── train.cpp │ └── train.h ├── convert-dense.py ├── convert-hf-to-powerinfer-gguf.py ├── convert.py ├── docs/ │ ├── BLIS.md │ └── token_generation_performance_tips.md ├── examples/ │ ├── CMakeLists.txt │ ├── Miku.sh │ ├── alpaca.sh │ ├── baby-llama/ │ │ ├── CMakeLists.txt │ │ └── baby-llama.cpp │ ├── batched/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── batched.cpp │ ├── batched-bench/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── batched-bench.cpp │ ├── batched.swift/ │ │ ├── .gitignore │ │ ├── Makefile │ │ ├── Package.swift │ │ ├── README.md │ │ └── Sources/ │ │ └── main.swift │ ├── beam-search/ │ │ ├── CMakeLists.txt │ │ └── beam-search.cpp │ ├── benchmark/ │ │ ├── CMakeLists.txt │ │ └── benchmark-matmult.cpp │ ├── chat-13B.sh │ ├── chat-persistent.sh │ ├── chat-vicuna.sh │ ├── chat.sh │ ├── convert-llama2c-to-ggml/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── convert-llama2c-to-ggml.cpp │ ├── embedding/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── embedding.cpp │ ├── export-lora/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── export-lora.cpp │ ├── finetune/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── convert-finetune-checkpoint-to-gguf.py │ │ ├── finetune.cpp │ │ └── finetune.sh │ ├── gguf/ │ │ ├── CMakeLists.txt │ │ └── gguf.cpp │ ├── gpt4all.sh │ ├── infill/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── infill.cpp │ ├── jeopardy/ │ │ ├── README.md │ │ ├── graph.py │ │ ├── jeopardy.sh │ │ ├── qasheet.csv │ │ └── questions.txt │ ├── json-schema-to-grammar.py │ ├── llama-bench/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── llama-bench.cpp │ ├── llama.vim │ ├── llama2-13b.sh │ ├── llama2.sh │ ├── llava/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── clip.cpp │ │ ├── clip.h │ │ ├── convert-image-encoder-to-gguf.py │ │ ├── llava-cli.cpp │ │ ├── llava-surgery.py │ │ ├── llava.cpp │ │ └── llava.h │ ├── llm.vim │ ├── main/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── main.cpp │ ├── main-cmake-pkg/ │ │ ├── .gitignore │ │ ├── CMakeLists.txt │ │ └── README.md │ ├── make-ggml.py │ ├── metal/ │ │ ├── CMakeLists.txt │ │ └── metal.cpp │ ├── parallel/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── parallel.cpp │ ├── perplexity/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── perplexity.cpp │ ├── quantize/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── quantize.cpp │ ├── quantize-stats/ │ │ ├── CMakeLists.txt │ │ └── quantize-stats.cpp │ ├── reason-act.sh │ ├── save-load-state/ │ │ ├── CMakeLists.txt │ │ └── save-load-state.cpp │ ├── server/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── api_like_OAI.py │ │ ├── chat-llama2.sh │ │ ├── chat.mjs │ │ ├── chat.sh │ │ ├── completion.js.hpp │ │ ├── deps.sh │ │ ├── httplib.h │ │ ├── index.html.hpp │ │ ├── index.js.hpp │ │ ├── json-schema-to-grammar.mjs.hpp │ │ ├── json.hpp │ │ ├── public/ │ │ │ ├── completion.js │ │ │ ├── index.html │ │ │ ├── index.js │ │ │ └── json-schema-to-grammar.mjs │ │ └── server.cpp │ ├── server-llama2-13B.sh │ ├── simple/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ └── simple.cpp │ ├── speculative/ │ │ ├── CMakeLists.txt │ │ └── speculative.cpp │ └── train-text-from-scratch/ │ ├── CMakeLists.txt │ ├── README.md │ ├── convert-train-checkpoint-to-gguf.py │ └── train-text-from-scratch.cpp ├── flake.nix ├── ggml-alloc.c ├── ggml-alloc.h ├── ggml-backend-impl.h ├── ggml-backend.c ├── ggml-backend.h ├── ggml-cuda.cu ├── ggml-cuda.h ├── ggml-impl.h ├── ggml-metal.h ├── ggml-metal.m ├── ggml-metal.metal ├── ggml-mpi.c ├── ggml-mpi.h ├── ggml-opencl.cpp ├── ggml-opencl.h ├── ggml-quants.c ├── ggml-quants.h ├── ggml.c ├── ggml.h ├── gguf-py/ │ ├── LICENSE │ ├── README.md │ ├── examples/ │ │ └── writer.py │ ├── gguf/ │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── gguf.py │ │ ├── gguf_reader.py │ │ ├── gguf_writer.py │ │ ├── py.typed │ │ ├── tensor_mapping.py │ │ └── vocab.py │ ├── pyproject.toml │ ├── scripts/ │ │ ├── __init__.py │ │ ├── gguf-convert-endian.py │ │ ├── gguf-dump.py │ │ └── gguf-set-metadata.py │ └── tests/ │ └── test_gguf.py ├── grammars/ │ ├── README.md │ ├── arithmetic.gbnf │ ├── c.gbnf │ ├── chess.gbnf │ ├── japanese.gbnf │ ├── json.gbnf │ ├── json_arr.gbnf │ └── list.gbnf ├── llama.cpp ├── llama.h ├── mypy.ini ├── pocs/ │ ├── CMakeLists.txt │ └── vdot/ │ ├── CMakeLists.txt │ ├── q8dot.cpp │ └── vdot.cpp ├── powerinfer-py/ │ ├── powerinfer/ │ │ ├── __init__.py │ │ ├── __main__.py │ │ ├── export_split.py │ │ └── solver.py │ └── pyproject.toml ├── prompts/ │ ├── LLM-questions.txt │ ├── alpaca.txt │ ├── assistant.txt │ ├── chat-with-baichuan.txt │ ├── chat-with-bob.txt │ ├── chat-with-vicuna-v0.txt │ ├── chat-with-vicuna-v1.txt │ ├── chat.txt │ ├── dan-modified.txt │ ├── dan.txt │ ├── mnemonics.txt │ ├── parallel-questions.txt │ └── reason-act.txt ├── requirements.txt ├── run_with_preset.py ├── scripts/ │ ├── LlamaConfig.cmake.in │ ├── build-info.cmake │ ├── build-info.sh │ ├── convert-gg.sh │ ├── get-wikitext-2.sh │ ├── qnt-all.sh │ ├── run-all-perf.sh │ ├── run-all-ppl.sh │ ├── server-llm.sh │ ├── sync-ggml.sh │ └── verify-checksum-models.py ├── smallthinker/ │ ├── AUTHORS │ ├── CMakeLists.txt │ ├── CMakePresets.json │ ├── CODEOWNERS │ ├── CONTRIBUTING.md │ ├── LICENSE │ ├── Makefile │ ├── README.md │ ├── SECURITY.md │ ├── build-xcframework.sh │ ├── ci/ │ │ ├── README.md │ │ └── run.sh │ ├── cmake/ │ │ ├── arm64-apple-clang.cmake │ │ ├── arm64-windows-llvm.cmake │ │ ├── build-info.cmake │ │ ├── common.cmake │ │ ├── git-vars.cmake │ │ ├── llama-config.cmake.in │ │ ├── llama.pc.in │ │ └── x64-windows-llvm.cmake │ ├── common/ │ │ ├── CMakeLists.txt │ │ ├── arg.cpp │ │ ├── arg.h │ │ ├── base64.hpp │ │ ├── build-info.cpp.in │ │ ├── chat-parser.cpp │ │ ├── chat-parser.h │ │ ├── chat.cpp │ │ ├── chat.h │ │ ├── cmake/ │ │ │ └── build-info-gen-cpp.cmake │ │ ├── common.cpp │ │ ├── common.h │ │ ├── console.cpp │ │ ├── console.h │ │ ├── json-partial.cpp │ │ ├── json-partial.h │ │ ├── json-schema-to-grammar.cpp │ │ ├── json-schema-to-grammar.h │ │ ├── llguidance.cpp │ │ ├── log.cpp │ │ ├── log.h │ │ ├── ngram-cache.cpp │ │ ├── ngram-cache.h │ │ ├── regex-partial.cpp │ │ ├── regex-partial.h │ │ ├── sampling.cpp │ │ ├── sampling.h │ │ ├── speculative.cpp │ │ └── speculative.h │ ├── convert_hf_to_gguf.py │ ├── convert_hf_to_gguf_update.py │ ├── convert_llama_ggml_to_gguf.py │ ├── convert_lora_to_gguf.py │ ├── docs/ │ │ ├── android.md │ │ ├── backend/ │ │ │ ├── BLIS.md │ │ │ ├── CANN.md │ │ │ ├── CUDA-FEDORA.md │ │ │ ├── OPENCL.md │ │ │ └── SYCL.md │ │ ├── build.md │ │ ├── development/ │ │ │ ├── HOWTO-add-model.md │ │ │ ├── debugging-tests.md │ │ │ ├── llama-star/ │ │ │ │ └── idea-arch.key │ │ │ └── token_generation_performance_tips.md │ │ ├── docker.md │ │ ├── function-calling.md │ │ ├── install.md │ │ ├── llguidance.md │ │ ├── multimodal/ │ │ │ ├── MobileVLM.md │ │ │ ├── gemma3.md │ │ │ ├── glmedge.md │ │ │ ├── granitevision.md │ │ │ ├── llava.md │ │ │ ├── minicpmo2.6.md │ │ │ ├── minicpmv2.5.md │ │ │ └── minicpmv2.6.md │ │ └── multimodal.md │ ├── examples/ │ │ ├── CMakeLists.txt │ │ ├── Miku.sh │ │ ├── batched/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── batched.cpp │ │ ├── batched.swift/ │ │ │ ├── .gitignore │ │ │ ├── Makefile │ │ │ ├── Package.swift │ │ │ ├── README.md │ │ │ └── Sources/ │ │ │ └── main.swift │ │ ├── chat-13B.sh │ │ ├── chat-persistent.sh │ │ ├── chat-vicuna.sh │ │ ├── chat.sh │ │ ├── convert-llama2c-to-ggml/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── convert-llama2c-to-ggml.cpp │ │ ├── convert_legacy_llama.py │ │ ├── deprecation-warning/ │ │ │ ├── README.md │ │ │ └── deprecation-warning.cpp │ │ ├── embedding/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── embedding.cpp │ │ ├── eval-callback/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── eval-callback.cpp │ │ ├── gen-docs/ │ │ │ ├── CMakeLists.txt │ │ │ └── gen-docs.cpp │ │ ├── gguf/ │ │ │ ├── CMakeLists.txt │ │ │ └── gguf.cpp │ │ ├── gguf-hash/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── deps/ │ │ │ │ ├── rotate-bits/ │ │ │ │ │ ├── package.json │ │ │ │ │ └── rotate-bits.h │ │ │ │ ├── sha1/ │ │ │ │ │ ├── package.json │ │ │ │ │ ├── sha1.c │ │ │ │ │ └── sha1.h │ │ │ │ ├── sha256/ │ │ │ │ │ ├── package.json │ │ │ │ │ ├── sha256.c │ │ │ │ │ └── sha256.h │ │ │ │ └── xxhash/ │ │ │ │ ├── clib.json │ │ │ │ ├── xxhash.c │ │ │ │ └── xxhash.h │ │ │ └── gguf-hash.cpp │ │ ├── gritlm/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── gritlm.cpp │ │ ├── jeopardy/ │ │ │ ├── README.md │ │ │ ├── graph.py │ │ │ ├── jeopardy.sh │ │ │ ├── qasheet.csv │ │ │ └── questions.txt │ │ ├── json_schema_pydantic_example.py │ │ ├── json_schema_to_grammar.py │ │ ├── llama.android/ │ │ │ ├── .gitignore │ │ │ ├── README.md │ │ │ ├── app/ │ │ │ │ ├── .gitignore │ │ │ │ ├── build.gradle.kts │ │ │ │ ├── proguard-rules.pro │ │ │ │ └── src/ │ │ │ │ └── main/ │ │ │ │ ├── AndroidManifest.xml │ │ │ │ ├── java/ │ │ │ │ │ └── com/ │ │ │ │ │ └── example/ │ │ │ │ │ └── llama/ │ │ │ │ │ ├── Downloadable.kt │ │ │ │ │ ├── MainActivity.kt │ │ │ │ │ ├── MainViewModel.kt │ │ │ │ │ └── ui/ │ │ │ │ │ └── theme/ │ │ │ │ │ ├── Color.kt │ │ │ │ │ ├── Theme.kt │ │ │ │ │ └── Type.kt │ │ │ │ └── res/ │ │ │ │ ├── drawable/ │ │ │ │ │ ├── ic_launcher_background.xml │ │ │ │ │ └── ic_launcher_foreground.xml │ │ │ │ ├── mipmap-anydpi/ │ │ │ │ │ ├── ic_launcher.xml │ │ │ │ │ └── ic_launcher_round.xml │ │ │ │ ├── values/ │ │ │ │ │ ├── colors.xml │ │ │ │ │ ├── strings.xml │ │ │ │ │ └── themes.xml │ │ │ │ └── xml/ │ │ │ │ ├── backup_rules.xml │ │ │ │ └── data_extraction_rules.xml │ │ │ ├── build.gradle.kts │ │ │ ├── gradle/ │ │ │ │ └── wrapper/ │ │ │ │ ├── gradle-wrapper.jar │ │ │ │ └── gradle-wrapper.properties │ │ │ ├── gradle.properties │ │ │ ├── gradlew │ │ │ ├── llama/ │ │ │ │ ├── .gitignore │ │ │ │ ├── build.gradle.kts │ │ │ │ ├── consumer-rules.pro │ │ │ │ ├── proguard-rules.pro │ │ │ │ └── src/ │ │ │ │ ├── androidTest/ │ │ │ │ │ └── java/ │ │ │ │ │ └── android/ │ │ │ │ │ └── llama/ │ │ │ │ │ └── cpp/ │ │ │ │ │ └── ExampleInstrumentedTest.kt │ │ │ │ ├── main/ │ │ │ │ │ ├── AndroidManifest.xml │ │ │ │ │ ├── cpp/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ └── llama-android.cpp │ │ │ │ │ └── java/ │ │ │ │ │ └── android/ │ │ │ │ │ └── llama/ │ │ │ │ │ └── cpp/ │ │ │ │ │ └── LLamaAndroid.kt │ │ │ │ └── test/ │ │ │ │ └── java/ │ │ │ │ └── android/ │ │ │ │ └── llama/ │ │ │ │ └── cpp/ │ │ │ │ └── ExampleUnitTest.kt │ │ │ └── settings.gradle.kts │ │ ├── llama.swiftui/ │ │ │ ├── .gitignore │ │ │ ├── README.md │ │ │ ├── llama.cpp.swift/ │ │ │ │ └── LibLlama.swift │ │ │ ├── llama.swiftui/ │ │ │ │ ├── Assets.xcassets/ │ │ │ │ │ ├── AppIcon.appiconset/ │ │ │ │ │ │ └── Contents.json │ │ │ │ │ └── Contents.json │ │ │ │ ├── Models/ │ │ │ │ │ └── LlamaState.swift │ │ │ │ ├── Resources/ │ │ │ │ │ └── models/ │ │ │ │ │ └── .gitignore │ │ │ │ ├── UI/ │ │ │ │ │ ├── ContentView.swift │ │ │ │ │ ├── DownloadButton.swift │ │ │ │ │ ├── InputButton.swift │ │ │ │ │ └── LoadCustomButton.swift │ │ │ │ └── llama_swiftuiApp.swift │ │ │ └── llama.swiftui.xcodeproj/ │ │ │ ├── project.pbxproj │ │ │ └── project.xcworkspace/ │ │ │ └── contents.xcworkspacedata │ │ ├── llama.vim │ │ ├── llm.vim │ │ ├── lookahead/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── lookahead.cpp │ │ ├── lookup/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── lookup-create.cpp │ │ │ ├── lookup-merge.cpp │ │ │ ├── lookup-stats.cpp │ │ │ └── lookup.cpp │ │ ├── parallel/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── parallel.cpp │ │ ├── passkey/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── passkey.cpp │ │ ├── pydantic_models_to_grammar.py │ │ ├── pydantic_models_to_grammar_examples.py │ │ ├── reason-act.sh │ │ ├── regex_to_grammar.py │ │ ├── retrieval/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── retrieval.cpp │ │ ├── save-load-state/ │ │ │ ├── CMakeLists.txt │ │ │ └── save-load-state.cpp │ │ ├── server-llama2-13B.sh │ │ ├── server_embd.py │ │ ├── simple/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── simple.cpp │ │ ├── simple-chat/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── simple-chat.cpp │ │ ├── simple-cmake-pkg/ │ │ │ ├── .gitignore │ │ │ ├── CMakeLists.txt │ │ │ └── README.md │ │ ├── speculative/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── speculative.cpp │ │ ├── speculative-simple/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── speculative-simple.cpp │ │ ├── sycl/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── build.sh │ │ │ ├── ls-sycl-device.cpp │ │ │ ├── run-llama2.sh │ │ │ └── run-llama3.sh │ │ ├── training/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── finetune.cpp │ │ └── ts-type-to-grammar.sh │ ├── flake.nix │ ├── get_no_moe_weights_ffn.py │ ├── ggml/ │ │ ├── .gitignore │ │ ├── CMakeLists.txt │ │ ├── cmake/ │ │ │ ├── GitVars.cmake │ │ │ ├── common.cmake │ │ │ └── ggml-config.cmake.in │ │ ├── include/ │ │ │ ├── .clang-format │ │ │ ├── ggml-alloc.h │ │ │ ├── ggml-backend.h │ │ │ ├── ggml-blas.h │ │ │ ├── ggml-cann.h │ │ │ ├── ggml-cpp.h │ │ │ ├── ggml-cpu.h │ │ │ ├── ggml-cuda.h │ │ │ ├── ggml-kompute.h │ │ │ ├── ggml-metal.h │ │ │ ├── ggml-opencl.h │ │ │ ├── ggml-opt.h │ │ │ ├── ggml-rpc.h │ │ │ ├── ggml-sycl.h │ │ │ ├── ggml-vulkan.h │ │ │ ├── ggml.h │ │ │ └── gguf.h │ │ └── src/ │ │ ├── .clang-format │ │ ├── CMakeLists.txt │ │ ├── ggml-alloc.c │ │ ├── ggml-backend-impl.h │ │ ├── ggml-backend-reg.cpp │ │ ├── ggml-backend.cpp │ │ ├── ggml-blas/ │ │ │ ├── CMakeLists.txt │ │ │ └── ggml-blas.cpp │ │ ├── ggml-cann/ │ │ │ ├── CMakeLists.txt │ │ │ ├── Doxyfile │ │ │ ├── acl_tensor.cpp │ │ │ ├── acl_tensor.h │ │ │ ├── aclnn_ops.cpp │ │ │ ├── aclnn_ops.h │ │ │ ├── common.h │ │ │ └── ggml-cann.cpp │ │ ├── ggml-common.h │ │ ├── ggml-cpu/ │ │ │ ├── CMakeLists.txt │ │ │ ├── amx/ │ │ │ │ ├── amx.cpp │ │ │ │ ├── amx.h │ │ │ │ ├── common.h │ │ │ │ ├── mmq.cpp │ │ │ │ └── mmq.h │ │ │ ├── binary-ops.cpp │ │ │ ├── binary-ops.h │ │ │ ├── cmake/ │ │ │ │ └── FindSIMD.cmake │ │ │ ├── common.h │ │ │ ├── cpu-feats-x86.cpp │ │ │ ├── ggml-cpu-aarch64.cpp │ │ │ ├── ggml-cpu-aarch64.h │ │ │ ├── ggml-cpu-hbm.cpp │ │ │ ├── ggml-cpu-hbm.h │ │ │ ├── ggml-cpu-impl.h │ │ │ ├── ggml-cpu-quants.c │ │ │ ├── ggml-cpu-quants.h │ │ │ ├── ggml-cpu-traits.cpp │ │ │ ├── ggml-cpu-traits.h │ │ │ ├── ggml-cpu.c │ │ │ ├── ggml-cpu.cpp │ │ │ ├── kleidiai/ │ │ │ │ ├── kernels.cpp │ │ │ │ ├── kernels.h │ │ │ │ ├── kleidiai.cpp │ │ │ │ └── kleidiai.h │ │ │ ├── llamafile/ │ │ │ │ ├── sgemm.cpp │ │ │ │ └── sgemm.h │ │ │ ├── ops.cpp │ │ │ ├── ops.h │ │ │ ├── simd-mappings.h │ │ │ ├── unary-ops.cpp │ │ │ ├── unary-ops.h │ │ │ ├── vec.cpp │ │ │ └── vec.h │ │ ├── ggml-cuda/ │ │ │ ├── CMakeLists.txt │ │ │ ├── acc.cu │ │ │ ├── acc.cuh │ │ │ ├── arange.cu │ │ │ ├── arange.cuh │ │ │ ├── argmax.cu │ │ │ ├── argmax.cuh │ │ │ ├── argsort.cu │ │ │ ├── argsort.cuh │ │ │ ├── binbcast.cu │ │ │ ├── binbcast.cuh │ │ │ ├── clamp.cu │ │ │ ├── clamp.cuh │ │ │ ├── common.cuh │ │ │ ├── concat.cu │ │ │ ├── concat.cuh │ │ │ ├── conv-transpose-1d.cu │ │ │ ├── conv-transpose-1d.cuh │ │ │ ├── convert.cu │ │ │ ├── convert.cuh │ │ │ ├── count-equal.cu │ │ │ ├── count-equal.cuh │ │ │ ├── cp-async.cuh │ │ │ ├── cpy.cu │ │ │ ├── cpy.cuh │ │ │ ├── cross-entropy-loss.cu │ │ │ ├── cross-entropy-loss.cuh │ │ │ ├── dequantize.cuh │ │ │ ├── diagmask.cu │ │ │ ├── diagmask.cuh │ │ │ ├── fattn-common.cuh │ │ │ ├── fattn-mma-f16.cuh │ │ │ ├── fattn-tile-f16.cu │ │ │ ├── fattn-tile-f16.cuh │ │ │ ├── fattn-tile-f32.cu │ │ │ ├── fattn-tile-f32.cuh │ │ │ ├── fattn-vec-f16.cuh │ │ │ ├── fattn-vec-f32.cuh │ │ │ ├── fattn-wmma-f16.cu │ │ │ ├── fattn-wmma-f16.cuh │ │ │ ├── fattn.cu │ │ │ ├── fattn.cuh │ │ │ ├── getrows.cu │ │ │ ├── getrows.cuh │ │ │ ├── ggml-cuda.cu │ │ │ ├── gla.cu │ │ │ ├── gla.cuh │ │ │ ├── im2col.cu │ │ │ ├── im2col.cuh │ │ │ ├── mma.cuh │ │ │ ├── mmq.cu │ │ │ ├── mmq.cuh │ │ │ ├── mmv.cu │ │ │ ├── mmv.cuh │ │ │ ├── mmvq.cu │ │ │ ├── mmvq.cuh │ │ │ ├── norm.cu │ │ │ ├── norm.cuh │ │ │ ├── opt-step-adamw.cu │ │ │ ├── opt-step-adamw.cuh │ │ │ ├── out-prod.cu │ │ │ ├── out-prod.cuh │ │ │ ├── pad.cu │ │ │ ├── pad.cuh │ │ │ ├── pool2d.cu │ │ │ ├── pool2d.cuh │ │ │ ├── quantize.cu │ │ │ ├── quantize.cuh │ │ │ ├── rope.cu │ │ │ ├── rope.cuh │ │ │ ├── scale.cu │ │ │ ├── scale.cuh │ │ │ ├── softmax.cu │ │ │ ├── softmax.cuh │ │ │ ├── ssm-conv.cu │ │ │ ├── ssm-conv.cuh │ │ │ ├── ssm-scan.cu │ │ │ ├── ssm-scan.cuh │ │ │ ├── sum.cu │ │ │ ├── sum.cuh │ │ │ ├── sumrows.cu │ │ │ ├── sumrows.cuh │ │ │ ├── template-instances/ │ │ │ │ ├── fattn-mma-f16-instance-ncols1_1-ncols2_16.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_1-ncols2_8.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_16-ncols2_1.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_16-ncols2_2.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_16-ncols2_4.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_2-ncols2_16.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_2-ncols2_4.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_2-ncols2_8.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_32-ncols2_1.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_32-ncols2_2.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_4-ncols2_16.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_4-ncols2_2.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_4-ncols2_4.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_4-ncols2_8.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_64-ncols2_1.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_8-ncols2_1.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_8-ncols2_2.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_8-ncols2_4.cu │ │ │ │ ├── fattn-mma-f16-instance-ncols1_8-ncols2_8.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-f16-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-f16-q4_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-f16-q4_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-f16-q5_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-f16-q5_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-f16-q8_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_0-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_0-q4_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_0-q4_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_0-q5_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_0-q5_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_0-q8_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_1-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_1-q4_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_1-q4_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_1-q5_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_1-q5_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q4_1-q8_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_0-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_0-q4_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_0-q4_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_0-q5_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_0-q5_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_0-q8_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_1-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_1-q4_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_1-q4_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_1-q5_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_1-q5_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q5_1-q8_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q8_0-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q8_0-q4_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q8_0-q4_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q8_0-q5_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q8_0-q5_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs128-q8_0-q8_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs256-f16-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs64-f16-f16.cu │ │ │ │ ├── fattn-vec-f16-instance-hs64-f16-q4_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs64-f16-q4_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs64-f16-q5_0.cu │ │ │ │ ├── fattn-vec-f16-instance-hs64-f16-q5_1.cu │ │ │ │ ├── fattn-vec-f16-instance-hs64-f16-q8_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-f16-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-f16-q4_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-f16-q4_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-f16-q5_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-f16-q5_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-f16-q8_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_0-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_0-q4_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_0-q4_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_0-q5_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_0-q5_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_0-q8_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_1-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_1-q4_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_1-q4_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_1-q5_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_1-q5_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q4_1-q8_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_0-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_0-q4_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_0-q4_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_0-q5_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_0-q5_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_0-q8_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_1-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_1-q4_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_1-q4_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_1-q5_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_1-q5_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q5_1-q8_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q8_0-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q8_0-q4_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q8_0-q4_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q8_0-q5_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q8_0-q5_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs128-q8_0-q8_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs256-f16-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs64-f16-f16.cu │ │ │ │ ├── fattn-vec-f32-instance-hs64-f16-q4_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs64-f16-q4_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs64-f16-q5_0.cu │ │ │ │ ├── fattn-vec-f32-instance-hs64-f16-q5_1.cu │ │ │ │ ├── fattn-vec-f32-instance-hs64-f16-q8_0.cu │ │ │ │ ├── generate_cu_files.py │ │ │ │ ├── mmq-instance-iq1_s.cu │ │ │ │ ├── mmq-instance-iq2_s.cu │ │ │ │ ├── mmq-instance-iq2_xs.cu │ │ │ │ ├── mmq-instance-iq2_xxs.cu │ │ │ │ ├── mmq-instance-iq3_s.cu │ │ │ │ ├── mmq-instance-iq3_xxs.cu │ │ │ │ ├── mmq-instance-iq4_nl.cu │ │ │ │ ├── mmq-instance-iq4_xs.cu │ │ │ │ ├── mmq-instance-q2_k.cu │ │ │ │ ├── mmq-instance-q3_k.cu │ │ │ │ ├── mmq-instance-q4_0.cu │ │ │ │ ├── mmq-instance-q4_1.cu │ │ │ │ ├── mmq-instance-q4_k.cu │ │ │ │ ├── mmq-instance-q5_0.cu │ │ │ │ ├── mmq-instance-q5_1.cu │ │ │ │ ├── mmq-instance-q5_k.cu │ │ │ │ ├── mmq-instance-q6_k.cu │ │ │ │ └── mmq-instance-q8_0.cu │ │ │ ├── tsembd.cu │ │ │ ├── tsembd.cuh │ │ │ ├── unary.cu │ │ │ ├── unary.cuh │ │ │ ├── upscale.cu │ │ │ ├── upscale.cuh │ │ │ ├── vecdotq.cuh │ │ │ ├── vendors/ │ │ │ │ ├── cuda.h │ │ │ │ ├── hip.h │ │ │ │ └── musa.h │ │ │ ├── wkv.cu │ │ │ └── wkv.cuh │ │ ├── ggml-hip/ │ │ │ └── CMakeLists.txt │ │ ├── ggml-impl.h │ │ ├── ggml-kompute/ │ │ │ ├── CMakeLists.txt │ │ │ ├── ggml-kompute.cpp │ │ │ └── kompute-shaders/ │ │ │ ├── common.comp │ │ │ ├── op_add.comp │ │ │ ├── op_addrow.comp │ │ │ ├── op_cpy_f16_f16.comp │ │ │ ├── op_cpy_f16_f32.comp │ │ │ ├── op_cpy_f32_f16.comp │ │ │ ├── op_cpy_f32_f32.comp │ │ │ ├── op_diagmask.comp │ │ │ ├── op_gelu.comp │ │ │ ├── op_getrows.comp │ │ │ ├── op_getrows_f16.comp │ │ │ ├── op_getrows_f32.comp │ │ │ ├── op_getrows_q4_0.comp │ │ │ ├── op_getrows_q4_1.comp │ │ │ ├── op_getrows_q6_k.comp │ │ │ ├── op_mul.comp │ │ │ ├── op_mul_mat_f16.comp │ │ │ ├── op_mul_mat_mat_f32.comp │ │ │ ├── op_mul_mat_q4_0.comp │ │ │ ├── op_mul_mat_q4_1.comp │ │ │ ├── op_mul_mat_q4_k.comp │ │ │ ├── op_mul_mat_q6_k.comp │ │ │ ├── op_mul_mat_q8_0.comp │ │ │ ├── op_mul_mv_q_n.comp │ │ │ ├── op_mul_mv_q_n_pre.comp │ │ │ ├── op_norm.comp │ │ │ ├── op_relu.comp │ │ │ ├── op_rmsnorm.comp │ │ │ ├── op_rope_neox_f16.comp │ │ │ ├── op_rope_neox_f32.comp │ │ │ ├── op_rope_norm_f16.comp │ │ │ ├── op_rope_norm_f32.comp │ │ │ ├── op_scale.comp │ │ │ ├── op_scale_8.comp │ │ │ ├── op_silu.comp │ │ │ ├── op_softmax.comp │ │ │ └── rope_common.comp │ │ ├── ggml-metal/ │ │ │ ├── CMakeLists.txt │ │ │ ├── ggml-metal-impl.h │ │ │ ├── ggml-metal.m │ │ │ └── ggml-metal.metal │ │ ├── ggml-musa/ │ │ │ ├── CMakeLists.txt │ │ │ ├── mudnn.cu │ │ │ └── mudnn.cuh │ │ ├── ggml-opencl/ │ │ │ ├── CMakeLists.txt │ │ │ ├── ggml-opencl.cpp │ │ │ └── kernels/ │ │ │ ├── add.cl │ │ │ ├── argsort.cl │ │ │ ├── clamp.cl │ │ │ ├── concat.cl │ │ │ ├── cpy.cl │ │ │ ├── cvt.cl │ │ │ ├── diag_mask_inf.cl │ │ │ ├── div.cl │ │ │ ├── embed_kernel.py │ │ │ ├── gelu.cl │ │ │ ├── gemv_noshuffle.cl │ │ │ ├── gemv_noshuffle_general.cl │ │ │ ├── get_rows.cl │ │ │ ├── group_norm.cl │ │ │ ├── im2col_f16.cl │ │ │ ├── im2col_f32.cl │ │ │ ├── mul.cl │ │ │ ├── mul_mat_Ab_Bi_8x4.cl │ │ │ ├── mul_mv_f16_f16.cl │ │ │ ├── mul_mv_f16_f32.cl │ │ │ ├── mul_mv_f16_f32_1row.cl │ │ │ ├── mul_mv_f16_f32_l4.cl │ │ │ ├── mul_mv_f32_f32.cl │ │ │ ├── mul_mv_q4_0_f32.cl │ │ │ ├── mul_mv_q4_0_f32_1d_16x_flat.cl │ │ │ ├── mul_mv_q4_0_f32_1d_8x_flat.cl │ │ │ ├── mul_mv_q4_0_f32_8x_flat.cl │ │ │ ├── mul_mv_q4_0_f32_v.cl │ │ │ ├── mul_mv_q6_k.cl │ │ │ ├── norm.cl │ │ │ ├── pad.cl │ │ │ ├── relu.cl │ │ │ ├── repeat.cl │ │ │ ├── rms_norm.cl │ │ │ ├── rope.cl │ │ │ ├── scale.cl │ │ │ ├── sigmoid.cl │ │ │ ├── silu.cl │ │ │ ├── softmax_4_f16.cl │ │ │ ├── softmax_4_f32.cl │ │ │ ├── softmax_f16.cl │ │ │ ├── softmax_f32.cl │ │ │ ├── sub.cl │ │ │ ├── sum_rows.cl │ │ │ ├── tanh.cl │ │ │ ├── transpose.cl │ │ │ ├── tsembd.cl │ │ │ └── upscale.cl │ │ ├── ggml-opt.cpp │ │ ├── ggml-quants.c │ │ ├── ggml-quants.h │ │ ├── ggml-rpc/ │ │ │ ├── CMakeLists.txt │ │ │ └── ggml-rpc.cpp │ │ ├── ggml-sycl/ │ │ │ ├── CMakeLists.txt │ │ │ ├── backend.hpp │ │ │ ├── binbcast.cpp │ │ │ ├── binbcast.hpp │ │ │ ├── common.cpp │ │ │ ├── common.hpp │ │ │ ├── concat.cpp │ │ │ ├── concat.hpp │ │ │ ├── conv.cpp │ │ │ ├── conv.hpp │ │ │ ├── convert.cpp │ │ │ ├── convert.hpp │ │ │ ├── cpy.cpp │ │ │ ├── cpy.hpp │ │ │ ├── dequantize.hpp │ │ │ ├── dmmv.cpp │ │ │ ├── dmmv.hpp │ │ │ ├── dpct/ │ │ │ │ └── helper.hpp │ │ │ ├── element_wise.cpp │ │ │ ├── element_wise.hpp │ │ │ ├── gemm.hpp │ │ │ ├── getrows.cpp │ │ │ ├── getrows.hpp │ │ │ ├── ggml-sycl.cpp │ │ │ ├── gla.cpp │ │ │ ├── gla.hpp │ │ │ ├── im2col.cpp │ │ │ ├── im2col.hpp │ │ │ ├── mmq.cpp │ │ │ ├── mmq.hpp │ │ │ ├── mmvq.cpp │ │ │ ├── mmvq.hpp │ │ │ ├── norm.cpp │ │ │ ├── norm.hpp │ │ │ ├── outprod.cpp │ │ │ ├── outprod.hpp │ │ │ ├── presets.hpp │ │ │ ├── quants.hpp │ │ │ ├── rope.cpp │ │ │ ├── rope.hpp │ │ │ ├── softmax.cpp │ │ │ ├── softmax.hpp │ │ │ ├── sycl_hw.cpp │ │ │ ├── sycl_hw.hpp │ │ │ ├── tsembd.cpp │ │ │ ├── tsembd.hpp │ │ │ ├── vecdotq.hpp │ │ │ ├── wkv.cpp │ │ │ └── wkv.hpp │ │ ├── ggml-threading.cpp │ │ ├── ggml-threading.h │ │ ├── ggml-vulkan/ │ │ │ ├── CMakeLists.txt │ │ │ ├── cmake/ │ │ │ │ └── host-toolchain.cmake.in │ │ │ ├── ggml-vulkan.cpp │ │ │ └── vulkan-shaders/ │ │ │ ├── CMakeLists.txt │ │ │ ├── acc.comp │ │ │ ├── add.comp │ │ │ ├── argmax.comp │ │ │ ├── argsort.comp │ │ │ ├── clamp.comp │ │ │ ├── concat.comp │ │ │ ├── contig_copy.comp │ │ │ ├── conv2d_dw.comp │ │ │ ├── copy.comp │ │ │ ├── copy_from_quant.comp │ │ │ ├── copy_to_quant.comp │ │ │ ├── cos.comp │ │ │ ├── count_equal.comp │ │ │ ├── dequant_f32.comp │ │ │ ├── dequant_funcs.comp │ │ │ ├── dequant_funcs_cm2.comp │ │ │ ├── dequant_head.comp │ │ │ ├── dequant_iq1_m.comp │ │ │ ├── dequant_iq1_s.comp │ │ │ ├── dequant_iq2_s.comp │ │ │ ├── dequant_iq2_xs.comp │ │ │ ├── dequant_iq2_xxs.comp │ │ │ ├── dequant_iq3_s.comp │ │ │ ├── dequant_iq3_xxs.comp │ │ │ ├── dequant_iq4_nl.comp │ │ │ ├── dequant_iq4_xs.comp │ │ │ ├── dequant_q2_k.comp │ │ │ ├── dequant_q3_k.comp │ │ │ ├── dequant_q4_0.comp │ │ │ ├── dequant_q4_1.comp │ │ │ ├── dequant_q4_k.comp │ │ │ ├── dequant_q5_0.comp │ │ │ ├── dequant_q5_1.comp │ │ │ ├── dequant_q5_k.comp │ │ │ ├── dequant_q6_k.comp │ │ │ ├── dequant_q8_0.comp │ │ │ ├── diag_mask_inf.comp │ │ │ ├── div.comp │ │ │ ├── flash_attn.comp │ │ │ ├── flash_attn_base.comp │ │ │ ├── flash_attn_cm1.comp │ │ │ ├── flash_attn_cm2.comp │ │ │ ├── flash_attn_split_k_reduce.comp │ │ │ ├── gelu.comp │ │ │ ├── gelu_quick.comp │ │ │ ├── generic_binary_head.comp │ │ │ ├── generic_head.comp │ │ │ ├── generic_unary_head.comp │ │ │ ├── get_rows.comp │ │ │ ├── get_rows_quant.comp │ │ │ ├── group_norm.comp │ │ │ ├── im2col.comp │ │ │ ├── l2_norm.comp │ │ │ ├── leaky_relu.comp │ │ │ ├── mul.comp │ │ │ ├── mul_mat_split_k_reduce.comp │ │ │ ├── mul_mat_vec.comp │ │ │ ├── mul_mat_vec_base.comp │ │ │ ├── mul_mat_vec_iq1_m.comp │ │ │ ├── mul_mat_vec_iq1_s.comp │ │ │ ├── mul_mat_vec_iq2_s.comp │ │ │ ├── mul_mat_vec_iq2_xs.comp │ │ │ ├── mul_mat_vec_iq2_xxs.comp │ │ │ ├── mul_mat_vec_iq3_s.comp │ │ │ ├── mul_mat_vec_iq3_xxs.comp │ │ │ ├── mul_mat_vec_nc.comp │ │ │ ├── mul_mat_vec_p021.comp │ │ │ ├── mul_mat_vec_q2_k.comp │ │ │ ├── mul_mat_vec_q3_k.comp │ │ │ ├── mul_mat_vec_q4_k.comp │ │ │ ├── mul_mat_vec_q5_k.comp │ │ │ ├── mul_mat_vec_q6_k.comp │ │ │ ├── mul_mm.comp │ │ │ ├── mul_mm_cm2.comp │ │ │ ├── mul_mmq.comp │ │ │ ├── mul_mmq_funcs.comp │ │ │ ├── norm.comp │ │ │ ├── opt_step_adamw.comp │ │ │ ├── pad.comp │ │ │ ├── pool2d.comp │ │ │ ├── quantize_q8_1.comp │ │ │ ├── relu.comp │ │ │ ├── repeat.comp │ │ │ ├── repeat_back.comp │ │ │ ├── rms_norm.comp │ │ │ ├── rms_norm_back.comp │ │ │ ├── rope_head.comp │ │ │ ├── rope_multi.comp │ │ │ ├── rope_neox.comp │ │ │ ├── rope_norm.comp │ │ │ ├── rope_vision.comp │ │ │ ├── scale.comp │ │ │ ├── sigmoid.comp │ │ │ ├── silu.comp │ │ │ ├── silu_back.comp │ │ │ ├── sin.comp │ │ │ ├── soft_max.comp │ │ │ ├── soft_max_back.comp │ │ │ ├── square.comp │ │ │ ├── sub.comp │ │ │ ├── sum_rows.comp │ │ │ ├── tanh.comp │ │ │ ├── test_bfloat16_support.comp │ │ │ ├── test_coopmat2_support.comp │ │ │ ├── test_coopmat_support.comp │ │ │ ├── test_integer_dot_support.comp │ │ │ ├── timestep_embedding.comp │ │ │ ├── types.comp │ │ │ ├── upscale.comp │ │ │ ├── vulkan-shaders-gen.cpp │ │ │ ├── wkv6.comp │ │ │ └── wkv7.comp │ │ ├── ggml.c │ │ ├── ggml.cpp │ │ └── gguf.cpp │ ├── gguf-py/ │ │ ├── LICENSE │ │ ├── README.md │ │ ├── examples/ │ │ │ ├── reader.py │ │ │ └── writer.py │ │ ├── gguf/ │ │ │ ├── __init__.py │ │ │ ├── constants.py │ │ │ ├── gguf.py │ │ │ ├── gguf_reader.py │ │ │ ├── gguf_writer.py │ │ │ ├── lazy.py │ │ │ ├── metadata.py │ │ │ ├── py.typed │ │ │ ├── quants.py │ │ │ ├── scripts/ │ │ │ │ ├── gguf_convert_endian.py │ │ │ │ ├── gguf_dump.py │ │ │ │ ├── gguf_editor_gui.py │ │ │ │ ├── gguf_hash.py │ │ │ │ ├── gguf_new_metadata.py │ │ │ │ └── gguf_set_metadata.py │ │ │ ├── tensor_mapping.py │ │ │ ├── utility.py │ │ │ └── vocab.py │ │ ├── pyproject.toml │ │ └── tests/ │ │ ├── __init__.py │ │ ├── test_metadata.py │ │ └── test_quants.py │ ├── grammars/ │ │ ├── README.md │ │ ├── arithmetic.gbnf │ │ ├── c.gbnf │ │ ├── chess.gbnf │ │ ├── english.gbnf │ │ ├── japanese.gbnf │ │ ├── json.gbnf │ │ ├── json_arr.gbnf │ │ └── list.gbnf │ ├── include/ │ │ ├── llama-cpp.h │ │ └── llama.h │ ├── licenses/ │ │ ├── LICENSE-curl │ │ ├── LICENSE-httplib │ │ ├── LICENSE-jsonhpp │ │ └── LICENSE-linenoise │ ├── models/ │ │ ├── .editorconfig │ │ ├── ggml-vocab-bert-bge.gguf.inp │ │ ├── ggml-vocab-bert-bge.gguf.out │ │ ├── ggml-vocab-command-r.gguf.inp │ │ ├── ggml-vocab-command-r.gguf.out │ │ ├── ggml-vocab-deepseek-coder.gguf.inp │ │ ├── ggml-vocab-deepseek-coder.gguf.out │ │ ├── ggml-vocab-deepseek-llm.gguf.inp │ │ ├── ggml-vocab-deepseek-llm.gguf.out │ │ ├── ggml-vocab-falcon.gguf.inp │ │ ├── ggml-vocab-falcon.gguf.out │ │ ├── ggml-vocab-gpt-2.gguf.inp │ │ ├── ggml-vocab-gpt-2.gguf.out │ │ ├── ggml-vocab-llama-bpe.gguf.inp │ │ ├── ggml-vocab-llama-bpe.gguf.out │ │ ├── ggml-vocab-llama-spm.gguf.inp │ │ ├── ggml-vocab-llama-spm.gguf.out │ │ ├── ggml-vocab-mpt.gguf.inp │ │ ├── ggml-vocab-mpt.gguf.out │ │ ├── ggml-vocab-phi-3.gguf.inp │ │ ├── ggml-vocab-phi-3.gguf.out │ │ ├── ggml-vocab-qwen2.gguf.inp │ │ ├── ggml-vocab-qwen2.gguf.out │ │ ├── ggml-vocab-refact.gguf.inp │ │ ├── ggml-vocab-refact.gguf.out │ │ ├── ggml-vocab-starcoder.gguf.inp │ │ ├── ggml-vocab-starcoder.gguf.out │ │ └── templates/ │ │ ├── CohereForAI-c4ai-command-r-plus-tool_use.jinja │ │ ├── CohereForAI-c4ai-command-r7b-12-2024-tool_use.jinja │ │ ├── NousResearch-Hermes-2-Pro-Llama-3-8B-tool_use.jinja │ │ ├── NousResearch-Hermes-3-Llama-3.1-8B-tool_use.jinja │ │ ├── Qwen-QwQ-32B.jinja │ │ ├── Qwen-Qwen2.5-7B-Instruct.jinja │ │ ├── Qwen-Qwen3-0.6B.jinja │ │ ├── README.md │ │ ├── deepseek-ai-DeepSeek-R1-Distill-Llama-8B.jinja │ │ ├── deepseek-ai-DeepSeek-R1-Distill-Qwen-32B.jinja │ │ ├── fireworks-ai-llama-3-firefunction-v2.jinja │ │ ├── google-gemma-2-2b-it.jinja │ │ ├── llama-cpp-deepseek-r1.jinja │ │ ├── meetkai-functionary-medium-v3.1.jinja │ │ ├── meetkai-functionary-medium-v3.2.jinja │ │ ├── meta-llama-Llama-3.1-8B-Instruct.jinja │ │ ├── meta-llama-Llama-3.2-3B-Instruct.jinja │ │ ├── meta-llama-Llama-3.3-70B-Instruct.jinja │ │ ├── microsoft-Phi-3.5-mini-instruct.jinja │ │ └── mistralai-Mistral-Nemo-Instruct-2407.jinja │ ├── mypy.ini │ ├── pocs/ │ │ ├── CMakeLists.txt │ │ └── vdot/ │ │ ├── CMakeLists.txt │ │ ├── q8dot.cpp │ │ └── vdot.cpp │ ├── powerinfer/ │ │ ├── .clang-format │ │ ├── CMakeLists.txt │ │ ├── cmake/ │ │ │ ├── Arch.cmake │ │ │ └── FindSIMD.cmake │ │ ├── fused_sparse_moe/ │ │ │ ├── CMakeLists.txt │ │ │ ├── fused_sparse_moe/ │ │ │ │ └── fused_sparse_moe.hpp │ │ │ └── fused_sparse_moe.cpp │ │ ├── include/ │ │ │ ├── powerinfer-api.h │ │ │ ├── powerinfer-az.h │ │ │ ├── powerinfer-cpu.h │ │ │ ├── powerinfer-error.h │ │ │ ├── powerinfer-loader.h │ │ │ ├── powerinfer-perf.h │ │ │ ├── powerinfer-type.h │ │ │ └── util/ │ │ │ └── hyper.h │ │ ├── libaz/ │ │ │ ├── .clang-format │ │ │ ├── .gitignore │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── az/ │ │ │ │ ├── CMakeLists.txt │ │ │ │ ├── assert.hpp │ │ │ │ ├── common.hpp │ │ │ │ ├── core/ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── aligned_alloc.cpp │ │ │ │ │ ├── aligned_alloc.hpp │ │ │ │ │ ├── bf16.hpp │ │ │ │ │ ├── buf.cpp │ │ │ │ │ ├── buf.hpp │ │ │ │ │ ├── cpu_affinity.cpp │ │ │ │ │ ├── cpu_affinity.hpp │ │ │ │ │ ├── cpu_yield.cpp │ │ │ │ │ ├── cpu_yield.hpp │ │ │ │ │ ├── fp16.c │ │ │ │ │ ├── fp16.h │ │ │ │ │ ├── handle.cpp │ │ │ │ │ ├── handle.hpp │ │ │ │ │ ├── intrinsics.hpp │ │ │ │ │ ├── layout.hpp │ │ │ │ │ ├── list.hpp │ │ │ │ │ ├── lru.cpp │ │ │ │ │ ├── lru.hpp │ │ │ │ │ ├── perfetto_trace.cpp │ │ │ │ │ ├── perfetto_trace.h │ │ │ │ │ ├── perfetto_trace.hpp │ │ │ │ │ ├── spin_barrier.cpp │ │ │ │ │ ├── spin_barrier.hpp │ │ │ │ │ ├── spin_lock.hpp │ │ │ │ │ ├── utils.cpp │ │ │ │ │ ├── utils.hpp │ │ │ │ │ └── worker_info.hpp │ │ │ │ ├── cpu/ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── aarch64/ │ │ │ │ │ │ ├── gemv.cpp │ │ │ │ │ │ └── gemv.hpp │ │ │ │ │ ├── axpy.cpp │ │ │ │ │ ├── axpy.hpp │ │ │ │ │ ├── exp_lut.cpp │ │ │ │ │ ├── exp_lut.hpp │ │ │ │ │ ├── quant_types.cpp │ │ │ │ │ ├── quant_types.hpp │ │ │ │ │ ├── silu_lut.cpp │ │ │ │ │ ├── silu_lut.hpp │ │ │ │ │ ├── softmax.cpp │ │ │ │ │ ├── softmax.hpp │ │ │ │ │ ├── vdot.hpp │ │ │ │ │ ├── vec_dot.cpp │ │ │ │ │ └── vec_dot.hpp │ │ │ │ ├── init.cpp │ │ │ │ ├── init.hpp │ │ │ │ └── pipeline/ │ │ │ │ ├── CMakeLists.txt │ │ │ │ ├── pipeline.cpp │ │ │ │ ├── pipeline.hpp │ │ │ │ ├── task.cpp │ │ │ │ ├── task.hpp │ │ │ │ └── worker.hpp │ │ │ ├── bin/ │ │ │ │ ├── CMakeLists.txt │ │ │ │ ├── random_memtest.cpp │ │ │ │ └── test_assert.cpp │ │ │ ├── docs/ │ │ │ │ ├── compile_options.md │ │ │ │ └── environment_variables.md │ │ │ ├── external/ │ │ │ │ ├── .clang-format │ │ │ │ ├── CMakeLists.txt │ │ │ │ ├── cli11/ │ │ │ │ │ ├── .all-contributorsrc │ │ │ │ │ ├── .ci/ │ │ │ │ │ │ ├── azure-build.yml │ │ │ │ │ │ ├── azure-cmake-new.yml │ │ │ │ │ │ ├── azure-cmake.yml │ │ │ │ │ │ └── azure-test.yml │ │ │ │ │ ├── .clang-format │ │ │ │ │ ├── .cmake-format.yaml │ │ │ │ │ ├── .codacy.yml │ │ │ │ │ ├── .codecov.yml │ │ │ │ │ ├── .editorconfig │ │ │ │ │ ├── .github/ │ │ │ │ │ │ ├── CONTRIBUTING.md │ │ │ │ │ │ ├── actions/ │ │ │ │ │ │ │ └── quick_cmake/ │ │ │ │ │ │ │ └── action.yml │ │ │ │ │ │ ├── codecov.yml │ │ │ │ │ │ ├── dependabot.yml │ │ │ │ │ │ ├── labeler_merged.yml │ │ │ │ │ │ └── workflows/ │ │ │ │ │ │ ├── docs.yml │ │ │ │ │ │ ├── fuzz.yml │ │ │ │ │ │ ├── pr_merged.yml │ │ │ │ │ │ └── tests.yml │ │ │ │ │ ├── .gitignore │ │ │ │ │ ├── .pre-commit-config.yaml │ │ │ │ │ ├── .remarkrc │ │ │ │ │ ├── BUILD.bazel │ │ │ │ │ ├── CHANGELOG.md │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── CPPLINT.cfg │ │ │ │ │ ├── LICENSE │ │ │ │ │ ├── MODULE.bazel │ │ │ │ │ ├── README.md │ │ │ │ │ ├── azure-pipelines.yml │ │ │ │ │ ├── book/ │ │ │ │ │ │ ├── .gitignore │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── SUMMARY.md │ │ │ │ │ │ ├── book.json │ │ │ │ │ │ ├── chapters/ │ │ │ │ │ │ │ ├── advanced-topics.md │ │ │ │ │ │ │ ├── an-advanced-example.md │ │ │ │ │ │ │ ├── basics.md │ │ │ │ │ │ │ ├── config.md │ │ │ │ │ │ │ ├── flags.md │ │ │ │ │ │ │ ├── formatting.md │ │ │ │ │ │ │ ├── installation.md │ │ │ │ │ │ │ ├── internals.md │ │ │ │ │ │ │ ├── options.md │ │ │ │ │ │ │ ├── subcommands.md │ │ │ │ │ │ │ ├── toolkits.md │ │ │ │ │ │ │ └── validators.md │ │ │ │ │ │ ├── code/ │ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ │ ├── flags.cpp │ │ │ │ │ │ │ ├── geet.cpp │ │ │ │ │ │ │ ├── intro.cpp │ │ │ │ │ │ │ └── simplest.cpp │ │ │ │ │ │ └── package.json │ │ │ │ │ ├── cmake/ │ │ │ │ │ │ ├── CLI11.pc.in │ │ │ │ │ │ ├── CLI11ConfigVersion.cmake.in │ │ │ │ │ │ ├── CLI11GeneratePkgConfig.cmake │ │ │ │ │ │ ├── CLI11Warnings.cmake │ │ │ │ │ │ ├── CLI11precompiled.pc.in │ │ │ │ │ │ └── CodeCoverage.cmake │ │ │ │ │ ├── docs/ │ │ │ │ │ │ ├── .gitignore │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── Doxyfile │ │ │ │ │ │ └── mainpage.md │ │ │ │ │ ├── examples/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── arg_capture.cpp │ │ │ │ │ │ ├── callback_passthrough.cpp │ │ │ │ │ │ ├── config_app.cpp │ │ │ │ │ │ ├── custom_parse.cpp │ │ │ │ │ │ ├── digit_args.cpp │ │ │ │ │ │ ├── enum.cpp │ │ │ │ │ │ ├── enum_ostream.cpp │ │ │ │ │ │ ├── formatter.cpp │ │ │ │ │ │ ├── groups.cpp │ │ │ │ │ │ ├── help_usage.cpp │ │ │ │ │ │ ├── inter_argument_order.cpp │ │ │ │ │ │ ├── json.cpp │ │ │ │ │ │ ├── modhelp.cpp │ │ │ │ │ │ ├── nested.cpp │ │ │ │ │ │ ├── option_groups.cpp │ │ │ │ │ │ ├── positional_arity.cpp │ │ │ │ │ │ ├── positional_validation.cpp │ │ │ │ │ │ ├── prefix_command.cpp │ │ │ │ │ │ ├── ranges.cpp │ │ │ │ │ │ ├── retired.cpp │ │ │ │ │ │ ├── shapes.cpp │ │ │ │ │ │ ├── simple.cpp │ │ │ │ │ │ ├── subcom_help.cpp │ │ │ │ │ │ ├── subcom_in_files/ │ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ │ ├── subcommand_a.cpp │ │ │ │ │ │ │ ├── subcommand_a.hpp │ │ │ │ │ │ │ └── subcommand_main.cpp │ │ │ │ │ │ ├── subcom_partitioned.cpp │ │ │ │ │ │ ├── subcommands.cpp │ │ │ │ │ │ ├── testEXE.cpp │ │ │ │ │ │ └── validators.cpp │ │ │ │ │ ├── fuzz/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── cli11_app_fuzz.cpp │ │ │ │ │ │ ├── cli11_file_fuzz.cpp │ │ │ │ │ │ ├── fuzzApp.cpp │ │ │ │ │ │ ├── fuzzApp.hpp │ │ │ │ │ │ └── fuzzCommand.cpp │ │ │ │ │ ├── include/ │ │ │ │ │ │ └── CLI/ │ │ │ │ │ │ ├── App.hpp │ │ │ │ │ │ ├── Argv.hpp │ │ │ │ │ │ ├── CLI.hpp │ │ │ │ │ │ ├── Config.hpp │ │ │ │ │ │ ├── ConfigFwd.hpp │ │ │ │ │ │ ├── Encoding.hpp │ │ │ │ │ │ ├── Error.hpp │ │ │ │ │ │ ├── Formatter.hpp │ │ │ │ │ │ ├── FormatterFwd.hpp │ │ │ │ │ │ ├── Macros.hpp │ │ │ │ │ │ ├── Option.hpp │ │ │ │ │ │ ├── Split.hpp │ │ │ │ │ │ ├── StringTools.hpp │ │ │ │ │ │ ├── Timer.hpp │ │ │ │ │ │ ├── TypeTools.hpp │ │ │ │ │ │ ├── Validators.hpp │ │ │ │ │ │ ├── Version.hpp │ │ │ │ │ │ └── impl/ │ │ │ │ │ │ ├── App_inl.hpp │ │ │ │ │ │ ├── Argv_inl.hpp │ │ │ │ │ │ ├── Config_inl.hpp │ │ │ │ │ │ ├── Encoding_inl.hpp │ │ │ │ │ │ ├── Formatter_inl.hpp │ │ │ │ │ │ ├── Option_inl.hpp │ │ │ │ │ │ ├── Split_inl.hpp │ │ │ │ │ │ ├── StringTools_inl.hpp │ │ │ │ │ │ └── Validators_inl.hpp │ │ │ │ │ ├── meson.build │ │ │ │ │ ├── scripts/ │ │ │ │ │ │ ├── ExtractVersion.py │ │ │ │ │ │ ├── MakeSingleHeader.py │ │ │ │ │ │ ├── check_style.sh │ │ │ │ │ │ ├── check_style_docker.sh │ │ │ │ │ │ ├── clang-format-pre-commit │ │ │ │ │ │ └── mdlint_style.rb │ │ │ │ │ ├── single-include/ │ │ │ │ │ │ ├── CLI11.hpp.in │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ └── meson.build │ │ │ │ │ ├── src/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ └── Precompile.cpp │ │ │ │ │ ├── subprojects/ │ │ │ │ │ │ └── catch2.wrap │ │ │ │ │ └── tests/ │ │ │ │ │ ├── .syntastic_cpp_config │ │ │ │ │ ├── AppTest.cpp │ │ │ │ │ ├── BUILD.bazel │ │ │ │ │ ├── BoostOptionTypeTest.cpp │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── ComplexTypeTest.cpp │ │ │ │ │ ├── ConfigFileTest.cpp │ │ │ │ │ ├── CreationTest.cpp │ │ │ │ │ ├── DeprecatedTest.cpp │ │ │ │ │ ├── EncodingTest.cpp │ │ │ │ │ ├── FormatterTest.cpp │ │ │ │ │ ├── FuzzFailTest.cpp │ │ │ │ │ ├── HelpTest.cpp │ │ │ │ │ ├── HelpersTest.cpp │ │ │ │ │ ├── NewParseTest.cpp │ │ │ │ │ ├── OptionGroupTest.cpp │ │ │ │ │ ├── OptionTypeTest.cpp │ │ │ │ │ ├── OptionalTest.cpp │ │ │ │ │ ├── SetTest.cpp │ │ │ │ │ ├── SimpleTest.cpp │ │ │ │ │ ├── StringParseTest.cpp │ │ │ │ │ ├── SubcommandTest.cpp │ │ │ │ │ ├── TimerTest.cpp │ │ │ │ │ ├── TransformTest.cpp │ │ │ │ │ ├── TrueFalseTest.cpp │ │ │ │ │ ├── WindowsTest.cpp │ │ │ │ │ ├── app_helper.hpp │ │ │ │ │ ├── applications/ │ │ │ │ │ │ ├── ensure_utf8.cpp │ │ │ │ │ │ └── ensure_utf8_twice.cpp │ │ │ │ │ ├── catch.hpp │ │ │ │ │ ├── find_package_tests/ │ │ │ │ │ │ └── CMakeLists.txt │ │ │ │ │ ├── fuzzFail/ │ │ │ │ │ │ ├── fuzz_app_fail1 │ │ │ │ │ │ ├── fuzz_app_fail2 │ │ │ │ │ │ ├── fuzz_app_fail3 │ │ │ │ │ │ ├── fuzz_app_file_fail1 │ │ │ │ │ │ ├── fuzz_app_file_fail10 │ │ │ │ │ │ ├── fuzz_app_file_fail11 │ │ │ │ │ │ ├── fuzz_app_file_fail12 │ │ │ │ │ │ ├── fuzz_app_file_fail13 │ │ │ │ │ │ ├── fuzz_app_file_fail14 │ │ │ │ │ │ ├── fuzz_app_file_fail15 │ │ │ │ │ │ ├── fuzz_app_file_fail16 │ │ │ │ │ │ ├── fuzz_app_file_fail17 │ │ │ │ │ │ ├── fuzz_app_file_fail18 │ │ │ │ │ │ ├── fuzz_app_file_fail19 │ │ │ │ │ │ ├── fuzz_app_file_fail2 │ │ │ │ │ │ ├── fuzz_app_file_fail20 │ │ │ │ │ │ ├── fuzz_app_file_fail21 │ │ │ │ │ │ ├── fuzz_app_file_fail22 │ │ │ │ │ │ ├── fuzz_app_file_fail23 │ │ │ │ │ │ ├── fuzz_app_file_fail24 │ │ │ │ │ │ ├── fuzz_app_file_fail25 │ │ │ │ │ │ ├── fuzz_app_file_fail26 │ │ │ │ │ │ ├── fuzz_app_file_fail27 │ │ │ │ │ │ ├── fuzz_app_file_fail28 │ │ │ │ │ │ ├── fuzz_app_file_fail29 │ │ │ │ │ │ ├── fuzz_app_file_fail3 │ │ │ │ │ │ ├── fuzz_app_file_fail30 │ │ │ │ │ │ ├── fuzz_app_file_fail31 │ │ │ │ │ │ ├── fuzz_app_file_fail32 │ │ │ │ │ │ ├── fuzz_app_file_fail33 │ │ │ │ │ │ ├── fuzz_app_file_fail34 │ │ │ │ │ │ ├── fuzz_app_file_fail35 │ │ │ │ │ │ ├── fuzz_app_file_fail36 │ │ │ │ │ │ ├── fuzz_app_file_fail37 │ │ │ │ │ │ ├── fuzz_app_file_fail38 │ │ │ │ │ │ ├── fuzz_app_file_fail39 │ │ │ │ │ │ ├── fuzz_app_file_fail4 │ │ │ │ │ │ ├── fuzz_app_file_fail40 │ │ │ │ │ │ ├── fuzz_app_file_fail5 │ │ │ │ │ │ ├── fuzz_app_file_fail6 │ │ │ │ │ │ ├── fuzz_app_file_fail7 │ │ │ │ │ │ ├── fuzz_app_file_fail8 │ │ │ │ │ │ ├── fuzz_app_file_fail9 │ │ │ │ │ │ ├── fuzz_file_fail1 │ │ │ │ │ │ ├── fuzz_file_fail2 │ │ │ │ │ │ ├── fuzz_file_fail3 │ │ │ │ │ │ ├── fuzz_file_fail4 │ │ │ │ │ │ ├── fuzz_file_fail5 │ │ │ │ │ │ ├── fuzz_file_fail6 │ │ │ │ │ │ ├── fuzz_file_fail7 │ │ │ │ │ │ ├── fuzz_file_fail8 │ │ │ │ │ │ ├── round_trip_custom1 │ │ │ │ │ │ ├── round_trip_custom2 │ │ │ │ │ │ ├── round_trip_custom3 │ │ │ │ │ │ ├── round_trip_fail1 │ │ │ │ │ │ ├── round_trip_fail2 │ │ │ │ │ │ ├── round_trip_fail3 │ │ │ │ │ │ ├── round_trip_fail4 │ │ │ │ │ │ └── round_trip_fail5 │ │ │ │ │ ├── informational.cpp │ │ │ │ │ ├── link_test_1.cpp │ │ │ │ │ ├── link_test_2.cpp │ │ │ │ │ ├── main.cpp │ │ │ │ │ ├── meson.build │ │ │ │ │ ├── mesonTest/ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── main.cpp │ │ │ │ │ │ └── meson.build │ │ │ │ │ ├── package_config_tests/ │ │ │ │ │ │ └── CMakeLists.txt │ │ │ │ │ └── tests/ │ │ │ │ │ └── .gitkeep │ │ │ │ ├── fmt/ │ │ │ │ │ ├── .clang-format │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── CONTRIBUTING.md │ │ │ │ │ ├── ChangeLog.md │ │ │ │ │ ├── LICENSE │ │ │ │ │ ├── README.md │ │ │ │ │ ├── doc/ │ │ │ │ │ │ ├── ChangeLog-old.md │ │ │ │ │ │ ├── api.md │ │ │ │ │ │ ├── fmt.css │ │ │ │ │ │ ├── fmt.js │ │ │ │ │ │ ├── get-started.md │ │ │ │ │ │ ├── index.md │ │ │ │ │ │ └── syntax.md │ │ │ │ │ ├── doc-html/ │ │ │ │ │ │ ├── 404.html │ │ │ │ │ │ ├── api.html │ │ │ │ │ │ ├── assets/ │ │ │ │ │ │ │ ├── _mkdocstrings.css │ │ │ │ │ │ │ └── javascripts/ │ │ │ │ │ │ │ └── lunr/ │ │ │ │ │ │ │ ├── tinyseg.js │ │ │ │ │ │ │ └── wordcut.js │ │ │ │ │ │ ├── fmt.css │ │ │ │ │ │ ├── fmt.js │ │ │ │ │ │ ├── get-started.html │ │ │ │ │ │ ├── index.html │ │ │ │ │ │ ├── search/ │ │ │ │ │ │ │ └── search_index.json │ │ │ │ │ │ ├── sitemap.xml │ │ │ │ │ │ └── syntax.html │ │ │ │ │ ├── include/ │ │ │ │ │ │ └── fmt/ │ │ │ │ │ │ ├── args.h │ │ │ │ │ │ ├── base.h │ │ │ │ │ │ ├── chrono.h │ │ │ │ │ │ ├── color.h │ │ │ │ │ │ ├── compile.h │ │ │ │ │ │ ├── core.h │ │ │ │ │ │ ├── format-inl.h │ │ │ │ │ │ ├── format.h │ │ │ │ │ │ ├── os.h │ │ │ │ │ │ ├── ostream.h │ │ │ │ │ │ ├── printf.h │ │ │ │ │ │ ├── ranges.h │ │ │ │ │ │ ├── std.h │ │ │ │ │ │ └── xchar.h │ │ │ │ │ ├── src/ │ │ │ │ │ │ ├── fmt.cc │ │ │ │ │ │ ├── format.cc │ │ │ │ │ │ └── os.cc │ │ │ │ │ ├── support/ │ │ │ │ │ │ ├── Android.mk │ │ │ │ │ │ ├── AndroidManifest.xml │ │ │ │ │ │ ├── C++.sublime-syntax │ │ │ │ │ │ ├── README │ │ │ │ │ │ ├── Vagrantfile │ │ │ │ │ │ ├── bazel/ │ │ │ │ │ │ │ ├── .bazelversion │ │ │ │ │ │ │ ├── BUILD.bazel │ │ │ │ │ │ │ ├── MODULE.bazel │ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ │ └── WORKSPACE.bazel │ │ │ │ │ │ ├── check-commits │ │ │ │ │ │ ├── cmake/ │ │ │ │ │ │ │ ├── FindSetEnv.cmake │ │ │ │ │ │ │ ├── JoinPaths.cmake │ │ │ │ │ │ │ ├── fmt-config.cmake.in │ │ │ │ │ │ │ └── fmt.pc.in │ │ │ │ │ │ ├── docopt.py │ │ │ │ │ │ ├── mkdocs │ │ │ │ │ │ ├── mkdocs.yml │ │ │ │ │ │ ├── printable.py │ │ │ │ │ │ ├── python/ │ │ │ │ │ │ │ └── mkdocstrings_handlers/ │ │ │ │ │ │ │ └── cxx/ │ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ │ └── templates/ │ │ │ │ │ │ │ └── README │ │ │ │ │ │ └── release.py │ │ │ │ │ └── test/ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── add-subdirectory-test/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ └── main.cc │ │ │ │ │ ├── args-test.cc │ │ │ │ │ ├── assert-test.cc │ │ │ │ │ ├── base-test.cc │ │ │ │ │ ├── chrono-test.cc │ │ │ │ │ ├── color-test.cc │ │ │ │ │ ├── compile-error-test/ │ │ │ │ │ │ └── CMakeLists.txt │ │ │ │ │ ├── compile-fp-test.cc │ │ │ │ │ ├── compile-test.cc │ │ │ │ │ ├── cuda-test/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── cpp14.cc │ │ │ │ │ │ └── cuda-cpp14.cu │ │ │ │ │ ├── detect-stdfs.cc │ │ │ │ │ ├── enforce-checks-test.cc │ │ │ │ │ ├── find-package-test/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ └── main.cc │ │ │ │ │ ├── format-impl-test.cc │ │ │ │ │ ├── format-test.cc │ │ │ │ │ ├── fuzzing/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── chrono-duration.cc │ │ │ │ │ │ ├── chrono-timepoint.cc │ │ │ │ │ │ ├── float.cc │ │ │ │ │ │ ├── fuzzer-common.h │ │ │ │ │ │ ├── main.cc │ │ │ │ │ │ ├── named-arg.cc │ │ │ │ │ │ ├── one-arg.cc │ │ │ │ │ │ └── two-args.cc │ │ │ │ │ ├── gtest/ │ │ │ │ │ │ ├── .clang-format │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── gmock/ │ │ │ │ │ │ │ └── gmock.h │ │ │ │ │ │ ├── gmock-gtest-all.cc │ │ │ │ │ │ └── gtest/ │ │ │ │ │ │ ├── gtest-spi.h │ │ │ │ │ │ └── gtest.h │ │ │ │ │ ├── gtest-extra-test.cc │ │ │ │ │ ├── gtest-extra.cc │ │ │ │ │ ├── gtest-extra.h │ │ │ │ │ ├── header-only-test.cc │ │ │ │ │ ├── mock-allocator.h │ │ │ │ │ ├── module-test.cc │ │ │ │ │ ├── no-builtin-types-test.cc │ │ │ │ │ ├── noexception-test.cc │ │ │ │ │ ├── os-test.cc │ │ │ │ │ ├── ostream-test.cc │ │ │ │ │ ├── perf-sanity.cc │ │ │ │ │ ├── posix-mock-test.cc │ │ │ │ │ ├── posix-mock.h │ │ │ │ │ ├── printf-test.cc │ │ │ │ │ ├── ranges-odr-test.cc │ │ │ │ │ ├── ranges-test.cc │ │ │ │ │ ├── scan-test.cc │ │ │ │ │ ├── scan.h │ │ │ │ │ ├── static-export-test/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── library.cc │ │ │ │ │ │ └── main.cc │ │ │ │ │ ├── std-test.cc │ │ │ │ │ ├── test-assert.h │ │ │ │ │ ├── test-main.cc │ │ │ │ │ ├── unicode-test.cc │ │ │ │ │ ├── util.cc │ │ │ │ │ ├── util.h │ │ │ │ │ └── xchar-test.cc │ │ │ │ ├── googletest/ │ │ │ │ │ ├── .clang-format │ │ │ │ │ ├── .github/ │ │ │ │ │ │ └── ISSUE_TEMPLATE/ │ │ │ │ │ │ ├── 00-bug_report.yml │ │ │ │ │ │ ├── 10-feature_request.yml │ │ │ │ │ │ └── config.yml │ │ │ │ │ ├── .gitignore │ │ │ │ │ ├── BUILD.bazel │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── CONTRIBUTING.md │ │ │ │ │ ├── CONTRIBUTORS │ │ │ │ │ ├── LICENSE │ │ │ │ │ ├── MODULE.bazel │ │ │ │ │ ├── README.md │ │ │ │ │ ├── WORKSPACE │ │ │ │ │ ├── WORKSPACE.bzlmod │ │ │ │ │ ├── ci/ │ │ │ │ │ │ ├── linux-presubmit.sh │ │ │ │ │ │ └── macos-presubmit.sh │ │ │ │ │ ├── docs/ │ │ │ │ │ │ ├── _config.yml │ │ │ │ │ │ ├── _data/ │ │ │ │ │ │ │ └── navigation.yml │ │ │ │ │ │ ├── _layouts/ │ │ │ │ │ │ │ └── default.html │ │ │ │ │ │ ├── _sass/ │ │ │ │ │ │ │ └── main.scss │ │ │ │ │ │ ├── advanced.md │ │ │ │ │ │ ├── assets/ │ │ │ │ │ │ │ └── css/ │ │ │ │ │ │ │ └── style.scss │ │ │ │ │ │ ├── community_created_documentation.md │ │ │ │ │ │ ├── faq.md │ │ │ │ │ │ ├── gmock_cheat_sheet.md │ │ │ │ │ │ ├── gmock_cook_book.md │ │ │ │ │ │ ├── gmock_faq.md │ │ │ │ │ │ ├── gmock_for_dummies.md │ │ │ │ │ │ ├── index.md │ │ │ │ │ │ ├── pkgconfig.md │ │ │ │ │ │ ├── platforms.md │ │ │ │ │ │ ├── primer.md │ │ │ │ │ │ ├── quickstart-bazel.md │ │ │ │ │ │ ├── quickstart-cmake.md │ │ │ │ │ │ ├── reference/ │ │ │ │ │ │ │ ├── actions.md │ │ │ │ │ │ │ ├── assertions.md │ │ │ │ │ │ │ ├── matchers.md │ │ │ │ │ │ │ ├── mocking.md │ │ │ │ │ │ │ └── testing.md │ │ │ │ │ │ └── samples.md │ │ │ │ │ ├── fake_fuchsia_sdk.bzl │ │ │ │ │ ├── googlemock/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── cmake/ │ │ │ │ │ │ │ ├── gmock.pc.in │ │ │ │ │ │ │ └── gmock_main.pc.in │ │ │ │ │ │ ├── docs/ │ │ │ │ │ │ │ └── README.md │ │ │ │ │ │ ├── include/ │ │ │ │ │ │ │ └── gmock/ │ │ │ │ │ │ │ ├── gmock-actions.h │ │ │ │ │ │ │ ├── gmock-cardinalities.h │ │ │ │ │ │ │ ├── gmock-function-mocker.h │ │ │ │ │ │ │ ├── gmock-matchers.h │ │ │ │ │ │ │ ├── gmock-more-actions.h │ │ │ │ │ │ │ ├── gmock-more-matchers.h │ │ │ │ │ │ │ ├── gmock-nice-strict.h │ │ │ │ │ │ │ ├── gmock-spec-builders.h │ │ │ │ │ │ │ ├── gmock.h │ │ │ │ │ │ │ └── internal/ │ │ │ │ │ │ │ ├── custom/ │ │ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ │ │ ├── gmock-generated-actions.h │ │ │ │ │ │ │ │ ├── gmock-matchers.h │ │ │ │ │ │ │ │ └── gmock-port.h │ │ │ │ │ │ │ ├── gmock-internal-utils.h │ │ │ │ │ │ │ ├── gmock-port.h │ │ │ │ │ │ │ └── gmock-pp.h │ │ │ │ │ │ ├── src/ │ │ │ │ │ │ │ ├── gmock-all.cc │ │ │ │ │ │ │ ├── gmock-cardinalities.cc │ │ │ │ │ │ │ ├── gmock-internal-utils.cc │ │ │ │ │ │ │ ├── gmock-matchers.cc │ │ │ │ │ │ │ ├── gmock-spec-builders.cc │ │ │ │ │ │ │ ├── gmock.cc │ │ │ │ │ │ │ └── gmock_main.cc │ │ │ │ │ │ └── test/ │ │ │ │ │ │ ├── BUILD.bazel │ │ │ │ │ │ ├── gmock-actions_test.cc │ │ │ │ │ │ ├── gmock-cardinalities_test.cc │ │ │ │ │ │ ├── gmock-function-mocker_test.cc │ │ │ │ │ │ ├── gmock-internal-utils_test.cc │ │ │ │ │ │ ├── gmock-matchers-arithmetic_test.cc │ │ │ │ │ │ ├── gmock-matchers-comparisons_test.cc │ │ │ │ │ │ ├── gmock-matchers-containers_test.cc │ │ │ │ │ │ ├── gmock-matchers-misc_test.cc │ │ │ │ │ │ ├── gmock-matchers_test.h │ │ │ │ │ │ ├── gmock-more-actions_test.cc │ │ │ │ │ │ ├── gmock-nice-strict_test.cc │ │ │ │ │ │ ├── gmock-port_test.cc │ │ │ │ │ │ ├── gmock-pp-string_test.cc │ │ │ │ │ │ ├── gmock-pp_test.cc │ │ │ │ │ │ ├── gmock-spec-builders_test.cc │ │ │ │ │ │ ├── gmock_all_test.cc │ │ │ │ │ │ ├── gmock_ex_test.cc │ │ │ │ │ │ ├── gmock_leak_test.py │ │ │ │ │ │ ├── gmock_leak_test_.cc │ │ │ │ │ │ ├── gmock_link2_test.cc │ │ │ │ │ │ ├── gmock_link_test.cc │ │ │ │ │ │ ├── gmock_link_test.h │ │ │ │ │ │ ├── gmock_output_test.py │ │ │ │ │ │ ├── gmock_output_test_.cc │ │ │ │ │ │ ├── gmock_stress_test.cc │ │ │ │ │ │ ├── gmock_test.cc │ │ │ │ │ │ └── gmock_test_utils.py │ │ │ │ │ ├── googletest/ │ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── cmake/ │ │ │ │ │ │ │ ├── Config.cmake.in │ │ │ │ │ │ │ ├── gtest.pc.in │ │ │ │ │ │ │ ├── gtest_main.pc.in │ │ │ │ │ │ │ ├── internal_utils.cmake │ │ │ │ │ │ │ └── libgtest.la.in │ │ │ │ │ │ ├── docs/ │ │ │ │ │ │ │ └── README.md │ │ │ │ │ │ ├── include/ │ │ │ │ │ │ │ └── gtest/ │ │ │ │ │ │ │ ├── gtest-assertion-result.h │ │ │ │ │ │ │ ├── gtest-death-test.h │ │ │ │ │ │ │ ├── gtest-matchers.h │ │ │ │ │ │ │ ├── gtest-message.h │ │ │ │ │ │ │ ├── gtest-param-test.h │ │ │ │ │ │ │ ├── gtest-printers.h │ │ │ │ │ │ │ ├── gtest-spi.h │ │ │ │ │ │ │ ├── gtest-test-part.h │ │ │ │ │ │ │ ├── gtest-typed-test.h │ │ │ │ │ │ │ ├── gtest.h │ │ │ │ │ │ │ ├── gtest_pred_impl.h │ │ │ │ │ │ │ ├── gtest_prod.h │ │ │ │ │ │ │ └── internal/ │ │ │ │ │ │ │ ├── custom/ │ │ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ │ │ ├── gtest-port.h │ │ │ │ │ │ │ │ ├── gtest-printers.h │ │ │ │ │ │ │ │ └── gtest.h │ │ │ │ │ │ │ ├── gtest-death-test-internal.h │ │ │ │ │ │ │ ├── gtest-filepath.h │ │ │ │ │ │ │ ├── gtest-internal.h │ │ │ │ │ │ │ ├── gtest-param-util.h │ │ │ │ │ │ │ ├── gtest-port-arch.h │ │ │ │ │ │ │ ├── gtest-port.h │ │ │ │ │ │ │ ├── gtest-string.h │ │ │ │ │ │ │ └── gtest-type-util.h │ │ │ │ │ │ ├── samples/ │ │ │ │ │ │ │ ├── prime_tables.h │ │ │ │ │ │ │ ├── sample1.cc │ │ │ │ │ │ │ ├── sample1.h │ │ │ │ │ │ │ ├── sample10_unittest.cc │ │ │ │ │ │ │ ├── sample1_unittest.cc │ │ │ │ │ │ │ ├── sample2.cc │ │ │ │ │ │ │ ├── sample2.h │ │ │ │ │ │ │ ├── sample2_unittest.cc │ │ │ │ │ │ │ ├── sample3-inl.h │ │ │ │ │ │ │ ├── sample3_unittest.cc │ │ │ │ │ │ │ ├── sample4.cc │ │ │ │ │ │ │ ├── sample4.h │ │ │ │ │ │ │ ├── sample4_unittest.cc │ │ │ │ │ │ │ ├── sample5_unittest.cc │ │ │ │ │ │ │ ├── sample6_unittest.cc │ │ │ │ │ │ │ ├── sample7_unittest.cc │ │ │ │ │ │ │ ├── sample8_unittest.cc │ │ │ │ │ │ │ └── sample9_unittest.cc │ │ │ │ │ │ ├── src/ │ │ │ │ │ │ │ ├── gtest-all.cc │ │ │ │ │ │ │ ├── gtest-assertion-result.cc │ │ │ │ │ │ │ ├── gtest-death-test.cc │ │ │ │ │ │ │ ├── gtest-filepath.cc │ │ │ │ │ │ │ ├── gtest-internal-inl.h │ │ │ │ │ │ │ ├── gtest-matchers.cc │ │ │ │ │ │ │ ├── gtest-port.cc │ │ │ │ │ │ │ ├── gtest-printers.cc │ │ │ │ │ │ │ ├── gtest-test-part.cc │ │ │ │ │ │ │ ├── gtest-typed-test.cc │ │ │ │ │ │ │ ├── gtest.cc │ │ │ │ │ │ │ └── gtest_main.cc │ │ │ │ │ │ └── test/ │ │ │ │ │ │ ├── BUILD.bazel │ │ │ │ │ │ ├── googletest-break-on-failure-unittest.py │ │ │ │ │ │ ├── googletest-break-on-failure-unittest_.cc │ │ │ │ │ │ ├── googletest-catch-exceptions-test.py │ │ │ │ │ │ ├── googletest-catch-exceptions-test_.cc │ │ │ │ │ │ ├── googletest-color-test.py │ │ │ │ │ │ ├── googletest-color-test_.cc │ │ │ │ │ │ ├── googletest-death-test-test.cc │ │ │ │ │ │ ├── googletest-death-test_ex_test.cc │ │ │ │ │ │ ├── googletest-env-var-test.py │ │ │ │ │ │ ├── googletest-env-var-test_.cc │ │ │ │ │ │ ├── googletest-fail-if-no-test-linked-test-with-disabled-test_.cc │ │ │ │ │ │ ├── googletest-fail-if-no-test-linked-test-with-enabled-test_.cc │ │ │ │ │ │ ├── googletest-fail-if-no-test-linked-test.py │ │ │ │ │ │ ├── googletest-failfast-unittest.py │ │ │ │ │ │ ├── googletest-failfast-unittest_.cc │ │ │ │ │ │ ├── googletest-filepath-test.cc │ │ │ │ │ │ ├── googletest-filter-unittest.py │ │ │ │ │ │ ├── googletest-filter-unittest_.cc │ │ │ │ │ │ ├── googletest-global-environment-unittest.py │ │ │ │ │ │ ├── googletest-global-environment-unittest_.cc │ │ │ │ │ │ ├── googletest-json-outfiles-test.py │ │ │ │ │ │ ├── googletest-json-output-unittest.py │ │ │ │ │ │ ├── googletest-list-tests-unittest.py │ │ │ │ │ │ ├── googletest-list-tests-unittest_.cc │ │ │ │ │ │ ├── googletest-listener-test.cc │ │ │ │ │ │ ├── googletest-message-test.cc │ │ │ │ │ │ ├── googletest-options-test.cc │ │ │ │ │ │ ├── googletest-output-test.py │ │ │ │ │ │ ├── googletest-output-test_.cc │ │ │ │ │ │ ├── googletest-param-test-invalid-name1-test.py │ │ │ │ │ │ ├── googletest-param-test-invalid-name1-test_.cc │ │ │ │ │ │ ├── googletest-param-test-invalid-name2-test.py │ │ │ │ │ │ ├── googletest-param-test-invalid-name2-test_.cc │ │ │ │ │ │ ├── googletest-param-test-test.cc │ │ │ │ │ │ ├── googletest-param-test-test.h │ │ │ │ │ │ ├── googletest-param-test2-test.cc │ │ │ │ │ │ ├── googletest-port-test.cc │ │ │ │ │ │ ├── googletest-printers-test.cc │ │ │ │ │ │ ├── googletest-setuptestsuite-test.py │ │ │ │ │ │ ├── googletest-setuptestsuite-test_.cc │ │ │ │ │ │ ├── googletest-shuffle-test.py │ │ │ │ │ │ ├── googletest-shuffle-test_.cc │ │ │ │ │ │ ├── googletest-test-part-test.cc │ │ │ │ │ │ ├── googletest-throw-on-failure-test.py │ │ │ │ │ │ ├── googletest-throw-on-failure-test_.cc │ │ │ │ │ │ ├── googletest-uninitialized-test.py │ │ │ │ │ │ ├── googletest-uninitialized-test_.cc │ │ │ │ │ │ ├── gtest-typed-test2_test.cc │ │ │ │ │ │ ├── gtest-typed-test_test.cc │ │ │ │ │ │ ├── gtest-typed-test_test.h │ │ │ │ │ │ ├── gtest-unittest-api_test.cc │ │ │ │ │ │ ├── gtest_all_test.cc │ │ │ │ │ │ ├── gtest_assert_by_exception_test.cc │ │ │ │ │ │ ├── gtest_dirs_test.cc │ │ │ │ │ │ ├── gtest_environment_test.cc │ │ │ │ │ │ ├── gtest_help_test.py │ │ │ │ │ │ ├── gtest_help_test_.cc │ │ │ │ │ │ ├── gtest_json_test_utils.py │ │ │ │ │ │ ├── gtest_list_output_unittest.py │ │ │ │ │ │ ├── gtest_list_output_unittest_.cc │ │ │ │ │ │ ├── gtest_main_unittest.cc │ │ │ │ │ │ ├── gtest_no_test_unittest.cc │ │ │ │ │ │ ├── gtest_pred_impl_unittest.cc │ │ │ │ │ │ ├── gtest_premature_exit_test.cc │ │ │ │ │ │ ├── gtest_prod_test.cc │ │ │ │ │ │ ├── gtest_repeat_test.cc │ │ │ │ │ │ ├── gtest_skip_check_output_test.py │ │ │ │ │ │ ├── gtest_skip_environment_check_output_test.py │ │ │ │ │ │ ├── gtest_skip_in_environment_setup_test.cc │ │ │ │ │ │ ├── gtest_skip_test.cc │ │ │ │ │ │ ├── gtest_sole_header_test.cc │ │ │ │ │ │ ├── gtest_stress_test.cc │ │ │ │ │ │ ├── gtest_test_macro_stack_footprint_test.cc │ │ │ │ │ │ ├── gtest_test_utils.py │ │ │ │ │ │ ├── gtest_testbridge_test.py │ │ │ │ │ │ ├── gtest_testbridge_test_.cc │ │ │ │ │ │ ├── gtest_throw_on_failure_ex_test.cc │ │ │ │ │ │ ├── gtest_unittest.cc │ │ │ │ │ │ ├── gtest_xml_outfile1_test_.cc │ │ │ │ │ │ ├── gtest_xml_outfile2_test_.cc │ │ │ │ │ │ ├── gtest_xml_outfiles_test.py │ │ │ │ │ │ ├── gtest_xml_output_unittest.py │ │ │ │ │ │ ├── gtest_xml_output_unittest_.cc │ │ │ │ │ │ ├── gtest_xml_test_utils.py │ │ │ │ │ │ ├── production.cc │ │ │ │ │ │ └── production.h │ │ │ │ │ └── googletest_deps.bzl │ │ │ │ └── perfetto/ │ │ │ │ ├── CMakeLists.txt │ │ │ │ ├── perfetto.cc │ │ │ │ └── perfetto.h │ │ │ ├── tests/ │ │ │ │ ├── CMakeLists.txt │ │ │ │ ├── core/ │ │ │ │ │ ├── CMakeLists.txt │ │ │ │ │ ├── aligned_alloc.cpp │ │ │ │ │ ├── buf.cpp │ │ │ │ │ ├── distribute_items.cpp │ │ │ │ │ ├── layout.cpp │ │ │ │ │ ├── list.cpp │ │ │ │ │ └── lru.cpp │ │ │ │ └── test_main.cpp │ │ │ └── tools/ │ │ │ └── set_pcie_speed.sh │ │ ├── moe_sparse_pipeline/ │ │ │ ├── CMakeLists.txt │ │ │ ├── expert_bundle.cpp │ │ │ ├── expert_cache.cpp │ │ │ ├── iou.cpp │ │ │ ├── moe_sparse_pipeline/ │ │ │ │ ├── config.hpp │ │ │ │ ├── expert_bundle.hpp │ │ │ │ ├── expert_cache.hpp │ │ │ │ ├── iou.hpp │ │ │ │ ├── lockfree_queue.hpp │ │ │ │ ├── object_pool.hpp │ │ │ │ ├── packed_kernel.hpp │ │ │ │ ├── pipeline.hpp │ │ │ │ └── task.hpp │ │ │ ├── packed_kernel.cpp │ │ │ ├── pipeline.cpp │ │ │ └── task.cpp │ │ ├── powerinfer-common/ │ │ │ ├── CMakeLists.txt │ │ │ └── include/ │ │ │ ├── powerinfer-exception.hpp │ │ │ ├── powerinfer-log.hpp │ │ │ ├── powerinfer-macro.hpp │ │ │ ├── powerinfer-mem.hpp │ │ │ ├── powerinfer-type.hpp │ │ │ └── util.hpp │ │ ├── powerinfer-cpu/ │ │ │ ├── CMakeLists.txt │ │ │ ├── include/ │ │ │ │ ├── axpy.hpp │ │ │ │ ├── chunked_vec_dot.hpp │ │ │ │ ├── convert.hpp │ │ │ │ ├── powerinfer-cpu-data.hpp │ │ │ │ ├── powerinfer-cpu-exception.hpp │ │ │ │ ├── powerinfer-cpu-param.hpp │ │ │ │ ├── powerinfer-cpu-sgemm.hpp │ │ │ │ ├── powerinfer-cpu.hpp │ │ │ │ └── vdot.hpp │ │ │ └── src/ │ │ │ ├── axpy.cpp │ │ │ ├── common.cpp │ │ │ ├── compare.hpp │ │ │ ├── fused_sparse_ffn.cpp │ │ │ ├── fused_sparse_ffn.hpp │ │ │ ├── post_attn_layernorm.cpp │ │ │ ├── powerinfer_cond_ffn.cpp │ │ │ ├── powerinfer_cond_ffn.hpp │ │ │ ├── rotary_embedding.cpp │ │ │ ├── sgemm.cpp │ │ │ ├── sparse_lmhead.cpp │ │ │ ├── sparse_matmul.hpp │ │ │ ├── sparse_moe_ffn.cpp │ │ │ ├── sparse_moe_ffn.hpp │ │ │ └── vec_dot.hpp │ │ ├── powerinfer-disk/ │ │ │ ├── CMakeLists.txt │ │ │ ├── include/ │ │ │ │ └── powerinfer-disk-queue.hpp │ │ │ └── src/ │ │ │ ├── atomic-queue/ │ │ │ │ ├── defs.h │ │ │ │ └── queue.h │ │ │ └── powerinfer-queue.cpp │ │ ├── powerinfer-perf/ │ │ │ ├── CMakeLists.txt │ │ │ ├── include/ │ │ │ │ └── powerinfer-perf.hpp │ │ │ └── src/ │ │ │ └── powerinfer-perf.cpp │ │ ├── src/ │ │ │ ├── convert.hpp │ │ │ ├── disk_buffer.hpp │ │ │ ├── interface_az.cpp │ │ │ ├── interface_host.cpp │ │ │ └── interface_perf.cpp │ │ ├── test/ │ │ │ ├── CMakeLists.txt │ │ │ ├── benchmark/ │ │ │ │ ├── CMakeLists.txt │ │ │ │ └── bench_example.cpp │ │ │ └── unit_test/ │ │ │ └── CMakeLists.txt │ │ └── third_part/ │ │ └── CMakeLists.txt │ ├── pyproject.toml │ ├── pyrightconfig.json │ ├── requirements/ │ │ ├── requirements-all.txt │ │ ├── requirements-compare-llama-bench.txt │ │ ├── requirements-convert_hf_to_gguf.txt │ │ ├── requirements-convert_hf_to_gguf_update.txt │ │ ├── requirements-convert_legacy_llama.txt │ │ ├── requirements-convert_llama_ggml_to_gguf.txt │ │ ├── requirements-convert_lora_to_gguf.txt │ │ ├── requirements-gguf_editor_gui.txt │ │ ├── requirements-pydantic.txt │ │ ├── requirements-test-tokenizer-random.txt │ │ └── requirements-tool_bench.txt │ ├── requirements.txt │ ├── scripts/ │ │ ├── apple/ │ │ │ ├── validate-apps.sh │ │ │ ├── validate-ios.sh │ │ │ ├── validate-macos.sh │ │ │ ├── validate-tvos.sh │ │ │ └── validate-visionos.sh │ │ ├── build-info.sh │ │ ├── check-requirements.sh │ │ ├── ci-run.sh │ │ ├── compare-commits.sh │ │ ├── compare-llama-bench.py │ │ ├── debug-test.sh │ │ ├── fetch_server_test_models.py │ │ ├── gen-authors.sh │ │ ├── gen-unicode-data.py │ │ ├── get-flags.mk │ │ ├── get-hellaswag.sh │ │ ├── get-pg.sh │ │ ├── get-wikitext-103.sh │ │ ├── get-wikitext-2.sh │ │ ├── get-winogrande.sh │ │ ├── get_chat_template.py │ │ ├── hf.sh │ │ ├── qnt-all.sh │ │ ├── run-all-perf.sh │ │ ├── run-all-ppl.sh │ │ ├── sync-ggml-am.sh │ │ ├── sync-ggml.last │ │ ├── sync-ggml.sh │ │ ├── sync_vendor.py │ │ ├── tool_bench.py │ │ ├── tool_bench.sh │ │ ├── verify-checksum-models.py │ │ └── xxd.cmake │ ├── src/ │ │ ├── .clang-format │ │ ├── CMakeLists.txt │ │ ├── llama-adapter.cpp │ │ ├── llama-adapter.h │ │ ├── llama-arch.cpp │ │ ├── llama-arch.h │ │ ├── llama-batch.cpp │ │ ├── llama-batch.h │ │ ├── llama-chat.cpp │ │ ├── llama-chat.h │ │ ├── llama-context.cpp │ │ ├── llama-context.h │ │ ├── llama-cparams.cpp │ │ ├── llama-cparams.h │ │ ├── llama-grammar.cpp │ │ ├── llama-grammar.h │ │ ├── llama-graph.cpp │ │ ├── llama-graph.h │ │ ├── llama-hparams.cpp │ │ ├── llama-hparams.h │ │ ├── llama-impl.cpp │ │ ├── llama-impl.h │ │ ├── llama-io.cpp │ │ ├── llama-io.h │ │ ├── llama-kv-cache-recurrent.cpp │ │ ├── llama-kv-cache-recurrent.h │ │ ├── llama-kv-cache-unified-iswa.cpp │ │ ├── llama-kv-cache-unified-iswa.h │ │ ├── llama-kv-cache-unified.cpp │ │ ├── llama-kv-cache-unified.h │ │ ├── llama-kv-cache.cpp │ │ ├── llama-kv-cache.h │ │ ├── llama-kv-cells.h │ │ ├── llama-memory.cpp │ │ ├── llama-memory.h │ │ ├── llama-mmap.cpp │ │ ├── llama-mmap.h │ │ ├── llama-model-loader.cpp │ │ ├── llama-model-loader.h │ │ ├── llama-model-saver.cpp │ │ ├── llama-model-saver.h │ │ ├── llama-model.cpp │ │ ├── llama-model.h │ │ ├── llama-quant.cpp │ │ ├── llama-quant.h │ │ ├── llama-sampling.cpp │ │ ├── llama-sampling.h │ │ ├── llama-vocab.cpp │ │ ├── llama-vocab.h │ │ ├── llama.cpp │ │ ├── unicode-data.cpp │ │ ├── unicode-data.h │ │ ├── unicode.cpp │ │ └── unicode.h │ ├── tests/ │ │ ├── .gitignore │ │ ├── CMakeLists.txt │ │ ├── get-model.cpp │ │ ├── get-model.h │ │ ├── run-json-schema-to-grammar.mjs │ │ ├── test-arg-parser.cpp │ │ ├── test-autorelease.cpp │ │ ├── test-backend-ops.cpp │ │ ├── test-barrier.cpp │ │ ├── test-c.c │ │ ├── test-chat-parser.cpp │ │ ├── test-chat-template.cpp │ │ ├── test-chat.cpp │ │ ├── test-double-float.cpp │ │ ├── test-gbnf-validator.cpp │ │ ├── test-gguf.cpp │ │ ├── test-grammar-integration.cpp │ │ ├── test-grammar-llguidance.cpp │ │ ├── test-grammar-parser.cpp │ │ ├── test-json-partial.cpp │ │ ├── test-json-schema-to-grammar.cpp │ │ ├── test-llama-grammar.cpp │ │ ├── test-log.cpp │ │ ├── test-lora-conversion-inference.sh │ │ ├── test-model-load-cancel.cpp │ │ ├── test-mtmd-c-api.c │ │ ├── test-opt.cpp │ │ ├── test-quantize-fns.cpp │ │ ├── test-quantize-perf.cpp │ │ ├── test-quantize-stats.cpp │ │ ├── test-regex-partial.cpp │ │ ├── test-rope.cpp │ │ ├── test-sampling.cpp │ │ ├── test-tokenizer-0.cpp │ │ ├── test-tokenizer-0.py │ │ ├── test-tokenizer-0.sh │ │ ├── test-tokenizer-1-bpe.cpp │ │ ├── test-tokenizer-1-spm.cpp │ │ └── test-tokenizer-random.py │ ├── toolchains/ │ │ ├── aarch64-linux-gnu.cmake │ │ ├── cross_compile.md │ │ ├── raspi5.cmake │ │ ├── rdkx5.cmake │ │ ├── rk3566.cmake │ │ ├── rk3576.cmake │ │ └── rk3588.cmake │ ├── tools/ │ │ ├── CMakeLists.txt │ │ ├── batched-bench/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── batched-bench.cpp │ │ ├── cvector-generator/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── completions.txt │ │ │ ├── cvector-generator.cpp │ │ │ ├── mean.hpp │ │ │ ├── negative.txt │ │ │ ├── pca.hpp │ │ │ └── positive.txt │ │ ├── export-lora/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── export-lora.cpp │ │ ├── gguf-split/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── gguf-split.cpp │ │ │ └── tests.sh │ │ ├── imatrix/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── imatrix.cpp │ │ ├── llama-bench/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── llama-bench.cpp │ │ ├── main/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── main.cpp │ │ ├── mtmd/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── clip-impl.h │ │ │ ├── clip.cpp │ │ │ ├── clip.h │ │ │ ├── deprecation-warning.cpp │ │ │ ├── legacy-models/ │ │ │ │ ├── convert_image_encoder_to_gguf.py │ │ │ │ ├── glmedge-convert-image-encoder-to-gguf.py │ │ │ │ ├── glmedge-surgery.py │ │ │ │ ├── llava_surgery.py │ │ │ │ ├── llava_surgery_v2.py │ │ │ │ ├── minicpmv-convert-image-encoder-to-gguf.py │ │ │ │ └── minicpmv-surgery.py │ │ │ ├── mtmd-audio.cpp │ │ │ ├── mtmd-audio.h │ │ │ ├── mtmd-cli.cpp │ │ │ ├── mtmd-helper.cpp │ │ │ ├── mtmd-helper.h │ │ │ ├── mtmd.cpp │ │ │ ├── mtmd.h │ │ │ ├── requirements.txt │ │ │ └── tests.sh │ │ ├── perplexity/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── perplexity.cpp │ │ ├── quantize/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── quantize.cpp │ │ │ └── tests.sh │ │ ├── rpc/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ └── rpc-server.cpp │ │ ├── run/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── linenoise.cpp/ │ │ │ │ ├── linenoise.cpp │ │ │ │ └── linenoise.h │ │ │ └── run.cpp │ │ ├── server/ │ │ │ ├── CMakeLists.txt │ │ │ ├── README.md │ │ │ ├── bench/ │ │ │ │ ├── README.md │ │ │ │ ├── bench.py │ │ │ │ ├── prometheus.yml │ │ │ │ ├── requirements.txt │ │ │ │ └── script.js │ │ │ ├── chat-llama2.sh │ │ │ ├── chat.mjs │ │ │ ├── chat.sh │ │ │ ├── public/ │ │ │ │ └── loading.html │ │ │ ├── public_legacy/ │ │ │ │ ├── colorthemes.css │ │ │ │ ├── completion.js │ │ │ │ ├── index-new.html │ │ │ │ ├── index.html │ │ │ │ ├── index.js │ │ │ │ ├── json-schema-to-grammar.mjs │ │ │ │ ├── loading.html │ │ │ │ ├── prompt-formats.js │ │ │ │ ├── style.css │ │ │ │ ├── system-prompts.js │ │ │ │ ├── theme-beeninorder.css │ │ │ │ ├── theme-ketivah.css │ │ │ │ ├── theme-mangotango.css │ │ │ │ ├── theme-playground.css │ │ │ │ ├── theme-polarnight.css │ │ │ │ └── theme-snowstorm.css │ │ │ ├── public_simplechat/ │ │ │ │ ├── datautils.mjs │ │ │ │ ├── index.html │ │ │ │ ├── readme.md │ │ │ │ ├── simplechat.css │ │ │ │ ├── simplechat.js │ │ │ │ └── ui.mjs │ │ │ ├── server.cpp │ │ │ ├── tests/ │ │ │ │ ├── .gitignore │ │ │ │ ├── README.md │ │ │ │ ├── conftest.py │ │ │ │ ├── pytest.ini │ │ │ │ ├── requirements.txt │ │ │ │ ├── tests.sh │ │ │ │ ├── unit/ │ │ │ │ │ ├── test_basic.py │ │ │ │ │ ├── test_chat_completion.py │ │ │ │ │ ├── test_completion.py │ │ │ │ │ ├── test_ctx_shift.py │ │ │ │ │ ├── test_embedding.py │ │ │ │ │ ├── test_infill.py │ │ │ │ │ ├── test_lora.py │ │ │ │ │ ├── test_rerank.py │ │ │ │ │ ├── test_security.py │ │ │ │ │ ├── test_slot_save.py │ │ │ │ │ ├── test_speculative.py │ │ │ │ │ ├── test_template.py │ │ │ │ │ ├── test_tokenize.py │ │ │ │ │ ├── test_tool_call.py │ │ │ │ │ └── test_vision_api.py │ │ │ │ └── utils.py │ │ │ ├── themes/ │ │ │ │ ├── README.md │ │ │ │ ├── buttons-top/ │ │ │ │ │ ├── README.md │ │ │ │ │ └── index.html │ │ │ │ └── wild/ │ │ │ │ ├── README.md │ │ │ │ └── index.html │ │ │ ├── utils.hpp │ │ │ └── webui/ │ │ │ ├── .gitignore │ │ │ ├── .prettierignore │ │ │ ├── eslint.config.js │ │ │ ├── index.html │ │ │ ├── package.json │ │ │ ├── postcss.config.js │ │ │ ├── public/ │ │ │ │ └── demo-conversation.json │ │ │ ├── src/ │ │ │ │ ├── App.tsx │ │ │ │ ├── Config.ts │ │ │ │ ├── components/ │ │ │ │ │ ├── CanvasPyInterpreter.tsx │ │ │ │ │ ├── ChatInputExtraContextItem.tsx │ │ │ │ │ ├── ChatMessage.tsx │ │ │ │ │ ├── ChatScreen.tsx │ │ │ │ │ ├── Header.tsx │ │ │ │ │ ├── MarkdownDisplay.tsx │ │ │ │ │ ├── ModalProvider.tsx │ │ │ │ │ ├── SettingDialog.tsx │ │ │ │ │ ├── Sidebar.tsx │ │ │ │ │ ├── useChatExtraContext.tsx │ │ │ │ │ ├── useChatScroll.tsx │ │ │ │ │ └── useChatTextarea.ts │ │ │ │ ├── index.scss │ │ │ │ ├── main.tsx │ │ │ │ ├── utils/ │ │ │ │ │ ├── app.context.tsx │ │ │ │ │ ├── common.tsx │ │ │ │ │ ├── llama-vscode.ts │ │ │ │ │ ├── misc.ts │ │ │ │ │ ├── storage.ts │ │ │ │ │ └── types.ts │ │ │ │ └── vite-env.d.ts │ │ │ ├── tailwind.config.js │ │ │ ├── tsconfig.app.json │ │ │ ├── tsconfig.json │ │ │ ├── tsconfig.node.json │ │ │ └── vite.config.ts │ │ ├── tokenize/ │ │ │ ├── CMakeLists.txt │ │ │ └── tokenize.cpp │ │ └── tts/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── convert_pt_to_hf.py │ │ ├── tts-outetts.py │ │ └── tts.cpp │ └── vendor/ │ ├── cpp-httplib/ │ │ └── httplib.h │ ├── miniaudio/ │ │ └── miniaudio.h │ ├── minja/ │ │ ├── chat-template.hpp │ │ └── minja.hpp │ ├── nlohmann/ │ │ ├── json.hpp │ │ └── json_fwd.hpp │ └── stb/ │ └── stb_image.h ├── tests/ │ ├── CMakeLists.txt │ ├── test-c.c │ ├── test-double-float.cpp │ ├── test-grad0.cpp │ ├── test-grammar-parser.cpp │ ├── test-llama-grammar.cpp │ ├── test-opt.cpp │ ├── test-quantize-fns.cpp │ ├── test-quantize-perf.cpp │ ├── test-rope.cpp │ ├── test-sampling.cpp │ ├── test-tokenizer-0-falcon.cpp │ ├── test-tokenizer-0-falcon.py │ ├── test-tokenizer-0-llama.cpp │ ├── test-tokenizer-0-llama.py │ ├── test-tokenizer-1-bpe.cpp │ └── test-tokenizer-1-llama.cpp └── unicode.h