gitextract_l9oqlsxk/

├── .clang-format
├── .github/
│   └── workflows/
│       └── pre-commit.yml
├── .gitignore
├── .pre-commit-config.yaml
├── CMakeLists.txt
├── LICENSE
├── README.md
├── cmake/
│   ├── TritonBackendConfig.cmake.in
│   └── define.cuda_architectures.cmake
├── docs/
│   ├── backend_platform_support_matrix.md
│   └── python_based_backends.md
├── examples/
│   ├── README.md
│   ├── backends/
│   │   ├── bls/
│   │   │   ├── CMakeLists.txt
│   │   │   ├── README.md
│   │   │   ├── cmake/
│   │   │   │   └── TritonBLSBackendConfig.cmake.in
│   │   │   └── src/
│   │   │       ├── backend.cc
│   │   │       ├── bls.cc
│   │   │       ├── bls.h
│   │   │       ├── bls_utils.cc
│   │   │       ├── bls_utils.h
│   │   │       └── libtriton_bls.ldscript
│   │   ├── minimal/
│   │   │   ├── CMakeLists.txt
│   │   │   ├── cmake/
│   │   │   │   └── TutorialMinimalBackendConfig.cmake.in
│   │   │   └── src/
│   │   │       ├── libtriton_minimal.ldscript
│   │   │       └── minimal.cc
│   │   └── recommended/
│   │       ├── CMakeLists.txt
│   │       ├── cmake/
│   │       │   └── TutorialRecommendedBackendConfig.cmake.in
│   │       └── src/
│   │           ├── libtriton_recommended.ldscript
│   │           └── recommended.cc
│   ├── batching_strategies/
│   │   ├── single_batching/
│   │   │   ├── CMakeLists.txt
│   │   │   ├── cmake/
│   │   │   │   └── triton-single-batching.cmake.in
│   │   │   └── src/
│   │   │       ├── libtriton_singlebatching.ldscript
│   │   │       └── single_batching.cc
│   │   └── volume_batching/
│   │       ├── CMakeLists.txt
│   │       ├── cmake/
│   │       │   └── triton-volume-batching.cmake.in
│   │       └── src/
│   │           ├── libtriton_volumebatching.ldscript
│   │           └── volume_batching.cc
│   ├── clients/
│   │   ├── bls_client
│   │   ├── minimal_client
│   │   └── recommended_client
│   └── model_repos/
│       ├── bls_models/
│       │   ├── addsub_onnx/
│       │   │   ├── 1/
│       │   │   │   └── model.onnx
│       │   │   └── config.pbtxt
│       │   ├── addsub_python/
│       │   │   ├── 1/
│       │   │   │   └── model.py
│       │   │   └── config.pbtxt
│       │   └── bls_fp32/
│       │       └── config.pbtxt
│       ├── minimal_models/
│       │   ├── batching/
│       │   │   ├── 1/
│       │   │   │   └── .gitkeep
│       │   │   └── config.pbtxt
│       │   └── nonbatching/
│       │       ├── 1/
│       │       │   └── .gitkeep
│       │       └── config.pbtxt
│       └── recommended_models/
│           └── batching/
│               ├── 1/
│               │   └── .gitkeep
│               └── config.pbtxt
├── include/
│   └── triton/
│       └── backend/
│           ├── backend_common.h
│           ├── backend_input_collector.h
│           ├── backend_memory.h
│           ├── backend_model.h
│           ├── backend_model_instance.h
│           ├── backend_output_responder.h
│           └── device_memory_tracker.h
├── pyproject.toml
└── src/
    ├── backend_common.cc
    ├── backend_input_collector.cc
    ├── backend_memory.cc
    ├── backend_model.cc
    ├── backend_model_instance.cc
    ├── backend_output_responder.cc
    ├── device_memory_tracker.cc
    ├── kernel.cu
    └── kernel.h