gitextract_8sd61058/

├── .bazelrc
├── .clang-format
├── .dockerignore
├── .gitmodules
├── BUILD.bazel
├── CLA
├── CMakeLists.txt
├── CREDITS.md
├── Dockerfile
├── LICENSE
├── README.md
├── WORKSPACE
├── bazel/
│   ├── BUILD.bazel
│   ├── cuda_configure.bzl
│   ├── repositories.bzl
│   └── tensorrt_configure.bzl
├── build.sh
├── cmake/
│   ├── FindTensorRT.cmake
│   ├── Findcpuaff.cmake
│   ├── GRPCGenerateCPP.cmake
│   ├── GRPCGenerateCPPLikeBazel.cmake
│   ├── LibFindMacros.cmake
│   ├── ProtobufGenerateCPPLikeBazel.cmake
│   └── dependencies.cmake
├── devel.sh
├── examples/
│   ├── 00_TensorRT/
│   │   ├── CMakeLists.txt
│   │   ├── README.md
│   │   ├── infer.cc
│   │   └── inference.cc
│   ├── 01_Basic_GRPC/
│   │   ├── CMakeLists.txt
│   │   ├── README.md
│   │   └── src/
│   │       ├── async_client.cc
│   │       ├── client.cpp
│   │       └── server.cpp
│   ├── 02_TensorRT_GRPC/
│   │   ├── CMakeLists.txt
│   │   ├── README.md
│   │   └── src/
│   │       ├── async-client.cc
│   │       ├── metrics.cc
│   │       ├── metrics.h
│   │       ├── server.cc
│   │       ├── siege.cc
│   │       └── sync-client.cc
│   ├── 03_Batching/
│   │   ├── CMakeLists.txt
│   │   ├── README.md
│   │   ├── inference-batcher.cc
│   │   ├── launch_batching.sh
│   │   ├── simple_batching_client.py
│   │   ├── simple_pb2.py
│   │   ├── simple_pb2_grpc.py
│   │   ├── streaming-service.cc
│   │   └── unary_client.py
│   ├── 04_Middleman/
│   │   ├── CMakeLists.txt
│   │   └── middleman-client.cc
│   ├── 10_Internals/
│   │   ├── CMakeLists.txt
│   │   ├── README.md
│   │   └── internals.cc
│   ├── 11_Protos/
│   │   ├── CMakeLists.txt
│   │   ├── demo/
│   │   │   ├── CMakeLists.txt
│   │   │   ├── dataset.proto
│   │   │   └── inference.proto
│   │   ├── echo/
│   │   │   ├── CMakeLists.txt
│   │   │   └── echo.proto
│   │   └── inference/
│   │       ├── CMakeLists.txt
│   │       ├── api.proto
│   │       ├── model_config.proto
│   │       ├── nvidia_inference.proto
│   │       ├── request_status.proto
│   │       └── server_status.proto
│   ├── 12_ConfigGenerator/
│   │   ├── CMakeLists.txt
│   │   ├── README.md
│   │   ├── generator.cc
│   │   ├── link.sh
│   │   └── ms_mgmt
│   ├── 12_FlatBuffers/
│   │   ├── CMakeLists.txt
│   │   ├── client.cc
│   │   ├── example.fbs
│   │   ├── example.grpc.fb.cc
│   │   ├── example.grpc.fb.h
│   │   ├── example_generated.h
│   │   └── server.cc
│   ├── 30_PyTensorRT/
│   │   ├── README.md
│   │   ├── client.py
│   │   ├── compute.py
│   │   ├── infer_test_utils.py
│   │   ├── rebuild.sh
│   │   └── server.py
│   ├── 90_Kubernetes/
│   │   ├── README.md
│   │   ├── bootstrap-minikube.sh
│   │   ├── deploy/
│   │   │   └── build-and-run.sh
│   │   ├── devel/
│   │   │   ├── README.md
│   │   │   └── yais-devel.yml
│   │   ├── istio/
│   │   │   ├── README.md
│   │   │   └── rendered/
│   │   │       ├── istio-v0.8-minikube.yml
│   │   │       └── istio-v1.0-minikube.yml
│   │   ├── minikube/
│   │   │   ├── README.md
│   │   │   └── bootstrap.sh
│   │   ├── prometheus/
│   │   │   ├── bootstrap.sh
│   │   │   ├── custom-settings.yml
│   │   │   ├── service-account.yml
│   │   │   ├── yais-dashboard.json
│   │   │   └── yais-metrics.yml
│   │   └── yais-deploy.yml
│   ├── 91_Prometheus/
│   │   ├── README.md
│   │   └── scrape.conf
│   ├── 97_SingleProcessMultiSteam/
│   │   └── launch_service.sh
│   ├── 98_MultiProcessSingleStream/
│   │   ├── README.md
│   │   ├── run_latency_test
│   │   ├── run_throughput_test
│   │   └── setup.py
│   ├── 99_LoadBalancer/
│   │   ├── README.md
│   │   ├── lb-envoy.j2
│   │   └── run_loadbalancer.py
│   ├── CMakeLists.txt
│   ├── Deployment/
│   │   ├── CMakeLists.txt
│   │   ├── ImageClient/
│   │   │   ├── CMakeLists.txt
│   │   │   ├── api.proto
│   │   │   ├── client.cc
│   │   │   ├── client.h
│   │   │   └── client.py
│   │   ├── Kubernetes/
│   │   │   └── basic-trtis-deployment/
│   │   │       ├── deploy.yml
│   │   │       ├── istio-ingress.yml
│   │   │       └── scrape-metrics.yml
│   │   ├── ObjectStore/
│   │   │   ├── README.md
│   │   │   ├── create_buckets.py
│   │   │   ├── get_rook_s3_keys.sh
│   │   │   ├── ingress-istio.yml
│   │   │   ├── ingress-nginx.yml
│   │   │   └── rook-s3.yml
│   │   ├── README.md
│   │   ├── RouteRequests/
│   │   │   ├── CMakeLists.txt
│   │   │   ├── README.md
│   │   │   ├── envoy_config.yaml
│   │   │   ├── test_client.py
│   │   │   ├── test_routing.sh
│   │   │   └── test_service.cc
│   │   └── batcher.cc
│   ├── ONNX/
│   │   └── resnet50/
│   │       ├── README.md
│   │       ├── build.py
│   │       ├── calibration_images.csv
│   │       ├── calibrator.py
│   │       ├── fetch.sh
│   │       ├── imagenet_labels.py
│   │       ├── int8.py
│   │       ├── onnx_utils.py
│   │       ├── open_source_images.md5
│   │       ├── resnet50.md5
│   │       ├── run_jpeg_test.py
│   │       └── run_onnx_tests.py
│   └── nvRPC/
│       ├── CMakeLists.txt
│       ├── SharedMemoryService/
│       │   ├── CMakeLists.txt
│       │   ├── README.md
│       │   ├── client.cc
│       │   └── server.cc
│       ├── StreamingInOrderSendRecv/
│       │   ├── CMakeLists.txt
│       │   ├── README.md
│       │   ├── client.cc
│       │   ├── server.cc
│       │   └── test.sh
│       ├── StreamingService/
│       │   ├── CMakeLists.txt
│       │   ├── README.md
│       │   ├── client.cc
│       │   ├── common.h
│       │   ├── even-odds.cc
│       │   ├── ping-pong.cc
│       │   └── test.sh
│       └── UnaryService/
│           ├── CMakeLists.txt
│           ├── client.cc
│           └── server.cc
├── jupyter_notebook_config.py
├── models/
│   ├── README.md
│   ├── ResNet-152-deploy.prototxt
│   ├── ResNet-50-deploy.prototxt
│   ├── mps_builder
│   ├── onnx/
│   │   ├── common.py
│   │   ├── mnist-v1.3/
│   │   │   ├── model.onnx
│   │   │   ├── test_data_set_0/
│   │   │   │   ├── input_0.pb
│   │   │   │   └── output_0.pb
│   │   │   ├── test_data_set_1/
│   │   │   │   ├── input_0.pb
│   │   │   │   └── output_0.pb
│   │   │   └── test_data_set_2/
│   │   │       ├── input_0.pb
│   │   │       └── output_0.pb
│   │   └── onnx_builder.py
│   └── setup.py
├── notebooks/
│   ├── Demo Day 1.ipynb
│   ├── Demo Day 2.ipynb
│   ├── Demo Day 3.ipynb
│   ├── Multiple Models.ipynb
│   ├── Quickstart.ipynb
│   └── README.md
├── requirements.txt
└── trtlab/
    ├── BUILD.bazel
    ├── CMakeLists.txt
    ├── core/
    │   ├── BUILD.bazel
    │   ├── CMakeLists.txt
    │   ├── benchmarks/
    │   │   ├── CMakeLists.txt
    │   │   ├── bench_batcher.cc
    │   │   ├── bench_memory.cc
    │   │   ├── bench_memory_stack.cc
    │   │   ├── bench_pool.cc
    │   │   ├── bench_thread_pool.cc
    │   │   └── main.cc
    │   ├── include/
    │   │   └── trtlab/
    │   │       └── core/
    │   │           ├── affinity.h
    │   │           ├── async_compute.h
    │   │           ├── batcher.h
    │   │           ├── cyclic_buffer.h
    │   │           ├── cyclic_windowed_buffer.h
    │   │           ├── dispatcher.h
    │   │           ├── fiber_group.h
    │   │           ├── hybrid_condition.h
    │   │           ├── hybrid_mutex.h
    │   │           ├── memory/
    │   │           │   └── first_touch_allocator.h
    │   │           ├── pool.h
    │   │           ├── ranges.h
    │   │           ├── resources.h
    │   │           ├── standard_threads.h
    │   │           ├── task_pool.h
    │   │           ├── thread_pool.h
    │   │           ├── types.h
    │   │           ├── userspace_threads.h
    │   │           └── utils.h
    │   ├── src/
    │   │   ├── affinity.cc
    │   │   ├── cyclic_buffer.cc
    │   │   ├── cyclic_windowed_buffer.cc
    │   │   ├── memory/
    │   │   │   ├── copy.cc
    │   │   │   ├── host_memory.cc
    │   │   │   ├── malloc.cc
    │   │   │   ├── memory.cc
    │   │   │   ├── sysv_allocator.cc
    │   │   │   └── tensor_shape.cc
    │   │   ├── types.cc
    │   │   └── utils.cc
    │   └── tests/
    │       ├── BUILD.bazel
    │       ├── CMakeLists.txt
    │       ├── test_affinity.cc
    │       ├── test_async.cc
    │       ├── test_async_compute.cc
    │       ├── test_batcher.cc
    │       ├── test_common.cc
    │       ├── test_common.h
    │       ├── test_cyclic_allocator.cc
    │       ├── test_cyclic_windowed_buffer.cc
    │       ├── test_foo_memory.cc
    │       ├── test_main.cc
    │       ├── test_memory.cc
    │       ├── test_memory_old.cc
    │       ├── test_memory_stack.cc
    │       ├── test_pool.cc
    │       ├── test_stl_allocator.cc
    │       ├── test_sysv_allocator.cc
    │       ├── test_tensor.cc
    │       ├── test_thread_pool.cc
    │       ├── test_transactional_allocator.h
    │       └── test_types.cc
    ├── cuda/
    │   ├── BUILD.bazel
    │   ├── CMakeLists.txt
    │   ├── benchmarks/
    │   │   ├── CMakeLists.txt
    │   │   ├── bench_cuda_memory.cc
    │   │   └── bench_main.cc
    │   ├── include/
    │   │   └── trtlab/
    │   │       └── cuda/
    │   │           ├── common.h
    │   │           ├── cyclic_windowed_buffer.h
    │   │           ├── device_guard.h
    │   │           ├── device_info.h
    │   │           ├── memory/
    │   │           │   ├── cuda_allocators.h
    │   │           │   └── device_memory.h
    │   │           └── sync.h
    │   ├── src/
    │   │   ├── copy.cc
    │   │   ├── cuda_allocators.cc
    │   │   ├── device_guard.cc
    │   │   └── device_info.cc
    │   └── tests/
    │       ├── CMakeLists.txt
    │       ├── test_allocators.cc
    │       ├── test_device_info.cc
    │       ├── test_main.cc
    │       └── test_memory.cc
    ├── memory/
    │   ├── CMakeLists.txt
    │   ├── benchmarks/
    │   │   ├── CMakeLists.txt
    │   │   ├── bench_memory.cc
    │   │   ├── bench_memory_pool.cc
    │   │   └── main.cc
    │   ├── cmake/
    │   │   ├── configuration.cmake
    │   │   └── dependencies.cmake
    │   ├── include/
    │   │   └── trtlab/
    │   │       └── memory/
    │   │           ├── align.h
    │   │           ├── allocator.h
    │   │           ├── allocator_storage.h
    │   │           ├── allocator_traits.h
    │   │           ├── bfit_allocator.h
    │   │           ├── block_allocators.h
    │   │           ├── block_arena.h
    │   │           ├── block_manager.h
    │   │           ├── block_stack.h
    │   │           ├── config.h
    │   │           ├── debugging.h
    │   │           ├── deleter.h
    │   │           ├── descriptor.h
    │   │           ├── detail/
    │   │           │   ├── assert.h
    │   │           │   ├── block_list.h
    │   │           │   ├── container_node_sizes.h
    │   │           │   ├── debug_helpers.h
    │   │           │   ├── free_list.h
    │   │           │   ├── memory_stack.h
    │   │           │   ├── page_info.h
    │   │           │   ├── ranges.h
    │   │           │   └── utility.h
    │   │           ├── error.h
    │   │           ├── huge_page_allocator.h
    │   │           ├── literals.h
    │   │           ├── malloc_allocator.h
    │   │           ├── memory_block.h
    │   │           ├── memory_pool.h
    │   │           ├── memory_resource.h
    │   │           ├── memory_type.h
    │   │           ├── memory_typed_allocator.h
    │   │           ├── posix_aligned_allocator.h
    │   │           ├── raii_allocator.h
    │   │           ├── smart_ptr.h
    │   │           ├── std_allocator.h
    │   │           ├── threading.h
    │   │           ├── trackers.h
    │   │           ├── tracking.h
    │   │           ├── transactional_allocator.h
    │   │           └── utils.h
    │   ├── src/
    │   │   ├── CMakeLists.txt
    │   │   ├── align.cc
    │   │   ├── block_stack.cc
    │   │   ├── config.h.in
    │   │   ├── descriptor.cc
    │   │   ├── detail/
    │   │   │   ├── block_list.cc
    │   │   │   ├── free_list.cc
    │   │   │   ├── free_list_utils.h
    │   │   │   └── page_info.c
    │   │   ├── error.cc
    │   │   ├── ilog2.h
    │   │   ├── memory_type.cc
    │   │   ├── trackers.cc
    │   │   └── utils.cc
    │   ├── tests/
    │   │   ├── CMakeLists.txt
    │   │   ├── test_main.cc
    │   │   └── test_memory.cc
    │   └── tools/
    │       ├── CMakeLists.txt
    │       ├── node_size_debugger.cpp
    │       ├── node_size_debugger.hpp
    │       └── test_types.hpp
    ├── nvrpc/
    │   ├── BUILD.bazel
    │   ├── CMakeLists.txt
    │   ├── include/
    │   │   └── nvrpc/
    │   │       ├── client/
    │   │       │   ├── base_context.h
    │   │       │   ├── client_single_up_multiple_down.h
    │   │       │   ├── client_streaming.h
    │   │       │   ├── client_streaming_v2.h
    │   │       │   ├── client_streaming_v3.h
    │   │       │   ├── client_unary.h
    │   │       │   ├── client_unary_v2.h
    │   │       │   └── executor.h
    │   │       ├── context.h
    │   │       ├── executor.h
    │   │       ├── fiber/
    │   │       │   └── executor.h
    │   │       ├── interfaces.h
    │   │       ├── life_cycle_batching.h
    │   │       ├── life_cycle_bidirectional.h
    │   │       ├── life_cycle_streaming.h
    │   │       ├── life_cycle_unary.h
    │   │       ├── rpc.h
    │   │       ├── server.h
    │   │       └── service.h
    │   ├── src/
    │   │   ├── client/
    │   │   │   └── client_executor.cc
    │   │   ├── executor.cc
    │   │   └── server.cc
    │   └── tests/
    │       ├── CMakeLists.txt
    │       ├── test_build_client.h
    │       ├── test_build_server.h
    │       ├── test_pingpong.cc
    │       ├── test_pingpong.h
    │       ├── test_resources.cc
    │       ├── test_resources.h
    │       ├── test_server.cc
    │       └── testing.proto
    ├── pybind/
    │   ├── CMakeLists.txt
    │   └── trtlab/
    │       ├── CMakeLists.txt
    │       ├── infer.cc
    │       ├── utils.cc
    │       └── utils.h
    └── tensorrt/
        ├── BUILD.bazel
        ├── CMakeLists.txt
        ├── include/
        │   └── trtlab/
        │       └── tensorrt/
        │           ├── allocator.h
        │           ├── bindings.h
        │           ├── buffers.h
        │           ├── common.h
        │           ├── execution_context.h
        │           ├── infer_bench.h
        │           ├── infer_runner.h
        │           ├── inference_manager.h
        │           ├── model.h
        │           ├── runtime.h
        │           ├── utils.h
        │           └── workspace.h
        ├── src/
        │   ├── allocator.cc
        │   ├── bindings.cc
        │   ├── buffers.cc
        │   ├── execution_context.cc
        │   ├── infer_bench.cc
        │   ├── inference_manager.cc
        │   ├── model.cc
        │   ├── runtime.cc
        │   ├── utils.cc
        │   └── workspace.cc
        └── tests/
            ├── CMakeLists.txt
            └── test_buffers.cc