gitextract_0y61g4fh/ ├── .clang-format ├── .cmake-format.yaml ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ └── tensorrtx-issue-template.md │ ├── stale.yml │ └── workflows/ │ └── pre-commit.yml ├── .gitignore ├── .pre-commit-config.yaml ├── LICENSE ├── README.md ├── alexnet/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── alexnet.cc │ ├── alexnet.py │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ └── utils.h ├── arcface/ │ ├── CMakeLists.txt │ ├── README.md │ ├── arcface-mobilefacenet.cpp │ ├── arcface-r100.cpp │ ├── arcface-r50.cpp │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── prelu.cu │ └── prelu.h ├── assets/ │ └── 6.pgm ├── centernet/ │ ├── README.md │ ├── centernet.py │ ├── dcnv2Plugin/ │ │ ├── CMakeLists.txt │ │ ├── dcn_v2_im2col_cuda.cu │ │ ├── dcn_v2_im2col_cuda.h │ │ ├── dcnv2Plugin.cpp │ │ └── dcnv2Plugin.h │ └── sample/ │ ├── common.py │ └── test.py ├── contributing.md ├── convnextv2/ │ ├── CMakeLists.txt │ ├── README.md │ ├── config.yaml │ ├── gen_wts.py │ ├── inference.py │ └── src/ │ ├── LayerNormPlugin.cu │ ├── LayerNormPlugin.h │ ├── convnextv2.cpp │ ├── inference_cpp.cpp │ └── logging.h ├── crnn/ │ ├── CMakeLists.txt │ ├── README.md │ ├── crnn.cpp │ ├── genwts.py │ └── logging.h ├── csrnet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── config.h │ ├── csrnet.cpp │ ├── gen_wts.py │ ├── logging.h │ └── macros.h ├── dbnet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── clipper/ │ │ ├── CMakeLists.txt │ │ ├── clipper.cpp │ │ └── clipper.hpp │ ├── common.hpp │ ├── dbnet.cpp │ ├── logging.h │ └── utils.h ├── densenet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── densenet121.cpp │ ├── densenet121.py │ └── logging.h ├── detr/ │ ├── CMakeLists.txt │ ├── README.md │ ├── backbone.hpp │ ├── calibrator.hpp │ ├── common.hpp │ ├── detr.cpp │ ├── gen_wts.py │ ├── logging.h │ └── macros.h ├── docker/ │ ├── README.md │ ├── tensorrtx-docker-compose.yml │ └── x86_64.dockerfile ├── efficient_ad/ │ ├── CMakeLists.txt │ ├── README.md │ ├── efficientAD_det.cpp │ └── src/ │ ├── config.h │ ├── cuda_utils.h │ ├── logging.h │ ├── macros.h │ ├── model.cpp │ ├── model.h │ ├── postprocess.h │ └── utils.h ├── efficientnet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── efficientnet.cpp │ ├── gen_wts.py │ ├── logging.h │ └── utils.hpp ├── ghostnet/ │ ├── README.md │ ├── ghostnetv1/ │ │ ├── CMakeLists.txt │ │ ├── gen_wts.py │ │ ├── ghostnetv1.cpp │ │ └── logging.h │ └── ghostnetv2/ │ ├── CMakeLists.txt │ ├── gen_wts.py │ ├── ghostnetv2.cpp │ └── logging.h ├── googlenet/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── gen_wts.py │ ├── googlenet.cpp │ ├── logging.h │ ├── macros.h │ └── utils.h ├── hrnet/ │ ├── hrnet-image-classification/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── common.hpp │ │ ├── demo.py │ │ ├── hrnet.cpp │ │ └── logging.h │ └── hrnet-semantic-segmentation/ │ ├── CMakeLists.txt │ ├── README.md │ ├── common.hpp │ ├── gen_wts.py │ ├── hrnet.cpp │ ├── hrnet_ocr.cpp │ ├── hrnet_trt.py │ └── logging.h ├── ibnnet/ │ ├── CMakeLists.txt │ ├── InferenceEngine.cpp │ ├── InferenceEngine.h │ ├── README.md │ ├── gen_wts.py │ ├── holder.h │ ├── ibnnet.cpp │ ├── ibnnet.h │ ├── layers.cpp │ ├── layers.h │ ├── logging.h │ ├── main.cpp │ ├── utils.cpp │ └── utils.h ├── inception/ │ ├── inceptionv3/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── inception_v3.cpp │ │ └── logging.h │ └── inceptionv4/ │ ├── CMakeLists.txt │ ├── README.md │ ├── inception_v4.cpp │ ├── inception_v4.h │ ├── layers_api.cpp │ ├── layers_api.h │ ├── logging.h │ ├── main.cpp │ ├── utils.cpp │ └── utils.h ├── lenet/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── gen_wts.py │ ├── lenet.cpp │ ├── lenet.py │ ├── lenet_tripy.py │ ├── logging.h │ ├── macros.h │ └── utils.h ├── lprnet/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ ├── lprnet.cpp │ ├── macros.h │ └── utils.h ├── mlp/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── logging.h │ ├── macros.h │ ├── mlp.cpp │ ├── mlp.py │ └── utils.h ├── mnasnet/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── mnasnet.cpp │ └── utils.h ├── mobilenet/ │ ├── mobilenetv2/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── logging.h │ │ ├── mobilenet_v2.cpp │ │ └── mobilenet_v2.py │ └── mobilenetv3/ │ ├── CMakeLists.txt │ ├── README.md │ ├── logging.h │ ├── mobilenet_v3.cpp │ └── mobilenet_v3.py ├── psenet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_tf_wts.py │ ├── layers.cpp │ ├── layers.h │ ├── main.cpp │ ├── psenet.cpp │ ├── psenet.h │ ├── utils.cpp │ └── utils.h ├── rcnn/ │ ├── BatchedNms.cu │ ├── BatchedNmsPlugin.h │ ├── CMakeLists.txt │ ├── MaskRcnnInference.cu │ ├── MaskRcnnInferencePlugin.h │ ├── PredictorDecode.cu │ ├── PredictorDecodePlugin.h │ ├── README.md │ ├── RoiAlign.cu │ ├── RoiAlignPlugin.h │ ├── RpnDecode.cu │ ├── RpnDecodePlugin.h │ ├── RpnNms.cu │ ├── RpnNmsPlugin.h │ ├── backbone.hpp │ ├── calibrator.hpp │ ├── common.hpp │ ├── cuda_utils.h │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ └── rcnn.cpp ├── real-esrgan/ │ ├── general-x4v3/ │ │ ├── CMakeLists.txt │ │ ├── README.md │ │ ├── cmake/ │ │ │ └── FindTensorRT.cmake │ │ ├── gen_wts.py │ │ ├── main.cpp │ │ └── src/ │ │ ├── include/ │ │ │ ├── config/ │ │ │ │ └── config.hpp │ │ │ ├── cuda_utils.h │ │ │ ├── logging/ │ │ │ │ └── logging.h │ │ │ ├── pixel_shuffle/ │ │ │ │ └── pixel_shuffle.hpp │ │ │ └── preprocess/ │ │ │ └── preprocess.hpp │ │ └── pixel_shuffle/ │ │ ├── pixel_shuffle.cpp │ │ └── pixel_shuffle.cu │ └── x4plus/ │ ├── CMakeLists.txt │ ├── README.md │ ├── common.hpp │ ├── cuda_utils.h │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── postprocess.cu │ ├── postprocess.hpp │ ├── preprocess.cu │ ├── preprocess.hpp │ ├── real-esrgan.cpp │ └── utils.h ├── refinedet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── calibrator.cpp │ ├── calibrator.h │ ├── configure.h │ ├── gen_wts_refinedet.py │ ├── logging.h │ ├── refinedet.cpp │ └── utils.h ├── repvgg/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ └── repvgg.cpp ├── resnet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── logging.h │ ├── resnet18.cpp │ ├── resnet34.cpp │ ├── resnet50.cpp │ ├── resnet50.py │ ├── resnext50_32x4d.cpp │ ├── wide_resnet50.py │ └── wideresnet50.cpp ├── retinaface/ │ ├── CMakeLists.txt │ ├── README.md │ ├── calibrator.cpp │ ├── calibrator.h │ ├── common.hpp │ ├── decode.cu │ ├── decode.h │ ├── logging.h │ ├── macros.h │ ├── retina_mnet.cpp │ ├── retina_r50.cpp │ └── retinaface_trt.py ├── retinafaceAntiCov/ │ ├── CMakeLists.txt │ ├── README.md │ ├── decode.cu │ ├── decode.h │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ └── retinafaceAntiCov.cpp ├── scaled-yolov4/ │ ├── CMakeLists.txt │ ├── README.md │ ├── common.hpp │ ├── gen_wts.py │ ├── logging.h │ ├── mish.cu │ ├── mish.h │ ├── utils.h │ ├── yololayer.cu │ ├── yololayer.h │ └── yolov4_csp.cpp ├── senet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── logging.h │ └── se_resnet50.cpp ├── shufflenetv2/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── shufflenetv2.cpp │ └── utils.h ├── squeezenet/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── squeezenet.cpp │ └── utils.h ├── superpoint/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ ├── supernet.cpp │ ├── utils.cpp │ └── utils.h ├── swin-transformer/ │ └── semantic-segmentation/ │ ├── CMakeLists.txt │ ├── README.md │ ├── UpsampleKernel.cu │ ├── UpsamplePlugin.cpp │ ├── UpsamplePlugin.h │ ├── UpsmapleKernel.h │ ├── common.hpp │ ├── fillmask.cu │ ├── fillmask.h │ ├── gelu.cu │ ├── gelu.h │ ├── gen_wts.py │ ├── include/ │ │ └── dirent.h │ ├── layerNorm.cu │ ├── layerNorm.h │ ├── logging.h │ ├── main.cpp │ ├── myhpp.h │ ├── trainsform.cpp │ └── utilsn.h ├── tsm/ │ ├── CMakeLists.txt │ ├── README.md │ ├── demo.sh │ ├── gen_wts.py │ ├── logging.h │ ├── mmaction2_tsm_r50_config.py │ ├── test_shift.py │ ├── tsm_r50.cpp │ └── tsm_r50.py ├── tutorials/ │ ├── check_fp16_int8_support.md │ ├── faq.md │ ├── from_pytorch_to_trt_stepbystep_hrnet.md │ ├── getting_started.md │ ├── install.md │ ├── measure_performance.md │ ├── migration_guide.md │ ├── multi_GPU_processing.md │ └── run_on_windows.md ├── ufld/ │ ├── CMakeLists.txt │ ├── README.md │ ├── common.hpp │ ├── gen_wts.py │ ├── lane_det.cpp │ ├── logging.h │ ├── macros.h │ └── pth2onnx.py ├── unet/ │ ├── CMakeLists.txt │ ├── README.md │ ├── common.hpp │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ └── unet.cpp ├── vgg/ │ ├── CMakeLists.txt │ ├── README.md │ ├── logging.h │ └── vgg11.cpp ├── vit/ │ ├── CMakeLists.txt │ ├── FindTensorRT.cmake │ ├── README.md │ ├── cuda_allocator.cc │ ├── cuda_allocator.h │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── profiler.cc │ ├── profiler.h │ ├── utils.h │ └── vit.cc ├── yolo11/ │ ├── CMakeLists.txt │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── calibrator.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── readme.md │ ├── src/ │ │ ├── block.cpp │ │ ├── calibrator.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ ├── postprocess.cu │ │ └── preprocess.cu │ ├── yolo11_cls.cpp │ ├── yolo11_cls_trt.py │ ├── yolo11_det.cpp │ ├── yolo11_det_trt.py │ ├── yolo11_obb.cpp │ ├── yolo11_obb_trt.py │ ├── yolo11_pose.cpp │ ├── yolo11_pose_trt.py │ ├── yolo11_seg.cpp │ └── yolo11_seg_trt.py ├── yolo11_tripy/ │ ├── .gitignore │ ├── README.md │ ├── classify.py │ ├── compile_classifier.py │ ├── constants.py │ ├── model/ │ │ ├── block.py │ │ └── model.py │ └── requirements.txt ├── yolo26/ │ ├── .clang-format │ ├── .gitignore │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── src/ │ │ ├── block.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ └── preprocess.cu │ ├── yolo26_cls.cpp │ ├── yolo26_det.cpp │ └── yolo26_obb.cpp ├── yolop/ │ ├── CMakeLists.txt │ ├── README.md │ ├── common.hpp │ ├── cuda_utils.h │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── utils.h │ ├── yololayer.cu │ ├── yololayer.h │ ├── yolop.cpp │ ├── yolop.hpp │ └── yolop_trt.py ├── yolov10/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── calibrator.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── src/ │ │ ├── block.cpp │ │ ├── calibrator.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ └── preprocess.cu │ ├── yolov10_det.cpp │ └── yolov10_det_trt.py ├── yolov12/ │ ├── CMakeLists.txt │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── readme.md │ ├── src/ │ │ ├── block.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ ├── postprocess.cu │ │ └── preprocess.cu │ └── yolo12_det.cpp ├── yolov12-tubro/ │ ├── CMakeLists.txt │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── calibrator.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── readme.md │ ├── src/ │ │ ├── block.cpp │ │ ├── calibrator.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ ├── postprocess.cu │ │ └── preprocess.cu │ ├── yolov12_cls.cpp │ ├── yolov12_cls_trt.py │ ├── yolov12_det.cpp │ ├── yolov12_det_trt.py │ ├── yolov12_seg.cpp │ └── yolov12_seg_trt.py ├── yolov13/ │ ├── CMakeLists.txt │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── calibrator.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── plugin/ │ │ ├── geluKernel.cu │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── readme.md │ ├── src/ │ │ ├── block.cpp │ │ ├── calibrator.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ ├── postprocess.cu │ │ └── preprocess.cu │ ├── yolov13_det.cpp │ └── yolov13_det_trt.py ├── yolov3/ │ ├── CMakeLists.txt │ ├── README.md │ ├── calibrator.cpp │ ├── calibrator.h │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── utils.h │ ├── yololayer.cu │ ├── yololayer.h │ ├── yolov3.cpp │ └── yolov3_trt.py ├── yolov3-spp/ │ ├── CMakeLists.txt │ ├── README.md │ ├── Utils.h │ ├── gen_wts.py │ ├── logging.h │ ├── yololayer.cu │ ├── yololayer.h │ └── yolov3-spp.cpp ├── yolov3-tiny/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ ├── macros.h │ ├── utils.h │ ├── yololayer.cu │ ├── yololayer.h │ └── yolov3-tiny.cpp ├── yolov4/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── logging.h │ ├── mish.cu │ ├── mish.h │ ├── utils.h │ ├── yololayer.cu │ ├── yololayer.h │ └── yolov4.cpp ├── yolov5/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── src/ │ │ ├── calibrator.cpp │ │ ├── calibrator.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.cpp │ │ ├── model.h │ │ ├── postprocess.cpp │ │ ├── postprocess.h │ │ ├── preprocess.cu │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── yolov5_cls.cpp │ ├── yolov5_cls_trt.py │ ├── yolov5_det.cpp │ ├── yolov5_det_cuda_python.py │ ├── yolov5_det_trt.py │ ├── yolov5_seg.cpp │ └── yolov5_seg_trt.py ├── yolov5-lite/ │ ├── CMakeLists.txt │ ├── README.md │ ├── calibrator.cpp │ ├── common.hpp │ ├── gen_wts.py │ ├── v5lite.cpp │ ├── yololayer.cu │ └── yolov5-lite-trt.py ├── yolov7/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── calibrator.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── main.cpp │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── src/ │ │ ├── block.cpp │ │ ├── calibrator.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ └── preprocess.cu │ └── yolov7_trt.py ├── yolov8/ │ ├── CMakeLists.txt │ ├── README.md │ ├── gen_wts.py │ ├── include/ │ │ ├── block.h │ │ ├── calibrator.h │ │ ├── config.h │ │ ├── cuda_utils.h │ │ ├── logging.h │ │ ├── macros.h │ │ ├── model.h │ │ ├── postprocess.h │ │ ├── preprocess.h │ │ ├── types.h │ │ └── utils.h │ ├── plugin/ │ │ ├── yololayer.cu │ │ └── yololayer.h │ ├── src/ │ │ ├── block.cpp │ │ ├── calibrator.cpp │ │ ├── model.cpp │ │ ├── postprocess.cpp │ │ ├── postprocess.cu │ │ └── preprocess.cu │ ├── yolov8_5u_det.cpp │ ├── yolov8_5u_det_trt.py │ ├── yolov8_cls.cpp │ ├── yolov8_cls_trt.py │ ├── yolov8_det.cpp │ ├── yolov8_det_trt.py │ ├── yolov8_obb.cpp │ ├── yolov8_obb_trt.py │ ├── yolov8_pose.cpp │ ├── yolov8_pose_trt.py │ ├── yolov8_seg.cpp │ └── yolov8_seg_trt.py └── yolov9/ ├── CMakeLists.txt ├── README.md ├── demo.cpp ├── gen_wts.py ├── include/ │ ├── block.h │ ├── calibrator.h │ ├── config.h │ ├── cuda_utils.h │ ├── logging.h │ ├── macros.h │ ├── model.h │ ├── postprocess.h │ ├── preprocess.h │ ├── types.h │ └── utils.h ├── plugin/ │ ├── yololayer.cu │ └── yololayer.h ├── src/ │ ├── block.cpp │ ├── calibrator.cpp │ ├── model.cpp │ ├── postprocess.cpp │ ├── postprocess.cu │ └── preprocess.cu ├── windows/ │ └── dirent.h └── yolov9_trt.py