gitextract_7q29s3ew/ ├── .gitignore ├── CITATION.cff ├── CODE_OF_CONDUCT.md ├── README.md ├── monitoring/ │ └── nebuly/ │ └── __init__.py └── optimization/ ├── .github/ │ └── workflows/ │ └── tests.yml ├── chatllama/ │ ├── LICENSE │ ├── README.md │ ├── artifacts/ │ │ ├── config/ │ │ │ ├── config.yaml │ │ │ ├── ds_config.json │ │ │ └── peft_config.yaml │ │ ├── datasets/ │ │ │ ├── actor_dataset.json │ │ │ ├── reward_dataset.json │ │ │ └── rlhf_dataset.json │ │ ├── download_dataset.py │ │ ├── extend_rlhf_dataset.py │ │ ├── generate_actor_dataset.py │ │ ├── generate_rewards.py │ │ ├── main.py │ │ └── templates.json │ ├── chatllama/ │ │ ├── __init__.py │ │ ├── langchain_modules/ │ │ │ ├── __init__.py │ │ │ └── prompt_templates.py │ │ ├── llama_model.py │ │ └── rlhf/ │ │ ├── __init__.py │ │ ├── actor.py │ │ ├── config.py │ │ ├── dataset.py │ │ ├── model_list.py │ │ ├── model_loader.py │ │ ├── reward.py │ │ ├── trainer.py │ │ └── utils.py │ └── setup.py ├── cloud_surfer/ │ └── README.md ├── forward_forward/ │ ├── README.md │ ├── forward_forward/ │ │ ├── __init__.py │ │ ├── api/ │ │ │ ├── __init__.py │ │ │ └── functions.py │ │ ├── app.py │ │ ├── operations/ │ │ │ ├── __init__.py │ │ │ ├── build_models.py │ │ │ ├── data.py │ │ │ ├── fetch_operations.py │ │ │ └── trainers.py │ │ ├── root_op.py │ │ └── utils/ │ │ ├── __init__.py │ │ ├── labels.py │ │ ├── modules.py │ │ └── utils.py │ ├── requirements.txt │ └── setup.py ├── large_speedster/ │ └── README.md ├── nebullvm/ │ ├── .pre-commit-config.yaml │ ├── CONTRIBUTING.md │ ├── Dockerfile │ ├── LICENSE │ ├── MANIFEST.in │ ├── README.md │ ├── azure-pipelines.yml │ ├── docker_build.sh │ ├── docs/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── conf.py │ │ ├── index.rst │ │ ├── modules/ │ │ │ ├── api.rst │ │ │ ├── converters.rst │ │ │ ├── index.rst │ │ │ ├── inference_learners.rst │ │ │ ├── installers.rst │ │ │ └── optimizers.rst │ │ └── requirements-docs.txt │ ├── nebullvm/ │ │ ├── __init__.py │ │ ├── api/ │ │ │ └── __init__.py │ │ ├── apps/ │ │ │ ├── __init__.py │ │ │ └── base.py │ │ ├── config.py │ │ ├── core/ │ │ │ ├── __init__.py │ │ │ ├── models.py │ │ │ ├── tests/ │ │ │ │ ├── __init__.py │ │ │ │ └── test_models.py │ │ │ └── types.py │ │ ├── installers/ │ │ │ ├── __init__.py │ │ │ ├── auto_installer.py │ │ │ ├── install_bladedisc.sh │ │ │ ├── install_fastertransformer.sh │ │ │ ├── install_tensor_rt.sh │ │ │ ├── install_tvm.sh │ │ │ ├── install_tvm_prerequisites.sh │ │ │ ├── installers.py │ │ │ ├── tests/ │ │ │ │ ├── __init__.py │ │ │ │ └── test_install_frameworks.py │ │ │ └── tvm_installers/ │ │ │ ├── arm/ │ │ │ │ └── config.cmake │ │ │ ├── arm_cuda/ │ │ │ │ └── config.cmake │ │ │ ├── x86/ │ │ │ │ └── config.cmake │ │ │ └── x86_cuda/ │ │ │ └── config.cmake │ │ ├── operations/ │ │ │ ├── __init__.py │ │ │ ├── base.py │ │ │ ├── conversions/ │ │ │ │ ├── __init__.py │ │ │ │ ├── converters.py │ │ │ │ ├── huggingface.py │ │ │ │ ├── pytorch.py │ │ │ │ ├── tensorflow.py │ │ │ │ └── utils.py │ │ │ ├── fetch_operations/ │ │ │ │ ├── __init__.py │ │ │ │ └── local.py │ │ │ ├── inference_learners/ │ │ │ │ ├── __init__.py │ │ │ │ ├── base.py │ │ │ │ ├── blade_disc.py │ │ │ │ ├── builders.py │ │ │ │ ├── deepsparse.py │ │ │ │ ├── faster_transformer.py │ │ │ │ ├── huggingface.py │ │ │ │ ├── neural_compressor.py │ │ │ │ ├── onnx.py │ │ │ │ ├── openvino.py │ │ │ │ ├── tensor_rt.py │ │ │ │ ├── tensorflow.py │ │ │ │ ├── torch_dynamo.py │ │ │ │ ├── torch_neuron.py │ │ │ │ ├── torch_xla.py │ │ │ │ ├── torchscript.py │ │ │ │ ├── tvm.py │ │ │ │ └── utils.py │ │ │ ├── measures/ │ │ │ │ ├── __init__.py │ │ │ │ ├── base.py │ │ │ │ ├── measures.py │ │ │ │ └── utils.py │ │ │ └── optimizations/ │ │ │ ├── __init__.py │ │ │ ├── compilers/ │ │ │ │ ├── __init__.py │ │ │ │ ├── base.py │ │ │ │ ├── deepsparse.py │ │ │ │ ├── faster_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── bert/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── checkpoint_quantization.py │ │ │ │ │ │ └── modeling_bert.py │ │ │ │ │ └── gpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── utils/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── gpt_decoder.py │ │ │ │ │ └── huggingface_gpt_convert.py │ │ │ │ ├── intel_neural_compressor.py │ │ │ │ ├── onnxruntime.py │ │ │ │ ├── openvino.py │ │ │ │ ├── quantizations/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── intel_neural_compressor.py │ │ │ │ │ ├── onnx.py │ │ │ │ │ ├── openvino.py │ │ │ │ │ ├── pytorch.py │ │ │ │ │ ├── tensor_rt.py │ │ │ │ │ ├── tensorflow.py │ │ │ │ │ ├── tvm.py │ │ │ │ │ └── utils.py │ │ │ │ ├── tensor_rt.py │ │ │ │ ├── tensorflow.py │ │ │ │ ├── torch_dynamo.py │ │ │ │ ├── torch_neuron.py │ │ │ │ ├── torch_xla.py │ │ │ │ ├── torchscript.py │ │ │ │ ├── tvm.py │ │ │ │ └── utils.py │ │ │ ├── compressors/ │ │ │ │ ├── __init__.py │ │ │ │ ├── base.py │ │ │ │ ├── intel.py │ │ │ │ ├── scripts/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── neural_magic_training.py │ │ │ │ └── sparseml.py │ │ │ ├── optimize_inference.py │ │ │ ├── optimizers/ │ │ │ │ ├── __init__.py │ │ │ │ ├── base.py │ │ │ │ └── optimizers.py │ │ │ ├── tests/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_deepsparse.py │ │ │ │ ├── test_intel_neural_compressor.py │ │ │ │ ├── test_onnxruntime.py │ │ │ │ ├── test_openvino.py │ │ │ │ ├── test_tensor_rt.py │ │ │ │ ├── test_tensorflow.py │ │ │ │ ├── test_torch_dynamo.py │ │ │ │ ├── test_torchscript.py │ │ │ │ ├── test_tvm.py │ │ │ │ └── utils.py │ │ │ └── utils.py │ │ ├── optional_modules/ │ │ │ ├── __init__.py │ │ │ ├── blade_disc.py │ │ │ ├── deepsparse.py │ │ │ ├── diffusers.py │ │ │ ├── dummy.py │ │ │ ├── huggingface.py │ │ │ ├── neural_compressor.py │ │ │ ├── onnx.py │ │ │ ├── onnxruntime.py │ │ │ ├── onnxsim.py │ │ │ ├── openvino.py │ │ │ ├── tensor_rt.py │ │ │ ├── tensorflow.py │ │ │ ├── torch.py │ │ │ ├── torch_neuron.py │ │ │ ├── torch_tensorrt.py │ │ │ ├── torch_xla.py │ │ │ ├── tvm.py │ │ │ └── utils.py │ │ └── tools/ │ │ ├── __init__.py │ │ ├── adapters.py │ │ ├── benchmark.py │ │ ├── data.py │ │ ├── diffusers.py │ │ ├── feedback_collector.py │ │ ├── hardware_utils.py │ │ ├── huggingface.py │ │ ├── logger.py │ │ ├── onnx.py │ │ ├── pytorch.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_data.py │ │ │ ├── test_hardware_utils.py │ │ │ └── test_utils.py │ │ ├── tf.py │ │ ├── transformations.py │ │ ├── utils.py │ │ └── venv.py │ ├── nebullvm.toml │ ├── requirements-dev.txt │ ├── requirements.txt │ └── setup.py ├── open_alpha_tensor/ │ ├── README.md │ ├── config.json │ ├── main.py │ ├── open_alpha_tensor/ │ │ ├── __init__.py │ │ ├── api/ │ │ │ ├── __init__.py │ │ │ └── functions.py │ │ ├── config.py │ │ ├── core/ │ │ │ ├── __init__.py │ │ │ ├── actors/ │ │ │ │ ├── __init__.py │ │ │ │ └── stage.py │ │ │ ├── data/ │ │ │ │ ├── __init__.py │ │ │ │ ├── basis_change.py │ │ │ │ ├── dataset.py │ │ │ │ ├── generation.py │ │ │ │ └── utils.py │ │ │ ├── modules/ │ │ │ │ ├── __init__.py │ │ │ │ ├── alpha_tensor.py │ │ │ │ ├── attention.py │ │ │ │ ├── extras.py │ │ │ │ ├── heads.py │ │ │ │ └── torso.py │ │ │ └── training.py │ │ ├── operations/ │ │ │ ├── __init__.py │ │ │ ├── checkpoint_op.py │ │ │ ├── model_op.py │ │ │ └── training_op.py │ │ └── root_op.py │ ├── resources/ │ │ └── open_alpha_tensor.md │ └── setup.py ├── optimate/ │ └── README.md └── speedster/ ├── README.md ├── docs/ │ └── en/ │ ├── docs/ │ │ ├── advanced_options.md │ │ ├── benchmarks.md │ │ ├── getting_started/ │ │ │ ├── diffusers_getting_started.md │ │ │ ├── hf_getting_started.md │ │ │ ├── onnx_getting_started.md │ │ │ ├── pytorch_getting_started.md │ │ │ └── tf_getting_started.md │ │ ├── hardware.md │ │ ├── installation.md │ │ ├── key_concepts.md │ │ ├── notebooks.md │ │ ├── overview.md │ │ └── telemetry.md │ └── mkdocs.yaml ├── notebooks/ │ ├── README.md │ ├── diffusers/ │ │ ├── Accelerate_Stable_Diffusion_with_Speedster.ipynb │ │ └── Readme.md │ ├── huggingface/ │ │ ├── Accelerate_Hugging_Face_PyTorch_BERT_with_Speedster.ipynb │ │ ├── Accelerate_Hugging_Face_PyTorch_DistilBERT_with_Speedster.ipynb │ │ ├── Accelerate_Hugging_Face_PyTorch_GPT2_with_Speedster.ipynb │ │ ├── Accelerate_Hugging_Face_PyTorch_T5_with_Speedster.ipynb │ │ ├── Accelerate_Hugging_Face_TensorFlow_BERT_with_Speedster.ipynb │ │ ├── Readme.md │ │ └── faster_transformer_bert.py │ ├── onnx/ │ │ ├── Accelerate_ONNX_ResNet50_with_Speedster.ipynb │ │ └── Readme.md │ ├── pytorch/ │ │ ├── Accelerate_PyTorch_ResNet50_with_Speedster.ipynb │ │ ├── Accelerate_PyTorch_ViT_with_Speedster.ipynb │ │ ├── Accelerate_PyTorch_YOLOv5_with_Speedster.ipynb │ │ ├── Accelerate_PyTorch_YOLOv8_with_Speedster.ipynb │ │ ├── Accelerate_fast_ai_Resnet34_with_Speedster.ipynb │ │ └── Readme.md │ └── tensorflow/ │ ├── Accelerate_Tensorflow_ResNet50_with_Speedster.ipynb │ └── Readme.md ├── requirements.txt ├── setup.py ├── speedster/ │ ├── __init__.py │ ├── api/ │ │ ├── __init__.py │ │ ├── functions.py │ │ └── tests/ │ │ ├── __init__.py │ │ ├── test_huggingface.py │ │ ├── test_onnx.py │ │ ├── test_pytorch.py │ │ ├── test_tensorflow.py │ │ └── utils.py │ ├── root_op.py │ ├── speedster.py │ ├── tests/ │ │ ├── __init__.py │ │ └── test_root_op.py │ └── utils.py └── speedster.toml