gitextract___y2fwgs/ ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug-report.yml │ │ └── feature-request.yml │ ├── dependabot.yml │ ├── workflows/ │ │ ├── build_docker_images.yml │ │ ├── build_documentation.yml │ │ ├── build_pr_documentation.yml │ │ ├── deploy_method_comparison_app.yml │ │ ├── integrations_tests.yml │ │ ├── nightly.yml │ │ ├── stale.yml │ │ ├── test-docker-build.yml │ │ ├── tests-main.yml │ │ ├── tests.yml │ │ ├── torch_compile_tests.yml │ │ ├── trufflehog.yml │ │ ├── upload_pr_documentation.yml │ │ └── zizmor.yaml │ └── zizmor.yml ├── .gitignore ├── .pre-commit-config.yaml ├── LICENSE ├── Makefile ├── README.md ├── docker/ │ ├── README.md │ ├── peft-cpu/ │ │ └── Dockerfile │ └── peft-gpu/ │ └── Dockerfile ├── docs/ │ ├── Makefile │ ├── README.md │ └── source/ │ ├── _config.py │ ├── _toctree.yml │ ├── accelerate/ │ │ ├── deepspeed.md │ │ └── fsdp.md │ ├── conceptual_guides/ │ │ ├── adapter.md │ │ ├── ia3.md │ │ ├── oft.md │ │ └── prompting.md │ ├── developer_guides/ │ │ ├── checkpoint.md │ │ ├── contributing.md │ │ ├── custom_models.md │ │ ├── lora.md │ │ ├── low_level_api.md │ │ ├── mixed_models.md │ │ ├── model_merging.md │ │ ├── quantization.md │ │ ├── torch_compile.md │ │ └── troubleshooting.md │ ├── index.md │ ├── install.md │ ├── package_reference/ │ │ ├── adalora.md │ │ ├── adapter_utils.md │ │ ├── auto_class.md │ │ ├── boft.md │ │ ├── c3a.md │ │ ├── cartridges.md │ │ ├── config.md │ │ ├── cpt.md │ │ ├── delora.md │ │ ├── fourierft.md │ │ ├── functional.md │ │ ├── gralora.md │ │ ├── helpers.md │ │ ├── hotswap.md │ │ ├── hra.md │ │ ├── ia3.md │ │ ├── layernorm_tuning.md │ │ ├── lily.md │ │ ├── llama_adapter.md │ │ ├── loha.md │ │ ├── lokr.md │ │ ├── lora.md │ │ ├── lora_conversion.md │ │ ├── merge_utils.md │ │ ├── miss.md │ │ ├── multitask_prompt_tuning.md │ │ ├── oft.md │ │ ├── osf.md │ │ ├── p_tuning.md │ │ ├── peanut.md │ │ ├── peft_model.md │ │ ├── peft_types.md │ │ ├── poly.md │ │ ├── prefix_tuning.md │ │ ├── prompt_tuning.md │ │ ├── psoft.md │ │ ├── pvera.md │ │ ├── randlora.md │ │ ├── road.md │ │ ├── shira.md │ │ ├── trainable_tokens.md │ │ ├── tuners.md │ │ ├── vblora.md │ │ ├── vera.md │ │ ├── waveft.md │ │ └── xlora.md │ ├── quicktour.md │ ├── task_guides/ │ │ ├── ia3.md │ │ ├── lora_based_methods.md │ │ └── prompt_based_methods.md │ └── tutorial/ │ ├── peft_integrations.md │ └── peft_model_config.md ├── examples/ │ ├── alora_finetuning/ │ │ ├── README.md │ │ └── alora_finetuning.py │ ├── arrow_multitask/ │ │ ├── arrow_phi3_mini.py │ │ └── requirements.txt │ ├── bdlora_finetuning/ │ │ ├── README.md │ │ ├── bdlora_peft_demo.ipynb │ │ ├── chat.py │ │ └── vllm_server.bash │ ├── boft_controlnet/ │ │ ├── __init__.py │ │ ├── boft_controlnet.md │ │ ├── eval.py │ │ ├── eval.sh │ │ ├── requirements.txt │ │ ├── test_controlnet.py │ │ ├── test_controlnet.sh │ │ ├── train_controlnet.py │ │ ├── train_controlnet.sh │ │ └── utils/ │ │ ├── __init__.py │ │ ├── args_loader.py │ │ ├── dataset.py │ │ ├── light_controlnet.py │ │ ├── pipeline_controlnet.py │ │ ├── tracemalloc.py │ │ └── unet_2d_condition.py │ ├── boft_dreambooth/ │ │ ├── .gitignore │ │ ├── __init__.py │ │ ├── boft_dreambooth.md │ │ ├── dreambooth_inference.ipynb │ │ ├── requirements.txt │ │ ├── train_dreambooth.py │ │ ├── train_dreambooth.sh │ │ └── utils/ │ │ ├── __init__.py │ │ ├── args_loader.py │ │ ├── dataset.py │ │ └── tracemalloc.py │ ├── cartridge_self_study/ │ │ ├── README.md │ │ ├── arxiv_synthesize.py │ │ ├── arxiv_train.py │ │ ├── requirements.txt │ │ ├── synthesize.py │ │ └── train_distill.py │ ├── causal_language_modeling/ │ │ ├── accelerate_ds_zero3_cpu_offload_config.yaml │ │ ├── peft_ln_tuning_clm.ipynb │ │ ├── peft_lora_clm_accelerate_ds_zero3_offload.py │ │ ├── peft_lora_clm_with_additional_tokens.ipynb │ │ ├── peft_prefix_tuning_clm.ipynb │ │ ├── peft_prompt_tuning_clm.ipynb │ │ └── requirements.txt │ ├── conditional_generation/ │ │ ├── accelerate_ds_zero3_cpu_offload_config.yaml │ │ ├── multitask_prompt_tuning.ipynb │ │ ├── peft_adalora_seq2seq.py │ │ ├── peft_ia3_seq2seq.ipynb │ │ ├── peft_lora_seq2seq.ipynb │ │ ├── peft_lora_seq2seq_accelerate_ds_zero3_offload.py │ │ ├── peft_lora_seq2seq_accelerate_fsdp.py │ │ ├── peft_prefix_tuning_seq2seq.ipynb │ │ ├── peft_prompt_tuning_seq2seq.ipynb │ │ ├── peft_prompt_tuning_seq2seq_with_generate.ipynb │ │ └── requirements.txt │ ├── corda_finetuning/ │ │ ├── README.md │ │ ├── corda_finetuning.py │ │ ├── datautils.py │ │ └── preprocess.py │ ├── cpt_finetuning/ │ │ ├── README.md │ │ └── cpt_train_and_inference.ipynb │ ├── delora_finetuning/ │ │ ├── README.md │ │ └── delora_finetuning.py │ ├── dna_language_models/ │ │ └── dna_lm.ipynb │ ├── dora_finetuning/ │ │ ├── QDoRA_finetuning.ipynb │ │ ├── README.md │ │ ├── dora-caching.py │ │ └── dora_finetuning.py │ ├── ephemeral_gpu_offloading/ │ │ └── load_with_dora.py │ ├── eva_finetuning/ │ │ ├── README.md │ │ ├── eva_finetuning.py │ │ ├── eva_finetuning_multi_accelerator.py │ │ └── utils.py │ ├── evaluation/ │ │ └── lora-lm-eval.ipynb │ ├── feature_extraction/ │ │ ├── peft_lora_embedding_semantic_search.py │ │ ├── peft_lora_embedding_semantic_similarity_inference.ipynb │ │ └── requirements.txt │ ├── fp4_finetuning/ │ │ └── finetune_fp4_opt_bnb_peft.py │ ├── gralora_finetuning/ │ │ ├── README.md │ │ └── gralora_finetuning.py │ ├── hra_dreambooth/ │ │ ├── README.md │ │ ├── dreambooth_inference.ipynb │ │ ├── requirements.txt │ │ ├── train_dreambooth.py │ │ ├── train_dreambooth.sh │ │ └── utils/ │ │ ├── __init__.py │ │ ├── args_loader.py │ │ ├── dataset.py │ │ └── tracemalloc.py │ ├── image_classification/ │ │ ├── README.md │ │ ├── image_classification_peft_lora.ipynb │ │ └── image_classification_timm_peft_lora.ipynb │ ├── int8_training/ │ │ ├── Finetune_flan_t5_large_bnb_peft.ipynb │ │ ├── Finetune_opt_bnb_peft.ipynb │ │ ├── config.yaml │ │ ├── fine_tune_blip2_int8.py │ │ ├── peft_adalora_whisper_large_training.py │ │ ├── peft_bnb_whisper_large_v2_training.ipynb │ │ ├── requirements.txt │ │ └── run_adalora_whisper_int8.sh │ ├── lily_finetuning/ │ │ ├── README.md │ │ └── lily_finetuning.py │ ├── loftq_finetuning/ │ │ ├── LoftQ_weight_replacement.ipynb │ │ ├── README.md │ │ ├── int8_correction.py │ │ ├── quantize_save_load.py │ │ └── train_gsm8k_llama.py │ ├── lora_dreambooth/ │ │ ├── colab_notebook.ipynb │ │ ├── convert_kohya_ss_sd_lora_to_peft.py │ │ ├── convert_peft_sd_lora_to_kohya_ss.py │ │ ├── lora_dreambooth_inference.ipynb │ │ ├── requirements.txt │ │ └── train_dreambooth.py │ ├── lora_finetuning_transformer_engine/ │ │ ├── Dockerfile │ │ ├── README.md │ │ ├── lora_finetuning_te.py │ │ └── requirements.txt │ ├── lora_ga_finetuning/ │ │ ├── README.md │ │ └── lora_ga_finetuning.py │ ├── lorafa_finetune/ │ │ ├── README.md │ │ └── lorafa_finetuning.py │ ├── miss_finetuning/ │ │ ├── README.md │ │ └── miss_finetuning.py │ ├── multi_adapter_examples/ │ │ ├── Lora_Merging.ipynb │ │ ├── PEFT_Multi_LoRA_Inference.ipynb │ │ └── multi_adapter_weighted_inference_diffusers.ipynb │ ├── multilayer_perceptron/ │ │ ├── README.md │ │ └── multilayer_perceptron_lora.ipynb │ ├── oft_dreambooth/ │ │ ├── oft_dreambooth_inference.ipynb │ │ └── train_dreambooth.py │ ├── olora_finetuning/ │ │ ├── README.md │ │ └── olora_finetuning.py │ ├── orthogonal_subspace_learning/ │ │ ├── README.md │ │ ├── osf_continual_learning.py │ │ └── utils.py │ ├── peanut_finetuning/ │ │ ├── README.md │ │ └── peanut_finetuning.py │ ├── pissa_finetuning/ │ │ ├── README.md │ │ ├── pissa_finetuning.py │ │ └── preprocess.py │ ├── poly/ │ │ └── peft_poly_seq2seq_with_generate.ipynb │ ├── psoft_finetuning/ │ │ ├── README.md │ │ └── psoft_finetuning.py │ ├── pvera/ │ │ ├── README.md │ │ └── confidence_interval_generation.py │ ├── qalora_finetuning/ │ │ ├── README.md │ │ └── qalora_gptq_finetuning.py │ ├── randlora_finetuning/ │ │ ├── README.md │ │ ├── qrandlora_finetuning.ipynb │ │ └── randlora_finetuning.py │ ├── road_finetuning/ │ │ ├── README.md │ │ └── road_finetuning.py │ ├── semantic_segmentation/ │ │ ├── README.md │ │ └── semantic_segmentation_peft_lora.ipynb │ ├── sequence_classification/ │ │ ├── C3A.ipynb │ │ ├── FourierFT.ipynb │ │ ├── IA3.ipynb │ │ ├── LoRA-torchao-8bit-dynamic-activation.ipynb │ │ ├── LoRA-torchao-8bit.ipynb │ │ ├── LoRA.ipynb │ │ ├── P_Tuning.ipynb │ │ ├── Prompt_Tuning.ipynb │ │ ├── VBLoRA.ipynb │ │ ├── VeRA.ipynb │ │ ├── peft_no_lora_accelerate.py │ │ ├── prefix_tuning.ipynb │ │ └── requirements.txt │ ├── sft/ │ │ ├── README.md │ │ ├── configs/ │ │ │ ├── deepspeed_config.yaml │ │ │ ├── deepspeed_config_z3_qlora.yaml │ │ │ ├── fsdp_config.yaml │ │ │ └── fsdp_config_qlora.yaml │ │ ├── requirements.txt │ │ ├── requirements_colab.txt │ │ ├── requirements_xpu.txt │ │ ├── run_peft.sh │ │ ├── run_peft_deepspeed.sh │ │ ├── run_peft_fsdp.sh │ │ ├── run_peft_fsdp_gptq.sh │ │ ├── run_peft_multigpu.sh │ │ ├── run_peft_qlora_deepspeed_stage3.sh │ │ ├── run_peft_qlora_fsdp.sh │ │ ├── run_unsloth_peft.sh │ │ ├── train.py │ │ └── utils.py │ ├── shira_finetuning/ │ │ ├── README.md │ │ └── shira_finetuning.py │ ├── stable_diffusion/ │ │ ├── convert_sd_adapter_to_peft.py │ │ ├── inc_flux_lora_hpu.py │ │ └── train_dreambooth.py │ ├── token_classification/ │ │ ├── peft_lora_ner.ipynb │ │ ├── peft_lora_token_cls.ipynb │ │ └── requirements.txt │ ├── waveft_finetuning/ │ │ ├── README.md │ │ └── waveft_finetuning.py │ └── xlora/ │ ├── README.md │ └── xlora_inference_mistralrs.py ├── method_comparison/ │ ├── MetaMathQA/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── data.py │ │ ├── default_training_params.json │ │ ├── experiments/ │ │ │ ├── adalora/ │ │ │ │ └── llama-3.2-3B-rank32/ │ │ │ │ └── adapter_config.json │ │ │ ├── adaptionprompt/ │ │ │ │ └── llama-3.2-3B-lr_0.0005/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── boft/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ └── adapter_config.json │ │ │ ├── bone/ │ │ │ │ ├── llama-3.2-3B-bat/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ └── adapter_config.json │ │ │ ├── c3a/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── delora/ │ │ │ │ └── llama-3.2-3B-rank32/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── fourierft/ │ │ │ │ ├── llama-3.2-3B-default/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-n_frequency-5000/ │ │ │ │ └── adapter_config.json │ │ │ ├── full-finetuning/ │ │ │ │ └── llama-3.2-3B-lr_0.00001/ │ │ │ │ └── training_params.json │ │ │ ├── gralora/ │ │ │ │ └── llama-3.2-3B-rank32/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── ia3/ │ │ │ │ ├── llama-3.2-3B-default/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-lr_0.001/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── lily/ │ │ │ │ ├── llama-3.2-3B-rank140-mlp-a2-b2-s8.0/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-rank896-a2-b2-s2.0/ │ │ │ │ └── adapter_config.json │ │ │ ├── ln_tuning/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ └── adapter_config.json │ │ │ ├── loha/ │ │ │ │ └── llama-3.2-3B-rank32/ │ │ │ │ └── adapter_config.json │ │ │ ├── lokr/ │ │ │ │ └── llama-3.2-3B-rank32/ │ │ │ │ └── adapter_config.json │ │ │ ├── lora/ │ │ │ │ ├── llama-3.2-3B-rank10-target-mlp/ │ │ │ │ │ └── adapter_config.json │ │ │ │ ├── llama-3.2-3B-rank14-target-mlp-bdlora/ │ │ │ │ │ └── adapter_config.json │ │ │ │ ├── llama-3.2-3B-rank32/ │ │ │ │ │ └── adapter_config.json │ │ │ │ ├── llama-3.2-3B-rank32-dora/ │ │ │ │ │ └── adapter_config.json │ │ │ │ ├── llama-3.2-3B-rank32-lorafa/ │ │ │ │ │ ├── adapter_config.json │ │ │ │ │ └── training_params.json │ │ │ │ ├── llama-3.2-3B-rank64/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-rank64-rslora/ │ │ │ │ └── adapter_config.json │ │ │ ├── miss/ │ │ │ │ ├── llama-3.2-3B-bat/ │ │ │ │ │ └── adapter_config.json │ │ │ │ ├── llama-3.2-3B-default/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-mini/ │ │ │ │ └── adapter_config.json │ │ │ ├── oft/ │ │ │ │ └── llama-3.2-3B-rank32/ │ │ │ │ └── adapter_config.json │ │ │ ├── osf/ │ │ │ │ └── llama-3.2-3B-rank128/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── peanut/ │ │ │ │ ├── llama-3.2-3B-rank1-relu-depth0-s32.0/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-rank32-relu-depth0-s2.0/ │ │ │ │ └── adapter_config.json │ │ │ ├── prefixtuning/ │ │ │ │ └── llama-3.2-3B-lr_0.001/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── prompt_tuning/ │ │ │ │ ├── llama-3.2-3B-default/ │ │ │ │ │ └── adapter_config.json │ │ │ │ ├── llama-3.2-3B-lr_0.001/ │ │ │ │ │ ├── adapter_config.json │ │ │ │ │ └── training_params.json │ │ │ │ └── llama-3.2-3B-sample_vocab-lr_0.001/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── psoft/ │ │ │ │ ├── llama-3.2-3B-default/ │ │ │ │ │ └── adapter_config.json │ │ │ │ └── llama-3.2-3B-fast/ │ │ │ │ └── adapter_config.json │ │ │ ├── ptuning/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ └── adapter_config.json │ │ │ ├── pvera/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── randlora/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ └── adapter_config.json │ │ │ ├── road/ │ │ │ │ └── llama-3.2-3B-lr_0.001/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── shira/ │ │ │ │ └── llama-3.2-3B-lr_0.0003-random_seed_42/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── trainable_tokens/ │ │ │ │ └── llama-3.2-3B-sos+eos/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ ├── vblora/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ └── adapter_config.json │ │ │ ├── vera/ │ │ │ │ └── llama-3.2-3B-default/ │ │ │ │ ├── adapter_config.json │ │ │ │ └── training_params.json │ │ │ └── waveft/ │ │ │ └── llama-3.2-3B-n_frequency-5000/ │ │ │ └── adapter_config.json │ │ ├── requirements.txt │ │ ├── results/ │ │ │ ├── .gitkeep │ │ │ ├── adalora--llama-3.2-3B-rank32.json │ │ │ ├── adaptionprompt--llama-3.2-3B-lr_0.0005.json │ │ │ ├── boft--llama-3.2-3B-default.json │ │ │ ├── bone--llama-3.2-3B-bat.json │ │ │ ├── bone--llama-3.2-3B-default.json │ │ │ ├── c3a--llama-3.2-3B-default.json │ │ │ ├── delora--llama-3.2-3B-rank32.json │ │ │ ├── fourierft--llama-3.2-3B-default.json │ │ │ ├── fourierft--llama-3.2-3B-n_frequency-5000.json │ │ │ ├── full-finetuning--llama-3.2-3B-lr_0.00001.json │ │ │ ├── gralora--llama-3.2-3B-rank32.json │ │ │ ├── ia3--llama-3.2-3B-default.json │ │ │ ├── ia3--llama-3.2-3B-lr_0.001.json │ │ │ ├── ln_tuning--llama-3.2-3B-default.json │ │ │ ├── loha--llama-3.2-3B-rank32.json │ │ │ ├── lokr--llama-3.2-3B-rank32.json │ │ │ ├── lora--llama-3.2-3B-rank10-target-mlp.json │ │ │ ├── lora--llama-3.2-3B-rank14-target-mlp-bdlora.json │ │ │ ├── lora--llama-3.2-3B-rank32-dora.json │ │ │ ├── lora--llama-3.2-3B-rank32-lorafa.json │ │ │ ├── lora--llama-3.2-3B-rank32.json │ │ │ ├── lora--llama-3.2-3B-rank64-rslora.json │ │ │ ├── lora--llama-3.2-3B-rank64.json │ │ │ ├── miss--llama-3.2-3B-bat.json │ │ │ ├── miss--llama-3.2-3B-default.json │ │ │ ├── miss--llama-3.2-3B-mini.json │ │ │ ├── oft--llama-3.2-3B-rank32.json │ │ │ ├── osf--llama-3.2-3B-rank128.json │ │ │ ├── prefixtuning--llama-3.2-3B-lr_0.001.json │ │ │ ├── prompt_tuning--llama-3.2-3B-default.json │ │ │ ├── prompt_tuning--llama-3.2-3B-lr_0.001.json │ │ │ ├── prompt_tuning--llama-3.2-3B-sample_vocab-lr_0.001.json │ │ │ ├── ptuning--llama-3.2-3B-default.json │ │ │ ├── randlora--llama-3.2-3B-default.json │ │ │ ├── road--llama-3.2-3B-lr_0.001.json │ │ │ ├── shira--llama-3.2-3B-lr_0.0003-random_seed_42.json │ │ │ ├── trainable_tokens--llama-3.2-3B-sos+eos.json │ │ │ ├── vblora--llama-3.2-3B-default.json │ │ │ ├── vera--llama-3.2-3B-default.json │ │ │ └── waveft--llama-3.2-3B-n_frequency-5000.json │ │ ├── run.py │ │ └── utils.py │ ├── README.md │ ├── __init__.py │ ├── app.py │ ├── processing.py │ ├── requirements-app.txt │ ├── sanitizer.py │ ├── test_sanitizer.py │ └── text_generation_benchmark/ │ ├── README.md │ ├── cancelled_results/ │ │ └── .gitkeep │ ├── configs/ │ │ └── prompts.json │ ├── data.py │ ├── default_benchmark_params.json │ ├── experiments/ │ │ └── lora/ │ │ └── lora_r8/ │ │ └── adapter_config.json │ ├── results/ │ │ └── .gitkeep │ ├── run.py │ ├── run_base.py │ ├── temporary_results/ │ │ └── .gitkeep │ └── utils.py ├── pyproject.toml ├── requirements.txt ├── scripts/ │ ├── ci_clean_cache.py │ ├── convert-bone-to-miss.py │ ├── evaluate-lora-conversion.py │ ├── launch_notebook_mp.py │ ├── log_reports.py │ ├── stale.py │ └── train_memory.py ├── setup.py ├── src/ │ └── peft/ │ ├── __init__.py │ ├── auto.py │ ├── config.py │ ├── functional.py │ ├── helpers.py │ ├── import_utils.py │ ├── mapping.py │ ├── mapping_func.py │ ├── mixed_model.py │ ├── optimizers/ │ │ ├── __init__.py │ │ ├── lorafa.py │ │ └── loraplus.py │ ├── peft_model.py │ ├── py.typed │ ├── tuners/ │ │ ├── __init__.py │ │ ├── _buffer_dict.py │ │ ├── adalora/ │ │ │ ├── __init__.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── gptq.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── adaption_prompt/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ ├── model.py │ │ │ └── utils.py │ │ ├── boft/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── fbd/ │ │ │ │ ├── __init__.py │ │ │ │ ├── fbd_cuda.cpp │ │ │ │ └── fbd_cuda_kernel.cu │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── c3a/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ ├── model.py │ │ │ └── utils.py │ │ ├── cartridge/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── model.py │ │ │ └── utils.py │ │ ├── cpt/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ └── model.py │ │ ├── delora/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── fourierft/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── gralora/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── hra/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── ia3/ │ │ │ ├── __init__.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── lily/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── ln_tuning/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── loha/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── lokr/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── lora/ │ │ │ ├── __init__.py │ │ │ ├── aqlm.py │ │ │ ├── arrow.py │ │ │ ├── awq.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── conversion.py │ │ │ ├── corda.py │ │ │ ├── dora.py │ │ │ ├── eetq.py │ │ │ ├── eva.py │ │ │ ├── gptq.py │ │ │ ├── hqq.py │ │ │ ├── inc.py │ │ │ ├── intruders.py │ │ │ ├── layer.py │ │ │ ├── loraga.py │ │ │ ├── model.py │ │ │ ├── te.py │ │ │ ├── torchao.py │ │ │ ├── tp_layer.py │ │ │ └── variants.py │ │ ├── lycoris_utils.py │ │ ├── miss/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── mixed/ │ │ │ ├── __init__.py │ │ │ └── model.py │ │ ├── multitask_prompt_tuning/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ └── model.py │ │ ├── oft/ │ │ │ ├── __init__.py │ │ │ ├── aqlm.py │ │ │ ├── awq.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── eetq.py │ │ │ ├── gptq.py │ │ │ ├── hqq.py │ │ │ ├── inc.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── osf/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ ├── model.py │ │ │ └── utils.py │ │ ├── p_tuning/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ └── model.py │ │ ├── peanut/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── poly/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ ├── model.py │ │ │ └── router.py │ │ ├── prefix_tuning/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ └── model.py │ │ ├── prompt_tuning/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ └── model.py │ │ ├── psoft/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── pvera/ │ │ │ ├── __init__.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── randlora/ │ │ │ ├── __init__.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── road/ │ │ │ ├── __init__.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── shira/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ ├── mask_functions.py │ │ │ └── model.py │ │ ├── trainable_tokens/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── tuners_utils.py │ │ ├── vblora/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── vera/ │ │ │ ├── __init__.py │ │ │ ├── bnb.py │ │ │ ├── config.py │ │ │ ├── layer.py │ │ │ └── model.py │ │ ├── waveft/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── constants.py │ │ │ ├── layer.py │ │ │ ├── model.py │ │ │ ├── wavelet.py │ │ │ └── waverec2d.py │ │ └── xlora/ │ │ ├── __init__.py │ │ ├── classifier.py │ │ ├── config.py │ │ ├── layer.py │ │ └── model.py │ └── utils/ │ ├── __init__.py │ ├── constants.py │ ├── hotswap.py │ ├── incremental_pca.py │ ├── integrations.py │ ├── loftq_utils.py │ ├── merge_utils.py │ ├── other.py │ ├── peft_types.py │ ├── save_and_load.py │ └── warning.py └── tests/ ├── __init__.py ├── conftest.py ├── regression/ │ ├── __init__.py │ └── test_regression.py ├── test_adaption_prompt.py ├── test_arrow.py ├── test_auto.py ├── test_boft.py ├── test_bufferdict.py ├── test_cartridge.py ├── test_common_gpu.py ├── test_config.py ├── test_cpt.py ├── test_custom_models.py ├── test_decoder_models.py ├── test_encoder_decoder_models.py ├── test_feature_extraction_models.py ├── test_gptqmodel.py ├── test_gpu_examples.py ├── test_helpers.py ├── test_hub_features.py ├── test_incremental_pca.py ├── test_initialization.py ├── test_integrations.py ├── test_lora_conversion.py ├── test_lora_ga.py ├── test_lora_intruders.py ├── test_lora_megatron.py ├── test_lora_variants.py ├── test_lorafa.py ├── test_loraplus.py ├── test_low_level_api.py ├── test_mapping.py ├── test_mixed.py ├── test_multitask_prompt_tuning.py ├── test_osf.py ├── test_other.py ├── test_poly.py ├── test_pvera.py ├── test_randlora.py ├── test_seq_classifier.py ├── test_shira.py ├── test_stablediffusion.py ├── test_target_parameters.py ├── test_torch_compile.py ├── test_trainable_tokens.py ├── test_tuners_utils.py ├── test_vblora.py ├── test_vera.py ├── test_vision_models.py ├── test_xlora.py ├── testing_common.py ├── testing_utils.py └── training/ ├── adapters.py ├── deepspeed_config.yaml ├── fsdp2_config.yaml ├── fsdp_config.yaml ├── lora_tp.py ├── tp_config.yaml └── training.py