gitextract_kdapck8a/ ├── LICENSE ├── README.md ├── mplsandbox/ │ ├── __init__.py │ ├── analyzetools.py │ ├── const.py │ ├── sandbox.py │ ├── tool.py │ └── utils.py ├── mplsandbox_for_rl/ │ ├── README.md │ ├── config.py │ ├── config.yaml │ ├── data/ │ │ ├── add_index.py │ │ ├── train.json │ │ ├── train_all.json │ │ ├── valid.json │ │ └── valid_all.json │ ├── data_helper.py │ ├── generate_utils.py │ ├── generation_config.json │ ├── llama/ │ │ ├── __init__.py │ │ ├── llama_model.py │ │ ├── llama_trainer.py │ │ ├── modeling_moe.py │ │ └── reward/ │ │ ├── __init__.py │ │ └── llama_reward_model.py │ ├── log/ │ │ └── mplsandbox_for_ppo50_beta005_rollout1_0508_debug.log │ ├── metric.py │ ├── metric_utils.py │ ├── ppo/ │ │ ├── __init__.py │ │ ├── ppo_datahelper.py │ │ ├── ppo_trainer.py │ │ └── ppo_utils.py │ ├── requirements.txt │ ├── scheduler.py │ ├── tensorboard_log/ │ │ └── ppo/ │ │ ├── GoReturn_evalstep50_beta005_rollout1_0508_debug/ │ │ │ ├── events.out.tfevents.1724743396.llm1.271880.0 │ │ │ ├── events.out.tfevents.1724927232.llm1.394070.0 │ │ │ ├── events.out.tfevents.1724932911.llm1.405634.0 │ │ │ ├── events.out.tfevents.1724982924.llm1.419045.0 │ │ │ ├── events.out.tfevents.1725000736.llm1.430015.0 │ │ │ ├── events.out.tfevents.1725001088.llm1.432277.0 │ │ │ ├── events.out.tfevents.1725178222.llm1.478675.0 │ │ │ ├── events.out.tfevents.1725180164.llm1.483165.0 │ │ │ ├── events.out.tfevents.1725181196.llm1.486635.0 │ │ │ ├── events.out.tfevents.1725182089.llm1.489725.0 │ │ │ ├── events.out.tfevents.1725182662.llm1.492414.0 │ │ │ ├── events.out.tfevents.1725186372.llm1.505624.0 │ │ │ ├── events.out.tfevents.1725186685.llm1.507779.0 │ │ │ ├── events.out.tfevents.1725186819.llm1.509958.0 │ │ │ ├── events.out.tfevents.1725187117.llm1.512114.0 │ │ │ ├── events.out.tfevents.1725187314.llm1.514285.0 │ │ │ ├── events.out.tfevents.1725241169.llm1.533455.0 │ │ │ ├── events.out.tfevents.1725242595.llm1.538369.0 │ │ │ ├── events.out.tfevents.1725258146.llm1.1526176.0 │ │ │ ├── events.out.tfevents.1725266674.llm1.2196706.0 │ │ │ ├── events.out.tfevents.1725267306.llm1.2247374.0 │ │ │ ├── events.out.tfevents.1725268298.llm1.2318320.0 │ │ │ ├── events.out.tfevents.1725269766.llm1.2321657.0 │ │ │ ├── events.out.tfevents.1725282491.llm1.2710308.0 │ │ │ ├── events.out.tfevents.1725283474.llm1.2793280.0 │ │ │ ├── events.out.tfevents.1725287656.llm1.3115365.0 │ │ │ ├── events.out.tfevents.1725288391.llm1.3177375.0 │ │ │ ├── events.out.tfevents.1725346126.llm1.888255.0 │ │ │ ├── events.out.tfevents.1725354538.llm1.1599322.0 │ │ │ ├── events.out.tfevents.1744640674.n211.1164140.0 │ │ │ ├── events.out.tfevents.1744641932.n211.1171336.0 │ │ │ ├── events.out.tfevents.1744642057.n211.1173796.0 │ │ │ ├── events.out.tfevents.1744644164.n211.1188180.0 │ │ │ ├── events.out.tfevents.1744647751.n211.1208086.0 │ │ │ ├── events.out.tfevents.1744649599.n211.1223334.0 │ │ │ ├── events.out.tfevents.1744650450.n211.1230053.0 │ │ │ ├── events.out.tfevents.1744652152.n211.1240128.0 │ │ │ ├── events.out.tfevents.1744652296.n211.1241825.0 │ │ │ ├── events.out.tfevents.1744653799.n211.1252570.0 │ │ │ ├── events.out.tfevents.1744653913.n211.1253768.0 │ │ │ ├── events.out.tfevents.1744654033.n211.1255378.0 │ │ │ ├── events.out.tfevents.1744654092.n211.1256279.0 │ │ │ ├── events.out.tfevents.1744655044.n211.1262359.0 │ │ │ ├── events.out.tfevents.1744692411.n211.1452941.0 │ │ │ ├── events.out.tfevents.1744704887.n211.1517461.0 │ │ │ ├── events.out.tfevents.1744704949.n211.1518406.0 │ │ │ ├── events.out.tfevents.1744705307.n211.1521301.0 │ │ │ ├── events.out.tfevents.1744705581.n211.1523626.0 │ │ │ ├── events.out.tfevents.1744706082.n211.1527175.0 │ │ │ ├── events.out.tfevents.1744706273.n211.1528838.0 │ │ │ ├── events.out.tfevents.1744706473.n211.1530754.0 │ │ │ ├── events.out.tfevents.1744706726.n211.1533256.0 │ │ │ ├── events.out.tfevents.1744709157.n211.1549899.0 │ │ │ ├── events.out.tfevents.1744709846.n211.1554540.0 │ │ │ ├── events.out.tfevents.1744719922.n211.1610921.0 │ │ │ ├── events.out.tfevents.1744720643.n211.1615790.0 │ │ │ └── events.out.tfevents.1744720998.n211.1618813.0 │ │ └── mplsandbox_for_ppo50_beta005_rollout1_0508_debug/ │ │ ├── events.out.tfevents.1744721546.n211.1623949.0 │ │ ├── events.out.tfevents.1744722319.n211.1631146.0 │ │ └── events.out.tfevents.1744722598.n211.1634201.0 │ ├── tmp/ │ │ └── GoReturn_evalstep50_beta005_rollout1_0508_debug/ │ │ └── experiences/ │ │ └── experiences_0.json │ ├── tokenizer.py │ ├── train_ppo.py │ ├── train_ppo.sh │ ├── trainer.py │ ├── transformers/ │ │ ├── .circleci/ │ │ │ ├── TROUBLESHOOT.md │ │ │ ├── config.yml │ │ │ ├── create_circleci_config.py │ │ │ └── parse_test_outputs.py │ │ ├── .coveragerc │ │ ├── .gitattributes │ │ ├── .github/ │ │ │ ├── ISSUE_TEMPLATE/ │ │ │ │ ├── bug-report.yml │ │ │ │ ├── config.yml │ │ │ │ ├── feature-request.yml │ │ │ │ ├── i18n.md │ │ │ │ ├── migration.yml │ │ │ │ └── new-model-addition.yml │ │ │ ├── PULL_REQUEST_TEMPLATE.md │ │ │ ├── conda/ │ │ │ │ ├── build.sh │ │ │ │ └── meta.yaml │ │ │ └── workflows/ │ │ │ ├── TROUBLESHOOT.md │ │ │ ├── add-model-like.yml │ │ │ ├── benchmark.yml │ │ │ ├── build-ci-docker-images.yml │ │ │ ├── build-docker-images.yml │ │ │ ├── build-nightly-ci-docker-images.yml │ │ │ ├── build-past-ci-docker-images.yml │ │ │ ├── build_documentation.yml │ │ │ ├── build_pr_documentation.yml │ │ │ ├── check_tiny_models.yml │ │ │ ├── doctest_job.yml │ │ │ ├── doctests.yml │ │ │ ├── model_jobs.yml │ │ │ ├── push-important-models.yml │ │ │ ├── release-conda.yml │ │ │ ├── self-nightly-caller.yml │ │ │ ├── self-nightly-past-ci-caller.yml │ │ │ ├── self-past-caller.yml │ │ │ ├── self-pr-slow-ci.yml │ │ │ ├── self-push-amd-mi210-caller.yml │ │ │ ├── self-push-amd-mi250-caller.yml │ │ │ ├── self-push-amd-mi300-caller.yml │ │ │ ├── self-push-amd.yml │ │ │ ├── self-push-caller.yml │ │ │ ├── self-push.yml │ │ │ ├── self-scheduled-amd-caller.yml │ │ │ ├── self-scheduled-amd-mi210-caller.yml │ │ │ ├── self-scheduled-amd-mi250-caller.yml │ │ │ ├── self-scheduled-amd-mi300-caller.yml │ │ │ ├── self-scheduled-amd.yml │ │ │ ├── self-scheduled-caller.yml │ │ │ ├── self-scheduled.yml │ │ │ ├── slack-report.yml │ │ │ ├── ssh-runner.yml │ │ │ ├── stale.yml │ │ │ ├── trufflehog.yml │ │ │ ├── update_metdata.yml │ │ │ └── upload_pr_documentation.yml │ │ ├── .gitignore │ │ ├── CITATION.cff │ │ ├── CODE_OF_CONDUCT.md │ │ ├── CONTRIBUTING.md │ │ ├── ISSUES.md │ │ ├── LICENSE │ │ ├── Makefile │ │ ├── README.md │ │ ├── SECURITY.md │ │ ├── awesome-transformers.md │ │ ├── benchmark/ │ │ │ ├── __init__.py │ │ │ ├── benchmark.py │ │ │ ├── config/ │ │ │ │ └── generation.yaml │ │ │ └── optimum_benchmark_wrapper.py │ │ ├── conftest.py │ │ ├── docker/ │ │ │ ├── consistency.dockerfile │ │ │ ├── custom-tokenizers.dockerfile │ │ │ ├── examples-tf.dockerfile │ │ │ ├── examples-torch.dockerfile │ │ │ ├── exotic-models.dockerfile │ │ │ ├── jax-light.dockerfile │ │ │ ├── pipeline-tf.dockerfile │ │ │ ├── pipeline-torch.dockerfile │ │ │ ├── quality.dockerfile │ │ │ ├── tf-light.dockerfile │ │ │ ├── torch-jax-light.dockerfile │ │ │ ├── torch-light.dockerfile │ │ │ ├── torch-tf-light.dockerfile │ │ │ ├── transformers-all-latest-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-doc-builder/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-past-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-pytorch-amd-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-pytorch-deepspeed-amd-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-pytorch-deepspeed-latest-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-pytorch-deepspeed-nightly-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-pytorch-gpu/ │ │ │ │ └── Dockerfile │ │ │ ├── transformers-pytorch-tpu/ │ │ │ │ ├── Dockerfile │ │ │ │ ├── bert-base-cased.jsonnet │ │ │ │ ├── dataset.yaml │ │ │ │ └── docker-entrypoint.sh │ │ │ ├── transformers-quantization-latest-gpu/ │ │ │ │ └── Dockerfile │ │ │ └── transformers-tensorflow-gpu/ │ │ │ └── Dockerfile │ │ ├── docs/ │ │ │ ├── README.md │ │ │ ├── TRANSLATING.md │ │ │ └── source/ │ │ │ ├── _config.py │ │ │ ├── de/ │ │ │ │ ├── _config.py │ │ │ │ ├── _toctree.yml │ │ │ │ ├── accelerate.md │ │ │ │ ├── add_new_model.md │ │ │ │ ├── add_new_pipeline.md │ │ │ │ ├── autoclass_tutorial.md │ │ │ │ ├── contributing.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── llm_tutorial.md │ │ │ │ ├── model_sharing.md │ │ │ │ ├── peft.md │ │ │ │ ├── pipeline_tutorial.md │ │ │ │ ├── pr_checks.md │ │ │ │ ├── preprocessing.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts.md │ │ │ │ ├── testing.md │ │ │ │ ├── training.md │ │ │ │ └── transformers_agents.md │ │ │ ├── en/ │ │ │ │ ├── _config.py │ │ │ │ ├── _redirects.yml │ │ │ │ ├── _toctree.yml │ │ │ │ ├── accelerate.md │ │ │ │ ├── add_new_model.md │ │ │ │ ├── add_new_pipeline.md │ │ │ │ ├── agents.md │ │ │ │ ├── attention.md │ │ │ │ ├── autoclass_tutorial.md │ │ │ │ ├── benchmarks.md │ │ │ │ ├── bertology.md │ │ │ │ ├── big_models.md │ │ │ │ ├── chat_templating.md │ │ │ │ ├── community.md │ │ │ │ ├── contributing.md │ │ │ │ ├── conversations.md │ │ │ │ ├── create_a_model.md │ │ │ │ ├── custom_models.md │ │ │ │ ├── debugging.md │ │ │ │ ├── deepspeed.md │ │ │ │ ├── fast_tokenizers.md │ │ │ │ ├── fsdp.md │ │ │ │ ├── generation_strategies.md │ │ │ │ ├── gguf.md │ │ │ │ ├── glossary.md │ │ │ │ ├── hpo_train.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── internal/ │ │ │ │ │ ├── audio_utils.md │ │ │ │ │ ├── file_utils.md │ │ │ │ │ ├── generation_utils.md │ │ │ │ │ ├── image_processing_utils.md │ │ │ │ │ ├── modeling_utils.md │ │ │ │ │ ├── pipelines_utils.md │ │ │ │ │ ├── time_series_utils.md │ │ │ │ │ ├── tokenization_utils.md │ │ │ │ │ └── trainer_utils.md │ │ │ │ ├── kv_cache.md │ │ │ │ ├── llm_optims.md │ │ │ │ ├── llm_tutorial.md │ │ │ │ ├── llm_tutorial_optimization.md │ │ │ │ ├── main_classes/ │ │ │ │ │ ├── agent.md │ │ │ │ │ ├── backbones.md │ │ │ │ │ ├── callback.md │ │ │ │ │ ├── configuration.md │ │ │ │ │ ├── data_collator.md │ │ │ │ │ ├── deepspeed.md │ │ │ │ │ ├── feature_extractor.md │ │ │ │ │ ├── image_processor.md │ │ │ │ │ ├── keras_callbacks.md │ │ │ │ │ ├── logging.md │ │ │ │ │ ├── model.md │ │ │ │ │ ├── onnx.md │ │ │ │ │ ├── optimizer_schedules.md │ │ │ │ │ ├── output.md │ │ │ │ │ ├── pipelines.md │ │ │ │ │ ├── processors.md │ │ │ │ │ ├── quantization.md │ │ │ │ │ ├── text_generation.md │ │ │ │ │ ├── tokenizer.md │ │ │ │ │ └── trainer.md │ │ │ │ ├── model_doc/ │ │ │ │ │ ├── albert.md │ │ │ │ │ ├── align.md │ │ │ │ │ ├── altclip.md │ │ │ │ │ ├── audio-spectrogram-transformer.md │ │ │ │ │ ├── auto.md │ │ │ │ │ ├── autoformer.md │ │ │ │ │ ├── bark.md │ │ │ │ │ ├── bart.md │ │ │ │ │ ├── barthez.md │ │ │ │ │ ├── bartpho.md │ │ │ │ │ ├── beit.md │ │ │ │ │ ├── bert-generation.md │ │ │ │ │ ├── bert-japanese.md │ │ │ │ │ ├── bert.md │ │ │ │ │ ├── bertweet.md │ │ │ │ │ ├── big_bird.md │ │ │ │ │ ├── bigbird_pegasus.md │ │ │ │ │ ├── biogpt.md │ │ │ │ │ ├── bit.md │ │ │ │ │ ├── blenderbot-small.md │ │ │ │ │ ├── blenderbot.md │ │ │ │ │ ├── blip-2.md │ │ │ │ │ ├── blip.md │ │ │ │ │ ├── bloom.md │ │ │ │ │ ├── bort.md │ │ │ │ │ ├── bridgetower.md │ │ │ │ │ ├── bros.md │ │ │ │ │ ├── byt5.md │ │ │ │ │ ├── camembert.md │ │ │ │ │ ├── canine.md │ │ │ │ │ ├── chameleon.md │ │ │ │ │ ├── chinese_clip.md │ │ │ │ │ ├── clap.md │ │ │ │ │ ├── clip.md │ │ │ │ │ ├── clipseg.md │ │ │ │ │ ├── clvp.md │ │ │ │ │ ├── code_llama.md │ │ │ │ │ ├── codegen.md │ │ │ │ │ ├── cohere.md │ │ │ │ │ ├── conditional_detr.md │ │ │ │ │ ├── convbert.md │ │ │ │ │ ├── convnext.md │ │ │ │ │ ├── convnextv2.md │ │ │ │ │ ├── cpm.md │ │ │ │ │ ├── cpmant.md │ │ │ │ │ ├── ctrl.md │ │ │ │ │ ├── cvt.md │ │ │ │ │ ├── dac.md │ │ │ │ │ ├── data2vec.md │ │ │ │ │ ├── dbrx.md │ │ │ │ │ ├── deberta-v2.md │ │ │ │ │ ├── deberta.md │ │ │ │ │ ├── decision_transformer.md │ │ │ │ │ ├── deformable_detr.md │ │ │ │ │ ├── deit.md │ │ │ │ │ ├── deplot.md │ │ │ │ │ ├── depth_anything.md │ │ │ │ │ ├── depth_anything_v2.md │ │ │ │ │ ├── deta.md │ │ │ │ │ ├── detr.md │ │ │ │ │ ├── dialogpt.md │ │ │ │ │ ├── dinat.md │ │ │ │ │ ├── dinov2.md │ │ │ │ │ ├── distilbert.md │ │ │ │ │ ├── dit.md │ │ │ │ │ ├── donut.md │ │ │ │ │ ├── dpr.md │ │ │ │ │ ├── dpt.md │ │ │ │ │ ├── efficientformer.md │ │ │ │ │ ├── efficientnet.md │ │ │ │ │ ├── electra.md │ │ │ │ │ ├── encodec.md │ │ │ │ │ ├── encoder-decoder.md │ │ │ │ │ ├── ernie.md │ │ │ │ │ ├── ernie_m.md │ │ │ │ │ ├── esm.md │ │ │ │ │ ├── falcon.md │ │ │ │ │ ├── falcon_mamba.md │ │ │ │ │ ├── fastspeech2_conformer.md │ │ │ │ │ ├── flan-t5.md │ │ │ │ │ ├── flan-ul2.md │ │ │ │ │ ├── flaubert.md │ │ │ │ │ ├── flava.md │ │ │ │ │ ├── fnet.md │ │ │ │ │ ├── focalnet.md │ │ │ │ │ ├── fsmt.md │ │ │ │ │ ├── funnel.md │ │ │ │ │ ├── fuyu.md │ │ │ │ │ ├── gemma.md │ │ │ │ │ ├── gemma2.md │ │ │ │ │ ├── git.md │ │ │ │ │ ├── glpn.md │ │ │ │ │ ├── gpt-sw3.md │ │ │ │ │ ├── gpt2.md │ │ │ │ │ ├── gpt_bigcode.md │ │ │ │ │ ├── gpt_neo.md │ │ │ │ │ ├── gpt_neox.md │ │ │ │ │ ├── gpt_neox_japanese.md │ │ │ │ │ ├── gptj.md │ │ │ │ │ ├── gptsan-japanese.md │ │ │ │ │ ├── graphormer.md │ │ │ │ │ ├── grounding-dino.md │ │ │ │ │ ├── groupvit.md │ │ │ │ │ ├── herbert.md │ │ │ │ │ ├── hiera.md │ │ │ │ │ ├── hubert.md │ │ │ │ │ ├── ibert.md │ │ │ │ │ ├── idefics.md │ │ │ │ │ ├── idefics2.md │ │ │ │ │ ├── imagegpt.md │ │ │ │ │ ├── informer.md │ │ │ │ │ ├── instructblip.md │ │ │ │ │ ├── instructblipvideo.md │ │ │ │ │ ├── jamba.md │ │ │ │ │ ├── jetmoe.md │ │ │ │ │ ├── jukebox.md │ │ │ │ │ ├── kosmos-2.md │ │ │ │ │ ├── layoutlm.md │ │ │ │ │ ├── layoutlmv2.md │ │ │ │ │ ├── layoutlmv3.md │ │ │ │ │ ├── layoutxlm.md │ │ │ │ │ ├── led.md │ │ │ │ │ ├── levit.md │ │ │ │ │ ├── lilt.md │ │ │ │ │ ├── llama.md │ │ │ │ │ ├── llama2.md │ │ │ │ │ ├── llama3.md │ │ │ │ │ ├── llava.md │ │ │ │ │ ├── llava_next.md │ │ │ │ │ ├── llava_next_video.md │ │ │ │ │ ├── longformer.md │ │ │ │ │ ├── longt5.md │ │ │ │ │ ├── luke.md │ │ │ │ │ ├── lxmert.md │ │ │ │ │ ├── m2m_100.md │ │ │ │ │ ├── madlad-400.md │ │ │ │ │ ├── mamba.md │ │ │ │ │ ├── mamba2.md │ │ │ │ │ ├── marian.md │ │ │ │ │ ├── markuplm.md │ │ │ │ │ ├── mask2former.md │ │ │ │ │ ├── maskformer.md │ │ │ │ │ ├── matcha.md │ │ │ │ │ ├── mbart.md │ │ │ │ │ ├── mctct.md │ │ │ │ │ ├── mega.md │ │ │ │ │ ├── megatron-bert.md │ │ │ │ │ ├── megatron_gpt2.md │ │ │ │ │ ├── mgp-str.md │ │ │ │ │ ├── mistral.md │ │ │ │ │ ├── mixtral.md │ │ │ │ │ ├── mluke.md │ │ │ │ │ ├── mms.md │ │ │ │ │ ├── mobilebert.md │ │ │ │ │ ├── mobilenet_v1.md │ │ │ │ │ ├── mobilenet_v2.md │ │ │ │ │ ├── mobilevit.md │ │ │ │ │ ├── mobilevitv2.md │ │ │ │ │ ├── mpnet.md │ │ │ │ │ ├── mpt.md │ │ │ │ │ ├── mra.md │ │ │ │ │ ├── mt5.md │ │ │ │ │ ├── musicgen.md │ │ │ │ │ ├── musicgen_melody.md │ │ │ │ │ ├── mvp.md │ │ │ │ │ ├── nat.md │ │ │ │ │ ├── nemotron.md │ │ │ │ │ ├── nezha.md │ │ │ │ │ ├── nllb-moe.md │ │ │ │ │ ├── nllb.md │ │ │ │ │ ├── nougat.md │ │ │ │ │ ├── nystromformer.md │ │ │ │ │ ├── olmo.md │ │ │ │ │ ├── oneformer.md │ │ │ │ │ ├── open-llama.md │ │ │ │ │ ├── openai-gpt.md │ │ │ │ │ ├── opt.md │ │ │ │ │ ├── owlv2.md │ │ │ │ │ ├── owlvit.md │ │ │ │ │ ├── paligemma.md │ │ │ │ │ ├── patchtsmixer.md │ │ │ │ │ ├── patchtst.md │ │ │ │ │ ├── pegasus.md │ │ │ │ │ ├── pegasus_x.md │ │ │ │ │ ├── perceiver.md │ │ │ │ │ ├── persimmon.md │ │ │ │ │ ├── phi.md │ │ │ │ │ ├── phi3.md │ │ │ │ │ ├── phobert.md │ │ │ │ │ ├── pix2struct.md │ │ │ │ │ ├── plbart.md │ │ │ │ │ ├── poolformer.md │ │ │ │ │ ├── pop2piano.md │ │ │ │ │ ├── prophetnet.md │ │ │ │ │ ├── pvt.md │ │ │ │ │ ├── pvt_v2.md │ │ │ │ │ ├── qdqbert.md │ │ │ │ │ ├── qwen2.md │ │ │ │ │ ├── qwen2_audio.md │ │ │ │ │ ├── qwen2_moe.md │ │ │ │ │ ├── rag.md │ │ │ │ │ ├── realm.md │ │ │ │ │ ├── recurrent_gemma.md │ │ │ │ │ ├── reformer.md │ │ │ │ │ ├── regnet.md │ │ │ │ │ ├── rembert.md │ │ │ │ │ ├── resnet.md │ │ │ │ │ ├── retribert.md │ │ │ │ │ ├── roberta-prelayernorm.md │ │ │ │ │ ├── roberta.md │ │ │ │ │ ├── roc_bert.md │ │ │ │ │ ├── roformer.md │ │ │ │ │ ├── rt_detr.md │ │ │ │ │ ├── rwkv.md │ │ │ │ │ ├── sam.md │ │ │ │ │ ├── seamless_m4t.md │ │ │ │ │ ├── seamless_m4t_v2.md │ │ │ │ │ ├── segformer.md │ │ │ │ │ ├── seggpt.md │ │ │ │ │ ├── sew-d.md │ │ │ │ │ ├── sew.md │ │ │ │ │ ├── siglip.md │ │ │ │ │ ├── speech-encoder-decoder.md │ │ │ │ │ ├── speech_to_text.md │ │ │ │ │ ├── speech_to_text_2.md │ │ │ │ │ ├── speecht5.md │ │ │ │ │ ├── splinter.md │ │ │ │ │ ├── squeezebert.md │ │ │ │ │ ├── stablelm.md │ │ │ │ │ ├── starcoder2.md │ │ │ │ │ ├── superpoint.md │ │ │ │ │ ├── swiftformer.md │ │ │ │ │ ├── swin.md │ │ │ │ │ ├── swin2sr.md │ │ │ │ │ ├── swinv2.md │ │ │ │ │ ├── switch_transformers.md │ │ │ │ │ ├── t5.md │ │ │ │ │ ├── t5v1.1.md │ │ │ │ │ ├── table-transformer.md │ │ │ │ │ ├── tapas.md │ │ │ │ │ ├── tapex.md │ │ │ │ │ ├── time_series_transformer.md │ │ │ │ │ ├── timesformer.md │ │ │ │ │ ├── trajectory_transformer.md │ │ │ │ │ ├── transfo-xl.md │ │ │ │ │ ├── trocr.md │ │ │ │ │ ├── tvlt.md │ │ │ │ │ ├── tvp.md │ │ │ │ │ ├── udop.md │ │ │ │ │ ├── ul2.md │ │ │ │ │ ├── umt5.md │ │ │ │ │ ├── unispeech-sat.md │ │ │ │ │ ├── unispeech.md │ │ │ │ │ ├── univnet.md │ │ │ │ │ ├── upernet.md │ │ │ │ │ ├── van.md │ │ │ │ │ ├── video_llava.md │ │ │ │ │ ├── videomae.md │ │ │ │ │ ├── vilt.md │ │ │ │ │ ├── vipllava.md │ │ │ │ │ ├── vision-encoder-decoder.md │ │ │ │ │ ├── vision-text-dual-encoder.md │ │ │ │ │ ├── visual_bert.md │ │ │ │ │ ├── vit.md │ │ │ │ │ ├── vit_hybrid.md │ │ │ │ │ ├── vit_mae.md │ │ │ │ │ ├── vit_msn.md │ │ │ │ │ ├── vitdet.md │ │ │ │ │ ├── vitmatte.md │ │ │ │ │ ├── vits.md │ │ │ │ │ ├── vivit.md │ │ │ │ │ ├── wav2vec2-bert.md │ │ │ │ │ ├── wav2vec2-conformer.md │ │ │ │ │ ├── wav2vec2.md │ │ │ │ │ ├── wav2vec2_phoneme.md │ │ │ │ │ ├── wavlm.md │ │ │ │ │ ├── whisper.md │ │ │ │ │ ├── xclip.md │ │ │ │ │ ├── xglm.md │ │ │ │ │ ├── xlm-prophetnet.md │ │ │ │ │ ├── xlm-roberta-xl.md │ │ │ │ │ ├── xlm-roberta.md │ │ │ │ │ ├── xlm-v.md │ │ │ │ │ ├── xlm.md │ │ │ │ │ ├── xlnet.md │ │ │ │ │ ├── xls_r.md │ │ │ │ │ ├── xlsr_wav2vec2.md │ │ │ │ │ ├── xmod.md │ │ │ │ │ ├── yolos.md │ │ │ │ │ ├── yoso.md │ │ │ │ │ └── zoedepth.md │ │ │ │ ├── model_memory_anatomy.md │ │ │ │ ├── model_sharing.md │ │ │ │ ├── model_summary.md │ │ │ │ ├── multilingual.md │ │ │ │ ├── notebooks.md │ │ │ │ ├── pad_truncation.md │ │ │ │ ├── peft.md │ │ │ │ ├── perf_hardware.md │ │ │ │ ├── perf_infer_cpu.md │ │ │ │ ├── perf_infer_gpu_one.md │ │ │ │ ├── perf_torch_compile.md │ │ │ │ ├── perf_train_cpu.md │ │ │ │ ├── perf_train_cpu_many.md │ │ │ │ ├── perf_train_gpu_many.md │ │ │ │ ├── perf_train_gpu_one.md │ │ │ │ ├── perf_train_special.md │ │ │ │ ├── perf_train_tpu_tf.md │ │ │ │ ├── performance.md │ │ │ │ ├── perplexity.md │ │ │ │ ├── philosophy.md │ │ │ │ ├── pipeline_tutorial.md │ │ │ │ ├── pipeline_webserver.md │ │ │ │ ├── pr_checks.md │ │ │ │ ├── preprocessing.md │ │ │ │ ├── quantization/ │ │ │ │ │ ├── aqlm.md │ │ │ │ │ ├── awq.md │ │ │ │ │ ├── bitsandbytes.md │ │ │ │ │ ├── contribute.md │ │ │ │ │ ├── eetq.md │ │ │ │ │ ├── fbgemm_fp8.md │ │ │ │ │ ├── gptq.md │ │ │ │ │ ├── hqq.md │ │ │ │ │ ├── optimum.md │ │ │ │ │ ├── overview.md │ │ │ │ │ ├── quanto.md │ │ │ │ │ └── torchao.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts.md │ │ │ │ ├── sagemaker.md │ │ │ │ ├── serialization.md │ │ │ │ ├── task_summary.md │ │ │ │ ├── tasks/ │ │ │ │ │ ├── asr.md │ │ │ │ │ ├── audio_classification.md │ │ │ │ │ ├── document_question_answering.md │ │ │ │ │ ├── idefics.md │ │ │ │ │ ├── image_captioning.md │ │ │ │ │ ├── image_classification.md │ │ │ │ │ ├── image_feature_extraction.md │ │ │ │ │ ├── image_text_to_text.md │ │ │ │ │ ├── image_to_image.md │ │ │ │ │ ├── knowledge_distillation_for_image_classification.md │ │ │ │ │ ├── language_modeling.md │ │ │ │ │ ├── mask_generation.md │ │ │ │ │ ├── masked_language_modeling.md │ │ │ │ │ ├── monocular_depth_estimation.md │ │ │ │ │ ├── multiple_choice.md │ │ │ │ │ ├── object_detection.md │ │ │ │ │ ├── prompting.md │ │ │ │ │ ├── question_answering.md │ │ │ │ │ ├── semantic_segmentation.md │ │ │ │ │ ├── sequence_classification.md │ │ │ │ │ ├── summarization.md │ │ │ │ │ ├── text-to-speech.md │ │ │ │ │ ├── token_classification.md │ │ │ │ │ ├── translation.md │ │ │ │ │ ├── video_classification.md │ │ │ │ │ ├── visual_question_answering.md │ │ │ │ │ ├── zero_shot_image_classification.md │ │ │ │ │ └── zero_shot_object_detection.md │ │ │ │ ├── tasks_explained.md │ │ │ │ ├── testing.md │ │ │ │ ├── tf_xla.md │ │ │ │ ├── tflite.md │ │ │ │ ├── tokenizer_summary.md │ │ │ │ ├── torchscript.md │ │ │ │ ├── trainer.md │ │ │ │ ├── training.md │ │ │ │ └── troubleshooting.md │ │ │ ├── es/ │ │ │ │ ├── _config.py │ │ │ │ ├── _toctree.yml │ │ │ │ ├── accelerate.md │ │ │ │ ├── add_new_pipeline.md │ │ │ │ ├── attention.md │ │ │ │ ├── autoclass_tutorial.md │ │ │ │ ├── bertology.md │ │ │ │ ├── chat_templating.md │ │ │ │ ├── community.md │ │ │ │ ├── converting_tensorflow_models.md │ │ │ │ ├── create_a_model.md │ │ │ │ ├── custom_models.md │ │ │ │ ├── debugging.md │ │ │ │ ├── fast_tokenizers.md │ │ │ │ ├── glossary.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── model_memory_anatomy.md │ │ │ │ ├── model_sharing.md │ │ │ │ ├── multilingual.md │ │ │ │ ├── pad_truncation.md │ │ │ │ ├── performance.md │ │ │ │ ├── perplexity.md │ │ │ │ ├── philosophy.md │ │ │ │ ├── pipeline_tutorial.md │ │ │ │ ├── pipeline_webserver.md │ │ │ │ ├── pr_checks.md │ │ │ │ ├── preprocessing.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts.md │ │ │ │ ├── sagemaker.md │ │ │ │ ├── serialization.md │ │ │ │ ├── task_summary.md │ │ │ │ ├── tasks/ │ │ │ │ │ ├── asr.md │ │ │ │ │ ├── image_captioning.md │ │ │ │ │ ├── image_classification.md │ │ │ │ │ ├── language_modeling.md │ │ │ │ │ ├── multiple_choice.md │ │ │ │ │ ├── question_answering.md │ │ │ │ │ └── summarization.md │ │ │ │ ├── tasks_explained.md │ │ │ │ ├── tokenizer_summary.md │ │ │ │ ├── torchscript.md │ │ │ │ ├── trainer.md │ │ │ │ └── training.md │ │ │ ├── fr/ │ │ │ │ ├── _config.py │ │ │ │ ├── _toctree.yml │ │ │ │ ├── autoclass_tutorial.md │ │ │ │ ├── in_translation.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts_fr.md │ │ │ │ └── tutoriel_pipeline.md │ │ │ ├── hi/ │ │ │ │ ├── _toctree.yml │ │ │ │ └── pipeline_tutorial.md │ │ │ ├── it/ │ │ │ │ ├── _config.py │ │ │ │ ├── _toctree.yml │ │ │ │ ├── accelerate.md │ │ │ │ ├── add_new_model.md │ │ │ │ ├── add_new_pipeline.md │ │ │ │ ├── autoclass_tutorial.md │ │ │ │ ├── big_models.md │ │ │ │ ├── community.md │ │ │ │ ├── converting_tensorflow_models.md │ │ │ │ ├── create_a_model.md │ │ │ │ ├── custom_models.md │ │ │ │ ├── debugging.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── migration.md │ │ │ │ ├── model_sharing.md │ │ │ │ ├── multilingual.md │ │ │ │ ├── perf_hardware.md │ │ │ │ ├── perf_infer_cpu.md │ │ │ │ ├── perf_infer_gpu_many.md │ │ │ │ ├── perf_infer_gpu_one.md │ │ │ │ ├── perf_infer_special.md │ │ │ │ ├── perf_train_cpu.md │ │ │ │ ├── perf_train_cpu_many.md │ │ │ │ ├── perf_train_special.md │ │ │ │ ├── perf_train_tpu.md │ │ │ │ ├── pipeline_tutorial.md │ │ │ │ ├── pr_checks.md │ │ │ │ ├── preprocessing.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts.md │ │ │ │ ├── serialization.md │ │ │ │ └── training.md │ │ │ ├── ja/ │ │ │ │ ├── _toctree.yml │ │ │ │ ├── accelerate.md │ │ │ │ ├── add_new_model.md │ │ │ │ ├── attention.md │ │ │ │ ├── autoclass_tutorial.md │ │ │ │ ├── benchmarks.md │ │ │ │ ├── bertology.md │ │ │ │ ├── big_models.md │ │ │ │ ├── chat_templating.md │ │ │ │ ├── community.md │ │ │ │ ├── create_a_model.md │ │ │ │ ├── custom_models.md │ │ │ │ ├── custom_tools.md │ │ │ │ ├── fast_tokenizers.md │ │ │ │ ├── generation_strategies.md │ │ │ │ ├── glossary.md │ │ │ │ ├── hpo_train.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── internal/ │ │ │ │ │ ├── audio_utils.md │ │ │ │ │ ├── file_utils.md │ │ │ │ │ ├── generation_utils.md │ │ │ │ │ ├── image_processing_utils.md │ │ │ │ │ ├── modeling_utils.md │ │ │ │ │ ├── pipelines_utils.md │ │ │ │ │ ├── time_series_utils.md │ │ │ │ │ ├── tokenization_utils.md │ │ │ │ │ └── trainer_utils.md │ │ │ │ ├── llm_tutorial.md │ │ │ │ ├── main_classes/ │ │ │ │ │ ├── agent.md │ │ │ │ │ ├── callback.md │ │ │ │ │ ├── configuration.md │ │ │ │ │ ├── data_collator.md │ │ │ │ │ ├── deepspeed.md │ │ │ │ │ ├── feature_extractor.md │ │ │ │ │ ├── image_processor.md │ │ │ │ │ ├── keras_callbacks.md │ │ │ │ │ ├── logging.md │ │ │ │ │ ├── model.md │ │ │ │ │ ├── onnx.md │ │ │ │ │ ├── optimizer_schedules.md │ │ │ │ │ ├── output.md │ │ │ │ │ ├── pipelines.md │ │ │ │ │ ├── processors.md │ │ │ │ │ ├── quantization.md │ │ │ │ │ ├── text_generation.md │ │ │ │ │ ├── tokenizer.md │ │ │ │ │ └── trainer.md │ │ │ │ ├── model_doc/ │ │ │ │ │ ├── albert.md │ │ │ │ │ ├── align.md │ │ │ │ │ ├── altclip.md │ │ │ │ │ ├── audio-spectrogram-transformer.md │ │ │ │ │ ├── auto.md │ │ │ │ │ ├── autoformer.md │ │ │ │ │ ├── bark.md │ │ │ │ │ ├── bart.md │ │ │ │ │ ├── barthez.md │ │ │ │ │ ├── bartpho.md │ │ │ │ │ ├── beit.md │ │ │ │ │ ├── bert-generation.md │ │ │ │ │ ├── bert-japanese.md │ │ │ │ │ ├── bert.md │ │ │ │ │ ├── bertweet.md │ │ │ │ │ ├── big_bird.md │ │ │ │ │ ├── bigbird_pegasus.md │ │ │ │ │ ├── biogpt.md │ │ │ │ │ ├── bit.md │ │ │ │ │ ├── blenderbot-small.md │ │ │ │ │ ├── blenderbot.md │ │ │ │ │ ├── blip-2.md │ │ │ │ │ ├── blip.md │ │ │ │ │ ├── bloom.md │ │ │ │ │ ├── bort.md │ │ │ │ │ ├── bridgetower.md │ │ │ │ │ ├── bros.md │ │ │ │ │ ├── byt5.md │ │ │ │ │ ├── camembert.md │ │ │ │ │ ├── canine.md │ │ │ │ │ ├── chinese_clip.md │ │ │ │ │ ├── clap.md │ │ │ │ │ ├── clip.md │ │ │ │ │ ├── clipseg.md │ │ │ │ │ ├── clvp.md │ │ │ │ │ ├── code_llama.md │ │ │ │ │ ├── codegen.md │ │ │ │ │ ├── conditional_detr.md │ │ │ │ │ ├── convbert.md │ │ │ │ │ ├── convnext.md │ │ │ │ │ ├── convnextv2.md │ │ │ │ │ ├── cpm.md │ │ │ │ │ ├── cpmant.md │ │ │ │ │ ├── ctrl.md │ │ │ │ │ ├── cvt.md │ │ │ │ │ ├── data2vec.md │ │ │ │ │ ├── deberta-v2.md │ │ │ │ │ ├── deberta.md │ │ │ │ │ ├── decision_transformer.md │ │ │ │ │ ├── deformable_detr.md │ │ │ │ │ ├── deit.md │ │ │ │ │ ├── deplot.md │ │ │ │ │ ├── deta.md │ │ │ │ │ ├── detr.md │ │ │ │ │ ├── dialogpt.md │ │ │ │ │ └── dinat.md │ │ │ │ ├── model_memory_anatomy.md │ │ │ │ ├── model_sharing.md │ │ │ │ ├── model_summary.md │ │ │ │ ├── multilingual.md │ │ │ │ ├── pad_truncation.md │ │ │ │ ├── peft.md │ │ │ │ ├── perf_hardware.md │ │ │ │ ├── perf_infer_cpu.md │ │ │ │ ├── perf_infer_gpu_many.md │ │ │ │ ├── perf_infer_gpu_one.md │ │ │ │ ├── perf_infer_special.md │ │ │ │ ├── perf_torch_compile.md │ │ │ │ ├── perf_train_cpu.md │ │ │ │ ├── perf_train_cpu_many.md │ │ │ │ ├── perf_train_gpu_many.md │ │ │ │ ├── perf_train_gpu_one.md │ │ │ │ ├── perf_train_special.md │ │ │ │ ├── perf_train_tpu.md │ │ │ │ ├── perf_train_tpu_tf.md │ │ │ │ ├── performance.md │ │ │ │ ├── perplexity.md │ │ │ │ ├── philosophy.md │ │ │ │ ├── pipeline_tutorial.md │ │ │ │ ├── pipeline_webserver.md │ │ │ │ ├── pr_checks.md │ │ │ │ ├── preprocessing.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts.md │ │ │ │ ├── serialization.md │ │ │ │ ├── task_summary.md │ │ │ │ ├── tasks/ │ │ │ │ │ ├── asr.md │ │ │ │ │ ├── audio_classification.md │ │ │ │ │ ├── document_question_answering.md │ │ │ │ │ ├── idefics.md │ │ │ │ │ ├── image_captioning.md │ │ │ │ │ ├── image_classification.md │ │ │ │ │ ├── image_to_image.md │ │ │ │ │ ├── knowledge_distillation_for_image_classification.md │ │ │ │ │ ├── language_modeling.md │ │ │ │ │ ├── masked_language_modeling.md │ │ │ │ │ ├── monocular_depth_estimation.md │ │ │ │ │ ├── multiple_choice.md │ │ │ │ │ ├── object_detection.md │ │ │ │ │ ├── prompting.md │ │ │ │ │ ├── question_answering.md │ │ │ │ │ ├── semantic_segmentation.md │ │ │ │ │ ├── sequence_classification.md │ │ │ │ │ ├── summarization.md │ │ │ │ │ ├── text-to-speech.md │ │ │ │ │ ├── token_classification.md │ │ │ │ │ ├── translation.md │ │ │ │ │ ├── video_classification.md │ │ │ │ │ ├── visual_question_answering.md │ │ │ │ │ ├── zero_shot_image_classification.md │ │ │ │ │ └── zero_shot_object_detection.md │ │ │ │ ├── tasks_explained.md │ │ │ │ ├── testing.md │ │ │ │ ├── tf_xla.md │ │ │ │ ├── tflite.md │ │ │ │ ├── tokenizer_summary.md │ │ │ │ ├── torchscript.md │ │ │ │ ├── training.md │ │ │ │ ├── transformers_agents.md │ │ │ │ └── troubleshooting.md │ │ │ ├── ko/ │ │ │ │ ├── _config.py │ │ │ │ ├── _toctree.yml │ │ │ │ ├── accelerate.md │ │ │ │ ├── add_new_model.md │ │ │ │ ├── add_new_pipeline.md │ │ │ │ ├── attention.md │ │ │ │ ├── autoclass_tutorial.md │ │ │ │ ├── bertology.md │ │ │ │ ├── big_models.md │ │ │ │ ├── chat_templating.md │ │ │ │ ├── community.md │ │ │ │ ├── contributing.md │ │ │ │ ├── create_a_model.md │ │ │ │ ├── custom_models.md │ │ │ │ ├── debugging.md │ │ │ │ ├── deepspeed.md │ │ │ │ ├── fast_tokenizers.md │ │ │ │ ├── fsdp.md │ │ │ │ ├── generation_strategies.md │ │ │ │ ├── hpo_train.md │ │ │ │ ├── in_translation.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── llm_tutorial.md │ │ │ │ ├── llm_tutorial_optimization.md │ │ │ │ ├── main_classes/ │ │ │ │ │ └── agent.md │ │ │ │ ├── model_doc/ │ │ │ │ │ ├── llama.md │ │ │ │ │ ├── llama2.md │ │ │ │ │ └── whisper.md │ │ │ │ ├── model_memory_anatomy.md │ │ │ │ ├── model_sharing.md │ │ │ │ ├── model_summary.md │ │ │ │ ├── multilingual.md │ │ │ │ ├── pad_truncation.md │ │ │ │ ├── peft.md │ │ │ │ ├── perf_hardware.md │ │ │ │ ├── perf_infer_cpu.md │ │ │ │ ├── perf_infer_gpu_one.md │ │ │ │ ├── perf_train_cpu.md │ │ │ │ ├── perf_train_cpu_many.md │ │ │ │ ├── perf_train_gpu_many.md │ │ │ │ ├── perf_train_tpu_tf.md │ │ │ │ ├── performance.md │ │ │ │ ├── perplexity.md │ │ │ │ ├── philosophy.md │ │ │ │ ├── pipeline_tutorial.md │ │ │ │ ├── pipeline_webserver.md │ │ │ │ ├── pr_checks.md │ │ │ │ ├── preprocessing.md │ │ │ │ ├── quantization/ │ │ │ │ │ ├── awq.md │ │ │ │ │ ├── bitsandbytes.md │ │ │ │ │ ├── eetq.md │ │ │ │ │ ├── gptq.md │ │ │ │ │ └── quanto.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts.md │ │ │ │ ├── sagemaker.md │ │ │ │ ├── serialization.md │ │ │ │ ├── task_summary.md │ │ │ │ ├── tasks/ │ │ │ │ │ ├── asr.md │ │ │ │ │ ├── audio_classification.md │ │ │ │ │ ├── document_question_answering.md │ │ │ │ │ ├── idefics.md │ │ │ │ │ ├── image_captioning.md │ │ │ │ │ ├── image_classification.md │ │ │ │ │ ├── image_feature_extraction.md │ │ │ │ │ ├── image_to_image.md │ │ │ │ │ ├── language_modeling.md │ │ │ │ │ ├── mask_generation.md │ │ │ │ │ ├── masked_language_modeling.md │ │ │ │ │ ├── monocular_depth_estimation.md │ │ │ │ │ ├── multiple_choice.md │ │ │ │ │ ├── object_detection.md │ │ │ │ │ ├── prompting.md │ │ │ │ │ ├── question_answering.md │ │ │ │ │ ├── semantic_segmentation.md │ │ │ │ │ ├── sequence_classification.md │ │ │ │ │ ├── summarization.md │ │ │ │ │ ├── token_classification.md │ │ │ │ │ ├── translation.md │ │ │ │ │ ├── video_classification.md │ │ │ │ │ ├── visual_question_answering.md │ │ │ │ │ ├── zero_shot_image_classification.md │ │ │ │ │ └── zero_shot_object_detection.md │ │ │ │ ├── tasks_explained.md │ │ │ │ ├── testing.md │ │ │ │ ├── tf_xla.md │ │ │ │ ├── tflite.md │ │ │ │ ├── tokenizer_summary.md │ │ │ │ ├── torchscript.md │ │ │ │ ├── trainer.md │ │ │ │ ├── training.md │ │ │ │ ├── transformers_agents.md │ │ │ │ └── troubleshooting.md │ │ │ ├── ms/ │ │ │ │ ├── _toctree.yml │ │ │ │ └── index.md │ │ │ ├── pt/ │ │ │ │ ├── _config.py │ │ │ │ ├── _toctree.yml │ │ │ │ ├── accelerate.md │ │ │ │ ├── converting_tensorflow_models.md │ │ │ │ ├── create_a_model.md │ │ │ │ ├── custom_models.md │ │ │ │ ├── fast_tokenizers.md │ │ │ │ ├── index.md │ │ │ │ ├── installation.md │ │ │ │ ├── multilingual.md │ │ │ │ ├── pipeline_tutorial.md │ │ │ │ ├── quicktour.md │ │ │ │ ├── run_scripts.md │ │ │ │ ├── serialization.md │ │ │ │ ├── tasks/ │ │ │ │ │ ├── sequence_classification.md │ │ │ │ │ └── token_classification.md │ │ │ │ └── training.md │ │ │ ├── te/ │ │ │ │ ├── _toctree.yml │ │ │ │ ├── index.md │ │ │ │ └── quicktour.md │ │ │ ├── tr/ │ │ │ │ ├── _toctree.yml │ │ │ │ └── index.md │ │ │ └── zh/ │ │ │ ├── _toctree.yml │ │ │ ├── accelerate.md │ │ │ ├── add_new_pipeline.md │ │ │ ├── autoclass_tutorial.md │ │ │ ├── big_models.md │ │ │ ├── chat_templating.md │ │ │ ├── contributing.md │ │ │ ├── create_a_model.md │ │ │ ├── custom_models.md │ │ │ ├── debugging.md │ │ │ ├── fast_tokenizers.md │ │ │ ├── fsdp.md │ │ │ ├── hpo_train.md │ │ │ ├── index.md │ │ │ ├── installation.md │ │ │ ├── internal/ │ │ │ │ ├── audio_utils.md │ │ │ │ ├── file_utils.md │ │ │ │ ├── generation_utils.md │ │ │ │ ├── image_processing_utils.md │ │ │ │ ├── modeling_utils.md │ │ │ │ ├── pipelines_utils.md │ │ │ │ ├── time_series_utils.md │ │ │ │ ├── tokenization_utils.md │ │ │ │ └── trainer_utils.md │ │ │ ├── llm_tutorial.md │ │ │ ├── main_classes/ │ │ │ │ ├── agent.md │ │ │ │ ├── callback.md │ │ │ │ ├── configuration.md │ │ │ │ ├── data_collator.md │ │ │ │ ├── deepspeed.md │ │ │ │ ├── feature_extractor.md │ │ │ │ ├── image_processor.md │ │ │ │ ├── keras_callbacks.md │ │ │ │ ├── logging.md │ │ │ │ ├── model.md │ │ │ │ ├── onnx.md │ │ │ │ ├── optimizer_schedules.md │ │ │ │ ├── output.md │ │ │ │ ├── pipelines.md │ │ │ │ ├── processors.md │ │ │ │ ├── quantization.md │ │ │ │ ├── text_generation.md │ │ │ │ ├── tokenizer.md │ │ │ │ └── trainer.md │ │ │ ├── model_sharing.md │ │ │ ├── multilingual.md │ │ │ ├── peft.md │ │ │ ├── perf_hardware.md │ │ │ ├── perf_torch_compile.md │ │ │ ├── performance.md │ │ │ ├── philosophy.md │ │ │ ├── pipeline_tutorial.md │ │ │ ├── preprocessing.md │ │ │ ├── quicktour.md │ │ │ ├── run_scripts.md │ │ │ ├── serialization.md │ │ │ ├── task_summary.md │ │ │ ├── tasks/ │ │ │ │ └── asr.md │ │ │ ├── tf_xla.md │ │ │ ├── tflite.md │ │ │ ├── tokenizer_summary.md │ │ │ ├── torchscript.md │ │ │ ├── training.md │ │ │ └── transformers_agents.md │ │ ├── examples/ │ │ │ ├── README.md │ │ │ ├── diff-conversion/ │ │ │ │ ├── README.md │ │ │ │ ├── convert_examples.sh │ │ │ │ ├── diff_dummy.py │ │ │ │ ├── diff_my_new_model.py │ │ │ │ ├── diff_my_new_model2.py │ │ │ │ ├── diff_new_model.py │ │ │ │ └── diff_super.py │ │ │ ├── flax/ │ │ │ │ ├── README.md │ │ │ │ ├── _tests_requirements.txt │ │ │ │ ├── conftest.py │ │ │ │ ├── image-captioning/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── create_model_from_encoder_decoder_models.py │ │ │ │ │ └── run_image_captioning_flax.py │ │ │ │ ├── language-modeling/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_bart_dlm_flax.py │ │ │ │ │ ├── run_clm_flax.py │ │ │ │ │ ├── run_mlm_flax.py │ │ │ │ │ ├── run_t5_mlm_flax.py │ │ │ │ │ └── t5_tokenizer_model.py │ │ │ │ ├── question-answering/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_qa.py │ │ │ │ │ └── utils_qa.py │ │ │ │ ├── speech-recognition/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_flax_speech_recognition_seq2seq.py │ │ │ │ ├── summarization/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_summarization_flax.py │ │ │ │ ├── test_flax_examples.py │ │ │ │ ├── text-classification/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_flax_glue.py │ │ │ │ ├── token-classification/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_flax_ner.py │ │ │ │ └── vision/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ └── run_image_classification.py │ │ │ ├── legacy/ │ │ │ │ ├── README.md │ │ │ │ ├── benchmarking/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── plot_csv_file.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_benchmark.py │ │ │ │ ├── multiple_choice/ │ │ │ │ │ ├── run_multiple_choice.py │ │ │ │ │ └── utils_multiple_choice.py │ │ │ │ ├── pytorch-lightning/ │ │ │ │ │ ├── lightning_base.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_glue.py │ │ │ │ │ ├── run_glue.sh │ │ │ │ │ ├── run_ner.py │ │ │ │ │ ├── run_ner.sh │ │ │ │ │ └── run_pos.sh │ │ │ │ ├── question-answering/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── run_squad.py │ │ │ │ │ └── run_squad_trainer.py │ │ │ │ ├── run_camembert.py │ │ │ │ ├── run_chinese_ref.py │ │ │ │ ├── run_language_modeling.py │ │ │ │ ├── run_openai_gpt.py │ │ │ │ ├── run_swag.py │ │ │ │ ├── run_transfo_xl.py │ │ │ │ ├── seq2seq/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── convert_model_to_fp16.py │ │ │ │ │ ├── download_wmt.py │ │ │ │ │ ├── finetune.sh │ │ │ │ │ ├── finetune_tpu.sh │ │ │ │ │ ├── finetune_trainer.py │ │ │ │ │ ├── minify_dataset.py │ │ │ │ │ ├── old_test_calculate_rouge.py │ │ │ │ │ ├── old_test_datasets.py │ │ │ │ │ ├── old_test_fsmt_bleu_score.py │ │ │ │ │ ├── old_test_seq2seq_examples.py │ │ │ │ │ ├── old_test_seq2seq_examples_multi_gpu.py │ │ │ │ │ ├── old_test_tatoeba_conversion.py │ │ │ │ │ ├── pack_dataset.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── romanian_postprocessing.md │ │ │ │ │ ├── rouge_cli.py │ │ │ │ │ ├── run_distributed_eval.py │ │ │ │ │ ├── run_eval.py │ │ │ │ │ ├── run_eval_search.py │ │ │ │ │ ├── save_len_file.py │ │ │ │ │ ├── save_randomly_initialized_model.py │ │ │ │ │ ├── sentence_splitter.py │ │ │ │ │ ├── seq2seq_trainer.py │ │ │ │ │ ├── seq2seq_training_args.py │ │ │ │ │ ├── test_data/ │ │ │ │ │ │ ├── fsmt/ │ │ │ │ │ │ │ ├── build-eval-data.py │ │ │ │ │ │ │ └── fsmt_val_data.json │ │ │ │ │ │ └── wmt_en_ro/ │ │ │ │ │ │ ├── test.source │ │ │ │ │ │ ├── test.target │ │ │ │ │ │ ├── train.len │ │ │ │ │ │ ├── train.source │ │ │ │ │ │ ├── train.target │ │ │ │ │ │ ├── val.len │ │ │ │ │ │ ├── val.source │ │ │ │ │ │ └── val.target │ │ │ │ │ ├── train_distil_marian_enro.sh │ │ │ │ │ ├── train_distil_marian_enro_tpu.sh │ │ │ │ │ ├── train_distilbart_cnn.sh │ │ │ │ │ ├── train_mbart_cc25_enro.sh │ │ │ │ │ ├── utils.py │ │ │ │ │ └── xla_spawn.py │ │ │ │ └── token-classification/ │ │ │ │ ├── README.md │ │ │ │ ├── run.sh │ │ │ │ ├── run_chunk.sh │ │ │ │ ├── run_ner.py │ │ │ │ ├── run_pos.sh │ │ │ │ ├── scripts/ │ │ │ │ │ └── preprocess.py │ │ │ │ ├── tasks.py │ │ │ │ └── utils_ner.py │ │ │ ├── pytorch/ │ │ │ │ ├── README.md │ │ │ │ ├── _tests_requirements.txt │ │ │ │ ├── audio-classification/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_audio_classification.py │ │ │ │ ├── conftest.py │ │ │ │ ├── contrastive-image-text/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_clip.py │ │ │ │ ├── image-classification/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_image_classification.py │ │ │ │ │ └── run_image_classification_no_trainer.py │ │ │ │ ├── image-pretraining/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_mae.py │ │ │ │ │ ├── run_mim.py │ │ │ │ │ └── run_mim_no_trainer.py │ │ │ │ ├── instance-segmentation/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_instance_segmentation.py │ │ │ │ │ └── run_instance_segmentation_no_trainer.py │ │ │ │ ├── language-modeling/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_clm.py │ │ │ │ │ ├── run_clm_no_trainer.py │ │ │ │ │ ├── run_fim.py │ │ │ │ │ ├── run_fim_no_trainer.py │ │ │ │ │ ├── run_mlm.py │ │ │ │ │ ├── run_mlm_no_trainer.py │ │ │ │ │ └── run_plm.py │ │ │ │ ├── multiple-choice/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_no_trainer.sh │ │ │ │ │ ├── run_swag.py │ │ │ │ │ └── run_swag_no_trainer.py │ │ │ │ ├── object-detection/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_object_detection.py │ │ │ │ │ └── run_object_detection_no_trainer.py │ │ │ │ ├── old_test_xla_examples.py │ │ │ │ ├── question-answering/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_qa.py │ │ │ │ │ ├── run_qa_beam_search.py │ │ │ │ │ ├── run_qa_beam_search_no_trainer.py │ │ │ │ │ ├── run_qa_no_trainer.py │ │ │ │ │ ├── run_seq2seq_qa.py │ │ │ │ │ ├── trainer_qa.py │ │ │ │ │ ├── trainer_seq2seq_qa.py │ │ │ │ │ └── utils_qa.py │ │ │ │ ├── semantic-segmentation/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_semantic_segmentation.py │ │ │ │ │ └── run_semantic_segmentation_no_trainer.py │ │ │ │ ├── speech-pretraining/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_wav2vec2_pretraining_no_trainer.py │ │ │ │ ├── speech-recognition/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_speech_recognition_ctc.py │ │ │ │ │ ├── run_speech_recognition_ctc_adapter.py │ │ │ │ │ └── run_speech_recognition_seq2seq.py │ │ │ │ ├── summarization/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_summarization.py │ │ │ │ │ └── run_summarization_no_trainer.py │ │ │ │ ├── test_accelerate_examples.py │ │ │ │ ├── test_pytorch_examples.py │ │ │ │ ├── text-classification/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_classification.py │ │ │ │ │ ├── run_glue.py │ │ │ │ │ ├── run_glue_no_trainer.py │ │ │ │ │ └── run_xnli.py │ │ │ │ ├── text-generation/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_generation.py │ │ │ │ │ └── run_generation_contrastive_search.py │ │ │ │ ├── token-classification/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run.sh │ │ │ │ │ ├── run_ner.py │ │ │ │ │ ├── run_ner_no_trainer.py │ │ │ │ │ └── run_no_trainer.sh │ │ │ │ ├── translation/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_translation.py │ │ │ │ │ └── run_translation_no_trainer.py │ │ │ │ └── xla_spawn.py │ │ │ ├── research_projects/ │ │ │ │ ├── README.md │ │ │ │ ├── adversarial/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_hans.py │ │ │ │ │ └── utils_hans.py │ │ │ │ ├── bert-loses-patience/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── pabee/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── modeling_pabee_albert.py │ │ │ │ │ │ └── modeling_pabee_bert.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_glue_with_pabee.py │ │ │ │ │ └── test_run_glue_with_pabee.py │ │ │ │ ├── bertabs/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bertabs.py │ │ │ │ │ ├── convert_bertabs_original_pytorch_checkpoint.py │ │ │ │ │ ├── modeling_bertabs.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_summarization.py │ │ │ │ │ ├── test_utils_summarization.py │ │ │ │ │ └── utils_summarization.py │ │ │ │ ├── bertology/ │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_bertology.py │ │ │ │ │ └── run_prune_gpt.py │ │ │ │ ├── codeparrot/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── examples/ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── requirements.txt │ │ │ │ │ │ └── train_complexity_predictor.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── scripts/ │ │ │ │ │ ├── arguments.py │ │ │ │ │ ├── bpe_training.py │ │ │ │ │ ├── codeparrot_training.py │ │ │ │ │ ├── human_eval.py │ │ │ │ │ ├── initialize_model.py │ │ │ │ │ ├── minhash_deduplication.py │ │ │ │ │ ├── preprocessing.py │ │ │ │ │ ├── pretokenizing.py │ │ │ │ │ ├── tests/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── test_deduplicate.py │ │ │ │ │ └── validation_loss.py │ │ │ │ ├── decision_transformer/ │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_decision_transformer.py │ │ │ │ ├── deebert/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── entropy_eval.sh │ │ │ │ │ ├── eval_deebert.sh │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_glue_deebert.py │ │ │ │ │ ├── src/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── modeling_highway_bert.py │ │ │ │ │ │ └── modeling_highway_roberta.py │ │ │ │ │ ├── test_glue_deebert.py │ │ │ │ │ └── train_deebert.sh │ │ │ │ ├── distillation/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── distiller.py │ │ │ │ │ ├── grouped_batch_sampler.py │ │ │ │ │ ├── lm_seqs_dataset.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_squad_w_distillation.py │ │ │ │ │ ├── scripts/ │ │ │ │ │ │ ├── binarized_data.py │ │ │ │ │ │ ├── extract.py │ │ │ │ │ │ ├── extract_distilbert.py │ │ │ │ │ │ └── token_counts.py │ │ │ │ │ ├── train.py │ │ │ │ │ ├── training_configs/ │ │ │ │ │ │ ├── distilbert-base-cased.json │ │ │ │ │ │ ├── distilbert-base-multilingual-cased.json │ │ │ │ │ │ ├── distilbert-base-uncased.json │ │ │ │ │ │ ├── distilgpt2.json │ │ │ │ │ │ └── distilroberta-base.json │ │ │ │ │ └── utils.py │ │ │ │ ├── fsner/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── pyproject.toml │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── setup.py │ │ │ │ │ └── src/ │ │ │ │ │ └── fsner/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── model.py │ │ │ │ │ └── tokenizer_utils.py │ │ │ │ ├── information-gain-filtration/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── igf/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── igf.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_clm_igf.py │ │ │ │ ├── jax-projects/ │ │ │ │ │ ├── HOW_TO_PROPOSE_PROJECT.md │ │ │ │ │ ├── README.md │ │ │ │ │ ├── big_bird/ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── bigbird_flax.py │ │ │ │ │ │ ├── evaluate.py │ │ │ │ │ │ ├── prepare_natural_questions.py │ │ │ │ │ │ ├── requirements.txt │ │ │ │ │ │ ├── sweep_flax.yaml │ │ │ │ │ │ └── train.py │ │ │ │ │ ├── dataset-streaming/ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ └── run_mlm_flax_stream.py │ │ │ │ │ ├── hybrid_clip/ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── configuration_hybrid_clip.py │ │ │ │ │ │ ├── modeling_hybrid_clip.py │ │ │ │ │ │ ├── requirements.txt │ │ │ │ │ │ └── run_hybrid_clip.py │ │ │ │ │ ├── model_parallel/ │ │ │ │ │ │ ├── README.md │ │ │ │ │ │ ├── partitions.py │ │ │ │ │ │ └── run_clm_mp.py │ │ │ │ │ └── wav2vec2/ │ │ │ │ │ ├── README.md │ │ │ │ │ └── run_wav2vec2_pretrain_flax.py │ │ │ │ ├── layoutlmv3/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_funsd_cord.py │ │ │ │ ├── longform-qa/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── eli5_app.py │ │ │ │ │ ├── eli5_utils.py │ │ │ │ │ └── requirements.txt │ │ │ │ ├── luke/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── luke_utils.py │ │ │ │ │ └── run_luke_ner_no_trainer.py │ │ │ │ ├── lxmert/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── demo.ipynb │ │ │ │ │ ├── extracting_data.py │ │ │ │ │ ├── modeling_frcnn.py │ │ │ │ │ ├── processing_image.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── utils.py │ │ │ │ │ └── visualizing_image.py │ │ │ │ ├── mlm_wwm/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_chinese_ref.py │ │ │ │ │ └── run_mlm_wwm.py │ │ │ │ ├── mm-imdb/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── run_mmimdb.py │ │ │ │ │ └── utils_mmimdb.py │ │ │ │ ├── movement-pruning/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── Saving_PruneBERT.ipynb │ │ │ │ │ ├── bertarize.py │ │ │ │ │ ├── counts_parameters.py │ │ │ │ │ ├── emmental/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_bert_masked.py │ │ │ │ │ │ ├── modeling_bert_masked.py │ │ │ │ │ │ └── modules/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── binarizer.py │ │ │ │ │ │ └── masked_nn.py │ │ │ │ │ ├── masked_run_glue.py │ │ │ │ │ ├── masked_run_squad.py │ │ │ │ │ └── requirements.txt │ │ │ │ ├── onnx/ │ │ │ │ │ └── summarization/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── bart_onnx/ │ │ │ │ │ │ ├── generation_onnx.py │ │ │ │ │ │ └── reduce_onnx_size.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_onnx_exporter.py │ │ │ │ ├── performer/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── full_script.sh │ │ │ │ │ ├── modeling_flax_performer.py │ │ │ │ │ ├── modeling_flax_performer_utils.py │ │ │ │ │ ├── run_mlm_performer.py │ │ │ │ │ └── sanity_script.sh │ │ │ │ ├── pplm/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── pplm_classification_head.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_pplm.py │ │ │ │ │ └── run_pplm_discrim_train.py │ │ │ │ ├── quantization-qdqbert/ │ │ │ │ │ ├── Dockerfile │ │ │ │ │ ├── README.md │ │ │ │ │ ├── evaluate-hf-trt-qa.py │ │ │ │ │ ├── ort-infer-benchmark.py │ │ │ │ │ ├── quant_trainer.py │ │ │ │ │ ├── run_quant_qa.py │ │ │ │ │ ├── trainer_quant_qa.py │ │ │ │ │ └── utils_qa.py │ │ │ │ ├── rag/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── _test_finetune_rag.py │ │ │ │ │ ├── callbacks_rag.py │ │ │ │ │ ├── consolidate_rag_checkpoint.py │ │ │ │ │ ├── distributed_pytorch_retriever.py │ │ │ │ │ ├── distributed_ray_retriever.py │ │ │ │ │ ├── eval_rag.py │ │ │ │ │ ├── finetune_rag.py │ │ │ │ │ ├── finetune_rag.sh │ │ │ │ │ ├── finetune_rag_ray.sh │ │ │ │ │ ├── lightning_base.py │ │ │ │ │ ├── parse_dpr_relevance_data.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── test_data/ │ │ │ │ │ │ └── my_knowledge_dataset.csv │ │ │ │ │ ├── test_distributed_retriever.py │ │ │ │ │ ├── use_own_knowledge_dataset.py │ │ │ │ │ └── utils_rag.py │ │ │ │ ├── rag-end2end-retriever/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── callbacks_rag.py │ │ │ │ │ ├── distributed_ray_retriever.py │ │ │ │ │ ├── eval_rag.py │ │ │ │ │ ├── finetune_rag.py │ │ │ │ │ ├── finetune_rag_ray_end2end.sh │ │ │ │ │ ├── kb_encode_utils.py │ │ │ │ │ ├── lightning_base.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── test_run/ │ │ │ │ │ │ ├── dummy-kb/ │ │ │ │ │ │ │ └── my_knowledge_dataset.csv │ │ │ │ │ │ ├── dummy-train-data/ │ │ │ │ │ │ │ ├── test.source │ │ │ │ │ │ │ ├── test.target │ │ │ │ │ │ │ ├── train.source │ │ │ │ │ │ │ ├── train.target │ │ │ │ │ │ │ ├── val.source │ │ │ │ │ │ │ └── val.target │ │ │ │ │ │ ├── test_finetune.sh │ │ │ │ │ │ └── test_rag_new_features.sh │ │ │ │ │ ├── use_own_knowledge_dataset.py │ │ │ │ │ └── utils_rag.py │ │ │ │ ├── robust-speech-event/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── eval.py │ │ │ │ │ ├── run_speech_recognition_ctc_bnb.py │ │ │ │ │ └── run_speech_recognition_ctc_streaming.py │ │ │ │ ├── self-training-text-classification/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── finetuning.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run.sh │ │ │ │ │ └── selftraining.py │ │ │ │ ├── seq2seq-distillation/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── _test_bash_script.py │ │ │ │ │ ├── _test_make_student.py │ │ │ │ │ ├── _test_seq2seq_examples.py │ │ │ │ │ ├── _test_seq2seq_examples_multi_gpu.py │ │ │ │ │ ├── callbacks.py │ │ │ │ │ ├── convert_pl_checkpoint_to_hf.py │ │ │ │ │ ├── distil_marian_enro_teacher.sh │ │ │ │ │ ├── distil_marian_no_teacher.sh │ │ │ │ │ ├── distillation.py │ │ │ │ │ ├── dynamic_bs_example.sh │ │ │ │ │ ├── finetune.py │ │ │ │ │ ├── finetune.sh │ │ │ │ │ ├── finetune_bart_tiny.sh │ │ │ │ │ ├── finetune_pegasus_xsum.sh │ │ │ │ │ ├── finetune_t5.sh │ │ │ │ │ ├── lightning_base.py │ │ │ │ │ ├── make_student.py │ │ │ │ │ ├── precomputed_pseudo_labels.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_eval.py │ │ │ │ │ ├── sentence_splitter.py │ │ │ │ │ ├── train_distilbart_cnn.sh │ │ │ │ │ ├── train_distilbart_xsum.sh │ │ │ │ │ ├── train_mbart_cc25_enro.sh │ │ │ │ │ └── utils.py │ │ │ │ ├── tapex/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_tabfact_with_tapex.py │ │ │ │ │ ├── run_wikisql_with_tapex.py │ │ │ │ │ ├── run_wikitablequestions_with_tapex.py │ │ │ │ │ └── wikisql_utils.py │ │ │ │ ├── token-healing/ │ │ │ │ │ ├── README.md │ │ │ │ │ └── run_token_healing.py │ │ │ │ ├── visual_bert/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── demo.ipynb │ │ │ │ │ ├── extracting_data.py │ │ │ │ │ ├── modeling_frcnn.py │ │ │ │ │ ├── processing_image.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── utils.py │ │ │ │ │ └── visualizing_image.py │ │ │ │ ├── vqgan-clip/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── VQGAN_CLIP.py │ │ │ │ │ ├── img_processing.py │ │ │ │ │ ├── loaders.py │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── utils.py │ │ │ │ ├── wav2vec2/ │ │ │ │ │ ├── FINE_TUNE_XLSR_WAV2VEC2.md │ │ │ │ │ ├── README.md │ │ │ │ │ ├── alignment.py │ │ │ │ │ ├── ds_config_wav2vec2_zero2.json │ │ │ │ │ ├── ds_config_wav2vec2_zero3.json │ │ │ │ │ ├── finetune_base_100.sh │ │ │ │ │ ├── finetune_base_timit_asr.sh │ │ │ │ │ ├── finetune_large_lv60_100.sh │ │ │ │ │ ├── finetune_large_lv60_timit_asr.sh │ │ │ │ │ ├── finetune_large_xlsr_53_arabic_speech_corpus.sh │ │ │ │ │ ├── finetune_wav2vec2_xlsr_turkish.sh │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_alignment.sh │ │ │ │ │ ├── run_asr.py │ │ │ │ │ ├── run_common_voice.py │ │ │ │ │ ├── run_pretrain.py │ │ │ │ │ ├── test_wav2vec2_deepspeed.py │ │ │ │ │ └── vocab/ │ │ │ │ │ └── buckwalter.json │ │ │ │ ├── xtreme-s/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── requirements.txt │ │ │ │ │ └── run_xtreme_s.py │ │ │ │ └── zero-shot-distillation/ │ │ │ │ ├── README.md │ │ │ │ └── distill_classifier.py │ │ │ ├── run_on_remote.py │ │ │ └── tensorflow/ │ │ │ ├── README.md │ │ │ ├── _tests_requirements.txt │ │ │ ├── benchmarking/ │ │ │ │ ├── README.md │ │ │ │ ├── plot_csv_file.py │ │ │ │ ├── requirements.txt │ │ │ │ └── run_benchmark_tf.py │ │ │ ├── contrastive-image-text/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ └── run_clip.py │ │ │ ├── image-classification/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ └── run_image_classification.py │ │ │ ├── language-modeling/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ ├── run_clm.py │ │ │ │ └── run_mlm.py │ │ │ ├── language-modeling-tpu/ │ │ │ │ ├── README.md │ │ │ │ ├── prepare_tfrecord_shards.py │ │ │ │ ├── requirements.txt │ │ │ │ ├── run_mlm.py │ │ │ │ └── train_unigram.py │ │ │ ├── multiple-choice/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ └── run_swag.py │ │ │ ├── question-answering/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ ├── run_qa.py │ │ │ │ └── utils_qa.py │ │ │ ├── summarization/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ └── run_summarization.py │ │ │ ├── test_tensorflow_examples.py │ │ │ ├── text-classification/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ ├── run_glue.py │ │ │ │ └── run_text_classification.py │ │ │ ├── token-classification/ │ │ │ │ ├── README.md │ │ │ │ ├── requirements.txt │ │ │ │ └── run_ner.py │ │ │ └── translation/ │ │ │ ├── README.md │ │ │ ├── requirements.txt │ │ │ └── run_translation.py │ │ ├── hubconf.py │ │ ├── i18n/ │ │ │ ├── README_de.md │ │ │ ├── README_es.md │ │ │ ├── README_fr.md │ │ │ ├── README_hd.md │ │ │ ├── README_ja.md │ │ │ ├── README_ko.md │ │ │ ├── README_pt-br.md │ │ │ ├── README_ru.md │ │ │ ├── README_te.md │ │ │ ├── README_vi.md │ │ │ ├── README_zh-hans.md │ │ │ └── README_zh-hant.md │ │ ├── model_cards/ │ │ │ └── README.md │ │ ├── notebooks/ │ │ │ └── README.md │ │ ├── pyproject.toml │ │ ├── scripts/ │ │ │ ├── benchmark/ │ │ │ │ └── trainer-benchmark.py │ │ │ ├── check_tokenizers.py │ │ │ ├── distributed/ │ │ │ │ └── torch-distributed-gpu-test.py │ │ │ ├── fsmt/ │ │ │ │ ├── convert-allenai-wmt16.sh │ │ │ │ ├── convert-allenai-wmt19.sh │ │ │ │ ├── convert-facebook-wmt19.sh │ │ │ │ ├── eval-allenai-wmt16.sh │ │ │ │ ├── eval-allenai-wmt19.sh │ │ │ │ ├── eval-facebook-wmt19.sh │ │ │ │ ├── fsmt-make-super-tiny-model.py │ │ │ │ ├── fsmt-make-tiny-model.py │ │ │ │ ├── gen-card-allenai-wmt16.py │ │ │ │ ├── gen-card-allenai-wmt19.py │ │ │ │ ├── gen-card-facebook-wmt19.py │ │ │ │ ├── s3-move.sh │ │ │ │ └── tests-to-run.sh │ │ │ ├── pegasus/ │ │ │ │ └── build_test_sample_spm_no_bos.py │ │ │ ├── stale.py │ │ │ └── tatoeba/ │ │ │ ├── README.md │ │ │ └── upload_models.sh │ │ ├── setup.py │ │ ├── src/ │ │ │ └── transformers/ │ │ │ ├── __init__.py │ │ │ ├── activations.py │ │ │ ├── activations_tf.py │ │ │ ├── agents/ │ │ │ │ ├── __init__.py │ │ │ │ ├── agent_types.py │ │ │ │ ├── agents.py │ │ │ │ ├── default_tools.py │ │ │ │ ├── document_question_answering.py │ │ │ │ ├── evaluate_agent.py │ │ │ │ ├── image_question_answering.py │ │ │ │ ├── llm_engine.py │ │ │ │ ├── monitoring.py │ │ │ │ ├── prompts.py │ │ │ │ ├── python_interpreter.py │ │ │ │ ├── speech_to_text.py │ │ │ │ ├── text_to_speech.py │ │ │ │ ├── tools.py │ │ │ │ └── translation.py │ │ │ ├── audio_utils.py │ │ │ ├── benchmark/ │ │ │ │ ├── __init__.py │ │ │ │ ├── benchmark.py │ │ │ │ ├── benchmark_args.py │ │ │ │ ├── benchmark_args_tf.py │ │ │ │ ├── benchmark_args_utils.py │ │ │ │ ├── benchmark_tf.py │ │ │ │ └── benchmark_utils.py │ │ │ ├── cache_utils.py │ │ │ ├── commands/ │ │ │ │ ├── __init__.py │ │ │ │ ├── add_new_model_like.py │ │ │ │ ├── convert.py │ │ │ │ ├── download.py │ │ │ │ ├── env.py │ │ │ │ ├── lfs.py │ │ │ │ ├── pt_to_tf.py │ │ │ │ ├── run.py │ │ │ │ ├── serving.py │ │ │ │ ├── train.py │ │ │ │ ├── transformers_cli.py │ │ │ │ └── user.py │ │ │ ├── configuration_utils.py │ │ │ ├── convert_graph_to_onnx.py │ │ │ ├── convert_pytorch_checkpoint_to_tf2.py │ │ │ ├── convert_slow_tokenizer.py │ │ │ ├── convert_slow_tokenizers_checkpoints_to_fast.py │ │ │ ├── convert_tf_hub_seq_to_seq_bert_to_pytorch.py │ │ │ ├── data/ │ │ │ │ ├── __init__.py │ │ │ │ ├── data_collator.py │ │ │ │ ├── datasets/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── glue.py │ │ │ │ │ ├── language_modeling.py │ │ │ │ │ └── squad.py │ │ │ │ ├── metrics/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── squad_metrics.py │ │ │ │ └── processors/ │ │ │ │ ├── __init__.py │ │ │ │ ├── glue.py │ │ │ │ ├── squad.py │ │ │ │ ├── utils.py │ │ │ │ └── xnli.py │ │ │ ├── debug_utils.py │ │ │ ├── deepspeed.py │ │ │ ├── dependency_versions_check.py │ │ │ ├── dependency_versions_table.py │ │ │ ├── dynamic_module_utils.py │ │ │ ├── feature_extraction_sequence_utils.py │ │ │ ├── feature_extraction_utils.py │ │ │ ├── file_utils.py │ │ │ ├── generation/ │ │ │ │ ├── __init__.py │ │ │ │ ├── beam_constraints.py │ │ │ │ ├── beam_search.py │ │ │ │ ├── candidate_generator.py │ │ │ │ ├── configuration_utils.py │ │ │ │ ├── flax_logits_process.py │ │ │ │ ├── flax_utils.py │ │ │ │ ├── logits_process.py │ │ │ │ ├── stopping_criteria.py │ │ │ │ ├── streamers.py │ │ │ │ ├── tf_logits_process.py │ │ │ │ ├── tf_utils.py │ │ │ │ ├── utils.py │ │ │ │ └── watermarking.py │ │ │ ├── hf_argparser.py │ │ │ ├── hyperparameter_search.py │ │ │ ├── image_processing_base.py │ │ │ ├── image_processing_utils.py │ │ │ ├── image_processing_utils_fast.py │ │ │ ├── image_transforms.py │ │ │ ├── image_utils.py │ │ │ ├── integrations/ │ │ │ │ ├── __init__.py │ │ │ │ ├── aqlm.py │ │ │ │ ├── awq.py │ │ │ │ ├── bitsandbytes.py │ │ │ │ ├── deepspeed.py │ │ │ │ ├── eetq.py │ │ │ │ ├── fbgemm_fp8.py │ │ │ │ ├── ggml.py │ │ │ │ ├── hqq.py │ │ │ │ ├── integration_utils.py │ │ │ │ ├── peft.py │ │ │ │ ├── quanto.py │ │ │ │ └── tpu.py │ │ │ ├── keras_callbacks.py │ │ │ ├── kernels/ │ │ │ │ ├── deformable_detr/ │ │ │ │ │ ├── cpu/ │ │ │ │ │ │ ├── ms_deform_attn_cpu.cpp │ │ │ │ │ │ └── ms_deform_attn_cpu.h │ │ │ │ │ ├── cuda/ │ │ │ │ │ │ ├── ms_deform_attn_cuda.cu │ │ │ │ │ │ ├── ms_deform_attn_cuda.cuh │ │ │ │ │ │ ├── ms_deform_attn_cuda.h │ │ │ │ │ │ └── ms_deform_im2col_cuda.cuh │ │ │ │ │ ├── ms_deform_attn.h │ │ │ │ │ └── vision.cpp │ │ │ │ ├── deta/ │ │ │ │ │ ├── cpu/ │ │ │ │ │ │ ├── ms_deform_attn_cpu.cpp │ │ │ │ │ │ └── ms_deform_attn_cpu.h │ │ │ │ │ ├── cuda/ │ │ │ │ │ │ ├── ms_deform_attn_cuda.cu │ │ │ │ │ │ ├── ms_deform_attn_cuda.cuh │ │ │ │ │ │ ├── ms_deform_attn_cuda.h │ │ │ │ │ │ └── ms_deform_im2col_cuda.cuh │ │ │ │ │ ├── ms_deform_attn.h │ │ │ │ │ └── vision.cpp │ │ │ │ ├── mra/ │ │ │ │ │ ├── cuda_kernel.cu │ │ │ │ │ ├── cuda_kernel.h │ │ │ │ │ ├── cuda_launch.cu │ │ │ │ │ ├── cuda_launch.h │ │ │ │ │ └── torch_extension.cpp │ │ │ │ ├── rwkv/ │ │ │ │ │ ├── wkv_cuda.cu │ │ │ │ │ ├── wkv_cuda_bf16.cu │ │ │ │ │ └── wkv_op.cpp │ │ │ │ └── yoso/ │ │ │ │ ├── common.h │ │ │ │ ├── common_cuda.h │ │ │ │ ├── common_cuda_device.h │ │ │ │ ├── fast_lsh_cumulation.cu │ │ │ │ ├── fast_lsh_cumulation.h │ │ │ │ ├── fast_lsh_cumulation_cuda.cu │ │ │ │ ├── fast_lsh_cumulation_cuda.h │ │ │ │ └── fast_lsh_cumulation_torch.cpp │ │ │ ├── modelcard.py │ │ │ ├── modeling_attn_mask_utils.py │ │ │ ├── modeling_flash_attention_utils.py │ │ │ ├── modeling_flax_outputs.py │ │ │ ├── modeling_flax_pytorch_utils.py │ │ │ ├── modeling_flax_utils.py │ │ │ ├── modeling_gguf_pytorch_utils.py │ │ │ ├── modeling_outputs.py │ │ │ ├── modeling_rope_utils.py │ │ │ ├── modeling_tf_outputs.py │ │ │ ├── modeling_tf_pytorch_utils.py │ │ │ ├── modeling_tf_utils.py │ │ │ ├── modeling_utils.py │ │ │ ├── models/ │ │ │ │ ├── __init__.py │ │ │ │ ├── albert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_albert.py │ │ │ │ │ ├── convert_albert_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_albert.py │ │ │ │ │ ├── modeling_flax_albert.py │ │ │ │ │ ├── modeling_tf_albert.py │ │ │ │ │ ├── tokenization_albert.py │ │ │ │ │ └── tokenization_albert_fast.py │ │ │ │ ├── align/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_align.py │ │ │ │ │ ├── convert_align_tf_to_hf.py │ │ │ │ │ ├── modeling_align.py │ │ │ │ │ └── processing_align.py │ │ │ │ ├── altclip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_altclip.py │ │ │ │ │ ├── modeling_altclip.py │ │ │ │ │ └── processing_altclip.py │ │ │ │ ├── audio_spectrogram_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_audio_spectrogram_transformer.py │ │ │ │ │ ├── convert_audio_spectrogram_transformer_original_to_pytorch.py │ │ │ │ │ ├── feature_extraction_audio_spectrogram_transformer.py │ │ │ │ │ └── modeling_audio_spectrogram_transformer.py │ │ │ │ ├── auto/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── auto_factory.py │ │ │ │ │ ├── configuration_auto.py │ │ │ │ │ ├── feature_extraction_auto.py │ │ │ │ │ ├── image_processing_auto.py │ │ │ │ │ ├── modeling_auto.py │ │ │ │ │ ├── modeling_flax_auto.py │ │ │ │ │ ├── modeling_tf_auto.py │ │ │ │ │ ├── processing_auto.py │ │ │ │ │ └── tokenization_auto.py │ │ │ │ ├── autoformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_autoformer.py │ │ │ │ │ └── modeling_autoformer.py │ │ │ │ ├── bark/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bark.py │ │ │ │ │ ├── convert_suno_to_hf.py │ │ │ │ │ ├── generation_configuration_bark.py │ │ │ │ │ ├── modeling_bark.py │ │ │ │ │ └── processing_bark.py │ │ │ │ ├── bart/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bart.py │ │ │ │ │ ├── convert_bart_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_bart.py │ │ │ │ │ ├── modeling_flax_bart.py │ │ │ │ │ ├── modeling_tf_bart.py │ │ │ │ │ ├── tokenization_bart.py │ │ │ │ │ └── tokenization_bart_fast.py │ │ │ │ ├── barthez/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── tokenization_barthez.py │ │ │ │ │ └── tokenization_barthez_fast.py │ │ │ │ ├── bartpho/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── tokenization_bartpho.py │ │ │ │ ├── beit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_beit.py │ │ │ │ │ ├── convert_beit_unilm_to_pytorch.py │ │ │ │ │ ├── feature_extraction_beit.py │ │ │ │ │ ├── image_processing_beit.py │ │ │ │ │ ├── modeling_beit.py │ │ │ │ │ └── modeling_flax_beit.py │ │ │ │ ├── bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bert.py │ │ │ │ │ ├── convert_bert_original_tf2_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_bert_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_bert_pytorch_checkpoint_to_original_tf.py │ │ │ │ │ ├── convert_bert_token_dropping_original_tf2_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_bert.py │ │ │ │ │ ├── modeling_flax_bert.py │ │ │ │ │ ├── modeling_tf_bert.py │ │ │ │ │ ├── tokenization_bert.py │ │ │ │ │ ├── tokenization_bert_fast.py │ │ │ │ │ └── tokenization_bert_tf.py │ │ │ │ ├── bert_generation/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bert_generation.py │ │ │ │ │ ├── modeling_bert_generation.py │ │ │ │ │ └── tokenization_bert_generation.py │ │ │ │ ├── bert_japanese/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── tokenization_bert_japanese.py │ │ │ │ ├── bertweet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── tokenization_bertweet.py │ │ │ │ ├── big_bird/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_big_bird.py │ │ │ │ │ ├── convert_bigbird_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_big_bird.py │ │ │ │ │ ├── modeling_flax_big_bird.py │ │ │ │ │ ├── tokenization_big_bird.py │ │ │ │ │ └── tokenization_big_bird_fast.py │ │ │ │ ├── bigbird_pegasus/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bigbird_pegasus.py │ │ │ │ │ ├── convert_bigbird_pegasus_tf_to_pytorch.py │ │ │ │ │ └── modeling_bigbird_pegasus.py │ │ │ │ ├── biogpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_biogpt.py │ │ │ │ │ ├── convert_biogpt_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_biogpt.py │ │ │ │ │ └── tokenization_biogpt.py │ │ │ │ ├── bit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bit.py │ │ │ │ │ ├── convert_bit_to_pytorch.py │ │ │ │ │ ├── image_processing_bit.py │ │ │ │ │ └── modeling_bit.py │ │ │ │ ├── blenderbot/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_blenderbot.py │ │ │ │ │ ├── convert_blenderbot_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_blenderbot.py │ │ │ │ │ ├── modeling_flax_blenderbot.py │ │ │ │ │ ├── modeling_tf_blenderbot.py │ │ │ │ │ ├── tokenization_blenderbot.py │ │ │ │ │ └── tokenization_blenderbot_fast.py │ │ │ │ ├── blenderbot_small/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_blenderbot_small.py │ │ │ │ │ ├── modeling_blenderbot_small.py │ │ │ │ │ ├── modeling_flax_blenderbot_small.py │ │ │ │ │ ├── modeling_tf_blenderbot_small.py │ │ │ │ │ ├── tokenization_blenderbot_small.py │ │ │ │ │ └── tokenization_blenderbot_small_fast.py │ │ │ │ ├── blip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_blip.py │ │ │ │ │ ├── convert_blip_original_pytorch_to_hf.py │ │ │ │ │ ├── image_processing_blip.py │ │ │ │ │ ├── modeling_blip.py │ │ │ │ │ ├── modeling_blip_text.py │ │ │ │ │ ├── modeling_tf_blip.py │ │ │ │ │ ├── modeling_tf_blip_text.py │ │ │ │ │ └── processing_blip.py │ │ │ │ ├── blip_2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_blip_2.py │ │ │ │ │ ├── convert_blip_2_original_to_pytorch.py │ │ │ │ │ ├── modeling_blip_2.py │ │ │ │ │ └── processing_blip_2.py │ │ │ │ ├── bloom/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bloom.py │ │ │ │ │ ├── convert_bloom_original_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_bloom.py │ │ │ │ │ ├── modeling_flax_bloom.py │ │ │ │ │ └── tokenization_bloom_fast.py │ │ │ │ ├── bridgetower/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bridgetower.py │ │ │ │ │ ├── image_processing_bridgetower.py │ │ │ │ │ ├── modeling_bridgetower.py │ │ │ │ │ └── processing_bridgetower.py │ │ │ │ ├── bros/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_bros.py │ │ │ │ │ ├── convert_bros_to_pytorch.py │ │ │ │ │ ├── modeling_bros.py │ │ │ │ │ └── processing_bros.py │ │ │ │ ├── byt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── convert_byt5_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ └── tokenization_byt5.py │ │ │ │ ├── camembert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_camembert.py │ │ │ │ │ ├── modeling_camembert.py │ │ │ │ │ ├── modeling_tf_camembert.py │ │ │ │ │ ├── tokenization_camembert.py │ │ │ │ │ └── tokenization_camembert_fast.py │ │ │ │ ├── canine/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_canine.py │ │ │ │ │ ├── convert_canine_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_canine.py │ │ │ │ │ └── tokenization_canine.py │ │ │ │ ├── chameleon/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_chameleon.py │ │ │ │ │ ├── convert_chameleon_weights_to_hf.py │ │ │ │ │ ├── image_processing_chameleon.py │ │ │ │ │ ├── modeling_chameleon.py │ │ │ │ │ └── processing_chameleon.py │ │ │ │ ├── chinese_clip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_chinese_clip.py │ │ │ │ │ ├── convert_chinese_clip_original_pytorch_to_hf.py │ │ │ │ │ ├── feature_extraction_chinese_clip.py │ │ │ │ │ ├── image_processing_chinese_clip.py │ │ │ │ │ ├── modeling_chinese_clip.py │ │ │ │ │ └── processing_chinese_clip.py │ │ │ │ ├── clap/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_clap.py │ │ │ │ │ ├── convert_clap_original_pytorch_to_hf.py │ │ │ │ │ ├── feature_extraction_clap.py │ │ │ │ │ ├── modeling_clap.py │ │ │ │ │ └── processing_clap.py │ │ │ │ ├── clip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_clip.py │ │ │ │ │ ├── convert_clip_original_pytorch_to_hf.py │ │ │ │ │ ├── feature_extraction_clip.py │ │ │ │ │ ├── image_processing_clip.py │ │ │ │ │ ├── modeling_clip.py │ │ │ │ │ ├── modeling_flax_clip.py │ │ │ │ │ ├── modeling_tf_clip.py │ │ │ │ │ ├── processing_clip.py │ │ │ │ │ ├── tokenization_clip.py │ │ │ │ │ └── tokenization_clip_fast.py │ │ │ │ ├── clipseg/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_clipseg.py │ │ │ │ │ ├── convert_clipseg_original_pytorch_to_hf.py │ │ │ │ │ ├── modeling_clipseg.py │ │ │ │ │ └── processing_clipseg.py │ │ │ │ ├── clvp/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_clvp.py │ │ │ │ │ ├── convert_clvp_to_hf.py │ │ │ │ │ ├── feature_extraction_clvp.py │ │ │ │ │ ├── modeling_clvp.py │ │ │ │ │ ├── number_normalizer.py │ │ │ │ │ ├── processing_clvp.py │ │ │ │ │ └── tokenization_clvp.py │ │ │ │ ├── code_llama/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── tokenization_code_llama.py │ │ │ │ │ └── tokenization_code_llama_fast.py │ │ │ │ ├── codegen/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_codegen.py │ │ │ │ │ ├── modeling_codegen.py │ │ │ │ │ ├── tokenization_codegen.py │ │ │ │ │ └── tokenization_codegen_fast.py │ │ │ │ ├── cohere/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_cohere.py │ │ │ │ │ ├── modeling_cohere.py │ │ │ │ │ └── tokenization_cohere_fast.py │ │ │ │ ├── conditional_detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_conditional_detr.py │ │ │ │ │ ├── convert_conditional_detr_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── feature_extraction_conditional_detr.py │ │ │ │ │ ├── image_processing_conditional_detr.py │ │ │ │ │ └── modeling_conditional_detr.py │ │ │ │ ├── convbert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_convbert.py │ │ │ │ │ ├── convert_convbert_original_tf1_checkpoint_to_pytorch_and_tf2.py │ │ │ │ │ ├── modeling_convbert.py │ │ │ │ │ ├── modeling_tf_convbert.py │ │ │ │ │ ├── tokenization_convbert.py │ │ │ │ │ └── tokenization_convbert_fast.py │ │ │ │ ├── convnext/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_convnext.py │ │ │ │ │ ├── convert_convnext_to_pytorch.py │ │ │ │ │ ├── feature_extraction_convnext.py │ │ │ │ │ ├── image_processing_convnext.py │ │ │ │ │ ├── modeling_convnext.py │ │ │ │ │ └── modeling_tf_convnext.py │ │ │ │ ├── convnextv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_convnextv2.py │ │ │ │ │ ├── convert_convnextv2_to_pytorch.py │ │ │ │ │ ├── modeling_convnextv2.py │ │ │ │ │ └── modeling_tf_convnextv2.py │ │ │ │ ├── cpm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── tokenization_cpm.py │ │ │ │ │ └── tokenization_cpm_fast.py │ │ │ │ ├── cpmant/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_cpmant.py │ │ │ │ │ ├── modeling_cpmant.py │ │ │ │ │ └── tokenization_cpmant.py │ │ │ │ ├── ctrl/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_ctrl.py │ │ │ │ │ ├── modeling_ctrl.py │ │ │ │ │ ├── modeling_tf_ctrl.py │ │ │ │ │ └── tokenization_ctrl.py │ │ │ │ ├── cvt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_cvt.py │ │ │ │ │ ├── convert_cvt_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_cvt.py │ │ │ │ │ └── modeling_tf_cvt.py │ │ │ │ ├── dac/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_dac.py │ │ │ │ │ ├── convert_dac_checkpoint.py │ │ │ │ │ ├── feature_extraction_dac.py │ │ │ │ │ └── modeling_dac.py │ │ │ │ ├── data2vec/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_data2vec_audio.py │ │ │ │ │ ├── configuration_data2vec_text.py │ │ │ │ │ ├── configuration_data2vec_vision.py │ │ │ │ │ ├── convert_data2vec_audio_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_data2vec_text_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_data2vec_vision_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_data2vec_audio.py │ │ │ │ │ ├── modeling_data2vec_text.py │ │ │ │ │ ├── modeling_data2vec_vision.py │ │ │ │ │ └── modeling_tf_data2vec_vision.py │ │ │ │ ├── dbrx/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_dbrx.py │ │ │ │ │ └── modeling_dbrx.py │ │ │ │ ├── deberta/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_deberta.py │ │ │ │ │ ├── modeling_deberta.py │ │ │ │ │ ├── modeling_tf_deberta.py │ │ │ │ │ ├── tokenization_deberta.py │ │ │ │ │ └── tokenization_deberta_fast.py │ │ │ │ ├── deberta_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_deberta_v2.py │ │ │ │ │ ├── modeling_deberta_v2.py │ │ │ │ │ ├── modeling_tf_deberta_v2.py │ │ │ │ │ ├── tokenization_deberta_v2.py │ │ │ │ │ └── tokenization_deberta_v2_fast.py │ │ │ │ ├── decision_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_decision_transformer.py │ │ │ │ │ └── modeling_decision_transformer.py │ │ │ │ ├── deformable_detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_deformable_detr.py │ │ │ │ │ ├── convert_deformable_detr_to_pytorch.py │ │ │ │ │ ├── feature_extraction_deformable_detr.py │ │ │ │ │ ├── image_processing_deformable_detr.py │ │ │ │ │ ├── load_custom.py │ │ │ │ │ └── modeling_deformable_detr.py │ │ │ │ ├── deit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_deit.py │ │ │ │ │ ├── convert_deit_timm_to_pytorch.py │ │ │ │ │ ├── feature_extraction_deit.py │ │ │ │ │ ├── image_processing_deit.py │ │ │ │ │ ├── modeling_deit.py │ │ │ │ │ └── modeling_tf_deit.py │ │ │ │ ├── deprecated/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── bort/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── convert_bort_original_gluonnlp_checkpoint_to_pytorch.py │ │ │ │ │ ├── deta/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_deta.py │ │ │ │ │ │ ├── convert_deta_resnet_to_pytorch.py │ │ │ │ │ │ ├── convert_deta_swin_to_pytorch.py │ │ │ │ │ │ ├── image_processing_deta.py │ │ │ │ │ │ └── modeling_deta.py │ │ │ │ │ ├── efficientformer/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_efficientformer.py │ │ │ │ │ │ ├── convert_efficientformer_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ │ ├── image_processing_efficientformer.py │ │ │ │ │ │ ├── modeling_efficientformer.py │ │ │ │ │ │ └── modeling_tf_efficientformer.py │ │ │ │ │ ├── ernie_m/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_ernie_m.py │ │ │ │ │ │ ├── modeling_ernie_m.py │ │ │ │ │ │ └── tokenization_ernie_m.py │ │ │ │ │ ├── gptsan_japanese/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_gptsan_japanese.py │ │ │ │ │ │ ├── convert_gptsan_tf_checkpoint_to_pytorch.py │ │ │ │ │ │ ├── modeling_gptsan_japanese.py │ │ │ │ │ │ └── tokenization_gptsan_japanese.py │ │ │ │ │ ├── graphormer/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── algos_graphormer.pyx │ │ │ │ │ │ ├── collating_graphormer.py │ │ │ │ │ │ ├── configuration_graphormer.py │ │ │ │ │ │ └── modeling_graphormer.py │ │ │ │ │ ├── jukebox/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_jukebox.py │ │ │ │ │ │ ├── convert_jukebox.py │ │ │ │ │ │ ├── modeling_jukebox.py │ │ │ │ │ │ └── tokenization_jukebox.py │ │ │ │ │ ├── mctct/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_mctct.py │ │ │ │ │ │ ├── feature_extraction_mctct.py │ │ │ │ │ │ ├── modeling_mctct.py │ │ │ │ │ │ └── processing_mctct.py │ │ │ │ │ ├── mega/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_mega.py │ │ │ │ │ │ ├── convert_mega_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ │ └── modeling_mega.py │ │ │ │ │ ├── mmbt/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_mmbt.py │ │ │ │ │ │ └── modeling_mmbt.py │ │ │ │ │ ├── nat/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_nat.py │ │ │ │ │ │ └── modeling_nat.py │ │ │ │ │ ├── nezha/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_nezha.py │ │ │ │ │ │ └── modeling_nezha.py │ │ │ │ │ ├── open_llama/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_open_llama.py │ │ │ │ │ │ └── modeling_open_llama.py │ │ │ │ │ ├── qdqbert/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_qdqbert.py │ │ │ │ │ │ └── modeling_qdqbert.py │ │ │ │ │ ├── realm/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_realm.py │ │ │ │ │ │ ├── modeling_realm.py │ │ │ │ │ │ ├── retrieval_realm.py │ │ │ │ │ │ ├── tokenization_realm.py │ │ │ │ │ │ └── tokenization_realm_fast.py │ │ │ │ │ ├── retribert/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_retribert.py │ │ │ │ │ │ ├── modeling_retribert.py │ │ │ │ │ │ ├── tokenization_retribert.py │ │ │ │ │ │ └── tokenization_retribert_fast.py │ │ │ │ │ ├── speech_to_text_2/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_speech_to_text_2.py │ │ │ │ │ │ ├── modeling_speech_to_text_2.py │ │ │ │ │ │ ├── processing_speech_to_text_2.py │ │ │ │ │ │ └── tokenization_speech_to_text_2.py │ │ │ │ │ ├── tapex/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── tokenization_tapex.py │ │ │ │ │ ├── trajectory_transformer/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_trajectory_transformer.py │ │ │ │ │ │ ├── convert_trajectory_transformer_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ │ └── modeling_trajectory_transformer.py │ │ │ │ │ ├── transfo_xl/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_transfo_xl.py │ │ │ │ │ │ ├── convert_transfo_xl_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ │ ├── modeling_tf_transfo_xl.py │ │ │ │ │ │ ├── modeling_tf_transfo_xl_utilities.py │ │ │ │ │ │ ├── modeling_transfo_xl.py │ │ │ │ │ │ ├── modeling_transfo_xl_utilities.py │ │ │ │ │ │ └── tokenization_transfo_xl.py │ │ │ │ │ ├── tvlt/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_tvlt.py │ │ │ │ │ │ ├── feature_extraction_tvlt.py │ │ │ │ │ │ ├── image_processing_tvlt.py │ │ │ │ │ │ ├── modeling_tvlt.py │ │ │ │ │ │ └── processing_tvlt.py │ │ │ │ │ ├── van/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_van.py │ │ │ │ │ │ ├── convert_van_to_pytorch.py │ │ │ │ │ │ └── modeling_van.py │ │ │ │ │ ├── vit_hybrid/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── configuration_vit_hybrid.py │ │ │ │ │ │ ├── convert_vit_hybrid_timm_to_pytorch.py │ │ │ │ │ │ ├── image_processing_vit_hybrid.py │ │ │ │ │ │ └── modeling_vit_hybrid.py │ │ │ │ │ └── xlm_prophetnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_xlm_prophetnet.py │ │ │ │ │ ├── modeling_xlm_prophetnet.py │ │ │ │ │ └── tokenization_xlm_prophetnet.py │ │ │ │ ├── depth_anything/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_depth_anything.py │ │ │ │ │ ├── convert_depth_anything_to_hf.py │ │ │ │ │ └── modeling_depth_anything.py │ │ │ │ ├── detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_detr.py │ │ │ │ │ ├── convert_detr_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_detr_to_pytorch.py │ │ │ │ │ ├── feature_extraction_detr.py │ │ │ │ │ ├── image_processing_detr.py │ │ │ │ │ └── modeling_detr.py │ │ │ │ ├── dialogpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── convert_dialogpt_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ ├── dinat/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_dinat.py │ │ │ │ │ └── modeling_dinat.py │ │ │ │ ├── dinov2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_dinov2.py │ │ │ │ │ ├── convert_dinov2_to_hf.py │ │ │ │ │ ├── modeling_dinov2.py │ │ │ │ │ └── modeling_flax_dinov2.py │ │ │ │ ├── distilbert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_distilbert.py │ │ │ │ │ ├── modeling_distilbert.py │ │ │ │ │ ├── modeling_flax_distilbert.py │ │ │ │ │ ├── modeling_tf_distilbert.py │ │ │ │ │ ├── tokenization_distilbert.py │ │ │ │ │ └── tokenization_distilbert_fast.py │ │ │ │ ├── dit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── convert_dit_unilm_to_pytorch.py │ │ │ │ ├── donut/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_donut_swin.py │ │ │ │ │ ├── convert_donut_to_pytorch.py │ │ │ │ │ ├── feature_extraction_donut.py │ │ │ │ │ ├── image_processing_donut.py │ │ │ │ │ ├── modeling_donut_swin.py │ │ │ │ │ └── processing_donut.py │ │ │ │ ├── dpr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_dpr.py │ │ │ │ │ ├── convert_dpr_original_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_dpr.py │ │ │ │ │ ├── modeling_tf_dpr.py │ │ │ │ │ ├── tokenization_dpr.py │ │ │ │ │ └── tokenization_dpr_fast.py │ │ │ │ ├── dpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_dpt.py │ │ │ │ │ ├── convert_dinov2_depth_to_hf.py │ │ │ │ │ ├── convert_dpt_beit_to_hf.py │ │ │ │ │ ├── convert_dpt_hybrid_to_pytorch.py │ │ │ │ │ ├── convert_dpt_swinv2_to_hf.py │ │ │ │ │ ├── convert_dpt_to_pytorch.py │ │ │ │ │ ├── feature_extraction_dpt.py │ │ │ │ │ ├── image_processing_dpt.py │ │ │ │ │ └── modeling_dpt.py │ │ │ │ ├── efficientnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_efficientnet.py │ │ │ │ │ ├── convert_efficientnet_to_pytorch.py │ │ │ │ │ ├── image_processing_efficientnet.py │ │ │ │ │ └── modeling_efficientnet.py │ │ │ │ ├── electra/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_electra.py │ │ │ │ │ ├── convert_electra_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_electra.py │ │ │ │ │ ├── modeling_flax_electra.py │ │ │ │ │ ├── modeling_tf_electra.py │ │ │ │ │ ├── tokenization_electra.py │ │ │ │ │ └── tokenization_electra_fast.py │ │ │ │ ├── encodec/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_encodec.py │ │ │ │ │ ├── convert_encodec_checkpoint_to_pytorch.py │ │ │ │ │ ├── feature_extraction_encodec.py │ │ │ │ │ └── modeling_encodec.py │ │ │ │ ├── encoder_decoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_encoder_decoder.py │ │ │ │ │ ├── modeling_encoder_decoder.py │ │ │ │ │ ├── modeling_flax_encoder_decoder.py │ │ │ │ │ └── modeling_tf_encoder_decoder.py │ │ │ │ ├── ernie/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_ernie.py │ │ │ │ │ └── modeling_ernie.py │ │ │ │ ├── esm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_esm.py │ │ │ │ │ ├── convert_esm.py │ │ │ │ │ ├── modeling_esm.py │ │ │ │ │ ├── modeling_esmfold.py │ │ │ │ │ ├── modeling_tf_esm.py │ │ │ │ │ ├── openfold_utils/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── chunk_utils.py │ │ │ │ │ │ ├── data_transforms.py │ │ │ │ │ │ ├── feats.py │ │ │ │ │ │ ├── loss.py │ │ │ │ │ │ ├── protein.py │ │ │ │ │ │ ├── residue_constants.py │ │ │ │ │ │ ├── rigid_utils.py │ │ │ │ │ │ └── tensor_utils.py │ │ │ │ │ └── tokenization_esm.py │ │ │ │ ├── falcon/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_falcon.py │ │ │ │ │ ├── convert_custom_code_checkpoint.py │ │ │ │ │ └── modeling_falcon.py │ │ │ │ ├── falcon_mamba/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_falcon_mamba.py │ │ │ │ │ └── modeling_falcon_mamba.py │ │ │ │ ├── fastspeech2_conformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_fastspeech2_conformer.py │ │ │ │ │ ├── convert_fastspeech2_conformer_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_hifigan.py │ │ │ │ │ ├── convert_model_with_hifigan.py │ │ │ │ │ ├── modeling_fastspeech2_conformer.py │ │ │ │ │ └── tokenization_fastspeech2_conformer.py │ │ │ │ ├── flaubert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_flaubert.py │ │ │ │ │ ├── modeling_flaubert.py │ │ │ │ │ ├── modeling_tf_flaubert.py │ │ │ │ │ └── tokenization_flaubert.py │ │ │ │ ├── flava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_flava.py │ │ │ │ │ ├── convert_dalle_to_flava_codebook.py │ │ │ │ │ ├── convert_flava_original_pytorch_to_hf.py │ │ │ │ │ ├── feature_extraction_flava.py │ │ │ │ │ ├── image_processing_flava.py │ │ │ │ │ ├── modeling_flava.py │ │ │ │ │ └── processing_flava.py │ │ │ │ ├── fnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_fnet.py │ │ │ │ │ ├── convert_fnet_original_flax_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_fnet.py │ │ │ │ │ ├── tokenization_fnet.py │ │ │ │ │ └── tokenization_fnet_fast.py │ │ │ │ ├── focalnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_focalnet.py │ │ │ │ │ ├── convert_focalnet_to_hf_format.py │ │ │ │ │ └── modeling_focalnet.py │ │ │ │ ├── fsmt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_fsmt.py │ │ │ │ │ ├── convert_fsmt_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_fsmt.py │ │ │ │ │ └── tokenization_fsmt.py │ │ │ │ ├── funnel/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_funnel.py │ │ │ │ │ ├── convert_funnel_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_funnel.py │ │ │ │ │ ├── modeling_tf_funnel.py │ │ │ │ │ ├── tokenization_funnel.py │ │ │ │ │ └── tokenization_funnel_fast.py │ │ │ │ ├── fuyu/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_fuyu.py │ │ │ │ │ ├── convert_fuyu_model_weights_to_hf.py │ │ │ │ │ ├── image_processing_fuyu.py │ │ │ │ │ ├── modeling_fuyu.py │ │ │ │ │ └── processing_fuyu.py │ │ │ │ ├── gemma/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gemma.py │ │ │ │ │ ├── convert_gemma_weights_to_hf.py │ │ │ │ │ ├── diff_gemma.py │ │ │ │ │ ├── modeling_flax_gemma.py │ │ │ │ │ ├── modeling_gemma.py │ │ │ │ │ ├── tokenization_gemma.py │ │ │ │ │ └── tokenization_gemma_fast.py │ │ │ │ ├── gemma2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gemma2.py │ │ │ │ │ ├── convert_gemma2_weights_to_hf.py │ │ │ │ │ ├── diff_gemma2.py │ │ │ │ │ └── modeling_gemma2.py │ │ │ │ ├── git/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_git.py │ │ │ │ │ ├── convert_git_to_pytorch.py │ │ │ │ │ ├── modeling_git.py │ │ │ │ │ └── processing_git.py │ │ │ │ ├── glpn/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_glpn.py │ │ │ │ │ ├── convert_glpn_to_pytorch.py │ │ │ │ │ ├── feature_extraction_glpn.py │ │ │ │ │ ├── image_processing_glpn.py │ │ │ │ │ └── modeling_glpn.py │ │ │ │ ├── gpt2/ │ │ │ │ │ ├── CONVERSION.md │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gpt2.py │ │ │ │ │ ├── convert_gpt2_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_flax_gpt2.py │ │ │ │ │ ├── modeling_gpt2.py │ │ │ │ │ ├── modeling_tf_gpt2.py │ │ │ │ │ ├── tokenization_gpt2.py │ │ │ │ │ ├── tokenization_gpt2_fast.py │ │ │ │ │ └── tokenization_gpt2_tf.py │ │ │ │ ├── gpt_bigcode/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gpt_bigcode.py │ │ │ │ │ └── modeling_gpt_bigcode.py │ │ │ │ ├── gpt_neo/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gpt_neo.py │ │ │ │ │ ├── convert_gpt_neo_mesh_tf_to_pytorch.py │ │ │ │ │ ├── modeling_flax_gpt_neo.py │ │ │ │ │ └── modeling_gpt_neo.py │ │ │ │ ├── gpt_neox/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gpt_neox.py │ │ │ │ │ ├── modeling_gpt_neox.py │ │ │ │ │ └── tokenization_gpt_neox_fast.py │ │ │ │ ├── gpt_neox_japanese/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gpt_neox_japanese.py │ │ │ │ │ ├── modeling_gpt_neox_japanese.py │ │ │ │ │ └── tokenization_gpt_neox_japanese.py │ │ │ │ ├── gpt_sw3/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── convert_megatron_to_pytorch.py │ │ │ │ │ └── tokenization_gpt_sw3.py │ │ │ │ ├── gptj/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_gptj.py │ │ │ │ │ ├── modeling_flax_gptj.py │ │ │ │ │ ├── modeling_gptj.py │ │ │ │ │ └── modeling_tf_gptj.py │ │ │ │ ├── grounding_dino/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_grounding_dino.py │ │ │ │ │ ├── convert_grounding_dino_to_hf.py │ │ │ │ │ ├── image_processing_grounding_dino.py │ │ │ │ │ ├── modeling_grounding_dino.py │ │ │ │ │ └── processing_grounding_dino.py │ │ │ │ ├── groupvit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_groupvit.py │ │ │ │ │ ├── convert_groupvit_nvlab_to_hf.py │ │ │ │ │ ├── modeling_groupvit.py │ │ │ │ │ └── modeling_tf_groupvit.py │ │ │ │ ├── herbert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── tokenization_herbert.py │ │ │ │ │ └── tokenization_herbert_fast.py │ │ │ │ ├── hiera/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_hiera.py │ │ │ │ │ ├── convert_hiera_to_hf.py │ │ │ │ │ └── modeling_hiera.py │ │ │ │ ├── hubert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_hubert.py │ │ │ │ │ ├── convert_distilhubert_original_s3prl_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_hubert_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_hubert_original_s3prl_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_hubert.py │ │ │ │ │ └── modeling_tf_hubert.py │ │ │ │ ├── ibert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_ibert.py │ │ │ │ │ ├── modeling_ibert.py │ │ │ │ │ └── quant_modules.py │ │ │ │ ├── idefics/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_idefics.py │ │ │ │ │ ├── image_processing_idefics.py │ │ │ │ │ ├── modeling_idefics.py │ │ │ │ │ ├── modeling_tf_idefics.py │ │ │ │ │ ├── perceiver.py │ │ │ │ │ ├── perceiver_tf.py │ │ │ │ │ ├── processing_idefics.py │ │ │ │ │ ├── vision.py │ │ │ │ │ └── vision_tf.py │ │ │ │ ├── idefics2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_idefics2.py │ │ │ │ │ ├── convert_idefics2_weights_to_hf.py │ │ │ │ │ ├── image_processing_idefics2.py │ │ │ │ │ ├── modeling_idefics2.py │ │ │ │ │ └── processing_idefics2.py │ │ │ │ ├── imagegpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_imagegpt.py │ │ │ │ │ ├── convert_imagegpt_original_tf2_to_pytorch.py │ │ │ │ │ ├── feature_extraction_imagegpt.py │ │ │ │ │ ├── image_processing_imagegpt.py │ │ │ │ │ └── modeling_imagegpt.py │ │ │ │ ├── informer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_informer.py │ │ │ │ │ └── modeling_informer.py │ │ │ │ ├── instructblip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_instructblip.py │ │ │ │ │ ├── convert_instructblip_original_to_pytorch.py │ │ │ │ │ ├── modeling_instructblip.py │ │ │ │ │ └── processing_instructblip.py │ │ │ │ ├── instructblipvideo/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_instructblipvideo.py │ │ │ │ │ ├── convert_instructblipvideo_original_to_pytorch.py │ │ │ │ │ ├── diff_instructblipvideo.py │ │ │ │ │ ├── image_processing_instructblipvideo.py │ │ │ │ │ ├── modeling_instructblipvideo.py │ │ │ │ │ └── processing_instructblipvideo.py │ │ │ │ ├── jamba/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_jamba.py │ │ │ │ │ └── modeling_jamba.py │ │ │ │ ├── jetmoe/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_jetmoe.py │ │ │ │ │ └── modeling_jetmoe.py │ │ │ │ ├── kosmos2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_kosmos2.py │ │ │ │ │ ├── convert_kosmos2_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_kosmos2.py │ │ │ │ │ └── processing_kosmos2.py │ │ │ │ ├── layoutlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_layoutlm.py │ │ │ │ │ ├── modeling_layoutlm.py │ │ │ │ │ ├── modeling_tf_layoutlm.py │ │ │ │ │ ├── tokenization_layoutlm.py │ │ │ │ │ └── tokenization_layoutlm_fast.py │ │ │ │ ├── layoutlmv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_layoutlmv2.py │ │ │ │ │ ├── feature_extraction_layoutlmv2.py │ │ │ │ │ ├── image_processing_layoutlmv2.py │ │ │ │ │ ├── modeling_layoutlmv2.py │ │ │ │ │ ├── processing_layoutlmv2.py │ │ │ │ │ ├── tokenization_layoutlmv2.py │ │ │ │ │ └── tokenization_layoutlmv2_fast.py │ │ │ │ ├── layoutlmv3/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_layoutlmv3.py │ │ │ │ │ ├── feature_extraction_layoutlmv3.py │ │ │ │ │ ├── image_processing_layoutlmv3.py │ │ │ │ │ ├── modeling_layoutlmv3.py │ │ │ │ │ ├── modeling_tf_layoutlmv3.py │ │ │ │ │ ├── processing_layoutlmv3.py │ │ │ │ │ ├── tokenization_layoutlmv3.py │ │ │ │ │ └── tokenization_layoutlmv3_fast.py │ │ │ │ ├── layoutxlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── processing_layoutxlm.py │ │ │ │ │ ├── tokenization_layoutxlm.py │ │ │ │ │ └── tokenization_layoutxlm_fast.py │ │ │ │ ├── led/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_led.py │ │ │ │ │ ├── modeling_led.py │ │ │ │ │ ├── modeling_tf_led.py │ │ │ │ │ ├── tokenization_led.py │ │ │ │ │ └── tokenization_led_fast.py │ │ │ │ ├── levit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_levit.py │ │ │ │ │ ├── convert_levit_timm_to_pytorch.py │ │ │ │ │ ├── feature_extraction_levit.py │ │ │ │ │ ├── image_processing_levit.py │ │ │ │ │ └── modeling_levit.py │ │ │ │ ├── lilt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_lilt.py │ │ │ │ │ └── modeling_lilt.py │ │ │ │ ├── llama/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_llama.py │ │ │ │ │ ├── convert_llama_weights_to_hf.py │ │ │ │ │ ├── modeling_flax_llama.py │ │ │ │ │ ├── modeling_llama.py │ │ │ │ │ ├── tokenization_llama.py │ │ │ │ │ └── tokenization_llama_fast.py │ │ │ │ ├── llava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_llava.py │ │ │ │ │ ├── convert_llava_weights_to_hf.py │ │ │ │ │ ├── modeling_llava.py │ │ │ │ │ └── processing_llava.py │ │ │ │ ├── llava_next/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_llava_next.py │ │ │ │ │ ├── convert_llava_next_weights_to_hf.py │ │ │ │ │ ├── image_processing_llava_next.py │ │ │ │ │ ├── modeling_llava_next.py │ │ │ │ │ └── processing_llava_next.py │ │ │ │ ├── llava_next_video/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_llava_next_video.py │ │ │ │ │ ├── convert_llava_next_video_weights_to_hf.py │ │ │ │ │ ├── diff_llava_next_video.py │ │ │ │ │ ├── image_processing_llava_next_video.py │ │ │ │ │ ├── modeling_llava_next_video.py │ │ │ │ │ └── processing_llava_next_video.py │ │ │ │ ├── longformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_longformer.py │ │ │ │ │ ├── convert_longformer_original_pytorch_lightning_to_pytorch.py │ │ │ │ │ ├── modeling_longformer.py │ │ │ │ │ ├── modeling_tf_longformer.py │ │ │ │ │ ├── tokenization_longformer.py │ │ │ │ │ └── tokenization_longformer_fast.py │ │ │ │ ├── longt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_longt5.py │ │ │ │ │ ├── convert_longt5x_checkpoint_to_flax.py │ │ │ │ │ ├── modeling_flax_longt5.py │ │ │ │ │ └── modeling_longt5.py │ │ │ │ ├── luke/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_luke.py │ │ │ │ │ ├── convert_luke_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_luke.py │ │ │ │ │ └── tokenization_luke.py │ │ │ │ ├── lxmert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_lxmert.py │ │ │ │ │ ├── convert_lxmert_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_lxmert.py │ │ │ │ │ ├── modeling_tf_lxmert.py │ │ │ │ │ ├── tokenization_lxmert.py │ │ │ │ │ └── tokenization_lxmert_fast.py │ │ │ │ ├── m2m_100/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_m2m_100.py │ │ │ │ │ ├── convert_m2m100_original_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_m2m_100.py │ │ │ │ │ └── tokenization_m2m_100.py │ │ │ │ ├── mamba/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mamba.py │ │ │ │ │ ├── convert_mamba_ssm_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_mamba.py │ │ │ │ ├── mamba2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mamba2.py │ │ │ │ │ ├── convert_mamba2_ssm_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_mamba2.py │ │ │ │ ├── marian/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_marian.py │ │ │ │ │ ├── convert_marian_tatoeba_to_pytorch.py │ │ │ │ │ ├── convert_marian_to_pytorch.py │ │ │ │ │ ├── modeling_flax_marian.py │ │ │ │ │ ├── modeling_marian.py │ │ │ │ │ ├── modeling_tf_marian.py │ │ │ │ │ └── tokenization_marian.py │ │ │ │ ├── markuplm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_markuplm.py │ │ │ │ │ ├── feature_extraction_markuplm.py │ │ │ │ │ ├── modeling_markuplm.py │ │ │ │ │ ├── processing_markuplm.py │ │ │ │ │ ├── tokenization_markuplm.py │ │ │ │ │ └── tokenization_markuplm_fast.py │ │ │ │ ├── mask2former/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mask2former.py │ │ │ │ │ ├── convert_mask2former_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── image_processing_mask2former.py │ │ │ │ │ └── modeling_mask2former.py │ │ │ │ ├── maskformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_maskformer.py │ │ │ │ │ ├── configuration_maskformer_swin.py │ │ │ │ │ ├── convert_maskformer_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_maskformer_resnet_to_pytorch.py │ │ │ │ │ ├── convert_maskformer_swin_to_pytorch.py │ │ │ │ │ ├── feature_extraction_maskformer.py │ │ │ │ │ ├── image_processing_maskformer.py │ │ │ │ │ ├── modeling_maskformer.py │ │ │ │ │ └── modeling_maskformer_swin.py │ │ │ │ ├── mbart/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mbart.py │ │ │ │ │ ├── convert_mbart_original_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_flax_mbart.py │ │ │ │ │ ├── modeling_mbart.py │ │ │ │ │ ├── modeling_tf_mbart.py │ │ │ │ │ ├── tokenization_mbart.py │ │ │ │ │ └── tokenization_mbart_fast.py │ │ │ │ ├── mbart50/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── tokenization_mbart50.py │ │ │ │ │ └── tokenization_mbart50_fast.py │ │ │ │ ├── megatron_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_megatron_bert.py │ │ │ │ │ ├── convert_megatron_bert_checkpoint.py │ │ │ │ │ └── modeling_megatron_bert.py │ │ │ │ ├── megatron_gpt2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── checkpoint_reshaping_and_interoperability.py │ │ │ │ │ └── convert_megatron_gpt2_checkpoint.py │ │ │ │ ├── mgp_str/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mgp_str.py │ │ │ │ │ ├── modeling_mgp_str.py │ │ │ │ │ ├── processing_mgp_str.py │ │ │ │ │ └── tokenization_mgp_str.py │ │ │ │ ├── mistral/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mistral.py │ │ │ │ │ ├── convert_mistral_weights_to_hf.py │ │ │ │ │ ├── modeling_flax_mistral.py │ │ │ │ │ ├── modeling_mistral.py │ │ │ │ │ └── modeling_tf_mistral.py │ │ │ │ ├── mixtral/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mixtral.py │ │ │ │ │ ├── convert_mixtral_weights_to_hf.py │ │ │ │ │ └── modeling_mixtral.py │ │ │ │ ├── mluke/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── convert_mluke_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── tokenization_mluke.py │ │ │ │ ├── mobilebert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mobilebert.py │ │ │ │ │ ├── convert_mobilebert_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_mobilebert.py │ │ │ │ │ ├── modeling_tf_mobilebert.py │ │ │ │ │ ├── tokenization_mobilebert.py │ │ │ │ │ └── tokenization_mobilebert_fast.py │ │ │ │ ├── mobilenet_v1/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mobilenet_v1.py │ │ │ │ │ ├── convert_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── feature_extraction_mobilenet_v1.py │ │ │ │ │ ├── image_processing_mobilenet_v1.py │ │ │ │ │ └── modeling_mobilenet_v1.py │ │ │ │ ├── mobilenet_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mobilenet_v2.py │ │ │ │ │ ├── convert_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── feature_extraction_mobilenet_v2.py │ │ │ │ │ ├── image_processing_mobilenet_v2.py │ │ │ │ │ └── modeling_mobilenet_v2.py │ │ │ │ ├── mobilevit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mobilevit.py │ │ │ │ │ ├── convert_mlcvnets_to_pytorch.py │ │ │ │ │ ├── feature_extraction_mobilevit.py │ │ │ │ │ ├── image_processing_mobilevit.py │ │ │ │ │ ├── modeling_mobilevit.py │ │ │ │ │ └── modeling_tf_mobilevit.py │ │ │ │ ├── mobilevitv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mobilevitv2.py │ │ │ │ │ ├── convert_mlcvnets_to_pytorch.py │ │ │ │ │ └── modeling_mobilevitv2.py │ │ │ │ ├── mpnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mpnet.py │ │ │ │ │ ├── modeling_mpnet.py │ │ │ │ │ ├── modeling_tf_mpnet.py │ │ │ │ │ ├── tokenization_mpnet.py │ │ │ │ │ └── tokenization_mpnet_fast.py │ │ │ │ ├── mpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ └── modeling_mpt.py │ │ │ │ ├── mra/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mra.py │ │ │ │ │ ├── convert_mra_pytorch_to_pytorch.py │ │ │ │ │ └── modeling_mra.py │ │ │ │ ├── mt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mt5.py │ │ │ │ │ ├── modeling_flax_mt5.py │ │ │ │ │ ├── modeling_mt5.py │ │ │ │ │ └── modeling_tf_mt5.py │ │ │ │ ├── musicgen/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_musicgen.py │ │ │ │ │ ├── convert_musicgen_transformers.py │ │ │ │ │ ├── modeling_musicgen.py │ │ │ │ │ └── processing_musicgen.py │ │ │ │ ├── musicgen_melody/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_musicgen_melody.py │ │ │ │ │ ├── convert_musicgen_melody_transformers.py │ │ │ │ │ ├── feature_extraction_musicgen_melody.py │ │ │ │ │ ├── modeling_musicgen_melody.py │ │ │ │ │ └── processing_musicgen_melody.py │ │ │ │ ├── mvp/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_mvp.py │ │ │ │ │ ├── modeling_mvp.py │ │ │ │ │ ├── tokenization_mvp.py │ │ │ │ │ └── tokenization_mvp_fast.py │ │ │ │ ├── nemotron/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_nemotron.py │ │ │ │ │ ├── convert_nemotron_nemo_to_hf.py │ │ │ │ │ └── modeling_nemotron.py │ │ │ │ ├── nllb/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── tokenization_nllb.py │ │ │ │ │ └── tokenization_nllb_fast.py │ │ │ │ ├── nllb_moe/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_nllb_moe.py │ │ │ │ │ ├── convert_nllb_moe_sharded_original_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_nllb_moe.py │ │ │ │ ├── nougat/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── convert_nougat_to_hf.py │ │ │ │ │ ├── image_processing_nougat.py │ │ │ │ │ ├── processing_nougat.py │ │ │ │ │ └── tokenization_nougat_fast.py │ │ │ │ ├── nystromformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_nystromformer.py │ │ │ │ │ ├── convert_nystromformer_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_nystromformer.py │ │ │ │ ├── olmo/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_olmo.py │ │ │ │ │ ├── convert_olmo_weights_to_hf.py │ │ │ │ │ └── modeling_olmo.py │ │ │ │ ├── oneformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_oneformer.py │ │ │ │ │ ├── convert_to_hf_oneformer.py │ │ │ │ │ ├── image_processing_oneformer.py │ │ │ │ │ ├── modeling_oneformer.py │ │ │ │ │ └── processing_oneformer.py │ │ │ │ ├── openai/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_openai.py │ │ │ │ │ ├── convert_openai_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_openai.py │ │ │ │ │ ├── modeling_tf_openai.py │ │ │ │ │ ├── tokenization_openai.py │ │ │ │ │ └── tokenization_openai_fast.py │ │ │ │ ├── opt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_opt.py │ │ │ │ │ ├── convert_opt_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_flax_opt.py │ │ │ │ │ ├── modeling_opt.py │ │ │ │ │ └── modeling_tf_opt.py │ │ │ │ ├── owlv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_owlv2.py │ │ │ │ │ ├── convert_owlv2_to_hf.py │ │ │ │ │ ├── image_processing_owlv2.py │ │ │ │ │ ├── modeling_owlv2.py │ │ │ │ │ └── processing_owlv2.py │ │ │ │ ├── owlvit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_owlvit.py │ │ │ │ │ ├── convert_owlvit_original_flax_to_hf.py │ │ │ │ │ ├── feature_extraction_owlvit.py │ │ │ │ │ ├── image_processing_owlvit.py │ │ │ │ │ ├── modeling_owlvit.py │ │ │ │ │ └── processing_owlvit.py │ │ │ │ ├── paligemma/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_paligemma.py │ │ │ │ │ ├── convert_paligemma_weights_to_hf.py │ │ │ │ │ ├── modeling_paligemma.py │ │ │ │ │ └── processing_paligemma.py │ │ │ │ ├── patchtsmixer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_patchtsmixer.py │ │ │ │ │ └── modeling_patchtsmixer.py │ │ │ │ ├── patchtst/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_patchtst.py │ │ │ │ │ └── modeling_patchtst.py │ │ │ │ ├── pegasus/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_pegasus.py │ │ │ │ │ ├── convert_pegasus_tf_to_pytorch.py │ │ │ │ │ ├── modeling_flax_pegasus.py │ │ │ │ │ ├── modeling_pegasus.py │ │ │ │ │ ├── modeling_tf_pegasus.py │ │ │ │ │ ├── tokenization_pegasus.py │ │ │ │ │ └── tokenization_pegasus_fast.py │ │ │ │ ├── pegasus_x/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_pegasus_x.py │ │ │ │ │ └── modeling_pegasus_x.py │ │ │ │ ├── perceiver/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_perceiver.py │ │ │ │ │ ├── convert_perceiver_haiku_to_pytorch.py │ │ │ │ │ ├── feature_extraction_perceiver.py │ │ │ │ │ ├── image_processing_perceiver.py │ │ │ │ │ ├── modeling_perceiver.py │ │ │ │ │ └── tokenization_perceiver.py │ │ │ │ ├── persimmon/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_persimmon.py │ │ │ │ │ ├── convert_persimmon_weights_to_hf.py │ │ │ │ │ └── modeling_persimmon.py │ │ │ │ ├── phi/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_phi.py │ │ │ │ │ ├── convert_phi_weights_to_hf.py │ │ │ │ │ └── modeling_phi.py │ │ │ │ ├── phi3/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_phi3.py │ │ │ │ │ └── modeling_phi3.py │ │ │ │ ├── phobert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── tokenization_phobert.py │ │ │ │ ├── pix2struct/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_pix2struct.py │ │ │ │ │ ├── convert_pix2struct_original_pytorch_to_hf.py │ │ │ │ │ ├── image_processing_pix2struct.py │ │ │ │ │ ├── modeling_pix2struct.py │ │ │ │ │ └── processing_pix2struct.py │ │ │ │ ├── plbart/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_plbart.py │ │ │ │ │ ├── convert_plbart_original_checkpoint_to_torch.py │ │ │ │ │ ├── modeling_plbart.py │ │ │ │ │ └── tokenization_plbart.py │ │ │ │ ├── poolformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_poolformer.py │ │ │ │ │ ├── convert_poolformer_original_to_pytorch.py │ │ │ │ │ ├── feature_extraction_poolformer.py │ │ │ │ │ ├── image_processing_poolformer.py │ │ │ │ │ └── modeling_poolformer.py │ │ │ │ ├── pop2piano/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_pop2piano.py │ │ │ │ │ ├── convert_pop2piano_weights_to_hf.py │ │ │ │ │ ├── feature_extraction_pop2piano.py │ │ │ │ │ ├── modeling_pop2piano.py │ │ │ │ │ ├── processing_pop2piano.py │ │ │ │ │ └── tokenization_pop2piano.py │ │ │ │ ├── prophetnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_prophetnet.py │ │ │ │ │ ├── convert_prophetnet_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_prophetnet.py │ │ │ │ │ └── tokenization_prophetnet.py │ │ │ │ ├── pvt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_pvt.py │ │ │ │ │ ├── convert_pvt_to_pytorch.py │ │ │ │ │ ├── image_processing_pvt.py │ │ │ │ │ └── modeling_pvt.py │ │ │ │ ├── pvt_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_pvt_v2.py │ │ │ │ │ ├── convert_pvt_v2_to_pytorch.py │ │ │ │ │ └── modeling_pvt_v2.py │ │ │ │ ├── qwen2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_qwen2.py │ │ │ │ │ ├── modeling_qwen2.py │ │ │ │ │ ├── tokenization_qwen2.py │ │ │ │ │ └── tokenization_qwen2_fast.py │ │ │ │ ├── qwen2_audio/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_qwen2_audio.py │ │ │ │ │ ├── modeling_qwen2_audio.py │ │ │ │ │ └── processing_qwen2_audio.py │ │ │ │ ├── qwen2_moe/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_qwen2_moe.py │ │ │ │ │ └── modeling_qwen2_moe.py │ │ │ │ ├── rag/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_rag.py │ │ │ │ │ ├── modeling_rag.py │ │ │ │ │ ├── modeling_tf_rag.py │ │ │ │ │ ├── retrieval_rag.py │ │ │ │ │ └── tokenization_rag.py │ │ │ │ ├── recurrent_gemma/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_recurrent_gemma.py │ │ │ │ │ ├── convert_recurrent_gemma_to_hf.py │ │ │ │ │ └── modeling_recurrent_gemma.py │ │ │ │ ├── reformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_reformer.py │ │ │ │ │ ├── convert_reformer_trax_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_reformer.py │ │ │ │ │ ├── tokenization_reformer.py │ │ │ │ │ └── tokenization_reformer_fast.py │ │ │ │ ├── regnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_regnet.py │ │ │ │ │ ├── convert_regnet_seer_10b_to_pytorch.py │ │ │ │ │ ├── convert_regnet_to_pytorch.py │ │ │ │ │ ├── modeling_flax_regnet.py │ │ │ │ │ ├── modeling_regnet.py │ │ │ │ │ └── modeling_tf_regnet.py │ │ │ │ ├── rembert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_rembert.py │ │ │ │ │ ├── convert_rembert_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_rembert.py │ │ │ │ │ ├── modeling_tf_rembert.py │ │ │ │ │ ├── tokenization_rembert.py │ │ │ │ │ └── tokenization_rembert_fast.py │ │ │ │ ├── resnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_resnet.py │ │ │ │ │ ├── convert_resnet_to_pytorch.py │ │ │ │ │ ├── modeling_flax_resnet.py │ │ │ │ │ ├── modeling_resnet.py │ │ │ │ │ └── modeling_tf_resnet.py │ │ │ │ ├── roberta/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_roberta.py │ │ │ │ │ ├── convert_roberta_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_flax_roberta.py │ │ │ │ │ ├── modeling_roberta.py │ │ │ │ │ ├── modeling_tf_roberta.py │ │ │ │ │ ├── tokenization_roberta.py │ │ │ │ │ └── tokenization_roberta_fast.py │ │ │ │ ├── roberta_prelayernorm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_roberta_prelayernorm.py │ │ │ │ │ ├── convert_roberta_prelayernorm_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_flax_roberta_prelayernorm.py │ │ │ │ │ ├── modeling_roberta_prelayernorm.py │ │ │ │ │ └── modeling_tf_roberta_prelayernorm.py │ │ │ │ ├── roc_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_roc_bert.py │ │ │ │ │ ├── modeling_roc_bert.py │ │ │ │ │ └── tokenization_roc_bert.py │ │ │ │ ├── roformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_roformer.py │ │ │ │ │ ├── convert_roformer_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_flax_roformer.py │ │ │ │ │ ├── modeling_roformer.py │ │ │ │ │ ├── modeling_tf_roformer.py │ │ │ │ │ ├── tokenization_roformer.py │ │ │ │ │ ├── tokenization_roformer_fast.py │ │ │ │ │ └── tokenization_utils.py │ │ │ │ ├── rt_detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_rt_detr.py │ │ │ │ │ ├── configuration_rt_detr_resnet.py │ │ │ │ │ ├── convert_rt_detr_original_pytorch_checkpoint_to_hf.py │ │ │ │ │ ├── image_processing_rt_detr.py │ │ │ │ │ ├── modeling_rt_detr.py │ │ │ │ │ └── modeling_rt_detr_resnet.py │ │ │ │ ├── rwkv/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_rwkv.py │ │ │ │ │ ├── convert_rwkv_checkpoint_to_hf.py │ │ │ │ │ └── modeling_rwkv.py │ │ │ │ ├── sam/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_sam.py │ │ │ │ │ ├── convert_sam_to_hf.py │ │ │ │ │ ├── image_processing_sam.py │ │ │ │ │ ├── modeling_sam.py │ │ │ │ │ ├── modeling_tf_sam.py │ │ │ │ │ └── processing_sam.py │ │ │ │ ├── seamless_m4t/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_seamless_m4t.py │ │ │ │ │ ├── convert_fairseq2_to_hf.py │ │ │ │ │ ├── feature_extraction_seamless_m4t.py │ │ │ │ │ ├── modeling_seamless_m4t.py │ │ │ │ │ ├── processing_seamless_m4t.py │ │ │ │ │ ├── tokenization_seamless_m4t.py │ │ │ │ │ └── tokenization_seamless_m4t_fast.py │ │ │ │ ├── seamless_m4t_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_seamless_m4t_v2.py │ │ │ │ │ ├── convert_fairseq2_to_hf.py │ │ │ │ │ └── modeling_seamless_m4t_v2.py │ │ │ │ ├── segformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_segformer.py │ │ │ │ │ ├── convert_segformer_original_to_pytorch.py │ │ │ │ │ ├── feature_extraction_segformer.py │ │ │ │ │ ├── image_processing_segformer.py │ │ │ │ │ ├── modeling_segformer.py │ │ │ │ │ └── modeling_tf_segformer.py │ │ │ │ ├── seggpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_seggpt.py │ │ │ │ │ ├── convert_seggpt_to_hf.py │ │ │ │ │ ├── image_processing_seggpt.py │ │ │ │ │ └── modeling_seggpt.py │ │ │ │ ├── sew/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_sew.py │ │ │ │ │ ├── convert_sew_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_sew.py │ │ │ │ ├── sew_d/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_sew_d.py │ │ │ │ │ ├── convert_sew_d_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_sew_d.py │ │ │ │ ├── siglip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_siglip.py │ │ │ │ │ ├── convert_siglip_to_hf.py │ │ │ │ │ ├── image_processing_siglip.py │ │ │ │ │ ├── modeling_siglip.py │ │ │ │ │ ├── processing_siglip.py │ │ │ │ │ └── tokenization_siglip.py │ │ │ │ ├── speech_encoder_decoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_speech_encoder_decoder.py │ │ │ │ │ ├── convert_mbart_wav2vec2_seq2seq_original_to_pytorch.py │ │ │ │ │ ├── convert_speech_to_text_wav2vec2_seq2seq_original_to_pytorch.py │ │ │ │ │ ├── modeling_flax_speech_encoder_decoder.py │ │ │ │ │ └── modeling_speech_encoder_decoder.py │ │ │ │ ├── speech_to_text/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_speech_to_text.py │ │ │ │ │ ├── convert_s2t_fairseq_to_tfms.py │ │ │ │ │ ├── feature_extraction_speech_to_text.py │ │ │ │ │ ├── modeling_speech_to_text.py │ │ │ │ │ ├── modeling_tf_speech_to_text.py │ │ │ │ │ ├── processing_speech_to_text.py │ │ │ │ │ └── tokenization_speech_to_text.py │ │ │ │ ├── speecht5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_speecht5.py │ │ │ │ │ ├── convert_hifigan.py │ │ │ │ │ ├── convert_speecht5_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── feature_extraction_speecht5.py │ │ │ │ │ ├── modeling_speecht5.py │ │ │ │ │ ├── number_normalizer.py │ │ │ │ │ ├── processing_speecht5.py │ │ │ │ │ └── tokenization_speecht5.py │ │ │ │ ├── splinter/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_splinter.py │ │ │ │ │ ├── modeling_splinter.py │ │ │ │ │ ├── tokenization_splinter.py │ │ │ │ │ └── tokenization_splinter_fast.py │ │ │ │ ├── squeezebert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_squeezebert.py │ │ │ │ │ ├── modeling_squeezebert.py │ │ │ │ │ ├── tokenization_squeezebert.py │ │ │ │ │ └── tokenization_squeezebert_fast.py │ │ │ │ ├── stablelm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_stablelm.py │ │ │ │ │ └── modeling_stablelm.py │ │ │ │ ├── starcoder2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_starcoder2.py │ │ │ │ │ └── modeling_starcoder2.py │ │ │ │ ├── superpoint/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_superpoint.py │ │ │ │ │ ├── convert_superpoint_to_pytorch.py │ │ │ │ │ ├── image_processing_superpoint.py │ │ │ │ │ └── modeling_superpoint.py │ │ │ │ ├── swiftformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_swiftformer.py │ │ │ │ │ ├── convert_swiftformer_original_to_hf.py │ │ │ │ │ ├── modeling_swiftformer.py │ │ │ │ │ └── modeling_tf_swiftformer.py │ │ │ │ ├── swin/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_swin.py │ │ │ │ │ ├── convert_swin_simmim_to_pytorch.py │ │ │ │ │ ├── convert_swin_timm_to_pytorch.py │ │ │ │ │ ├── modeling_swin.py │ │ │ │ │ └── modeling_tf_swin.py │ │ │ │ ├── swin2sr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_swin2sr.py │ │ │ │ │ ├── convert_swin2sr_original_to_pytorch.py │ │ │ │ │ ├── image_processing_swin2sr.py │ │ │ │ │ └── modeling_swin2sr.py │ │ │ │ ├── swinv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_swinv2.py │ │ │ │ │ ├── convert_swinv2_timm_to_pytorch.py │ │ │ │ │ └── modeling_swinv2.py │ │ │ │ ├── switch_transformers/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_switch_transformers.py │ │ │ │ │ ├── convert_big_switch.py │ │ │ │ │ ├── convert_switch_transformers_original_flax_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_switch_transformers.py │ │ │ │ ├── t5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_t5.py │ │ │ │ │ ├── convert_t5_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_t5x_checkpoint_to_flax.py │ │ │ │ │ ├── convert_t5x_checkpoint_to_pytorch.py │ │ │ │ │ ├── download_from_gcp.sh │ │ │ │ │ ├── modeling_flax_t5.py │ │ │ │ │ ├── modeling_t5.py │ │ │ │ │ ├── modeling_tf_t5.py │ │ │ │ │ ├── tokenization_t5.py │ │ │ │ │ └── tokenization_t5_fast.py │ │ │ │ ├── table_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_table_transformer.py │ │ │ │ │ ├── convert_table_transformer_to_hf.py │ │ │ │ │ ├── convert_table_transformer_to_hf_no_timm.py │ │ │ │ │ └── modeling_table_transformer.py │ │ │ │ ├── tapas/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_tapas.py │ │ │ │ │ ├── convert_tapas_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_tapas.py │ │ │ │ │ ├── modeling_tf_tapas.py │ │ │ │ │ └── tokenization_tapas.py │ │ │ │ ├── time_series_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_time_series_transformer.py │ │ │ │ │ └── modeling_time_series_transformer.py │ │ │ │ ├── timesformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_timesformer.py │ │ │ │ │ ├── convert_timesformer_to_pytorch.py │ │ │ │ │ └── modeling_timesformer.py │ │ │ │ ├── timm_backbone/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_timm_backbone.py │ │ │ │ │ └── modeling_timm_backbone.py │ │ │ │ ├── trocr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_trocr.py │ │ │ │ │ ├── convert_trocr_unilm_to_pytorch.py │ │ │ │ │ ├── modeling_trocr.py │ │ │ │ │ └── processing_trocr.py │ │ │ │ ├── tvp/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_tvp.py │ │ │ │ │ ├── image_processing_tvp.py │ │ │ │ │ ├── modeling_tvp.py │ │ │ │ │ └── processing_tvp.py │ │ │ │ ├── udop/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_udop.py │ │ │ │ │ ├── convert_udop_to_hf.py │ │ │ │ │ ├── modeling_udop.py │ │ │ │ │ ├── processing_udop.py │ │ │ │ │ ├── tokenization_udop.py │ │ │ │ │ └── tokenization_udop_fast.py │ │ │ │ ├── umt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_umt5.py │ │ │ │ │ ├── convert_umt5_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_umt5.py │ │ │ │ ├── unispeech/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_unispeech.py │ │ │ │ │ ├── convert_unispeech_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_unispeech.py │ │ │ │ ├── unispeech_sat/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_unispeech_sat.py │ │ │ │ │ ├── convert_unispeech_original_s3prl_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_unispeech_sat_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_unispeech_sat.py │ │ │ │ ├── univnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_univnet.py │ │ │ │ │ ├── convert_univnet.py │ │ │ │ │ ├── feature_extraction_univnet.py │ │ │ │ │ └── modeling_univnet.py │ │ │ │ ├── upernet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_upernet.py │ │ │ │ │ ├── convert_convnext_upernet_to_pytorch.py │ │ │ │ │ ├── convert_swin_upernet_to_pytorch.py │ │ │ │ │ └── modeling_upernet.py │ │ │ │ ├── video_llava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_video_llava.py │ │ │ │ │ ├── convert_video_llava_weights_to_hf.py │ │ │ │ │ ├── image_processing_video_llava.py │ │ │ │ │ ├── modeling_video_llava.py │ │ │ │ │ └── processing_video_llava.py │ │ │ │ ├── videomae/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_videomae.py │ │ │ │ │ ├── convert_videomae_to_pytorch.py │ │ │ │ │ ├── feature_extraction_videomae.py │ │ │ │ │ ├── image_processing_videomae.py │ │ │ │ │ └── modeling_videomae.py │ │ │ │ ├── vilt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vilt.py │ │ │ │ │ ├── convert_vilt_original_to_pytorch.py │ │ │ │ │ ├── feature_extraction_vilt.py │ │ │ │ │ ├── image_processing_vilt.py │ │ │ │ │ ├── modeling_vilt.py │ │ │ │ │ └── processing_vilt.py │ │ │ │ ├── vipllava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vipllava.py │ │ │ │ │ ├── convert_vipllava_weights_to_hf.py │ │ │ │ │ └── modeling_vipllava.py │ │ │ │ ├── vision_encoder_decoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vision_encoder_decoder.py │ │ │ │ │ ├── modeling_flax_vision_encoder_decoder.py │ │ │ │ │ ├── modeling_tf_vision_encoder_decoder.py │ │ │ │ │ └── modeling_vision_encoder_decoder.py │ │ │ │ ├── vision_text_dual_encoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vision_text_dual_encoder.py │ │ │ │ │ ├── modeling_flax_vision_text_dual_encoder.py │ │ │ │ │ ├── modeling_tf_vision_text_dual_encoder.py │ │ │ │ │ ├── modeling_vision_text_dual_encoder.py │ │ │ │ │ └── processing_vision_text_dual_encoder.py │ │ │ │ ├── visual_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_visual_bert.py │ │ │ │ │ ├── convert_visual_bert_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_visual_bert.py │ │ │ │ ├── vit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vit.py │ │ │ │ │ ├── convert_dino_to_pytorch.py │ │ │ │ │ ├── convert_vit_timm_to_pytorch.py │ │ │ │ │ ├── feature_extraction_vit.py │ │ │ │ │ ├── image_processing_vit.py │ │ │ │ │ ├── image_processing_vit_fast.py │ │ │ │ │ ├── modeling_flax_vit.py │ │ │ │ │ ├── modeling_tf_vit.py │ │ │ │ │ └── modeling_vit.py │ │ │ │ ├── vit_mae/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vit_mae.py │ │ │ │ │ ├── convert_vit_mae_to_pytorch.py │ │ │ │ │ ├── modeling_tf_vit_mae.py │ │ │ │ │ └── modeling_vit_mae.py │ │ │ │ ├── vit_msn/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vit_msn.py │ │ │ │ │ ├── convert_msn_to_pytorch.py │ │ │ │ │ └── modeling_vit_msn.py │ │ │ │ ├── vitdet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vitdet.py │ │ │ │ │ └── modeling_vitdet.py │ │ │ │ ├── vitmatte/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vitmatte.py │ │ │ │ │ ├── convert_vitmatte_to_hf.py │ │ │ │ │ ├── image_processing_vitmatte.py │ │ │ │ │ └── modeling_vitmatte.py │ │ │ │ ├── vits/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vits.py │ │ │ │ │ ├── convert_original_checkpoint.py │ │ │ │ │ ├── modeling_vits.py │ │ │ │ │ └── tokenization_vits.py │ │ │ │ ├── vivit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_vivit.py │ │ │ │ │ ├── convert_vivit_flax_to_pytorch.py │ │ │ │ │ ├── image_processing_vivit.py │ │ │ │ │ └── modeling_vivit.py │ │ │ │ ├── wav2vec2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_wav2vec2.py │ │ │ │ │ ├── convert_wav2vec2_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_wav2vec2_original_s3prl_checkpoint_to_pytorch.py │ │ │ │ │ ├── feature_extraction_wav2vec2.py │ │ │ │ │ ├── modeling_flax_wav2vec2.py │ │ │ │ │ ├── modeling_tf_wav2vec2.py │ │ │ │ │ ├── modeling_wav2vec2.py │ │ │ │ │ ├── processing_wav2vec2.py │ │ │ │ │ └── tokenization_wav2vec2.py │ │ │ │ ├── wav2vec2_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_wav2vec2_bert.py │ │ │ │ │ ├── convert_wav2vec2_seamless_checkpoint.py │ │ │ │ │ ├── modeling_wav2vec2_bert.py │ │ │ │ │ └── processing_wav2vec2_bert.py │ │ │ │ ├── wav2vec2_conformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_wav2vec2_conformer.py │ │ │ │ │ ├── convert_wav2vec2_conformer_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_wav2vec2_conformer.py │ │ │ │ ├── wav2vec2_phoneme/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── tokenization_wav2vec2_phoneme.py │ │ │ │ ├── wav2vec2_with_lm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── processing_wav2vec2_with_lm.py │ │ │ │ ├── wavlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_wavlm.py │ │ │ │ │ ├── convert_wavlm_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── convert_wavlm_original_s3prl_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_wavlm.py │ │ │ │ ├── whisper/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_whisper.py │ │ │ │ │ ├── convert_openai_to_hf.py │ │ │ │ │ ├── english_normalizer.py │ │ │ │ │ ├── feature_extraction_whisper.py │ │ │ │ │ ├── generation_whisper.py │ │ │ │ │ ├── modeling_flax_whisper.py │ │ │ │ │ ├── modeling_tf_whisper.py │ │ │ │ │ ├── modeling_whisper.py │ │ │ │ │ ├── processing_whisper.py │ │ │ │ │ ├── tokenization_whisper.py │ │ │ │ │ └── tokenization_whisper_fast.py │ │ │ │ ├── x_clip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_x_clip.py │ │ │ │ │ ├── convert_x_clip_original_pytorch_to_hf.py │ │ │ │ │ ├── modeling_x_clip.py │ │ │ │ │ └── processing_x_clip.py │ │ │ │ ├── xglm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_xglm.py │ │ │ │ │ ├── convert_xglm_original_ckpt_to_trfms.py │ │ │ │ │ ├── modeling_flax_xglm.py │ │ │ │ │ ├── modeling_tf_xglm.py │ │ │ │ │ ├── modeling_xglm.py │ │ │ │ │ ├── tokenization_xglm.py │ │ │ │ │ └── tokenization_xglm_fast.py │ │ │ │ ├── xlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_xlm.py │ │ │ │ │ ├── convert_xlm_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_tf_xlm.py │ │ │ │ │ ├── modeling_xlm.py │ │ │ │ │ └── tokenization_xlm.py │ │ │ │ ├── xlm_roberta/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_xlm_roberta.py │ │ │ │ │ ├── modeling_flax_xlm_roberta.py │ │ │ │ │ ├── modeling_tf_xlm_roberta.py │ │ │ │ │ ├── modeling_xlm_roberta.py │ │ │ │ │ ├── tokenization_xlm_roberta.py │ │ │ │ │ └── tokenization_xlm_roberta_fast.py │ │ │ │ ├── xlm_roberta_xl/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_xlm_roberta_xl.py │ │ │ │ │ ├── convert_xlm_roberta_xl_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_xlm_roberta_xl.py │ │ │ │ ├── xlnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_xlnet.py │ │ │ │ │ ├── convert_xlnet_original_tf_checkpoint_to_pytorch.py │ │ │ │ │ ├── modeling_tf_xlnet.py │ │ │ │ │ ├── modeling_xlnet.py │ │ │ │ │ ├── tokenization_xlnet.py │ │ │ │ │ └── tokenization_xlnet_fast.py │ │ │ │ ├── xmod/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_xmod.py │ │ │ │ │ ├── convert_xmod_original_pytorch_checkpoint_to_pytorch.py │ │ │ │ │ └── modeling_xmod.py │ │ │ │ ├── yolos/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_yolos.py │ │ │ │ │ ├── convert_yolos_to_pytorch.py │ │ │ │ │ ├── feature_extraction_yolos.py │ │ │ │ │ ├── image_processing_yolos.py │ │ │ │ │ └── modeling_yolos.py │ │ │ │ ├── yoso/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_yoso.py │ │ │ │ │ ├── convert_yoso_pytorch_to_pytorch.py │ │ │ │ │ └── modeling_yoso.py │ │ │ │ └── zoedepth/ │ │ │ │ ├── __init__.py │ │ │ │ ├── configuration_zoedepth.py │ │ │ │ ├── convert_zoedepth_to_hf.py │ │ │ │ ├── image_processing_zoedepth.py │ │ │ │ └── modeling_zoedepth.py │ │ │ ├── onnx/ │ │ │ │ ├── __init__.py │ │ │ │ ├── __main__.py │ │ │ │ ├── config.py │ │ │ │ ├── convert.py │ │ │ │ ├── features.py │ │ │ │ └── utils.py │ │ │ ├── optimization.py │ │ │ ├── optimization_tf.py │ │ │ ├── pipelines/ │ │ │ │ ├── __init__.py │ │ │ │ ├── audio_classification.py │ │ │ │ ├── audio_utils.py │ │ │ │ ├── automatic_speech_recognition.py │ │ │ │ ├── base.py │ │ │ │ ├── depth_estimation.py │ │ │ │ ├── document_question_answering.py │ │ │ │ ├── feature_extraction.py │ │ │ │ ├── fill_mask.py │ │ │ │ ├── image_classification.py │ │ │ │ ├── image_feature_extraction.py │ │ │ │ ├── image_segmentation.py │ │ │ │ ├── image_to_image.py │ │ │ │ ├── image_to_text.py │ │ │ │ ├── mask_generation.py │ │ │ │ ├── object_detection.py │ │ │ │ ├── pt_utils.py │ │ │ │ ├── question_answering.py │ │ │ │ ├── table_question_answering.py │ │ │ │ ├── text2text_generation.py │ │ │ │ ├── text_classification.py │ │ │ │ ├── text_generation.py │ │ │ │ ├── text_to_audio.py │ │ │ │ ├── token_classification.py │ │ │ │ ├── video_classification.py │ │ │ │ ├── visual_question_answering.py │ │ │ │ ├── zero_shot_audio_classification.py │ │ │ │ ├── zero_shot_classification.py │ │ │ │ ├── zero_shot_image_classification.py │ │ │ │ └── zero_shot_object_detection.py │ │ │ ├── processing_utils.py │ │ │ ├── pytorch_utils.py │ │ │ ├── quantizers/ │ │ │ │ ├── __init__.py │ │ │ │ ├── auto.py │ │ │ │ ├── base.py │ │ │ │ ├── quantizer_aqlm.py │ │ │ │ ├── quantizer_awq.py │ │ │ │ ├── quantizer_bnb_4bit.py │ │ │ │ ├── quantizer_bnb_8bit.py │ │ │ │ ├── quantizer_eetq.py │ │ │ │ ├── quantizer_fbgemm_fp8.py │ │ │ │ ├── quantizer_gptq.py │ │ │ │ ├── quantizer_hqq.py │ │ │ │ ├── quantizer_quanto.py │ │ │ │ ├── quantizer_torchao.py │ │ │ │ └── quantizers_utils.py │ │ │ ├── safetensors_conversion.py │ │ │ ├── sagemaker/ │ │ │ │ ├── __init__.py │ │ │ │ ├── trainer_sm.py │ │ │ │ └── training_args_sm.py │ │ │ ├── testing_utils.py │ │ │ ├── tf_utils.py │ │ │ ├── time_series_utils.py │ │ │ ├── tokenization_utils.py │ │ │ ├── tokenization_utils_base.py │ │ │ ├── tokenization_utils_fast.py │ │ │ ├── trainer.py │ │ │ ├── trainer_callback.py │ │ │ ├── trainer_pt_utils.py │ │ │ ├── trainer_seq2seq.py │ │ │ ├── trainer_utils.py │ │ │ ├── training_args.py │ │ │ ├── training_args_seq2seq.py │ │ │ ├── training_args_tf.py │ │ │ └── utils/ │ │ │ ├── __init__.py │ │ │ ├── backbone_utils.py │ │ │ ├── bitsandbytes.py │ │ │ ├── chat_template_utils.py │ │ │ ├── constants.py │ │ │ ├── deprecation.py │ │ │ ├── doc.py │ │ │ ├── dummy_detectron2_objects.py │ │ │ ├── dummy_essentia_and_librosa_and_pretty_midi_and_scipy_and_torch_objects.py │ │ │ ├── dummy_flax_objects.py │ │ │ ├── dummy_keras_nlp_objects.py │ │ │ ├── dummy_music_objects.py │ │ │ ├── dummy_pt_objects.py │ │ │ ├── dummy_sentencepiece_and_tokenizers_objects.py │ │ │ ├── dummy_sentencepiece_objects.py │ │ │ ├── dummy_speech_objects.py │ │ │ ├── dummy_tensorflow_text_objects.py │ │ │ ├── dummy_tf_objects.py │ │ │ ├── dummy_tokenizers_objects.py │ │ │ ├── dummy_torchaudio_objects.py │ │ │ ├── dummy_torchvision_objects.py │ │ │ ├── dummy_vision_objects.py │ │ │ ├── fx.py │ │ │ ├── generic.py │ │ │ ├── hp_naming.py │ │ │ ├── hub.py │ │ │ ├── import_utils.py │ │ │ ├── logging.py │ │ │ ├── model_parallel_utils.py │ │ │ ├── notebook.py │ │ │ ├── peft_utils.py │ │ │ ├── quantization_config.py │ │ │ ├── sentencepiece_model_pb2.py │ │ │ ├── sentencepiece_model_pb2_new.py │ │ │ └── versions.py │ │ ├── templates/ │ │ │ ├── adding_a_missing_tokenization_test/ │ │ │ │ ├── README.md │ │ │ │ ├── cookiecutter-template-{{cookiecutter.modelname}}/ │ │ │ │ │ └── test_tokenization_{{cookiecutter.lowercase_modelname}}.py │ │ │ │ └── cookiecutter.json │ │ │ ├── adding_a_new_example_script/ │ │ │ │ ├── README.md │ │ │ │ ├── cookiecutter.json │ │ │ │ └── {{cookiecutter.directory_name}}/ │ │ │ │ └── run_{{cookiecutter.example_shortcut}}.py │ │ │ └── adding_a_new_model/ │ │ │ ├── ADD_NEW_MODEL_PROPOSAL_TEMPLATE.md │ │ │ ├── README.md │ │ │ └── open_model_proposals/ │ │ │ ├── ADD_BIG_BIRD.md │ │ │ └── README.md │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── agents/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_agent_types.py │ │ │ │ ├── test_agents.py │ │ │ │ ├── test_document_question_answering.py │ │ │ │ ├── test_final_answer.py │ │ │ │ ├── test_image_question_answering.py │ │ │ │ ├── test_python_interpreter.py │ │ │ │ ├── test_speech_to_text.py │ │ │ │ ├── test_text_to_speech.py │ │ │ │ ├── test_tools_common.py │ │ │ │ └── test_translation.py │ │ │ ├── benchmark/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_benchmark.py │ │ │ │ └── test_benchmark_tf.py │ │ │ ├── bettertransformer/ │ │ │ │ ├── __init__.py │ │ │ │ └── test_integration.py │ │ │ ├── deepspeed/ │ │ │ │ ├── ds_config_zero2.json │ │ │ │ ├── ds_config_zero3.json │ │ │ │ ├── test_deepspeed.py │ │ │ │ ├── test_model_zoo.py │ │ │ │ └── vit_feature_extractor.json │ │ │ ├── extended/ │ │ │ │ └── test_trainer_ext.py │ │ │ ├── fixtures/ │ │ │ │ ├── add_distilbert_like_config.json │ │ │ │ ├── dummy-config.json │ │ │ │ ├── dummy_feature_extractor_config.json │ │ │ │ ├── empty.txt │ │ │ │ ├── input.txt │ │ │ │ ├── merges.txt │ │ │ │ ├── preprocessor_config.json │ │ │ │ ├── sample_text.txt │ │ │ │ ├── sample_text_no_unicode.txt │ │ │ │ ├── spiece.model │ │ │ │ ├── test_entity_vocab.json │ │ │ │ ├── test_sentencepiece.model │ │ │ │ ├── test_sentencepiece_bpe.model │ │ │ │ ├── test_sentencepiece_bpe_char.model │ │ │ │ ├── test_sentencepiece_no_bos.model │ │ │ │ ├── test_sentencepiece_with_bytefallback.model │ │ │ │ ├── tests_samples/ │ │ │ │ │ ├── .gitignore │ │ │ │ │ ├── COCO/ │ │ │ │ │ │ ├── coco_annotations.txt │ │ │ │ │ │ └── coco_panoptic_annotations.txt │ │ │ │ │ ├── GermEval/ │ │ │ │ │ │ ├── dev.txt │ │ │ │ │ │ ├── labels.txt │ │ │ │ │ │ └── train.txt │ │ │ │ │ ├── MRPC/ │ │ │ │ │ │ ├── dev.csv │ │ │ │ │ │ ├── dev.tsv │ │ │ │ │ │ ├── train.csv │ │ │ │ │ │ └── train.tsv │ │ │ │ │ ├── SQUAD/ │ │ │ │ │ │ └── sample.json │ │ │ │ │ ├── STS-B/ │ │ │ │ │ │ ├── dev.tsv │ │ │ │ │ │ └── train.tsv │ │ │ │ │ ├── conll/ │ │ │ │ │ │ └── sample.json │ │ │ │ │ ├── swag/ │ │ │ │ │ │ └── sample.json │ │ │ │ │ ├── wiki_text/ │ │ │ │ │ │ └── wiki_00 │ │ │ │ │ ├── wmt16/ │ │ │ │ │ │ └── sample.json │ │ │ │ │ ├── wmt_en_ro/ │ │ │ │ │ │ ├── test.json │ │ │ │ │ │ ├── train.json │ │ │ │ │ │ └── val.json │ │ │ │ │ └── xsum/ │ │ │ │ │ └── sample.json │ │ │ │ ├── vocab.json │ │ │ │ └── vocab.txt │ │ │ ├── fsdp/ │ │ │ │ └── test_fsdp.py │ │ │ ├── generation/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_beam_constraints.py │ │ │ │ ├── test_beam_search.py │ │ │ │ ├── test_configuration_utils.py │ │ │ │ ├── test_flax_logits_process.py │ │ │ │ ├── test_flax_utils.py │ │ │ │ ├── test_framework_agnostic.py │ │ │ │ ├── test_logits_process.py │ │ │ │ ├── test_stopping_criteria.py │ │ │ │ ├── test_streamers.py │ │ │ │ ├── test_tf_logits_process.py │ │ │ │ ├── test_tf_utils.py │ │ │ │ └── test_utils.py │ │ │ ├── models/ │ │ │ │ ├── __init__.py │ │ │ │ ├── albert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_albert.py │ │ │ │ │ ├── test_modeling_flax_albert.py │ │ │ │ │ ├── test_modeling_tf_albert.py │ │ │ │ │ └── test_tokenization_albert.py │ │ │ │ ├── align/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_align.py │ │ │ │ │ └── test_processor_align.py │ │ │ │ ├── altclip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_altclip.py │ │ │ │ ├── audio_spectrogram_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_audio_spectrogram_transformer.py │ │ │ │ │ └── test_modeling_audio_spectrogram_transformer.py │ │ │ │ ├── auto/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_configuration_auto.py │ │ │ │ │ ├── test_feature_extraction_auto.py │ │ │ │ │ ├── test_image_processing_auto.py │ │ │ │ │ ├── test_modeling_auto.py │ │ │ │ │ ├── test_modeling_flax_auto.py │ │ │ │ │ ├── test_modeling_tf_auto.py │ │ │ │ │ ├── test_modeling_tf_pytorch.py │ │ │ │ │ ├── test_processor_auto.py │ │ │ │ │ └── test_tokenization_auto.py │ │ │ │ ├── autoformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_autoformer.py │ │ │ │ ├── bark/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_bark.py │ │ │ │ │ └── test_processor_bark.py │ │ │ │ ├── bart/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_bart.py │ │ │ │ │ ├── test_modeling_flax_bart.py │ │ │ │ │ ├── test_modeling_tf_bart.py │ │ │ │ │ └── test_tokenization_bart.py │ │ │ │ ├── barthez/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_barthez.py │ │ │ │ ├── bartpho/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_bartpho.py │ │ │ │ ├── beit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_beit.py │ │ │ │ │ ├── test_modeling_beit.py │ │ │ │ │ └── test_modeling_flax_beit.py │ │ │ │ ├── bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_bert.py │ │ │ │ │ ├── test_modeling_flax_bert.py │ │ │ │ │ ├── test_modeling_tf_bert.py │ │ │ │ │ ├── test_tokenization_bert.py │ │ │ │ │ └── test_tokenization_bert_tf.py │ │ │ │ ├── bert_generation/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_bert_generation.py │ │ │ │ │ └── test_tokenization_bert_generation.py │ │ │ │ ├── bert_japanese/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_bert_japanese.py │ │ │ │ ├── bertweet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_bertweet.py │ │ │ │ ├── big_bird/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_big_bird.py │ │ │ │ │ ├── test_modeling_flax_big_bird.py │ │ │ │ │ └── test_tokenization_big_bird.py │ │ │ │ ├── bigbird_pegasus/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_bigbird_pegasus.py │ │ │ │ ├── biogpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_biogpt.py │ │ │ │ │ └── test_tokenization_biogpt.py │ │ │ │ ├── bit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_bit.py │ │ │ │ ├── blenderbot/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_blenderbot.py │ │ │ │ │ ├── test_modeling_flax_blenderbot.py │ │ │ │ │ ├── test_modeling_tf_blenderbot.py │ │ │ │ │ └── test_tokenization_blenderbot.py │ │ │ │ ├── blenderbot_small/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_blenderbot_small.py │ │ │ │ │ ├── test_modeling_flax_blenderbot_small.py │ │ │ │ │ ├── test_modeling_tf_blenderbot_small.py │ │ │ │ │ └── test_tokenization_blenderbot_small.py │ │ │ │ ├── blip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_blip.py │ │ │ │ │ ├── test_modeling_blip.py │ │ │ │ │ ├── test_modeling_blip_text.py │ │ │ │ │ ├── test_modeling_tf_blip.py │ │ │ │ │ ├── test_modeling_tf_blip_text.py │ │ │ │ │ └── test_processor_blip.py │ │ │ │ ├── blip_2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_blip_2.py │ │ │ │ │ └── test_processor_blip_2.py │ │ │ │ ├── bloom/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_bloom.py │ │ │ │ │ ├── test_modeling_flax_bloom.py │ │ │ │ │ └── test_tokenization_bloom.py │ │ │ │ ├── bridgetower/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_bridgetower.py │ │ │ │ │ └── test_modeling_bridgetower.py │ │ │ │ ├── bros/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_bros.py │ │ │ │ ├── byt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_byt5.py │ │ │ │ ├── camembert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_camembert.py │ │ │ │ │ ├── test_modeling_tf_camembert.py │ │ │ │ │ └── test_tokenization_camembert.py │ │ │ │ ├── canine/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_canine.py │ │ │ │ │ └── test_tokenization_canine.py │ │ │ │ ├── chameleon/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_chameleon.py │ │ │ │ │ └── test_modeling_chameleon.py │ │ │ │ ├── chinese_clip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_chinese_clip.py │ │ │ │ │ ├── test_modeling_chinese_clip.py │ │ │ │ │ └── test_processor_chinese_clip.py │ │ │ │ ├── clap/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_clap.py │ │ │ │ │ ├── test_modeling_clap.py │ │ │ │ │ └── test_processor_clap.py │ │ │ │ ├── clip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_clip.py │ │ │ │ │ ├── test_modeling_clip.py │ │ │ │ │ ├── test_modeling_flax_clip.py │ │ │ │ │ ├── test_modeling_tf_clip.py │ │ │ │ │ ├── test_processor_clip.py │ │ │ │ │ └── test_tokenization_clip.py │ │ │ │ ├── clipseg/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_clipseg.py │ │ │ │ │ └── test_processor_clipseg.py │ │ │ │ ├── clvp/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_clvp.py │ │ │ │ │ ├── test_modeling_clvp.py │ │ │ │ │ ├── test_processor_clvp.py │ │ │ │ │ └── test_tokenization_clvp.py │ │ │ │ ├── code_llama/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_code_llama.py │ │ │ │ ├── codegen/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_codegen.py │ │ │ │ │ └── test_tokenization_codegen.py │ │ │ │ ├── cohere/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_cohere.py │ │ │ │ │ └── test_tokenization_cohere.py │ │ │ │ ├── conditional_detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_conditional_detr.py │ │ │ │ │ └── test_modeling_conditional_detr.py │ │ │ │ ├── convbert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_convbert.py │ │ │ │ │ └── test_modeling_tf_convbert.py │ │ │ │ ├── convnext/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_convnext.py │ │ │ │ │ ├── test_modeling_convnext.py │ │ │ │ │ └── test_modeling_tf_convnext.py │ │ │ │ ├── convnextv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_convnextv2.py │ │ │ │ │ └── test_modeling_tf_convnextv2.py │ │ │ │ ├── cpm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_cpm.py │ │ │ │ ├── cpmant/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_cpmant.py │ │ │ │ │ └── test_tokenization_cpmant.py │ │ │ │ ├── ctrl/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_ctrl.py │ │ │ │ │ ├── test_modeling_tf_ctrl.py │ │ │ │ │ └── test_tokenization_ctrl.py │ │ │ │ ├── cvt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_cvt.py │ │ │ │ │ └── test_modeling_tf_cvt.py │ │ │ │ ├── dac/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_dac.py │ │ │ │ │ └── test_modeling_dac.py │ │ │ │ ├── data2vec/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_data2vec_audio.py │ │ │ │ │ ├── test_modeling_data2vec_text.py │ │ │ │ │ ├── test_modeling_data2vec_vision.py │ │ │ │ │ └── test_modeling_tf_data2vec_vision.py │ │ │ │ ├── dbrx/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_dbrx.py │ │ │ │ ├── deberta/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_deberta.py │ │ │ │ │ ├── test_modeling_tf_deberta.py │ │ │ │ │ └── test_tokenization_deberta.py │ │ │ │ ├── deberta_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_deberta_v2.py │ │ │ │ │ ├── test_modeling_tf_deberta_v2.py │ │ │ │ │ └── test_tokenization_deberta_v2.py │ │ │ │ ├── decision_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_decision_transformer.py │ │ │ │ ├── deformable_detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_deformable_detr.py │ │ │ │ │ └── test_modeling_deformable_detr.py │ │ │ │ ├── deit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_deit.py │ │ │ │ │ ├── test_modeling_deit.py │ │ │ │ │ └── test_modeling_tf_deit.py │ │ │ │ ├── depth_anything/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_depth_anything.py │ │ │ │ ├── detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_detr.py │ │ │ │ │ └── test_modeling_detr.py │ │ │ │ ├── dinat/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_dinat.py │ │ │ │ ├── dinov2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_dinov2.py │ │ │ │ │ └── test_modeling_flax_dinov2.py │ │ │ │ ├── distilbert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_distilbert.py │ │ │ │ │ ├── test_modeling_flax_distilbert.py │ │ │ │ │ ├── test_modeling_tf_distilbert.py │ │ │ │ │ └── test_tokenization_distilbert.py │ │ │ │ ├── dit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_dit.py │ │ │ │ ├── donut/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_donut.py │ │ │ │ │ ├── test_modeling_donut_swin.py │ │ │ │ │ └── test_processing_donut.py │ │ │ │ ├── dpr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_dpr.py │ │ │ │ │ ├── test_modeling_tf_dpr.py │ │ │ │ │ └── test_tokenization_dpr.py │ │ │ │ ├── dpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_dpt.py │ │ │ │ │ ├── test_modeling_dpt.py │ │ │ │ │ ├── test_modeling_dpt_auto_backbone.py │ │ │ │ │ └── test_modeling_dpt_hybrid.py │ │ │ │ ├── efficientnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_efficientnet.py │ │ │ │ │ └── test_modeling_efficientnet.py │ │ │ │ ├── electra/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_electra.py │ │ │ │ │ ├── test_modeling_flax_electra.py │ │ │ │ │ ├── test_modeling_tf_electra.py │ │ │ │ │ └── test_tokenization_electra.py │ │ │ │ ├── encodec/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_encodec.py │ │ │ │ │ └── test_modeling_encodec.py │ │ │ │ ├── encoder_decoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_encoder_decoder.py │ │ │ │ │ ├── test_modeling_flax_encoder_decoder.py │ │ │ │ │ └── test_modeling_tf_encoder_decoder.py │ │ │ │ ├── ernie/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_ernie.py │ │ │ │ ├── esm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_esm.py │ │ │ │ │ ├── test_modeling_esmfold.py │ │ │ │ │ ├── test_modeling_tf_esm.py │ │ │ │ │ └── test_tokenization_esm.py │ │ │ │ ├── falcon/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_falcon.py │ │ │ │ ├── falcon_mamba/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_falcon_mamba.py │ │ │ │ ├── fastspeech2_conformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_fastspeech2_conformer.py │ │ │ │ │ └── test_tokenization_fastspeech2_conformer.py │ │ │ │ ├── flaubert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flaubert.py │ │ │ │ │ ├── test_modeling_tf_flaubert.py │ │ │ │ │ └── test_tokenization_flaubert.py │ │ │ │ ├── flava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_flava.py │ │ │ │ │ ├── test_modeling_flava.py │ │ │ │ │ └── test_processor_flava.py │ │ │ │ ├── fnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_fnet.py │ │ │ │ │ └── test_tokenization_fnet.py │ │ │ │ ├── focalnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_focalnet.py │ │ │ │ ├── fsmt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_fsmt.py │ │ │ │ │ └── test_tokenization_fsmt.py │ │ │ │ ├── funnel/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_funnel.py │ │ │ │ │ ├── test_modeling_tf_funnel.py │ │ │ │ │ └── test_tokenization_funnel.py │ │ │ │ ├── fuyu/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_fuyu.py │ │ │ │ │ ├── test_modeling_fuyu.py │ │ │ │ │ └── test_processing_fuyu.py │ │ │ │ ├── gemma/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_gemma.py │ │ │ │ │ ├── test_modeling_gemma.py │ │ │ │ │ └── test_tokenization_gemma.py │ │ │ │ ├── gemma2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_gemma2.py │ │ │ │ ├── git/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_git.py │ │ │ │ │ └── test_processor_git.py │ │ │ │ ├── glpn/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_glpn.py │ │ │ │ │ └── test_modeling_glpn.py │ │ │ │ ├── gpt2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_gpt2.py │ │ │ │ │ ├── test_modeling_gpt2.py │ │ │ │ │ ├── test_modeling_tf_gpt2.py │ │ │ │ │ ├── test_tokenization_gpt2.py │ │ │ │ │ └── test_tokenization_gpt2_tf.py │ │ │ │ ├── gpt_bigcode/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_gpt_bigcode.py │ │ │ │ ├── gpt_neo/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_gpt_neo.py │ │ │ │ │ └── test_modeling_gpt_neo.py │ │ │ │ ├── gpt_neox/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_gpt_neox.py │ │ │ │ ├── gpt_neox_japanese/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_gpt_neox_japanese.py │ │ │ │ │ └── test_tokenization_gpt_neox_japanese.py │ │ │ │ ├── gpt_sw3/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_gpt_sw3.py │ │ │ │ ├── gptj/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_gptj.py │ │ │ │ │ ├── test_modeling_gptj.py │ │ │ │ │ └── test_modeling_tf_gptj.py │ │ │ │ ├── grounding_dino/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_grounding_dino.py │ │ │ │ │ ├── test_modeling_grounding_dino.py │ │ │ │ │ └── test_processor_grounding_dino.py │ │ │ │ ├── groupvit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_groupvit.py │ │ │ │ │ └── test_modeling_tf_groupvit.py │ │ │ │ ├── herbert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_herbert.py │ │ │ │ ├── hiera/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_hiera.py │ │ │ │ ├── hubert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_hubert.py │ │ │ │ │ └── test_modeling_tf_hubert.py │ │ │ │ ├── ibert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_ibert.py │ │ │ │ ├── idefics/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_idefics.py │ │ │ │ │ ├── test_modeling_idefics.py │ │ │ │ │ ├── test_modeling_tf_idefics.py │ │ │ │ │ └── test_processor_idefics.py │ │ │ │ ├── idefics2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_idefics2.py │ │ │ │ │ ├── test_modeling_idefics2.py │ │ │ │ │ └── test_processing_idefics2.py │ │ │ │ ├── imagegpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_imagegpt.py │ │ │ │ │ └── test_modeling_imagegpt.py │ │ │ │ ├── informer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_informer.py │ │ │ │ ├── instructblip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_instructblip.py │ │ │ │ │ └── test_processor_instructblip.py │ │ │ │ ├── instructblipvideo/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_instrictblipvideo.py │ │ │ │ │ └── test_modeling_instructblipvideo.py │ │ │ │ ├── jamba/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_jamba.py │ │ │ │ ├── jetmoe/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_jetmoe.py │ │ │ │ ├── kosmos2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_kosmos2.py │ │ │ │ │ └── test_processor_kosmos2.py │ │ │ │ ├── layoutlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_layoutlm.py │ │ │ │ │ ├── test_modeling_tf_layoutlm.py │ │ │ │ │ └── test_tokenization_layoutlm.py │ │ │ │ ├── layoutlmv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_layoutlmv2.py │ │ │ │ │ ├── test_modeling_layoutlmv2.py │ │ │ │ │ ├── test_processor_layoutlmv2.py │ │ │ │ │ └── test_tokenization_layoutlmv2.py │ │ │ │ ├── layoutlmv3/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_layoutlmv3.py │ │ │ │ │ ├── test_modeling_layoutlmv3.py │ │ │ │ │ ├── test_modeling_tf_layoutlmv3.py │ │ │ │ │ ├── test_processor_layoutlmv3.py │ │ │ │ │ └── test_tokenization_layoutlmv3.py │ │ │ │ ├── layoutxlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_processor_layoutxlm.py │ │ │ │ │ └── test_tokenization_layoutxlm.py │ │ │ │ ├── led/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_led.py │ │ │ │ │ ├── test_modeling_tf_led.py │ │ │ │ │ └── test_tokenization_led.py │ │ │ │ ├── levit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_levit.py │ │ │ │ │ └── test_modeling_levit.py │ │ │ │ ├── lilt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_lilt.py │ │ │ │ ├── llama/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_llama.py │ │ │ │ │ ├── test_modeling_llama.py │ │ │ │ │ └── test_tokenization_llama.py │ │ │ │ ├── llava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_llava.py │ │ │ │ │ └── test_processor_llava.py │ │ │ │ ├── llava_next/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_llava_next.py │ │ │ │ │ ├── test_modeling_llava_next.py │ │ │ │ │ └── test_processor_llava_next.py │ │ │ │ ├── llava_next_video/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_llava_next_video.py │ │ │ │ │ └── test_modeling_llava_next_video.py │ │ │ │ ├── longformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_longformer.py │ │ │ │ │ ├── test_modeling_tf_longformer.py │ │ │ │ │ └── test_tokenization_longformer.py │ │ │ │ ├── longt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_longt5.py │ │ │ │ │ └── test_modeling_longt5.py │ │ │ │ ├── luke/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_luke.py │ │ │ │ │ └── test_tokenization_luke.py │ │ │ │ ├── lxmert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_lxmert.py │ │ │ │ │ ├── test_modeling_tf_lxmert.py │ │ │ │ │ └── test_tokenization_lxmert.py │ │ │ │ ├── m2m_100/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_m2m_100.py │ │ │ │ │ └── test_tokenization_m2m_100.py │ │ │ │ ├── mamba/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_mamba.py │ │ │ │ ├── mamba2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_mamba2.py │ │ │ │ ├── marian/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_marian.py │ │ │ │ │ ├── test_modeling_marian.py │ │ │ │ │ ├── test_modeling_tf_marian.py │ │ │ │ │ └── test_tokenization_marian.py │ │ │ │ ├── markuplm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_markuplm.py │ │ │ │ │ ├── test_modeling_markuplm.py │ │ │ │ │ ├── test_processor_markuplm.py │ │ │ │ │ └── test_tokenization_markuplm.py │ │ │ │ ├── mask2former/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_mask2former.py │ │ │ │ │ └── test_modeling_mask2former.py │ │ │ │ ├── maskformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_maskformer.py │ │ │ │ │ ├── test_modeling_maskformer.py │ │ │ │ │ └── test_modeling_maskformer_swin.py │ │ │ │ ├── mbart/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_mbart.py │ │ │ │ │ ├── test_modeling_mbart.py │ │ │ │ │ ├── test_modeling_tf_mbart.py │ │ │ │ │ └── test_tokenization_mbart.py │ │ │ │ ├── mbart50/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_mbart50.py │ │ │ │ ├── megatron_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_megatron_bert.py │ │ │ │ ├── megatron_gpt2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_megatron_gpt2.py │ │ │ │ ├── mgp_str/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_mgp_str.py │ │ │ │ │ ├── test_processor_mgp_str.py │ │ │ │ │ └── test_tokenization_mgp_str.py │ │ │ │ ├── mistral/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_mistral.py │ │ │ │ │ ├── test_modeling_mistral.py │ │ │ │ │ └── test_modeling_tf_mistral.py │ │ │ │ ├── mixtral/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_mixtral.py │ │ │ │ ├── mluke/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_mluke.py │ │ │ │ ├── mobilebert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_mobilebert.py │ │ │ │ │ ├── test_modeling_tf_mobilebert.py │ │ │ │ │ └── test_tokenization_mobilebert.py │ │ │ │ ├── mobilenet_v1/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_mobilenet_v1.py │ │ │ │ │ └── test_modeling_mobilenet_v1.py │ │ │ │ ├── mobilenet_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_mobilenet_v2.py │ │ │ │ │ └── test_modeling_mobilenet_v2.py │ │ │ │ ├── mobilevit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_mobilevit.py │ │ │ │ │ ├── test_modeling_mobilevit.py │ │ │ │ │ └── test_modeling_tf_mobilevit.py │ │ │ │ ├── mobilevitv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_mobilevitv2.py │ │ │ │ ├── mpnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_mpnet.py │ │ │ │ │ ├── test_modeling_tf_mpnet.py │ │ │ │ │ └── test_tokenization_mpnet.py │ │ │ │ ├── mpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_mpt.py │ │ │ │ ├── mra/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_mra.py │ │ │ │ ├── mt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_mt5.py │ │ │ │ │ ├── test_modeling_mt5.py │ │ │ │ │ └── test_modeling_tf_mt5.py │ │ │ │ ├── musicgen/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_musicgen.py │ │ │ │ │ └── test_processing_musicgen.py │ │ │ │ ├── musicgen_melody/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_musicgen_melody.py │ │ │ │ │ ├── test_modeling_musicgen_melody.py │ │ │ │ │ └── test_processor_musicgen_melody.py │ │ │ │ ├── mvp/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_mvp.py │ │ │ │ │ └── test_tokenization_mvp.py │ │ │ │ ├── nemotron/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_nemotron.py │ │ │ │ ├── nllb/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_nllb.py │ │ │ │ ├── nllb_moe/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_nllb_moe.py │ │ │ │ ├── nougat/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_nougat.py │ │ │ │ │ └── test_tokenization_nougat.py │ │ │ │ ├── nystromformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_nystromformer.py │ │ │ │ ├── olmo/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_olmo.py │ │ │ │ ├── oneformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_oneformer.py │ │ │ │ │ ├── test_modeling_oneformer.py │ │ │ │ │ └── test_processor_oneformer.py │ │ │ │ ├── openai/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_openai.py │ │ │ │ │ ├── test_modeling_tf_openai.py │ │ │ │ │ └── test_tokenization_openai.py │ │ │ │ ├── opt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_opt.py │ │ │ │ │ ├── test_modeling_opt.py │ │ │ │ │ └── test_modeling_tf_opt.py │ │ │ │ ├── owlv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_owlv2.py │ │ │ │ │ └── test_modeling_owlv2.py │ │ │ │ ├── owlvit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_owlvit.py │ │ │ │ │ ├── test_modeling_owlvit.py │ │ │ │ │ └── test_processor_owlvit.py │ │ │ │ ├── paligemma/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_paligemma.py │ │ │ │ ├── patchtsmixer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_patchtsmixer.py │ │ │ │ ├── patchtst/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_patchtst.py │ │ │ │ ├── pegasus/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_pegasus.py │ │ │ │ │ ├── test_modeling_pegasus.py │ │ │ │ │ ├── test_modeling_tf_pegasus.py │ │ │ │ │ └── test_tokenization_pegasus.py │ │ │ │ ├── pegasus_x/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_pegasus_x.py │ │ │ │ ├── perceiver/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_perceiver.py │ │ │ │ │ └── test_tokenization_perceiver.py │ │ │ │ ├── persimmon/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_persimmon.py │ │ │ │ ├── phi/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_phi.py │ │ │ │ ├── phi3/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_phi3.py │ │ │ │ ├── phobert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_phobert.py │ │ │ │ ├── pix2struct/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_pix2struct.py │ │ │ │ │ ├── test_modeling_pix2struct.py │ │ │ │ │ └── test_processor_pix2struct.py │ │ │ │ ├── plbart/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_plbart.py │ │ │ │ │ └── test_tokenization_plbart.py │ │ │ │ ├── poolformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_poolformer.py │ │ │ │ │ └── test_modeling_poolformer.py │ │ │ │ ├── pop2piano/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_pop2piano.py │ │ │ │ │ ├── test_modeling_pop2piano.py │ │ │ │ │ ├── test_processor_pop2piano.py │ │ │ │ │ └── test_tokenization_pop2piano.py │ │ │ │ ├── prophetnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_prophetnet.py │ │ │ │ │ └── test_tokenization_prophetnet.py │ │ │ │ ├── pvt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_pvt.py │ │ │ │ │ └── test_modeling_pvt.py │ │ │ │ ├── pvt_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_pvt_v2.py │ │ │ │ ├── qwen2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_qwen2.py │ │ │ │ │ └── test_tokenization_qwen2.py │ │ │ │ ├── qwen2_audio/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_qwen2_audio.py │ │ │ │ │ └── test_processor_qwen2_audio.py │ │ │ │ ├── qwen2_moe/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_qwen2_moe.py │ │ │ │ ├── rag/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_rag.py │ │ │ │ │ ├── test_modeling_tf_rag.py │ │ │ │ │ ├── test_retrieval_rag.py │ │ │ │ │ └── test_tokenization_rag.py │ │ │ │ ├── recurrent_gemma/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_recurrent_gemma.py │ │ │ │ ├── reformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_reformer.py │ │ │ │ │ └── test_tokenization_reformer.py │ │ │ │ ├── regnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_regnet.py │ │ │ │ │ ├── test_modeling_regnet.py │ │ │ │ │ └── test_modeling_tf_regnet.py │ │ │ │ ├── rembert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_rembert.py │ │ │ │ │ ├── test_modeling_tf_rembert.py │ │ │ │ │ └── test_tokenization_rembert.py │ │ │ │ ├── resnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_resnet.py │ │ │ │ │ ├── test_modeling_resnet.py │ │ │ │ │ └── test_modeling_tf_resnet.py │ │ │ │ ├── roberta/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_roberta.py │ │ │ │ │ ├── test_modeling_roberta.py │ │ │ │ │ ├── test_modeling_tf_roberta.py │ │ │ │ │ └── test_tokenization_roberta.py │ │ │ │ ├── roberta_prelayernorm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_roberta_prelayernorm.py │ │ │ │ │ ├── test_modeling_roberta_prelayernorm.py │ │ │ │ │ └── test_modeling_tf_roberta_prelayernorm.py │ │ │ │ ├── roc_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_roc_bert.py │ │ │ │ │ └── test_tokenization_roc_bert.py │ │ │ │ ├── roformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_roformer.py │ │ │ │ │ ├── test_modeling_roformer.py │ │ │ │ │ ├── test_modeling_tf_roformer.py │ │ │ │ │ └── test_tokenization_roformer.py │ │ │ │ ├── rt_detr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_rt_detr.py │ │ │ │ │ ├── test_modeling_rt_detr.py │ │ │ │ │ └── test_modeling_rt_detr_resnet.py │ │ │ │ ├── rwkv/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_rwkv.py │ │ │ │ ├── sam/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_sam.py │ │ │ │ │ ├── test_modeling_tf_sam.py │ │ │ │ │ └── test_processor_sam.py │ │ │ │ ├── seamless_m4t/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_seamless_m4t.py │ │ │ │ │ ├── test_modeling_seamless_m4t.py │ │ │ │ │ ├── test_processor_seamless_m4t.py │ │ │ │ │ └── test_tokenization_seamless_m4t.py │ │ │ │ ├── seamless_m4t_v2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_seamless_m4t_v2.py │ │ │ │ ├── segformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_segformer.py │ │ │ │ │ ├── test_modeling_segformer.py │ │ │ │ │ └── test_modeling_tf_segformer.py │ │ │ │ ├── seggpt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_seggpt.py │ │ │ │ │ └── test_modeling_seggpt.py │ │ │ │ ├── sew/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_sew.py │ │ │ │ ├── sew_d/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_sew_d.py │ │ │ │ ├── siglip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_siglip.py │ │ │ │ │ ├── test_modeling_siglip.py │ │ │ │ │ └── test_tokenization_siglip.py │ │ │ │ ├── speech_encoder_decoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_speech_encoder_decoder.py │ │ │ │ │ └── test_modeling_speech_encoder_decoder.py │ │ │ │ ├── speech_to_text/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_speech_to_text.py │ │ │ │ │ ├── test_modeling_speech_to_text.py │ │ │ │ │ ├── test_modeling_tf_speech_to_text.py │ │ │ │ │ ├── test_processor_speech_to_text.py │ │ │ │ │ └── test_tokenization_speech_to_text.py │ │ │ │ ├── speecht5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_speecht5.py │ │ │ │ │ ├── test_modeling_speecht5.py │ │ │ │ │ ├── test_processor_speecht5.py │ │ │ │ │ └── test_tokenization_speecht5.py │ │ │ │ ├── splinter/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_splinter.py │ │ │ │ ├── squeezebert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_squeezebert.py │ │ │ │ │ └── test_tokenization_squeezebert.py │ │ │ │ ├── stablelm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_stablelm.py │ │ │ │ ├── starcoder2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_starcoder2.py │ │ │ │ ├── superpoint/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_superpoint.py │ │ │ │ │ └── test_modeling_superpoint.py │ │ │ │ ├── swiftformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_swiftformer.py │ │ │ │ │ └── test_modeling_tf_swiftformer.py │ │ │ │ ├── swin/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_swin.py │ │ │ │ │ └── test_modeling_tf_swin.py │ │ │ │ ├── swin2sr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_swin2sr.py │ │ │ │ │ └── test_modeling_swin2sr.py │ │ │ │ ├── swinv2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_swinv2.py │ │ │ │ ├── switch_transformers/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_switch_transformers.py │ │ │ │ ├── t5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_t5.py │ │ │ │ │ ├── test_modeling_t5.py │ │ │ │ │ ├── test_modeling_tf_t5.py │ │ │ │ │ └── test_tokenization_t5.py │ │ │ │ ├── table_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_table_transformer.py │ │ │ │ ├── tapas/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_tapas.py │ │ │ │ │ ├── test_modeling_tf_tapas.py │ │ │ │ │ └── test_tokenization_tapas.py │ │ │ │ ├── time_series_transformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_time_series_transformer.py │ │ │ │ ├── timesformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_timesformer.py │ │ │ │ ├── timm_backbone/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_timm_backbone.py │ │ │ │ ├── trocr/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_trocr.py │ │ │ │ ├── tvp/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_tvp.py │ │ │ │ │ └── test_modeling_tvp.py │ │ │ │ ├── udop/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_udop.py │ │ │ │ │ ├── test_processor_udop.py │ │ │ │ │ └── test_tokenization_udop.py │ │ │ │ ├── umt5/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_umt5.py │ │ │ │ ├── unispeech/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_unispeech.py │ │ │ │ ├── unispeech_sat/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_unispeech_sat.py │ │ │ │ ├── univnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_univnet.py │ │ │ │ │ └── test_modeling_univnet.py │ │ │ │ ├── upernet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_upernet.py │ │ │ │ ├── video_llava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_video_llava.py │ │ │ │ │ └── test_modeling_video_llava.py │ │ │ │ ├── videomae/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_videomae.py │ │ │ │ │ └── test_modeling_videomae.py │ │ │ │ ├── vilt/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_vilt.py │ │ │ │ │ └── test_modeling_vilt.py │ │ │ │ ├── vipllava/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_vipllava.py │ │ │ │ │ └── test_processor_vipllava.py │ │ │ │ ├── vision_encoder_decoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_vision_encoder_decoder.py │ │ │ │ │ ├── test_modeling_tf_vision_encoder_decoder.py │ │ │ │ │ └── test_modeling_vision_encoder_decoder.py │ │ │ │ ├── vision_text_dual_encoder/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_vision_text_dual_encoder.py │ │ │ │ │ ├── test_modeling_tf_vision_text_dual_encoder.py │ │ │ │ │ ├── test_modeling_vision_text_dual_encoder.py │ │ │ │ │ └── test_processor_vision_text_dual_encoder.py │ │ │ │ ├── visual_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_visual_bert.py │ │ │ │ ├── vit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_vit.py │ │ │ │ │ ├── test_modeling_flax_vit.py │ │ │ │ │ ├── test_modeling_tf_vit.py │ │ │ │ │ └── test_modeling_vit.py │ │ │ │ ├── vit_mae/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_tf_vit_mae.py │ │ │ │ │ └── test_modeling_vit_mae.py │ │ │ │ ├── vit_msn/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_vit_msn.py │ │ │ │ ├── vitdet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_vitdet.py │ │ │ │ ├── vitmatte/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_vitmatte.py │ │ │ │ │ └── test_modeling_vitmatte.py │ │ │ │ ├── vits/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_vits.py │ │ │ │ │ └── test_tokenization_vits.py │ │ │ │ ├── vivit/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_vivit.py │ │ │ │ │ └── test_modeling_vivit.py │ │ │ │ ├── wav2vec2/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_wav2vec2.py │ │ │ │ │ ├── test_modeling_flax_wav2vec2.py │ │ │ │ │ ├── test_modeling_tf_wav2vec2.py │ │ │ │ │ ├── test_modeling_wav2vec2.py │ │ │ │ │ ├── test_processor_wav2vec2.py │ │ │ │ │ └── test_tokenization_wav2vec2.py │ │ │ │ ├── wav2vec2_bert/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_wav2vec2_bert.py │ │ │ │ │ └── test_processor_wav2vec2_bert.py │ │ │ │ ├── wav2vec2_conformer/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_wav2vec2_conformer.py │ │ │ │ ├── wav2vec2_phoneme/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_tokenization_wav2vec2_phoneme.py │ │ │ │ ├── wav2vec2_with_lm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_processor_wav2vec2_with_lm.py │ │ │ │ ├── wavlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_wavlm.py │ │ │ │ ├── whisper/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_feature_extraction_whisper.py │ │ │ │ │ ├── test_modeling_flax_whisper.py │ │ │ │ │ ├── test_modeling_tf_whisper.py │ │ │ │ │ ├── test_modeling_whisper.py │ │ │ │ │ ├── test_processor_whisper.py │ │ │ │ │ └── test_tokenization_whisper.py │ │ │ │ ├── x_clip/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_x_clip.py │ │ │ │ ├── xglm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_xglm.py │ │ │ │ │ ├── test_modeling_tf_xglm.py │ │ │ │ │ ├── test_modeling_xglm.py │ │ │ │ │ └── test_tokenization_xglm.py │ │ │ │ ├── xlm/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_tf_xlm.py │ │ │ │ │ ├── test_modeling_xlm.py │ │ │ │ │ └── test_tokenization_xlm.py │ │ │ │ ├── xlm_roberta/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_flax_xlm_roberta.py │ │ │ │ │ ├── test_modeling_tf_xlm_roberta.py │ │ │ │ │ ├── test_modeling_xlm_roberta.py │ │ │ │ │ └── test_tokenization_xlm_roberta.py │ │ │ │ ├── xlm_roberta_xl/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_xlm_roberta_xl.py │ │ │ │ ├── xlnet/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_modeling_tf_xlnet.py │ │ │ │ │ ├── test_modeling_xlnet.py │ │ │ │ │ └── test_tokenization_xlnet.py │ │ │ │ ├── xmod/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_xmod.py │ │ │ │ ├── yolos/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_image_processing_yolos.py │ │ │ │ │ └── test_modeling_yolos.py │ │ │ │ ├── yoso/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_modeling_yoso.py │ │ │ │ └── zoedepth/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_image_processing_zoedepth.py │ │ │ │ └── test_modeling_zoedepth.py │ │ │ ├── optimization/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_optimization.py │ │ │ │ └── test_optimization_tf.py │ │ │ ├── peft_integration/ │ │ │ │ └── test_peft_integration.py │ │ │ ├── pipelines/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_pipelines_audio_classification.py │ │ │ │ ├── test_pipelines_automatic_speech_recognition.py │ │ │ │ ├── test_pipelines_common.py │ │ │ │ ├── test_pipelines_depth_estimation.py │ │ │ │ ├── test_pipelines_document_question_answering.py │ │ │ │ ├── test_pipelines_feature_extraction.py │ │ │ │ ├── test_pipelines_fill_mask.py │ │ │ │ ├── test_pipelines_image_classification.py │ │ │ │ ├── test_pipelines_image_feature_extraction.py │ │ │ │ ├── test_pipelines_image_segmentation.py │ │ │ │ ├── test_pipelines_image_to_image.py │ │ │ │ ├── test_pipelines_image_to_text.py │ │ │ │ ├── test_pipelines_mask_generation.py │ │ │ │ ├── test_pipelines_object_detection.py │ │ │ │ ├── test_pipelines_question_answering.py │ │ │ │ ├── test_pipelines_summarization.py │ │ │ │ ├── test_pipelines_table_question_answering.py │ │ │ │ ├── test_pipelines_text2text_generation.py │ │ │ │ ├── test_pipelines_text_classification.py │ │ │ │ ├── test_pipelines_text_generation.py │ │ │ │ ├── test_pipelines_text_to_audio.py │ │ │ │ ├── test_pipelines_token_classification.py │ │ │ │ ├── test_pipelines_translation.py │ │ │ │ ├── test_pipelines_video_classification.py │ │ │ │ ├── test_pipelines_visual_question_answering.py │ │ │ │ ├── test_pipelines_zero_shot.py │ │ │ │ ├── test_pipelines_zero_shot_audio_classification.py │ │ │ │ ├── test_pipelines_zero_shot_image_classification.py │ │ │ │ └── test_pipelines_zero_shot_object_detection.py │ │ │ ├── quantization/ │ │ │ │ ├── aqlm_integration/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_aqlm.py │ │ │ │ ├── autoawq/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_awq.py │ │ │ │ ├── bnb/ │ │ │ │ │ ├── README.md │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── test_4bit.py │ │ │ │ │ └── test_mixed_int8.py │ │ │ │ ├── eetq_integration/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_eetq.py │ │ │ │ ├── fbgemm_fp8/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_fbgemm_fp8.py │ │ │ │ ├── ggml/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_ggml.py │ │ │ │ ├── gptq/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_gptq.py │ │ │ │ ├── hqq/ │ │ │ │ │ └── test_hqq.py │ │ │ │ ├── quanto_integration/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── test_quanto.py │ │ │ │ └── torchao_integration/ │ │ │ │ ├── __init__.py │ │ │ │ └── test_torchao.py │ │ │ ├── repo_utils/ │ │ │ │ ├── test_check_copies.py │ │ │ │ ├── test_check_docstrings.py │ │ │ │ ├── test_check_dummies.py │ │ │ │ ├── test_get_test_info.py │ │ │ │ └── test_tests_fetcher.py │ │ │ ├── sagemaker/ │ │ │ │ ├── README.md │ │ │ │ ├── __init__.py │ │ │ │ ├── conftest.py │ │ │ │ ├── scripts/ │ │ │ │ │ ├── pytorch/ │ │ │ │ │ │ ├── requirements.txt │ │ │ │ │ │ ├── run_ddp.py │ │ │ │ │ │ └── run_glue_model_parallelism.py │ │ │ │ │ └── tensorflow/ │ │ │ │ │ ├── requirements.txt │ │ │ │ │ ├── run_tf.py │ │ │ │ │ └── run_tf_dist.py │ │ │ │ ├── test_multi_node_data_parallel.py │ │ │ │ ├── test_multi_node_model_parallel.py │ │ │ │ └── test_single_node_gpu.py │ │ │ ├── test_backbone_common.py │ │ │ ├── test_configuration_common.py │ │ │ ├── test_feature_extraction_common.py │ │ │ ├── test_image_processing_common.py │ │ │ ├── test_image_transforms.py │ │ │ ├── test_modeling_common.py │ │ │ ├── test_modeling_flax_common.py │ │ │ ├── test_modeling_tf_common.py │ │ │ ├── test_pipeline_mixin.py │ │ │ ├── test_processing_common.py │ │ │ ├── test_sequence_feature_extraction_common.py │ │ │ ├── test_tokenization_common.py │ │ │ ├── tokenization/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_tokenization_fast.py │ │ │ │ └── test_tokenization_utils.py │ │ │ ├── trainer/ │ │ │ │ ├── __init__.py │ │ │ │ ├── test_data_collator.py │ │ │ │ ├── test_trainer.py │ │ │ │ ├── test_trainer_callback.py │ │ │ │ ├── test_trainer_distributed.py │ │ │ │ ├── test_trainer_seq2seq.py │ │ │ │ ├── test_trainer_tpu.py │ │ │ │ └── test_trainer_utils.py │ │ │ └── utils/ │ │ │ ├── __init__.py │ │ │ ├── test_activations.py │ │ │ ├── test_activations_tf.py │ │ │ ├── test_add_new_model_like.py │ │ │ ├── test_audio_utils.py │ │ │ ├── test_backbone_utils.py │ │ │ ├── test_cache_utils.py │ │ │ ├── test_chat_template_utils.py │ │ │ ├── test_cli.py │ │ │ ├── test_configuration_utils.py │ │ │ ├── test_convert_slow_tokenizer.py │ │ │ ├── test_deprecation.py │ │ │ ├── test_doc_samples.py │ │ │ ├── test_dynamic_module_utils.py │ │ │ ├── test_feature_extraction_utils.py │ │ │ ├── test_file_utils.py │ │ │ ├── test_generic.py │ │ │ ├── test_hf_argparser.py │ │ │ ├── test_hub_utils.py │ │ │ ├── test_image_processing_utils.py │ │ │ ├── test_image_utils.py │ │ │ ├── test_logging.py │ │ │ ├── test_model_card.py │ │ │ ├── test_model_output.py │ │ │ ├── test_modeling_flax_utils.py │ │ │ ├── test_modeling_rope_utils.py │ │ │ ├── test_modeling_tf_core.py │ │ │ ├── test_modeling_tf_utils.py │ │ │ ├── test_modeling_utils.py │ │ │ ├── test_offline.py │ │ │ ├── test_skip_decorators.py │ │ │ ├── test_tokenization_utils.py │ │ │ ├── test_versions_utils.py │ │ │ └── tiny_model_summary.json │ │ └── utils/ │ │ ├── add_pipeline_model_mapping_to_test.py │ │ ├── check_build.py │ │ ├── check_config_attributes.py │ │ ├── check_config_docstrings.py │ │ ├── check_copies.py │ │ ├── check_doc_toc.py │ │ ├── check_docstrings.py │ │ ├── check_doctest_list.py │ │ ├── check_dummies.py │ │ ├── check_inits.py │ │ ├── check_model_tester.py │ │ ├── check_repo.py │ │ ├── check_self_hosted_runner.py │ │ ├── check_support_list.py │ │ ├── check_table.py │ │ ├── check_tf_ops.py │ │ ├── create_dummy_models.py │ │ ├── custom_init_isort.py │ │ ├── deprecate_models.py │ │ ├── diff_model_converter.py │ │ ├── download_glue_data.py │ │ ├── extract_warnings.py │ │ ├── get_ci_error_statistics.py │ │ ├── get_github_job_time.py │ │ ├── get_modified_files.py │ │ ├── get_previous_daily_ci.py │ │ ├── get_test_info.py │ │ ├── important_models.txt │ │ ├── models_to_deprecate.py │ │ ├── not_doctested.txt │ │ ├── notification_service.py │ │ ├── notification_service_doc_tests.py │ │ ├── notification_service_quantization.py │ │ ├── past_ci_versions.py │ │ ├── patch_helper.py │ │ ├── pr_slow_ci_models.py │ │ ├── print_env.py │ │ ├── release.py │ │ ├── set_cuda_devices_for_ci.py │ │ ├── slow_documentation_tests.txt │ │ ├── sort_auto_mappings.py │ │ ├── split_doctest_jobs.py │ │ ├── split_model_tests.py │ │ ├── test_module/ │ │ │ ├── __init__.py │ │ │ ├── custom_configuration.py │ │ │ ├── custom_feature_extraction.py │ │ │ ├── custom_image_processing.py │ │ │ ├── custom_modeling.py │ │ │ ├── custom_pipeline.py │ │ │ ├── custom_processing.py │ │ │ ├── custom_tokenization.py │ │ │ └── custom_tokenization_fast.py │ │ ├── tests_fetcher.py │ │ ├── tf_ops/ │ │ │ └── onnx.json │ │ ├── update_metadata.py │ │ └── update_tiny_models.py │ └── utils.py ├── requirements.txt ├── scripts/ │ ├── app.py │ ├── data.json │ ├── test_app.sh │ └── tool_test.py └── setup.py