gitextract_ctr2cg_x/ ├── .devcontainer/ │ ├── Dockerfile │ └── devcontainer.json ├── .github/ │ ├── CODEOWNERS │ ├── ISSUE_TEMPLATE/ │ │ ├── ask-a-question.md │ │ ├── bug-report.yaml │ │ └── feature-request.md │ ├── dependabot.yml │ └── workflows/ │ ├── check-links.yml │ ├── cpu-tests.yml │ ├── mkdocs-deploy.yml │ └── publish-pkg.yml ├── .gitignore ├── .lightning/ │ └── workflows/ │ └── tests.yaml ├── .pre-commit-config.yaml ├── CITATION.cff ├── LICENSE ├── README.md ├── config_hub/ │ ├── finetune/ │ │ ├── README.md │ │ ├── falcon-7b/ │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── gemma-2b/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── gemma-7b/ │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── gemma2-2b/ │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── gemma2-9b/ │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── llama-2-7b/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── llama-3-8b/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── llama-3.1-8b/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── llama-3.2-1B/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── llama-3.2-3B/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── mistral-7b/ │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── mistral-7b-v0.2/ │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── phi-2/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── phi-3/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ ├── stablelm-base-alpha-3b/ │ │ │ ├── full.yaml │ │ │ ├── lora.yaml │ │ │ └── qlora.yaml │ │ └── tiny-llama/ │ │ ├── full.yaml │ │ ├── lora.yaml │ │ └── qlora.yaml │ └── pretrain/ │ ├── debug.yaml │ ├── microllama.yaml │ ├── tinyllama.yaml │ └── tinystories.yaml ├── extensions/ │ ├── thunder/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── pretrain.py │ │ ├── strategies/ │ │ │ ├── __init__.py │ │ │ ├── thunder_ddp.py │ │ │ └── thunder_fsdp.py │ │ └── unsloth/ │ │ ├── __init__.py │ │ ├── executor.py │ │ └── kernels/ │ │ ├── __init__.py │ │ ├── cross_entropy_loss.py │ │ ├── rope_embedding.py │ │ ├── swiglu.py │ │ └── utils.py │ └── xla/ │ ├── README.md │ ├── __init__ │ ├── finetune/ │ │ ├── __init__ │ │ └── adapter.py │ ├── generate/ │ │ ├── __init__ │ │ ├── adapter.py │ │ └── base.py │ ├── scripts/ │ │ ├── __init__ │ │ └── prepare_alpaca.py │ └── utils.py ├── litgpt/ │ ├── __init__.py │ ├── __main__.py │ ├── adapter.py │ ├── adapter_v2.py │ ├── api.py │ ├── args.py │ ├── chat/ │ │ ├── __init__.py │ │ └── base.py │ ├── config.py │ ├── constants.py │ ├── data/ │ │ ├── __init__.py │ │ ├── alpaca.py │ │ ├── alpaca_2k.py │ │ ├── alpaca_gpt4.py │ │ ├── base.py │ │ ├── deita.py │ │ ├── flan.py │ │ ├── json_data.py │ │ ├── lima.py │ │ ├── lit_data.py │ │ ├── longform.py │ │ ├── microllama.py │ │ ├── openwebtext.py │ │ ├── prepare_slimpajama.py │ │ ├── prepare_starcoder.py │ │ ├── text_files.py │ │ ├── tinyllama.py │ │ └── tinystories.py │ ├── deploy/ │ │ ├── __init__.py │ │ └── serve.py │ ├── eval/ │ │ └── evaluate.py │ ├── finetune/ │ │ ├── __init__.py │ │ ├── adapter.py │ │ ├── adapter_v2.py │ │ ├── full.py │ │ ├── lora.py │ │ └── lora_legacy.py │ ├── generate/ │ │ ├── __init__.py │ │ ├── adapter.py │ │ ├── adapter_v2.py │ │ ├── base.py │ │ ├── full.py │ │ ├── sequentially.py │ │ ├── speculative_decoding.py │ │ └── tp.py │ ├── lora.py │ ├── model.py │ ├── parser_config.py │ ├── pretrain.py │ ├── prompts.py │ ├── scripts/ │ │ ├── __init__.py │ │ ├── convert_hf_checkpoint.py │ │ ├── convert_lit_checkpoint.py │ │ ├── convert_pretrained_checkpoint.py │ │ ├── download.py │ │ └── merge_lora.py │ ├── tokenizer.py │ ├── types.py │ └── utils.py ├── pyproject.toml ├── tests/ │ ├── conftest.py │ ├── convert/ │ │ ├── __init__.py │ │ ├── test_hf_checkpoint.py │ │ ├── test_lit_checkpoint.py │ │ └── test_pretrained_checkpoint.py │ ├── data/ │ │ ├── __init__.py │ │ ├── _fixtures/ │ │ │ ├── alpaca.json │ │ │ ├── dolly.json │ │ │ ├── longform_train.json │ │ │ └── longform_val.json │ │ ├── test_alpaca.py │ │ ├── test_base.py │ │ ├── test_deita.py │ │ ├── test_json.py │ │ ├── test_lit_data.py │ │ ├── test_longform.py │ │ ├── test_openwebtext.py │ │ ├── test_textfiles.py │ │ ├── test_tinyllama.py │ │ └── test_tinystories.py │ ├── ext_thunder/ │ │ ├── __init__.py │ │ ├── test_thunder_distributed.py │ │ ├── test_thunder_networks.py │ │ ├── test_thunder_pretrain.py │ │ └── test_unsloth_executor.py │ ├── generate/ │ │ ├── __init__.py │ │ ├── test_adapter.py │ │ ├── test_main.py │ │ ├── test_sequentially.py │ │ ├── test_tp.py │ │ └── utils.py │ ├── test_adapter.py │ ├── test_adapter_v2.py │ ├── test_api.py │ ├── test_args.py │ ├── test_batch.py │ ├── test_chat.py │ ├── test_ci.py │ ├── test_cli.py │ ├── test_config.py │ ├── test_config_hub.py │ ├── test_deepseek_moe.py │ ├── test_distributed.py │ ├── test_evaluate.py │ ├── test_full.py │ ├── test_generate_speculatively.py │ ├── test_lora.py │ ├── test_merge_lora.py │ ├── test_model.py │ ├── test_multihead_latent_attention.py │ ├── test_pretrain.py │ ├── test_prompts.py │ ├── test_readme.py │ ├── test_rope.py │ ├── test_serve.py │ ├── test_tokenizer.py │ ├── test_trainer_support.py │ ├── test_types.py │ ├── test_utils.py │ └── test_yarn.py └── tutorials/ ├── 0_to_litgpt.md ├── convert_hf_checkpoint.md ├── convert_lit_models.md ├── deploy.md ├── developer-docs/ │ ├── README.md │ ├── adding-models.md │ └── python-api.md ├── download_model_weights.md ├── evaluation.md ├── examples/ │ └── ptl-trainer/ │ ├── README.md │ ├── litgpt_ptl_medium.py │ └── litgpt_ptl_small.py ├── finetune.md ├── finetune_adapter.md ├── finetune_full.md ├── finetune_lora.md ├── full_finetune_example.py ├── inference.md ├── mkdocs.yml ├── oom.md ├── prepare_dataset.md ├── pretrain.md ├── pretrain_tinyllama.md ├── python-api.md ├── quantize.md └── resource-tables.md