gitextract_722afjzh/

├── .gitignore
├── .gitmodules
├── CONTRIBUTING.md
├── LICENSE.txt
├── Makefile
├── README.md
├── __init__.py
├── base-schema.json
├── chat-schema.json
├── cog.yaml
├── examples/
│   └── alpaca/
│       ├── README.md
│       ├── process_data.py
│       └── replicate_alpaca_data.json
├── llama_recipes/
│   ├── LICENSE
│   ├── __init__.py
│   ├── configs/
│   │   ├── __init__.py
│   │   ├── datasets.py
│   │   ├── fsdp.py
│   │   ├── peft.py
│   │   └── training.py
│   ├── ft_datasets/
│   │   ├── __init__.py
│   │   ├── alpaca_dataset.py
│   │   ├── completion_dataset.py
│   │   ├── grammar_dataset/
│   │   │   ├── __init__.py
│   │   │   ├── grammar_dataset.py
│   │   │   └── grammar_dataset_process.ipynb
│   │   ├── samsum_dataset.py
│   │   └── utils.py
│   ├── llama_finetuning.py
│   ├── model_checkpointing/
│   │   ├── __init__.py
│   │   └── checkpoint_handler.py
│   ├── multi_node.slurm
│   ├── policies/
│   │   ├── __init__.py
│   │   ├── activation_checkpointing_functions.py
│   │   ├── anyprecision_optimizer.py
│   │   ├── mixed_precision.py
│   │   └── wrapping.py
│   ├── quickstart.ipynb
│   ├── requirements.txt
│   ├── scripts/
│   │   ├── markdown_link_check_config.json
│   │   ├── spellcheck.sh
│   │   └── spellcheck_conf/
│   │       ├── spellcheck.yaml
│   │       └── wordlist.txt
│   └── utils/
│       ├── __init__.py
│       ├── config_utils.py
│       ├── dataset_utils.py
│       ├── fsdp_utils.py
│       ├── memory_utils.py
│       └── train_utils.py
├── mistral-schema.json
├── model_templates/
│   └── config.py
├── models/
│   ├── dockerignore
│   ├── llama-2-13b/
│   │   └── config.py
│   ├── llama-2-13b-chat/
│   │   └── config.py
│   ├── llama-2-13b-chat-hf-mlc/
│   │   └── config.py
│   ├── llama-2-13b-mlc/
│   │   └── config.py
│   ├── llama-2-70b/
│   │   ├── config.py
│   │   └── model_artifacts/
│   │       └── tokenizer/
│   │           ├── special_tokens_map.json
│   │           ├── tokenizer.model
│   │           ├── tokenizer_checklist.chk
│   │           └── tokenizer_config.json
│   ├── llama-2-70b-chat/
│   │   └── config.py
│   ├── llama-2-70b-chat-hf-mlc/
│   │   └── config.py
│   ├── llama-2-70b-mlc/
│   │   └── config.py
│   ├── llama-2-7b/
│   │   └── config.py
│   ├── llama-2-7b-chat/
│   │   └── config.py
│   ├── llama-2-7b-chat-hf-mlc/
│   │   └── config.py
│   ├── llama-2-7b-mlc/
│   │   └── config.py
│   ├── llama-2-7b-transformers/
│   │   ├── config.py
│   │   └── model_artifacts/
│   │       └── tokenizer/
│   │           ├── special_tokens_map.json
│   │           ├── tokenizer.model
│   │           ├── tokenizer_checklist.chk
│   │           └── tokenizer_config.json
│   ├── llama-2-7b-vllm/
│   │   └── config.py
│   ├── mistral-7b-instruct-v0.1-mlc/
│   │   └── config.py
│   └── mistral-7b-v0.1-mlc/
│       └── config.py
├── notes/
│   └── new_model_notes.md
├── predict.py
├── pyproject.toml
├── requirements-dev.txt
├── scripts/
│   ├── benchmark_token_latency.py
│   ├── load_secrets.sh
│   ├── test_fast_llama.py
│   ├── test_load_unload_lora.py
│   ├── train_multi_gpu.sh
│   └── train_single_gpu.sh
├── src/
│   ├── __init__.py
│   ├── config_utils.py
│   ├── download.py
│   ├── inference_engines/
│   │   ├── __init__.py
│   │   ├── engine.py
│   │   ├── exllama.py
│   │   ├── mlc_engine.py
│   │   ├── mlc_vllm_engine.py
│   │   ├── transformers_engine.py
│   │   ├── vllm_engine.py
│   │   ├── vllm_exllama_engine.py
│   │   └── vllm_transformers.py
│   ├── more_utils.py
│   └── utils.py
├── tests/
│   ├── __init__.py
│   ├── assets/
│   │   └── llama_tokenizer/
│   │       ├── special_tokens_map.json
│   │       ├── tokenizer.model
│   │       ├── tokenizer_checklist.chk
│   │       └── tokenizer_config.json
│   ├── conftest.py
│   ├── data/
│   │   └── 200_samples.jsonl
│   ├── run_local_tests.sh
│   ├── test_e2e.py
│   ├── test_predict.py
│   ├── test_predict_with_trained_weights.py
│   ├── test_remote_predict.py
│   ├── test_remote_train.py
│   ├── test_train.py
│   ├── test_train_predict.py
│   ├── test_utils.py
│   ├── timing.py
│   └── unit_tests/
│       ├── test_completion_dataset.py
│       └── test_utils.py
└── train.py