gitextract_m8hnh57h/

├── .gitignore
├── README.md
├── cluster/
│   ├── finetune.sh
│   ├── pretrain.sh
│   ├── pretrain_node_0.sh
│   ├── pretrain_node_1.sh
│   ├── pretrain_node_2.sh
│   └── pretrain_node_3.sh
├── lit_gpt/
│   ├── __init__.py
│   ├── adapter.py
│   ├── adapter_v2.py
│   ├── config.py
│   ├── fused_cross_entropy.py
│   ├── fused_rotary_embedding.py
│   ├── lora.py
│   ├── model.py
│   ├── packed_dataset.py
│   ├── rmsnorm.py
│   ├── rotary_ebm.py
│   ├── speed_monitor.py
│   ├── tokenizer.py
│   └── utils.py
├── pretrain/
│   ├── tinyllama.py
│   └── tinyllama_code.py
├── requirement.txt
├── scripts/
│   ├── convert_hf_checkpoint.py
│   ├── convert_lit_checkpoint.py
│   ├── convert_lit_model_to_hf.sh
│   ├── datasets_statistics.py
│   ├── prepare_mnbvc.py
│   ├── prepare_mnbvc.sh
│   ├── prepare_project_gutenberg.py
│   ├── prepare_project_gutenberg.sh
│   ├── prepare_skypile.py
│   ├── prepare_skypile.sh
│   ├── prepare_slimpajama.py
│   ├── prepare_slimpajama_train.sh
│   ├── prepare_slimpajama_valid.sh
│   ├── prepare_starcoder.py
│   ├── prepare_starcoder.sh
│   ├── prepare_starcoder_python.py
│   ├── prepare_starcoder_python.sh
│   └── run_lm_eval.sh
└── speculative_decoding/
    ├── codellama_spec.py
    ├── codellama_spec.sh
    └── utils.patch