gitextract_ib4k5pq4/

├── .github/
│   └── ISSUE_TEMPLATE/
│       ├── bug_report.md
│       ├── feature_request.md
│       └── openchatkit-feedback-report.yaml
├── .gitignore
├── LICENSE
├── README.md
├── data/
│   ├── OIG/
│   │   └── prepare.py
│   ├── OIG-chip2/
│   │   └── prepare.sh
│   ├── OIG-moderation/
│   │   └── prepare.py
│   ├── prepare_data.py
│   └── wikipedia-3sentence-level-retrieval-index/
│       └── prepare.py
├── docs/
│   ├── GPT-NeoXT-Chat-Base-20B.md
│   └── finetuning-RedPajama-3B.md
├── environment.yml
├── inference/
│   ├── README.md
│   ├── bot.py
│   └── conversation.py
├── pretrained/
│   ├── GPT-NeoX-20B/
│   │   └── prepare.py
│   ├── Llama-2-7B-32K-beta/
│   │   └── prepare.py
│   ├── Pythia-6.9B-deduped/
│   │   └── prepare.py
│   ├── RedPajama-3B/
│   │   └── prepare.py
│   ├── RedPajama-7B/
│   │   └── prepare.py
│   └── prepare_pretrained.py
├── retrieval/
│   ├── README.md
│   ├── __init__.py
│   └── wikipedia.py
├── tools/
│   ├── README.md
│   ├── benchmark_input.json
│   ├── convert_to_hf_gptneox.py
│   ├── convert_to_hf_llama.py
│   └── model_load_benchmark.py
└── training/
    ├── README.md
    ├── comm/
    │   ├── __init__.py
    │   ├── comm_utils.py
    │   ├── nccl_backend.py
    │   └── torch_backend.py
    ├── data_parallel/
    │   ├── __init__.py
    │   ├── dist_dp_allreduce.py
    │   ├── dist_dp_central_ps.py
    │   ├── dist_dp_local.py
    │   ├── dist_dp_sharded_ps.py
    │   ├── dist_dp_utils.py
    │   └── flatten_utils.py
    ├── dist_clm_train.py
    ├── dist_prefixlm_train.py
    ├── finetune_GPT-NeoXT-Chat-Base-20B.sh
    ├── finetune_Pythia-Chat-Base-7B.sh
    ├── finetune_RedPajama-INCITE-7B-Chat.sh
    ├── finetune_RedPajama-INCITE-Chat-3B-v1.sh
    ├── finetune_llama-2-7b-32k-booksum.sh
    ├── finetune_llama-2-7b-32k-mqa.sh
    ├── lora/
    │   └── example/
    │       ├── redpajama-incite-chat-3b.py
    │       └── redpajama-incite-chat-3b_inference.py
    ├── modules/
    │   ├── __init__.py
    │   ├── deberta_modules.py
    │   ├── dist_deberta_pp_module.py
    │   ├── dist_gpt_fsdp_module.py
    │   ├── dist_gpt_pp_module.py
    │   ├── hf_gpt2_modules.py
    │   ├── hf_gptj_modules.py
    │   ├── hf_gptneox_modules.py
    │   ├── hf_opt_modules.py
    │   ├── llama_modules.py
    │   ├── task_modules.py
    │   ├── tokenizer.py
    │   └── utils.py
    ├── optimizer/
    │   ├── __init__.py
    │   ├── grad_scalar.py
    │   └── optimizer.py
    ├── pipeline_parallel/
    │   ├── __init__.py
    │   ├── dist_gpipe_pipeline_async.py
    │   └── dist_pp_utils.py
    ├── tasks/
    │   ├── __init__.py
    │   └── data_loaders/
    │       ├── __init__.py
    │       ├── data_utils.py
    │       └── prosocial.py
    └── utils/
        ├── __init__.py
        ├── dist_args_utils.py
        ├── dist_checkpoint_utils.py
        ├── dist_debug_utils.py
        ├── event_report.py
        ├── logging_utils.py
        └── upload_manager.py