gitextract_z35rb3tr/

├── LICENSE
├── README.md
├── env.yml
├── example/
│   ├── demo/
│   │   └── train_zo2_with_hf_opt.py
│   └── mezo_runner/
│       ├── README.md
│       ├── metrics.py
│       ├── mezo.sh
│       ├── run.py
│       ├── tasks.py
│       ├── templates.py
│       └── utils.py
├── requirements.txt
├── script/
│   ├── add-copyright.py
│   └── clear-pycache.sh
├── setup.py
├── test/
│   ├── README.md
│   └── mezo_sgd/
│       ├── hf_gpt/
│       │   └── trainer.py
│       ├── hf_llama/
│       │   └── trainer.py
│       ├── hf_opt/
│       │   ├── record_zo2_memory.sh
│       │   ├── record_zo2_speed.sh
│       │   ├── test_acc.py
│       │   ├── test_acc_eval.sh
│       │   ├── test_acc_train.sh
│       │   ├── test_memory.py
│       │   ├── test_memory_eval.sh
│       │   ├── test_memory_train.sh
│       │   ├── test_scheduler_acc_eval.sh
│       │   ├── test_scheduler_acc_train.sh
│       │   ├── test_speed.py
│       │   ├── test_speed_eval.sh
│       │   ├── test_speed_train.sh
│       │   └── utils.py
│       ├── hf_qwen3/
│       │   ├── record_zo2_memory.sh
│       │   ├── record_zo2_speed.sh
│       │   ├── test_acc.py
│       │   ├── test_acc_eval.sh
│       │   ├── test_acc_train.sh
│       │   ├── test_memory.py
│       │   ├── test_memory_train.sh
│       │   ├── test_speed.py
│       │   ├── test_speed_train.sh
│       │   └── utils.py
│       └── nanogpt/
│           ├── record_zo2_memory.sh
│           ├── record_zo2_speed.sh
│           ├── test_acc.py
│           ├── test_acc_eval.sh
│           ├── test_acc_train.sh
│           ├── test_memory.py
│           ├── test_memory_eval.sh
│           ├── test_memory_train.sh
│           ├── test_speed.py
│           ├── test_speed_eval.sh
│           ├── test_speed_train.sh
│           └── utils.py
├── tutorial/
│   ├── README.md
│   ├── colab.ipynb
│   ├── demo.ipynb
│   ├── huggingface.ipynb
│   └── nanogpt.ipynb
└── zo2/
    ├── README.md
    ├── __init__.py
    ├── config/
    │   ├── __init__.py
    │   └── mezo_sgd.py
    ├── model/
    │   ├── __init__.py
    │   ├── base.py
    │   ├── huggingface/
    │   │   ├── __init__.py
    │   │   ├── gpt/
    │   │   │   └── mezo_sgd/
    │   │   │       ├── zo.py
    │   │   │       └── zo2.py
    │   │   ├── llama/
    │   │   │   └── mezo_sgd/
    │   │   │       ├── zo.py
    │   │   │       └── zo2.py
    │   │   ├── opt/
    │   │   │   ├── __init__.py
    │   │   │   └── mezo_sgd/
    │   │   │       ├── __init__.py
    │   │   │       ├── utils.py
    │   │   │       ├── zo.py
    │   │   │       └── zo2.py
    │   │   ├── qwen3/
    │   │   │   ├── __init__.py
    │   │   │   └── mezo_sgd/
    │   │   │       ├── __init__.py
    │   │   │       ├── utils.py
    │   │   │       ├── zo.py
    │   │   │       └── zo2.py
    │   │   └── zo_init.py
    │   └── nanogpt/
    │       ├── __init__.py
    │       ├── mezo_sgd/
    │       │   ├── __init__.py
    │       │   ├── zo.py
    │       │   └── zo2.py
    │       └── model.py
    ├── optimizer/
    │   ├── __init__.py
    │   ├── base.py
    │   └── mezo_sgd/
    │       ├── __init__.py
    │       ├── utils/
    │       │   ├── __init__.py
    │       │   ├── com.py
    │       │   └── comm.py
    │       ├── zo.py
    │       └── zo2.py
    ├── trainer/
    │   ├── __init__.py
    │   ├── hf_transformers/
    │   │   ├── __init__.py
    │   │   └── trainer.py
    │   └── hf_trl/
    │       ├── __init__.py
    │       └── sft_trainer.py
    └── utils/
        ├── __init__.py
        └── utils.py