gitextract_ou4elal9/

├── .gitignore
├── .pre-commit-config.yaml
├── LICENSE
├── README.md
├── models_configs/
│   ├── Mistral7B-PairRM-SPPO-Iter3/
│   │   ├── configs.yaml
│   │   └── prompts.txt
│   └── README.md
├── run_sppo_gemma-2-27b.sh
├── run_sppo_gemma-2.sh
├── run_sppo_llama-3.sh
├── run_sppo_mistral.sh
├── scripts/
│   ├── combine_generate.py
│   ├── compute_prob.py
│   ├── generate.py
│   ├── generate.sh
│   ├── pipeline.sh
│   ├── preload.py
│   ├── rank.py
│   └── update_dataset.py
├── setup.cfg
├── setup.py
└── sppo/
    ├── alignment/
    │   ├── __init__.py
    │   ├── configs.py
    │   ├── data.py
    │   ├── model_utils.py
    │   └── release.py
    ├── run_sft.py
    ├── run_sppo.py
    └── trainer.py