gitextract_2y0s78c7/

├── .gitignore
├── README.md
├── categories.py
├── datautils.py
├── gptq.py
├── irqlora.py
├── llama.py
├── lm_eval/
│   ├── __init__.py
│   ├── base.py
│   ├── datasets/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── asdiv/
│   │   │   ├── __init__.py
│   │   │   ├── asdiv.py
│   │   │   └── dataset_infos.json
│   │   ├── coqa/
│   │   │   ├── __init__.py
│   │   │   ├── coqa.py
│   │   │   └── dataset_infos.json
│   │   ├── drop/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── drop.py
│   │   ├── headqa/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── headqa.py
│   │   ├── hendrycks_ethics/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── hendrycks_ethics.py
│   │   ├── hendrycks_math/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── hendrycks_math.py
│   │   ├── logiqa/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── logiqa.py
│   │   ├── mutual/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── mutual.py
│   │   ├── pile/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── pile.py
│   │   ├── quac/
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── quac.py
│   │   ├── sat_analogies/
│   │   │   ├── __init__.py
│   │   │   └── sat_analogies.py
│   │   ├── triviaqa/
│   │   │   ├── README.md
│   │   │   ├── __init__.py
│   │   │   ├── dataset_infos.json
│   │   │   └── triviaqa.py
│   │   └── unscramble/
│   │       ├── __init__.py
│   │       ├── dataset_infos.json
│   │       └── unscramble.py
│   ├── decontamination/
│   │   ├── __init__.py
│   │   ├── archiver.py
│   │   ├── decontaminate.py
│   │   └── janitor.py
│   ├── evaluator copy.py
│   ├── evaluator.py
│   ├── metrics.py
│   ├── models/
│   │   ├── __init__.py
│   │   ├── dummy.py
│   │   ├── gpt2.py
│   │   ├── gpt3.py
│   │   ├── huggingface.py
│   │   └── textsynth.py
│   ├── quantizer/
│   │   └── irqlora.py
│   ├── tasks/
│   │   ├── __init__.py
│   │   ├── anli.py
│   │   ├── arc.py
│   │   ├── arithmetic.py
│   │   ├── asdiv.py
│   │   ├── blimp.py
│   │   ├── cbt.py
│   │   ├── coqa.py
│   │   ├── crowspairs.py
│   │   ├── drop.py
│   │   ├── glue.py
│   │   ├── gsm8k.py
│   │   ├── headqa.py
│   │   ├── hellaswag.py
│   │   ├── hendrycks_ethics.py
│   │   ├── hendrycks_math.py
│   │   ├── hendrycks_test.py
│   │   ├── lambada.py
│   │   ├── lambada_cloze.py
│   │   ├── lambada_multilingual.py
│   │   ├── logiqa.py
│   │   ├── mathqa.py
│   │   ├── mc_taco.py
│   │   ├── mutual.py
│   │   ├── naturalqs.py
│   │   ├── openbookqa.py
│   │   ├── pile.py
│   │   ├── piqa.py
│   │   ├── prost.py
│   │   ├── pubmedqa.py
│   │   ├── qa4mre.py
│   │   ├── qasper.py
│   │   ├── quac.py
│   │   ├── race.py
│   │   ├── sat.py
│   │   ├── sciq.py
│   │   ├── squad.py
│   │   ├── storycloze.py
│   │   ├── superglue.py
│   │   ├── swag.py
│   │   ├── toxigen.py
│   │   ├── translation.py
│   │   ├── triviaqa.py
│   │   ├── truthfulqa.py
│   │   ├── unscramble.py
│   │   ├── webqs.py
│   │   ├── wikitext.py
│   │   ├── winogrande.py
│   │   └── wsc273.py
│   └── utils.py
├── main.py
├── models/
│   ├── IRQLoRALMClass.py
│   ├── LMClass.py
│   ├── int_falcon_layer.py
│   ├── int_llama_layer.py
│   ├── int_opt_layer.py
│   ├── models_utils.py
│   └── transformation.py
├── parallel_utils.py
├── quant/
│   ├── __init__.py
│   ├── int_linear.py
│   ├── int_matmul.py
│   ├── omni_norm.py
│   ├── omniquant.py
│   ├── quantizer.py
│   └── utils.py
├── scripts/
│   ├── eval_fake_ptq.sh
│   └── eval_irqlora_commonsenseqa.sh
└── utils.py