gitextract_vnzwwx5o/

├── .gitignore
├── Evaluation/
│   ├── DS-1000/
│   │   └── README.md
│   ├── HumanEval/
│   │   ├── README.md
│   │   ├── data/
│   │   │   ├── humaneval-cpp
│   │   │   ├── humaneval-cpp.jsonl
│   │   │   ├── humaneval-cs
│   │   │   ├── humaneval-cs-bu.jsonl
│   │   │   ├── humaneval-cs.jsonl
│   │   │   ├── humaneval-d.jsonl
│   │   │   ├── humaneval-go.jsonl
│   │   │   ├── humaneval-java
│   │   │   ├── humaneval-java.jsonl
│   │   │   ├── humaneval-jl.jsonl
│   │   │   ├── humaneval-js.jsonl
│   │   │   ├── humaneval-lua.jsonl
│   │   │   ├── humaneval-php
│   │   │   ├── humaneval-php.jsonl
│   │   │   ├── humaneval-pl.jsonl
│   │   │   ├── humaneval-python.jsonl
│   │   │   ├── humaneval-r.jsonl
│   │   │   ├── humaneval-rb.jsonl
│   │   │   ├── humaneval-rkt.jsonl
│   │   │   ├── humaneval-rs.jsonl
│   │   │   ├── humaneval-scala.jsonl
│   │   │   ├── humaneval-sh
│   │   │   ├── humaneval-sh.jsonl
│   │   │   ├── humaneval-swift.jsonl
│   │   │   ├── humaneval-ts
│   │   │   └── humaneval-ts.jsonl
│   │   ├── eval.sh
│   │   ├── eval_instruct.py
│   │   ├── eval_pal.py
│   │   ├── human_eval/
│   │   │   ├── __init__.py
│   │   │   ├── data.py
│   │   │   ├── evaluate_functional_correctness.py
│   │   │   ├── evaluation.py
│   │   │   └── execution.py
│   │   ├── humaneval.py
│   │   ├── javatuples-1.2.jar
│   │   ├── test_config.yaml
│   │   └── utils/
│   │       ├── dataset.py
│   │       └── utils.py
│   ├── LeetCode/
│   │   ├── data/
│   │   │   ├── 20240121-Jul-zh.jsonl
│   │   │   └── 20240121-Jul.jsonl
│   │   ├── evaluate_leetcode.py
│   │   ├── human_eval/
│   │   │   ├── __init__.py
│   │   │   ├── data.py
│   │   │   ├── evaluation.py
│   │   │   └── execution.py
│   │   ├── readme.md
│   │   └── vllm_inference.py
│   ├── MBPP/
│   │   ├── README.md
│   │   ├── data/
│   │   │   ├── mbpp.jsonl
│   │   │   └── mbpp_test.jsonl
│   │   ├── eval.sh
│   │   ├── eval_instruct.py
│   │   ├── eval_pal.py
│   │   ├── human_eval/
│   │   │   ├── __init__.py
│   │   │   ├── data.py
│   │   │   ├── evaluate_functional_correctness.py
│   │   │   ├── evaluation.py
│   │   │   └── execution.py
│   │   ├── mbpp.py
│   │   ├── test_config.yaml
│   │   └── utils/
│   │       ├── dataset.py
│   │       └── utils.py
│   └── PAL-Math/
│       ├── README.md
│       ├── datasets/
│       │   ├── asdiv/
│       │   │   └── test.json
│       │   ├── gsm-hard/
│       │   │   └── test.json
│       │   ├── gsm8k/
│       │   │   └── test.json
│       │   ├── math/
│       │   │   └── test.json
│       │   ├── mawps/
│       │   │   ├── addsub.jsonl
│       │   │   ├── multiarith.jsonl
│       │   │   ├── singleeq.jsonl
│       │   │   ├── singleop.jsonl
│       │   │   └── test.json
│       │   ├── svamp/
│       │   │   └── test.json
│       │   └── tabmwp/
│       │       └── test.json
│       ├── prompts/
│       │   ├── gsm8k.md
│       │   └── math.md
│       ├── run.py
│       └── utils/
│           ├── grader.py
│           ├── parser.py
│           └── python_executor.py
├── LICENSE-CODE
├── LICENSE-MODEL
├── README.md
├── demo/
│   ├── app.py
│   ├── requirement.txt
│   └── style.css
├── finetune/
│   ├── README.md
│   ├── configs/
│   │   └── ds_config_zero3.json
│   ├── finetune_deepseekcoder.py
│   └── requirements.txt
├── pictures/
│   └── home.tif
└── requirements.txt