gitextract_96pnh25s/ ├── .gitmodules ├── LICENSE ├── MODEL_LICENSE ├── README.md ├── README_zh.md ├── api/ │ ├── README_zh.md │ ├── codegeex-api-example-java/ │ │ ├── pom.xml │ │ └── src/ │ │ └── main/ │ │ └── java/ │ │ └── cn/ │ │ └── aminer/ │ │ └── codegeex/ │ │ └── example/ │ │ ├── CodeGenerationExample.java │ │ └── pojo/ │ │ └── Payload.java │ └── codegeex-api-example-python/ │ └── generation_example.py ├── codegeex/ │ ├── __init__.py │ ├── benchmark/ │ │ ├── README.md │ │ ├── README_zh.md │ │ ├── __init__.py │ │ ├── evaluate_humaneval_x.py │ │ ├── execution.py │ │ ├── gather_output.py │ │ ├── humaneval-x/ │ │ │ ├── __init__.py │ │ │ ├── cpp/ │ │ │ │ └── evaluation/ │ │ │ │ └── test.cpp │ │ │ ├── evaluate_humaneval_x.py │ │ │ ├── generate_humaneval_x.py │ │ │ ├── go/ │ │ │ │ └── evaluation/ │ │ │ │ ├── go.mod │ │ │ │ └── go.sum │ │ │ └── translate_humaneval_x.py │ │ ├── inspect_result.py │ │ ├── metric.py │ │ ├── rust/ │ │ │ └── Cargo.toml │ │ └── utils.py │ ├── data/ │ │ ├── __init__.py │ │ ├── data_utils.py │ │ ├── process_pretrain_dataset.py │ │ ├── processor.py │ │ └── types.py │ ├── docker/ │ │ └── Dockerfile │ ├── kernels/ │ │ ├── __init__.py │ │ └── quantization.fatbin │ ├── megatron/ │ │ ├── __init__.py │ │ ├── arguments.py │ │ ├── checkpointing.py │ │ ├── code_generation_utils.py │ │ ├── convert_ckpt_parallel.py │ │ ├── data/ │ │ │ ├── __init__.py │ │ │ ├── blendable_dataset.py │ │ │ ├── data_samplers.py │ │ │ ├── dataset_utils.py │ │ │ ├── helpers.cpp │ │ │ ├── indexed_dataset.py │ │ │ └── prompt_dataset.py │ │ ├── enums.py │ │ ├── global_vars.py │ │ ├── inference.py │ │ ├── initialize.py │ │ ├── learning_rates.py │ │ ├── memory.py │ │ ├── merge_ckpt_parallel.py │ │ ├── microbatches.py │ │ ├── mindspore_to_megatron.py │ │ ├── model/ │ │ │ ├── __init__.py │ │ │ ├── codegeex_model.py │ │ │ ├── distributed.py │ │ │ ├── language_model.py │ │ │ ├── module.py │ │ │ ├── transformer.py │ │ │ └── utils.py │ │ ├── mpu/ │ │ │ ├── __init__.py │ │ │ ├── cross_entropy.py │ │ │ ├── data.py │ │ │ ├── initialize.py │ │ │ ├── layers.py │ │ │ ├── mappings.py │ │ │ ├── random.py │ │ │ └── utils.py │ │ ├── optimizer/ │ │ │ ├── __init__.py │ │ │ ├── clip_grads.py │ │ │ ├── grad_scaler.py │ │ │ └── optimizer.py │ │ ├── p2p_communication.py │ │ ├── schedules.py │ │ ├── tokenizer/ │ │ │ ├── __init__.py │ │ │ ├── gpt2_tokenization.py │ │ │ └── tokenizer.py │ │ ├── tools/ │ │ │ ├── collect_env.py │ │ │ ├── finetune_codegeex.py │ │ │ └── pretrain_codegeex.py │ │ ├── training.py │ │ └── utils.py │ ├── mindspore/ │ │ ├── configs/ │ │ │ ├── 13B.sh │ │ │ ├── 13B_128p_save_1p.sh │ │ │ ├── 13B_128p_save_8p_ckpt.sh │ │ │ ├── 13B_1p_to_torch.sh │ │ │ ├── 13B_finetune.sh │ │ │ ├── 13B_generate.sh │ │ │ ├── 13B_generate_1p.sh │ │ │ ├── 13B_generate_1p_values.sh │ │ │ ├── 13B_generate_finetune.sh │ │ │ ├── 13B_generate_humaneval.sh │ │ │ └── 13B_generate_values.sh │ │ ├── convertion_1p.py │ │ ├── finetune.py │ │ ├── generation.py │ │ ├── generation_1p.py │ │ ├── generation_batch.py │ │ ├── generation_finetune.py │ │ ├── generation_humaneval.py │ │ ├── generation_values.py │ │ ├── generation_values_1p.py │ │ ├── save_1p_ckpt_from_8p_ckpt.py │ │ ├── save_8p_ckpt.py │ │ ├── scripts/ │ │ │ ├── custom_tune_bank_new/ │ │ │ │ └── Ascend910ProA/ │ │ │ │ ├── cube/ │ │ │ │ │ └── repository_ascend910ProA_matmul.json │ │ │ │ └── vector/ │ │ │ │ └── Ascend910ProA_AiCore_32_v001_20220509_200939_588817.json │ │ │ ├── layer_norm.py │ │ │ ├── layer_norm_x_backprop_v2.py │ │ │ ├── ma-pre-start.sh │ │ │ ├── run_modelarts.py │ │ │ ├── run_modelarts_gen_finetune.py │ │ │ └── run_modelarts_gen_humaneval_x.py │ │ ├── src/ │ │ │ ├── __init__.py │ │ │ ├── adam.py │ │ │ ├── callbacks.py │ │ │ ├── code_tokenizer.py │ │ │ ├── dataset.py │ │ │ ├── dataset_finetune.py │ │ │ ├── generate.py │ │ │ ├── generate_finetune.py │ │ │ ├── generate_greedy.py │ │ │ ├── generate_humaneval.py │ │ │ ├── metrics.py │ │ │ ├── pangu_alpha.py │ │ │ ├── pangu_alpha_config.py │ │ │ ├── pangu_alpha_fp16_predict.py │ │ │ ├── pangu_alpha_wrapcell.py │ │ │ ├── pangu_alpha_wrapcell_finetune.py │ │ │ ├── preprocess.py │ │ │ ├── sat_dataset.py │ │ │ ├── tokenization_jieba.py │ │ │ └── utils.py │ │ └── train.py │ ├── oneflow/ │ │ ├── __init__.py │ │ ├── codegeex_model.py │ │ └── inference.py │ ├── paddle/ │ │ ├── __init__.py │ │ ├── codegeex_model.py │ │ ├── inference.py │ │ └── pt_to_pdparams.py │ ├── quantization/ │ │ ├── __init__.py │ │ ├── quantize.py │ │ └── quantize_oneflow.py │ ├── tokenizer/ │ │ ├── __init__.py │ │ ├── added_tokens.json │ │ ├── merges.txt │ │ ├── special_tokens_map.json │ │ ├── tokenizer.py │ │ ├── tokenizer_config.json │ │ └── vocab.json │ └── torch/ │ ├── __init__.py │ ├── codegeex_model.py │ ├── get_ckpt_qkv.py │ └── inference.py ├── configs/ │ ├── codegeex_13b.sh │ ├── codegeex_13b_paddle.sh │ └── codegeex_13b_parallel.sh ├── deployment/ │ ├── example_inputs.jsonl │ └── server_gradio.py ├── requirements.txt ├── resources/ │ └── zh/ │ └── wechat.md ├── scripts/ │ ├── convert_ckpt_parallel.sh │ ├── convert_mindspore_to_megatron.sh │ ├── evaluate_humaneval_x.py │ ├── evaluate_humaneval_x.sh │ ├── finetune_codegeex.sh │ ├── gather_output.sh │ ├── generate_humaneval_x.sh │ ├── pretrain_codegeex.sh │ ├── process_pretrain_dataset.sh │ ├── test_inference.sh │ ├── test_inference_oneflow.sh │ ├── test_inference_oneflow_quantized.sh │ ├── test_inference_paddle.sh │ ├── test_inference_parallel.sh │ ├── test_inference_quantized.sh │ └── translate_humaneval_x.sh ├── setup.py ├── tests/ │ ├── test_inference.py │ ├── test_inference_megatron.py │ ├── test_inference_oneflow.py │ ├── test_inference_paddle.py │ └── test_prompt.txt └── vscode-extension/ ├── README.md └── README_zh.md