gitextract_npmvb7su/ ├── .github/ │ └── workflows/ │ ├── new_tasks.yml │ ├── publish.yml │ └── unit_tests.yml ├── .gitignore ├── .pre-commit-config.yaml ├── CITATION.bib ├── CODEOWNERS ├── LICENSE.md ├── MANIFEST.in ├── README.md ├── docs/ │ ├── API_guide.md │ ├── CONTRIBUTING.md │ ├── README.md │ ├── chat-template-readme.md │ ├── config_files.md │ ├── decontamination.md │ ├── footguns.md │ ├── interface.md │ ├── model_guide.md │ ├── new_task_guide.md │ ├── python-api.md │ └── task_guide.md ├── examples/ │ ├── lm-eval-overview.ipynb │ ├── transformer-lens.py │ ├── visualize-wandb.ipynb │ └── visualize-zeno.ipynb ├── ignore.txt ├── lm_eval/ │ ├── __init__.py │ ├── __main__.py │ ├── _cli/ │ │ ├── __init__.py │ │ ├── harness.py │ │ ├── ls.py │ │ ├── run.py │ │ ├── subcommand.py │ │ ├── utils.py │ │ └── validate.py │ ├── api/ │ │ ├── __init__.py │ │ ├── filter.py │ │ ├── group.py │ │ ├── instance.py │ │ ├── metrics.py │ │ ├── model.py │ │ ├── registry.py │ │ ├── samplers.py │ │ ├── task.py │ │ └── utils.py │ ├── caching/ │ │ ├── __init__.py │ │ └── cache.py │ ├── config/ │ │ ├── __init__.py │ │ ├── evaluate_config.py │ │ ├── group.py │ │ └── task.py │ ├── decontamination/ │ │ ├── __init__.py │ │ ├── archiver.py │ │ ├── decontaminate.py │ │ └── janitor.py │ ├── defaults.py │ ├── evaluator.py │ ├── evaluator_utils.py │ ├── filters/ │ │ ├── __init__.py │ │ ├── custom.py │ │ ├── decontamination.py │ │ ├── extraction.py │ │ ├── selection.py │ │ └── transformation.py │ ├── loggers/ │ │ ├── __init__.py │ │ ├── evaluation_tracker.py │ │ ├── utils.py │ │ └── wandb_logger.py │ ├── models/ │ │ ├── __init__.py │ │ ├── anthropic_llms.py │ │ ├── api_models.py │ │ ├── dummy.py │ │ ├── gguf.py │ │ ├── hf_audiolm.py │ │ ├── hf_steered.py │ │ ├── hf_vlms.py │ │ ├── huggingface.py │ │ ├── ibm_watsonx_ai.py │ │ ├── mamba_lm.py │ │ ├── megatron_lm.py │ │ ├── mistral3.py │ │ ├── nemo_lm.py │ │ ├── neuron_optimum.py │ │ ├── openai_completions.py │ │ ├── optimum_habana.py │ │ ├── optimum_ipex.py │ │ ├── optimum_lm.py │ │ ├── sglang_causallms.py │ │ ├── sglang_generate_API.py │ │ ├── textsynth.py │ │ ├── utils.py │ │ ├── utils_hf.py │ │ ├── vllm_causallms.py │ │ ├── vllm_vlms.py │ │ └── winml.py │ ├── prompts/ │ │ └── __init__.py │ ├── result_schema.py │ ├── tasks/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── _factory.py │ │ ├── _index.py │ │ ├── _yaml_loader.py │ │ ├── aclue/ │ │ │ ├── README.md │ │ │ ├── _aclue.yaml │ │ │ ├── _default_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── aclue_ancient_chinese_culture.yaml │ │ │ ├── aclue_ancient_literature.yaml │ │ │ ├── aclue_ancient_medical.yaml │ │ │ ├── aclue_ancient_phonetics.yaml │ │ │ ├── aclue_basic_ancient_chinese.yaml │ │ │ ├── aclue_couplet_prediction.yaml │ │ │ ├── aclue_homographic_character_resolution.yaml │ │ │ ├── aclue_named_entity_recognition.yaml │ │ │ ├── aclue_poetry_appreciate.yaml │ │ │ ├── aclue_poetry_context_prediction.yaml │ │ │ ├── aclue_poetry_quality_assessment.yaml │ │ │ ├── aclue_poetry_sentiment_analysis.yaml │ │ │ ├── aclue_polysemy_resolution.yaml │ │ │ ├── aclue_reading_comprehension.yaml │ │ │ └── aclue_sentence_segmentation.yaml │ │ ├── acpbench/ │ │ │ ├── README.md │ │ │ ├── boolq_cot_2shot/ │ │ │ │ ├── _boolq_cot_2shot_yaml │ │ │ │ ├── act_reach.yaml │ │ │ │ ├── app.yaml │ │ │ │ ├── just.yaml │ │ │ │ ├── land.yaml │ │ │ │ ├── prog.yaml │ │ │ │ ├── reach.yaml │ │ │ │ └── val.yaml │ │ │ ├── gen_2shot/ │ │ │ │ ├── _gen_yaml_2shot │ │ │ │ ├── acp_grammar.lark │ │ │ │ ├── acp_utils.py │ │ │ │ ├── act_reach.yaml │ │ │ │ ├── app.yaml │ │ │ │ ├── just.yaml │ │ │ │ ├── land.yaml │ │ │ │ ├── next_act.yaml │ │ │ │ ├── prog.yaml │ │ │ │ ├── reach.yaml │ │ │ │ └── val.yaml │ │ │ ├── gen_2shot_with_pddl/ │ │ │ │ ├── _gen_yaml_2shot │ │ │ │ ├── acp_grammar.lark │ │ │ │ ├── acp_utils.py │ │ │ │ ├── act_reach.yaml │ │ │ │ ├── app.yaml │ │ │ │ ├── just.yaml │ │ │ │ ├── land.yaml │ │ │ │ ├── next_act.yaml │ │ │ │ ├── prog.yaml │ │ │ │ ├── reach.yaml │ │ │ │ └── val.yaml │ │ │ └── mcq_cot_2shot/ │ │ │ ├── _mcq_cot_2shot_yaml │ │ │ ├── act_reach.yaml │ │ │ ├── app.yaml │ │ │ ├── just.yaml │ │ │ ├── land.yaml │ │ │ ├── prog.yaml │ │ │ ├── reach.yaml │ │ │ └── val.yaml │ │ ├── aexams/ │ │ │ ├── README.md │ │ │ ├── _aexams.yaml │ │ │ ├── _default_template_yaml │ │ │ ├── aexams_Biology.yaml │ │ │ ├── aexams_IslamicStudies.yaml │ │ │ ├── aexams_Physics.yaml │ │ │ ├── aexams_Science.yaml │ │ │ └── aexams_Social.yaml │ │ ├── afrimgsm/ │ │ │ ├── README.md │ │ │ ├── direct/ │ │ │ │ ├── afrimgsm.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrimgsm_amh.yaml │ │ │ │ │ ├── afrimgsm_eng.yaml │ │ │ │ │ ├── afrimgsm_ewe.yaml │ │ │ │ │ ├── afrimgsm_fra.yaml │ │ │ │ │ ├── afrimgsm_hau.yaml │ │ │ │ │ ├── afrimgsm_ibo.yaml │ │ │ │ │ ├── afrimgsm_kin.yaml │ │ │ │ │ ├── afrimgsm_lin.yaml │ │ │ │ │ ├── afrimgsm_lug.yaml │ │ │ │ │ ├── afrimgsm_orm.yaml │ │ │ │ │ ├── afrimgsm_sna.yaml │ │ │ │ │ ├── afrimgsm_sot.yaml │ │ │ │ │ ├── afrimgsm_swa.yaml │ │ │ │ │ ├── afrimgsm_twi.yaml │ │ │ │ │ ├── afrimgsm_vai.yaml │ │ │ │ │ ├── afrimgsm_wol.yaml │ │ │ │ │ ├── afrimgsm_xho.yaml │ │ │ │ │ ├── afrimgsm_yaml │ │ │ │ │ ├── afrimgsm_yor.yaml │ │ │ │ │ └── afrimgsm_zul.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrimgsm_amh.yaml │ │ │ │ │ ├── afrimgsm_eng.yaml │ │ │ │ │ ├── afrimgsm_ewe.yaml │ │ │ │ │ ├── afrimgsm_fra.yaml │ │ │ │ │ ├── afrimgsm_hau.yaml │ │ │ │ │ ├── afrimgsm_ibo.yaml │ │ │ │ │ ├── afrimgsm_kin.yaml │ │ │ │ │ ├── afrimgsm_lin.yaml │ │ │ │ │ ├── afrimgsm_lug.yaml │ │ │ │ │ ├── afrimgsm_orm.yaml │ │ │ │ │ ├── afrimgsm_sna.yaml │ │ │ │ │ ├── afrimgsm_sot.yaml │ │ │ │ │ ├── afrimgsm_swa.yaml │ │ │ │ │ ├── afrimgsm_twi.yaml │ │ │ │ │ ├── afrimgsm_vai.yaml │ │ │ │ │ ├── afrimgsm_wol.yaml │ │ │ │ │ ├── afrimgsm_xho.yaml │ │ │ │ │ ├── afrimgsm_yaml │ │ │ │ │ ├── afrimgsm_yor.yaml │ │ │ │ │ └── afrimgsm_zul.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrimgsm_amh.yaml │ │ │ │ │ ├── afrimgsm_eng.yaml │ │ │ │ │ ├── afrimgsm_ewe.yaml │ │ │ │ │ ├── afrimgsm_fra.yaml │ │ │ │ │ ├── afrimgsm_hau.yaml │ │ │ │ │ ├── afrimgsm_ibo.yaml │ │ │ │ │ ├── afrimgsm_kin.yaml │ │ │ │ │ ├── afrimgsm_lin.yaml │ │ │ │ │ ├── afrimgsm_lug.yaml │ │ │ │ │ ├── afrimgsm_orm.yaml │ │ │ │ │ ├── afrimgsm_sna.yaml │ │ │ │ │ ├── afrimgsm_sot.yaml │ │ │ │ │ ├── afrimgsm_swa.yaml │ │ │ │ │ ├── afrimgsm_twi.yaml │ │ │ │ │ ├── afrimgsm_vai.yaml │ │ │ │ │ ├── afrimgsm_wol.yaml │ │ │ │ │ ├── afrimgsm_xho.yaml │ │ │ │ │ ├── afrimgsm_yaml │ │ │ │ │ ├── afrimgsm_yor.yaml │ │ │ │ │ └── afrimgsm_zul.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrimgsm_amh.yaml │ │ │ │ │ ├── afrimgsm_eng.yaml │ │ │ │ │ ├── afrimgsm_ewe.yaml │ │ │ │ │ ├── afrimgsm_fra.yaml │ │ │ │ │ ├── afrimgsm_hau.yaml │ │ │ │ │ ├── afrimgsm_ibo.yaml │ │ │ │ │ ├── afrimgsm_kin.yaml │ │ │ │ │ ├── afrimgsm_lin.yaml │ │ │ │ │ ├── afrimgsm_lug.yaml │ │ │ │ │ ├── afrimgsm_orm.yaml │ │ │ │ │ ├── afrimgsm_sna.yaml │ │ │ │ │ ├── afrimgsm_sot.yaml │ │ │ │ │ ├── afrimgsm_swa.yaml │ │ │ │ │ ├── afrimgsm_twi.yaml │ │ │ │ │ ├── afrimgsm_vai.yaml │ │ │ │ │ ├── afrimgsm_wol.yaml │ │ │ │ │ ├── afrimgsm_xho.yaml │ │ │ │ │ ├── afrimgsm_yaml │ │ │ │ │ ├── afrimgsm_yor.yaml │ │ │ │ │ └── afrimgsm_zul.yaml │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrimgsm_amh.yaml │ │ │ │ ├── afrimgsm_eng.yaml │ │ │ │ ├── afrimgsm_ewe.yaml │ │ │ │ ├── afrimgsm_fra.yaml │ │ │ │ ├── afrimgsm_hau.yaml │ │ │ │ ├── afrimgsm_ibo.yaml │ │ │ │ ├── afrimgsm_kin.yaml │ │ │ │ ├── afrimgsm_lin.yaml │ │ │ │ ├── afrimgsm_lug.yaml │ │ │ │ ├── afrimgsm_orm.yaml │ │ │ │ ├── afrimgsm_sna.yaml │ │ │ │ ├── afrimgsm_sot.yaml │ │ │ │ ├── afrimgsm_swa.yaml │ │ │ │ ├── afrimgsm_twi.yaml │ │ │ │ ├── afrimgsm_vai.yaml │ │ │ │ ├── afrimgsm_wol.yaml │ │ │ │ ├── afrimgsm_xho.yaml │ │ │ │ ├── afrimgsm_yaml │ │ │ │ ├── afrimgsm_yor.yaml │ │ │ │ └── afrimgsm_zul.yaml │ │ │ ├── direct_cot/ │ │ │ │ ├── afrimgsm_cot.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrimgsm_cot_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_eng.yaml │ │ │ │ │ ├── afrimgsm_cot_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_yaml │ │ │ │ │ ├── afrimgsm_cot_yor.yaml │ │ │ │ │ └── afrimgsm_cot_zul.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrimgsm_cot_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_eng.yaml │ │ │ │ │ ├── afrimgsm_cot_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_yaml │ │ │ │ │ ├── afrimgsm_cot_yor.yaml │ │ │ │ │ └── afrimgsm_cot_zul.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrimgsm_cot_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_eng.yaml │ │ │ │ │ ├── afrimgsm_cot_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_yaml │ │ │ │ │ ├── afrimgsm_cot_yor.yaml │ │ │ │ │ └── afrimgsm_cot_zul.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrimgsm_cot_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_eng.yaml │ │ │ │ │ ├── afrimgsm_cot_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_yaml │ │ │ │ │ ├── afrimgsm_cot_yor.yaml │ │ │ │ │ └── afrimgsm_cot_zul.yaml │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrimgsm_cot_amh.yaml │ │ │ │ ├── afrimgsm_cot_eng.yaml │ │ │ │ ├── afrimgsm_cot_ewe.yaml │ │ │ │ ├── afrimgsm_cot_fra.yaml │ │ │ │ ├── afrimgsm_cot_hau.yaml │ │ │ │ ├── afrimgsm_cot_ibo.yaml │ │ │ │ ├── afrimgsm_cot_kin.yaml │ │ │ │ ├── afrimgsm_cot_lin.yaml │ │ │ │ ├── afrimgsm_cot_lug.yaml │ │ │ │ ├── afrimgsm_cot_orm.yaml │ │ │ │ ├── afrimgsm_cot_sna.yaml │ │ │ │ ├── afrimgsm_cot_sot.yaml │ │ │ │ ├── afrimgsm_cot_swa.yaml │ │ │ │ ├── afrimgsm_cot_twi.yaml │ │ │ │ ├── afrimgsm_cot_vai.yaml │ │ │ │ ├── afrimgsm_cot_wol.yaml │ │ │ │ ├── afrimgsm_cot_xho.yaml │ │ │ │ ├── afrimgsm_cot_yaml │ │ │ │ ├── afrimgsm_cot_yor.yaml │ │ │ │ └── afrimgsm_cot_zul.yaml │ │ │ ├── gen_utils.py │ │ │ ├── gen_yaml.sh │ │ │ ├── run.sh │ │ │ ├── translate/ │ │ │ │ ├── afrimgsm_tt.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrimgsm_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_translate_yaml │ │ │ │ │ ├── afrimgsm_translate_yor.yaml │ │ │ │ │ └── afrimgsm_translate_zul.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrimgsm_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_translate_yaml │ │ │ │ │ ├── afrimgsm_translate_yor.yaml │ │ │ │ │ └── afrimgsm_translate_zul.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrimgsm_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_translate_yaml │ │ │ │ │ ├── afrimgsm_translate_yor.yaml │ │ │ │ │ └── afrimgsm_translate_zul.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrimgsm_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_translate_yaml │ │ │ │ │ ├── afrimgsm_translate_yor.yaml │ │ │ │ │ └── afrimgsm_translate_zul.yaml │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrimgsm_translate_amh.yaml │ │ │ │ ├── afrimgsm_translate_ewe.yaml │ │ │ │ ├── afrimgsm_translate_fra.yaml │ │ │ │ ├── afrimgsm_translate_hau.yaml │ │ │ │ ├── afrimgsm_translate_ibo.yaml │ │ │ │ ├── afrimgsm_translate_kin.yaml │ │ │ │ ├── afrimgsm_translate_lin.yaml │ │ │ │ ├── afrimgsm_translate_lug.yaml │ │ │ │ ├── afrimgsm_translate_orm.yaml │ │ │ │ ├── afrimgsm_translate_sna.yaml │ │ │ │ ├── afrimgsm_translate_sot.yaml │ │ │ │ ├── afrimgsm_translate_swa.yaml │ │ │ │ ├── afrimgsm_translate_twi.yaml │ │ │ │ ├── afrimgsm_translate_wol.yaml │ │ │ │ ├── afrimgsm_translate_xho.yaml │ │ │ │ ├── afrimgsm_translate_yaml │ │ │ │ ├── afrimgsm_translate_yor.yaml │ │ │ │ └── afrimgsm_translate_zul.yaml │ │ │ ├── translate_cot/ │ │ │ │ ├── afrimgsm_tt_cot.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrimgsm_cot_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yor.yaml │ │ │ │ │ └── afrimgsm_cot_translate_zul.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrimgsm_cot_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yor.yaml │ │ │ │ │ └── afrimgsm_cot_translate_zul.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrimgsm_cot_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yor.yaml │ │ │ │ │ └── afrimgsm_cot_translate_zul.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrimgsm_cot_translate_amh.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ewe.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_fra.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_hau.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_ibo.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_kin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lin.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_lug.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_orm.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sna.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_sot.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_swa.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_twi.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_vai.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_wol.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_xho.yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yaml │ │ │ │ │ ├── afrimgsm_cot_translate_yor.yaml │ │ │ │ │ └── afrimgsm_cot_translate_zul.yaml │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrimgsm_cot_translate_amh.yaml │ │ │ │ ├── afrimgsm_cot_translate_ewe.yaml │ │ │ │ ├── afrimgsm_cot_translate_fra.yaml │ │ │ │ ├── afrimgsm_cot_translate_hau.yaml │ │ │ │ ├── afrimgsm_cot_translate_ibo.yaml │ │ │ │ ├── afrimgsm_cot_translate_kin.yaml │ │ │ │ ├── afrimgsm_cot_translate_lin.yaml │ │ │ │ ├── afrimgsm_cot_translate_lug.yaml │ │ │ │ ├── afrimgsm_cot_translate_orm.yaml │ │ │ │ ├── afrimgsm_cot_translate_sna.yaml │ │ │ │ ├── afrimgsm_cot_translate_sot.yaml │ │ │ │ ├── afrimgsm_cot_translate_swa.yaml │ │ │ │ ├── afrimgsm_cot_translate_twi.yaml │ │ │ │ ├── afrimgsm_cot_translate_vai.yaml │ │ │ │ ├── afrimgsm_cot_translate_wol.yaml │ │ │ │ ├── afrimgsm_cot_translate_xho.yaml │ │ │ │ ├── afrimgsm_cot_translate_yaml │ │ │ │ ├── afrimgsm_cot_translate_yor.yaml │ │ │ │ └── afrimgsm_cot_translate_zul.yaml │ │ │ └── utils.py │ │ ├── afrimmlu/ │ │ │ ├── README.md │ │ │ ├── direct/ │ │ │ │ ├── afrimmlu.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrimmlu_direct │ │ │ │ │ ├── afrimmlu_direct_amh.yaml │ │ │ │ │ ├── afrimmlu_direct_eng.yaml │ │ │ │ │ ├── afrimmlu_direct_ewe.yaml │ │ │ │ │ ├── afrimmlu_direct_fra.yaml │ │ │ │ │ ├── afrimmlu_direct_hau.yaml │ │ │ │ │ ├── afrimmlu_direct_ibo.yaml │ │ │ │ │ ├── afrimmlu_direct_kin.yaml │ │ │ │ │ ├── afrimmlu_direct_lin.yaml │ │ │ │ │ ├── afrimmlu_direct_lug.yaml │ │ │ │ │ ├── afrimmlu_direct_orm.yaml │ │ │ │ │ ├── afrimmlu_direct_sna.yaml │ │ │ │ │ ├── afrimmlu_direct_sot.yaml │ │ │ │ │ ├── afrimmlu_direct_swa.yaml │ │ │ │ │ ├── afrimmlu_direct_twi.yaml │ │ │ │ │ ├── afrimmlu_direct_wol.yaml │ │ │ │ │ ├── afrimmlu_direct_xho.yaml │ │ │ │ │ ├── afrimmlu_direct_yor.yaml │ │ │ │ │ ├── afrimmlu_direct_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrimmlu_direct │ │ │ │ │ ├── afrimmlu_direct_amh.yaml │ │ │ │ │ ├── afrimmlu_direct_eng.yaml │ │ │ │ │ ├── afrimmlu_direct_ewe.yaml │ │ │ │ │ ├── afrimmlu_direct_fra.yaml │ │ │ │ │ ├── afrimmlu_direct_hau.yaml │ │ │ │ │ ├── afrimmlu_direct_ibo.yaml │ │ │ │ │ ├── afrimmlu_direct_kin.yaml │ │ │ │ │ ├── afrimmlu_direct_lin.yaml │ │ │ │ │ ├── afrimmlu_direct_lug.yaml │ │ │ │ │ ├── afrimmlu_direct_orm.yaml │ │ │ │ │ ├── afrimmlu_direct_sna.yaml │ │ │ │ │ ├── afrimmlu_direct_sot.yaml │ │ │ │ │ ├── afrimmlu_direct_swa.yaml │ │ │ │ │ ├── afrimmlu_direct_twi.yaml │ │ │ │ │ ├── afrimmlu_direct_wol.yaml │ │ │ │ │ ├── afrimmlu_direct_xho.yaml │ │ │ │ │ ├── afrimmlu_direct_yor.yaml │ │ │ │ │ ├── afrimmlu_direct_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrimmlu_direct │ │ │ │ │ ├── afrimmlu_direct_amh.yaml │ │ │ │ │ ├── afrimmlu_direct_eng.yaml │ │ │ │ │ ├── afrimmlu_direct_ewe.yaml │ │ │ │ │ ├── afrimmlu_direct_fra.yaml │ │ │ │ │ ├── afrimmlu_direct_hau.yaml │ │ │ │ │ ├── afrimmlu_direct_ibo.yaml │ │ │ │ │ ├── afrimmlu_direct_kin.yaml │ │ │ │ │ ├── afrimmlu_direct_lin.yaml │ │ │ │ │ ├── afrimmlu_direct_lug.yaml │ │ │ │ │ ├── afrimmlu_direct_orm.yaml │ │ │ │ │ ├── afrimmlu_direct_sna.yaml │ │ │ │ │ ├── afrimmlu_direct_sot.yaml │ │ │ │ │ ├── afrimmlu_direct_swa.yaml │ │ │ │ │ ├── afrimmlu_direct_twi.yaml │ │ │ │ │ ├── afrimmlu_direct_wol.yaml │ │ │ │ │ ├── afrimmlu_direct_xho.yaml │ │ │ │ │ ├── afrimmlu_direct_yor.yaml │ │ │ │ │ ├── afrimmlu_direct_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrimmlu_direct │ │ │ │ │ ├── afrimmlu_direct_amh.yaml │ │ │ │ │ ├── afrimmlu_direct_eng.yaml │ │ │ │ │ ├── afrimmlu_direct_ewe.yaml │ │ │ │ │ ├── afrimmlu_direct_fra.yaml │ │ │ │ │ ├── afrimmlu_direct_hau.yaml │ │ │ │ │ ├── afrimmlu_direct_ibo.yaml │ │ │ │ │ ├── afrimmlu_direct_kin.yaml │ │ │ │ │ ├── afrimmlu_direct_lin.yaml │ │ │ │ │ ├── afrimmlu_direct_lug.yaml │ │ │ │ │ ├── afrimmlu_direct_orm.yaml │ │ │ │ │ ├── afrimmlu_direct_sna.yaml │ │ │ │ │ ├── afrimmlu_direct_sot.yaml │ │ │ │ │ ├── afrimmlu_direct_swa.yaml │ │ │ │ │ ├── afrimmlu_direct_twi.yaml │ │ │ │ │ ├── afrimmlu_direct_wol.yaml │ │ │ │ │ ├── afrimmlu_direct_xho.yaml │ │ │ │ │ ├── afrimmlu_direct_yor.yaml │ │ │ │ │ ├── afrimmlu_direct_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrimmlu_direct │ │ │ │ ├── afrimmlu_direct_amh.yaml │ │ │ │ ├── afrimmlu_direct_eng.yaml │ │ │ │ ├── afrimmlu_direct_ewe.yaml │ │ │ │ ├── afrimmlu_direct_fra.yaml │ │ │ │ ├── afrimmlu_direct_hau.yaml │ │ │ │ ├── afrimmlu_direct_ibo.yaml │ │ │ │ ├── afrimmlu_direct_kin.yaml │ │ │ │ ├── afrimmlu_direct_lin.yaml │ │ │ │ ├── afrimmlu_direct_lug.yaml │ │ │ │ ├── afrimmlu_direct_orm.yaml │ │ │ │ ├── afrimmlu_direct_sna.yaml │ │ │ │ ├── afrimmlu_direct_sot.yaml │ │ │ │ ├── afrimmlu_direct_swa.yaml │ │ │ │ ├── afrimmlu_direct_twi.yaml │ │ │ │ ├── afrimmlu_direct_wol.yaml │ │ │ │ ├── afrimmlu_direct_xho.yaml │ │ │ │ ├── afrimmlu_direct_yor.yaml │ │ │ │ ├── afrimmlu_direct_zul.yaml │ │ │ │ └── utils.py │ │ │ ├── fewshot.sh │ │ │ ├── gen_utils.py │ │ │ ├── translate/ │ │ │ │ ├── afrimmlu_tt.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrimmlu_translate │ │ │ │ │ ├── afrimmlu_translate_amh.yaml │ │ │ │ │ ├── afrimmlu_translate_ewe.yaml │ │ │ │ │ ├── afrimmlu_translate_fra.yaml │ │ │ │ │ ├── afrimmlu_translate_hau.yaml │ │ │ │ │ ├── afrimmlu_translate_ibo.yaml │ │ │ │ │ ├── afrimmlu_translate_kin.yaml │ │ │ │ │ ├── afrimmlu_translate_lin.yaml │ │ │ │ │ ├── afrimmlu_translate_lug.yaml │ │ │ │ │ ├── afrimmlu_translate_orm.yaml │ │ │ │ │ ├── afrimmlu_translate_sna.yaml │ │ │ │ │ ├── afrimmlu_translate_sot.yaml │ │ │ │ │ ├── afrimmlu_translate_swa.yaml │ │ │ │ │ ├── afrimmlu_translate_twi.yaml │ │ │ │ │ ├── afrimmlu_translate_wol.yaml │ │ │ │ │ ├── afrimmlu_translate_xho.yaml │ │ │ │ │ ├── afrimmlu_translate_yor.yaml │ │ │ │ │ ├── afrimmlu_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrimmlu_translate │ │ │ │ │ ├── afrimmlu_translate_amh.yaml │ │ │ │ │ ├── afrimmlu_translate_ewe.yaml │ │ │ │ │ ├── afrimmlu_translate_fra.yaml │ │ │ │ │ ├── afrimmlu_translate_hau.yaml │ │ │ │ │ ├── afrimmlu_translate_ibo.yaml │ │ │ │ │ ├── afrimmlu_translate_kin.yaml │ │ │ │ │ ├── afrimmlu_translate_lin.yaml │ │ │ │ │ ├── afrimmlu_translate_lug.yaml │ │ │ │ │ ├── afrimmlu_translate_orm.yaml │ │ │ │ │ ├── afrimmlu_translate_sna.yaml │ │ │ │ │ ├── afrimmlu_translate_sot.yaml │ │ │ │ │ ├── afrimmlu_translate_swa.yaml │ │ │ │ │ ├── afrimmlu_translate_twi.yaml │ │ │ │ │ ├── afrimmlu_translate_wol.yaml │ │ │ │ │ ├── afrimmlu_translate_xho.yaml │ │ │ │ │ ├── afrimmlu_translate_yor.yaml │ │ │ │ │ ├── afrimmlu_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrimmlu_translate │ │ │ │ │ ├── afrimmlu_translate_amh.yaml │ │ │ │ │ ├── afrimmlu_translate_ewe.yaml │ │ │ │ │ ├── afrimmlu_translate_fra.yaml │ │ │ │ │ ├── afrimmlu_translate_hau.yaml │ │ │ │ │ ├── afrimmlu_translate_ibo.yaml │ │ │ │ │ ├── afrimmlu_translate_kin.yaml │ │ │ │ │ ├── afrimmlu_translate_lin.yaml │ │ │ │ │ ├── afrimmlu_translate_lug.yaml │ │ │ │ │ ├── afrimmlu_translate_orm.yaml │ │ │ │ │ ├── afrimmlu_translate_sna.yaml │ │ │ │ │ ├── afrimmlu_translate_sot.yaml │ │ │ │ │ ├── afrimmlu_translate_swa.yaml │ │ │ │ │ ├── afrimmlu_translate_twi.yaml │ │ │ │ │ ├── afrimmlu_translate_wol.yaml │ │ │ │ │ ├── afrimmlu_translate_xho.yaml │ │ │ │ │ ├── afrimmlu_translate_yor.yaml │ │ │ │ │ ├── afrimmlu_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrimmlu_translate │ │ │ │ │ ├── afrimmlu_translate_amh.yaml │ │ │ │ │ ├── afrimmlu_translate_ewe.yaml │ │ │ │ │ ├── afrimmlu_translate_fra.yaml │ │ │ │ │ ├── afrimmlu_translate_hau.yaml │ │ │ │ │ ├── afrimmlu_translate_ibo.yaml │ │ │ │ │ ├── afrimmlu_translate_kin.yaml │ │ │ │ │ ├── afrimmlu_translate_lin.yaml │ │ │ │ │ ├── afrimmlu_translate_lug.yaml │ │ │ │ │ ├── afrimmlu_translate_orm.yaml │ │ │ │ │ ├── afrimmlu_translate_sna.yaml │ │ │ │ │ ├── afrimmlu_translate_sot.yaml │ │ │ │ │ ├── afrimmlu_translate_swa.yaml │ │ │ │ │ ├── afrimmlu_translate_twi.yaml │ │ │ │ │ ├── afrimmlu_translate_wol.yaml │ │ │ │ │ ├── afrimmlu_translate_xho.yaml │ │ │ │ │ ├── afrimmlu_translate_yor.yaml │ │ │ │ │ ├── afrimmlu_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrimmlu_translate │ │ │ │ ├── afrimmlu_translate_amh.yaml │ │ │ │ ├── afrimmlu_translate_ewe.yaml │ │ │ │ ├── afrimmlu_translate_fra.yaml │ │ │ │ ├── afrimmlu_translate_hau.yaml │ │ │ │ ├── afrimmlu_translate_ibo.yaml │ │ │ │ ├── afrimmlu_translate_kin.yaml │ │ │ │ ├── afrimmlu_translate_lin.yaml │ │ │ │ ├── afrimmlu_translate_lug.yaml │ │ │ │ ├── afrimmlu_translate_orm.yaml │ │ │ │ ├── afrimmlu_translate_sna.yaml │ │ │ │ ├── afrimmlu_translate_sot.yaml │ │ │ │ ├── afrimmlu_translate_swa.yaml │ │ │ │ ├── afrimmlu_translate_twi.yaml │ │ │ │ ├── afrimmlu_translate_wol.yaml │ │ │ │ ├── afrimmlu_translate_xho.yaml │ │ │ │ ├── afrimmlu_translate_yor.yaml │ │ │ │ ├── afrimmlu_translate_zul.yaml │ │ │ │ └── utils.py │ │ │ └── utils.py │ │ ├── afrixnli/ │ │ │ ├── README.md │ │ │ ├── anli prompt/ │ │ │ │ ├── en-direct/ │ │ │ │ │ ├── afrixnli_en_direct_amh.yaml │ │ │ │ │ ├── afrixnli_en_direct_eng.yaml │ │ │ │ │ ├── afrixnli_en_direct_ewe.yaml │ │ │ │ │ ├── afrixnli_en_direct_fra.yaml │ │ │ │ │ ├── afrixnli_en_direct_hau.yaml │ │ │ │ │ ├── afrixnli_en_direct_ibo.yaml │ │ │ │ │ ├── afrixnli_en_direct_kin.yaml │ │ │ │ │ ├── afrixnli_en_direct_lin.yaml │ │ │ │ │ ├── afrixnli_en_direct_lug.yaml │ │ │ │ │ ├── afrixnli_en_direct_orm.yaml │ │ │ │ │ ├── afrixnli_en_direct_sna.yaml │ │ │ │ │ ├── afrixnli_en_direct_sot.yaml │ │ │ │ │ ├── afrixnli_en_direct_swa.yaml │ │ │ │ │ ├── afrixnli_en_direct_twi.yaml │ │ │ │ │ ├── afrixnli_en_direct_wol.yaml │ │ │ │ │ ├── afrixnli_en_direct_xho.yaml │ │ │ │ │ ├── afrixnli_en_direct_yaml │ │ │ │ │ ├── afrixnli_en_direct_yor.yaml │ │ │ │ │ ├── afrixnli_en_direct_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── native-direct/ │ │ │ │ │ ├── afrixnli_native_direct_amh.yaml │ │ │ │ │ ├── afrixnli_native_direct_eng.yaml │ │ │ │ │ ├── afrixnli_native_direct_ewe.yaml │ │ │ │ │ ├── afrixnli_native_direct_fra.yaml │ │ │ │ │ ├── afrixnli_native_direct_hau.yaml │ │ │ │ │ ├── afrixnli_native_direct_ibo.yaml │ │ │ │ │ ├── afrixnli_native_direct_kin.yaml │ │ │ │ │ ├── afrixnli_native_direct_lin.yaml │ │ │ │ │ ├── afrixnli_native_direct_lug.yaml │ │ │ │ │ ├── afrixnli_native_direct_orm.yaml │ │ │ │ │ ├── afrixnli_native_direct_sna.yaml │ │ │ │ │ ├── afrixnli_native_direct_sot.yaml │ │ │ │ │ ├── afrixnli_native_direct_swa.yaml │ │ │ │ │ ├── afrixnli_native_direct_twi.yaml │ │ │ │ │ ├── afrixnli_native_direct_wol.yaml │ │ │ │ │ ├── afrixnli_native_direct_xho.yaml │ │ │ │ │ ├── afrixnli_native_direct_yaml │ │ │ │ │ ├── afrixnli_native_direct_yor.yaml │ │ │ │ │ ├── afrixnli_native_direct_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── translate/ │ │ │ │ ├── afrixnli_translate_amh.yaml │ │ │ │ ├── afrixnli_translate_ewe.yaml │ │ │ │ ├── afrixnli_translate_fra.yaml │ │ │ │ ├── afrixnli_translate_hau.yaml │ │ │ │ ├── afrixnli_translate_ibo.yaml │ │ │ │ ├── afrixnli_translate_kin.yaml │ │ │ │ ├── afrixnli_translate_lin.yaml │ │ │ │ ├── afrixnli_translate_lug.yaml │ │ │ │ ├── afrixnli_translate_orm.yaml │ │ │ │ ├── afrixnli_translate_sna.yaml │ │ │ │ ├── afrixnli_translate_sot.yaml │ │ │ │ ├── afrixnli_translate_swa.yaml │ │ │ │ ├── afrixnli_translate_twi.yaml │ │ │ │ ├── afrixnli_translate_wol.yaml │ │ │ │ ├── afrixnli_translate_xho.yaml │ │ │ │ ├── afrixnli_translate_yaml │ │ │ │ ├── afrixnli_translate_yor.yaml │ │ │ │ ├── afrixnli_translate_zul.yaml │ │ │ │ └── utils.py │ │ │ ├── direct/ │ │ │ │ ├── afrixnli.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrixnli_amh.yaml │ │ │ │ │ ├── afrixnli_eng.yaml │ │ │ │ │ ├── afrixnli_ewe.yaml │ │ │ │ │ ├── afrixnli_fra.yaml │ │ │ │ │ ├── afrixnli_hau.yaml │ │ │ │ │ ├── afrixnli_ibo.yaml │ │ │ │ │ ├── afrixnli_kin.yaml │ │ │ │ │ ├── afrixnli_lin.yaml │ │ │ │ │ ├── afrixnli_lug.yaml │ │ │ │ │ ├── afrixnli_orm.yaml │ │ │ │ │ ├── afrixnli_sna.yaml │ │ │ │ │ ├── afrixnli_sot.yaml │ │ │ │ │ ├── afrixnli_swa.yaml │ │ │ │ │ ├── afrixnli_twi.yaml │ │ │ │ │ ├── afrixnli_wol.yaml │ │ │ │ │ ├── afrixnli_xho.yaml │ │ │ │ │ ├── afrixnli_yaml │ │ │ │ │ ├── afrixnli_yor.yaml │ │ │ │ │ ├── afrixnli_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrixnli_amh.yaml │ │ │ │ │ ├── afrixnli_eng.yaml │ │ │ │ │ ├── afrixnli_ewe.yaml │ │ │ │ │ ├── afrixnli_fra.yaml │ │ │ │ │ ├── afrixnli_hau.yaml │ │ │ │ │ ├── afrixnli_ibo.yaml │ │ │ │ │ ├── afrixnli_kin.yaml │ │ │ │ │ ├── afrixnli_lin.yaml │ │ │ │ │ ├── afrixnli_lug.yaml │ │ │ │ │ ├── afrixnli_orm.yaml │ │ │ │ │ ├── afrixnli_sna.yaml │ │ │ │ │ ├── afrixnli_sot.yaml │ │ │ │ │ ├── afrixnli_swa.yaml │ │ │ │ │ ├── afrixnli_twi.yaml │ │ │ │ │ ├── afrixnli_wol.yaml │ │ │ │ │ ├── afrixnli_xho.yaml │ │ │ │ │ ├── afrixnli_yaml │ │ │ │ │ ├── afrixnli_yor.yaml │ │ │ │ │ ├── afrixnli_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrixnli_amh.yaml │ │ │ │ │ ├── afrixnli_eng.yaml │ │ │ │ │ ├── afrixnli_ewe.yaml │ │ │ │ │ ├── afrixnli_fra.yaml │ │ │ │ │ ├── afrixnli_hau.yaml │ │ │ │ │ ├── afrixnli_ibo.yaml │ │ │ │ │ ├── afrixnli_kin.yaml │ │ │ │ │ ├── afrixnli_lin.yaml │ │ │ │ │ ├── afrixnli_lug.yaml │ │ │ │ │ ├── afrixnli_orm.yaml │ │ │ │ │ ├── afrixnli_sna.yaml │ │ │ │ │ ├── afrixnli_sot.yaml │ │ │ │ │ ├── afrixnli_swa.yaml │ │ │ │ │ ├── afrixnli_twi.yaml │ │ │ │ │ ├── afrixnli_wol.yaml │ │ │ │ │ ├── afrixnli_xho.yaml │ │ │ │ │ ├── afrixnli_yaml │ │ │ │ │ ├── afrixnli_yor.yaml │ │ │ │ │ ├── afrixnli_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrixnli_amh.yaml │ │ │ │ │ ├── afrixnli_eng.yaml │ │ │ │ │ ├── afrixnli_ewe.yaml │ │ │ │ │ ├── afrixnli_fra.yaml │ │ │ │ │ ├── afrixnli_hau.yaml │ │ │ │ │ ├── afrixnli_ibo.yaml │ │ │ │ │ ├── afrixnli_kin.yaml │ │ │ │ │ ├── afrixnli_lin.yaml │ │ │ │ │ ├── afrixnli_lug.yaml │ │ │ │ │ ├── afrixnli_orm.yaml │ │ │ │ │ ├── afrixnli_sna.yaml │ │ │ │ │ ├── afrixnli_sot.yaml │ │ │ │ │ ├── afrixnli_swa.yaml │ │ │ │ │ ├── afrixnli_twi.yaml │ │ │ │ │ ├── afrixnli_wol.yaml │ │ │ │ │ ├── afrixnli_xho.yaml │ │ │ │ │ ├── afrixnli_yaml │ │ │ │ │ ├── afrixnli_yor.yaml │ │ │ │ │ ├── afrixnli_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrixnli_amh.yaml │ │ │ │ ├── afrixnli_eng.yaml │ │ │ │ ├── afrixnli_ewe.yaml │ │ │ │ ├── afrixnli_fra.yaml │ │ │ │ ├── afrixnli_hau.yaml │ │ │ │ ├── afrixnli_ibo.yaml │ │ │ │ ├── afrixnli_kin.yaml │ │ │ │ ├── afrixnli_lin.yaml │ │ │ │ ├── afrixnli_lug.yaml │ │ │ │ ├── afrixnli_orm.yaml │ │ │ │ ├── afrixnli_sna.yaml │ │ │ │ ├── afrixnli_sot.yaml │ │ │ │ ├── afrixnli_swa.yaml │ │ │ │ ├── afrixnli_twi.yaml │ │ │ │ ├── afrixnli_wol.yaml │ │ │ │ ├── afrixnli_xho.yaml │ │ │ │ ├── afrixnli_yaml │ │ │ │ ├── afrixnli_yor.yaml │ │ │ │ ├── afrixnli_zul.yaml │ │ │ │ └── utils.py │ │ │ ├── gen_utils.py │ │ │ ├── lai prompt/ │ │ │ │ ├── direct/ │ │ │ │ │ ├── afrixnli_manual_direct_amh.yaml │ │ │ │ │ ├── afrixnli_manual_direct_eng.yaml │ │ │ │ │ ├── afrixnli_manual_direct_ewe.yaml │ │ │ │ │ ├── afrixnli_manual_direct_fra.yaml │ │ │ │ │ ├── afrixnli_manual_direct_hau.yaml │ │ │ │ │ ├── afrixnli_manual_direct_ibo.yaml │ │ │ │ │ ├── afrixnli_manual_direct_kin.yaml │ │ │ │ │ ├── afrixnli_manual_direct_lin.yaml │ │ │ │ │ ├── afrixnli_manual_direct_lug.yaml │ │ │ │ │ ├── afrixnli_manual_direct_orm.yaml │ │ │ │ │ ├── afrixnli_manual_direct_sna.yaml │ │ │ │ │ ├── afrixnli_manual_direct_sot.yaml │ │ │ │ │ ├── afrixnli_manual_direct_swa.yaml │ │ │ │ │ ├── afrixnli_manual_direct_twi.yaml │ │ │ │ │ ├── afrixnli_manual_direct_wol.yaml │ │ │ │ │ ├── afrixnli_manual_direct_xho.yaml │ │ │ │ │ ├── afrixnli_manual_direct_yaml │ │ │ │ │ ├── afrixnli_manual_direct_yor.yaml │ │ │ │ │ ├── afrixnli_manual_direct_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── translate/ │ │ │ │ ├── afrixnli_manual_translate_amh.yaml │ │ │ │ ├── afrixnli_manual_translate_ewe.yaml │ │ │ │ ├── afrixnli_manual_translate_fra.yaml │ │ │ │ ├── afrixnli_manual_translate_hau.yaml │ │ │ │ ├── afrixnli_manual_translate_ibo.yaml │ │ │ │ ├── afrixnli_manual_translate_kin.yaml │ │ │ │ ├── afrixnli_manual_translate_lin.yaml │ │ │ │ ├── afrixnli_manual_translate_lug.yaml │ │ │ │ ├── afrixnli_manual_translate_orm.yaml │ │ │ │ ├── afrixnli_manual_translate_sna.yaml │ │ │ │ ├── afrixnli_manual_translate_sot.yaml │ │ │ │ ├── afrixnli_manual_translate_swa.yaml │ │ │ │ ├── afrixnli_manual_translate_twi.yaml │ │ │ │ ├── afrixnli_manual_translate_wol.yaml │ │ │ │ ├── afrixnli_manual_translate_xho.yaml │ │ │ │ ├── afrixnli_manual_translate_yaml │ │ │ │ ├── afrixnli_manual_translate_yor.yaml │ │ │ │ ├── afrixnli_manual_translate_zul.yaml │ │ │ │ └── utils.py │ │ │ ├── translate/ │ │ │ │ ├── afrixnli_tt.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrixnli_translate_amh.yaml │ │ │ │ │ ├── afrixnli_translate_ewe.yaml │ │ │ │ │ ├── afrixnli_translate_fra.yaml │ │ │ │ │ ├── afrixnli_translate_hau.yaml │ │ │ │ │ ├── afrixnli_translate_ibo.yaml │ │ │ │ │ ├── afrixnli_translate_kin.yaml │ │ │ │ │ ├── afrixnli_translate_lin.yaml │ │ │ │ │ ├── afrixnli_translate_lug.yaml │ │ │ │ │ ├── afrixnli_translate_orm.yaml │ │ │ │ │ ├── afrixnli_translate_sna.yaml │ │ │ │ │ ├── afrixnli_translate_sot.yaml │ │ │ │ │ ├── afrixnli_translate_swa.yaml │ │ │ │ │ ├── afrixnli_translate_twi.yaml │ │ │ │ │ ├── afrixnli_translate_wol.yaml │ │ │ │ │ ├── afrixnli_translate_xho.yaml │ │ │ │ │ ├── afrixnli_translate_yaml │ │ │ │ │ ├── afrixnli_translate_yor.yaml │ │ │ │ │ ├── afrixnli_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrixnli_translate_amh.yaml │ │ │ │ │ ├── afrixnli_translate_ewe.yaml │ │ │ │ │ ├── afrixnli_translate_fra.yaml │ │ │ │ │ ├── afrixnli_translate_hau.yaml │ │ │ │ │ ├── afrixnli_translate_ibo.yaml │ │ │ │ │ ├── afrixnli_translate_kin.yaml │ │ │ │ │ ├── afrixnli_translate_lin.yaml │ │ │ │ │ ├── afrixnli_translate_lug.yaml │ │ │ │ │ ├── afrixnli_translate_orm.yaml │ │ │ │ │ ├── afrixnli_translate_sna.yaml │ │ │ │ │ ├── afrixnli_translate_sot.yaml │ │ │ │ │ ├── afrixnli_translate_swa.yaml │ │ │ │ │ ├── afrixnli_translate_twi.yaml │ │ │ │ │ ├── afrixnli_translate_wol.yaml │ │ │ │ │ ├── afrixnli_translate_xho.yaml │ │ │ │ │ ├── afrixnli_translate_yaml │ │ │ │ │ ├── afrixnli_translate_yor.yaml │ │ │ │ │ ├── afrixnli_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrixnli_translate_amh.yaml │ │ │ │ │ ├── afrixnli_translate_ewe.yaml │ │ │ │ │ ├── afrixnli_translate_fra.yaml │ │ │ │ │ ├── afrixnli_translate_hau.yaml │ │ │ │ │ ├── afrixnli_translate_ibo.yaml │ │ │ │ │ ├── afrixnli_translate_kin.yaml │ │ │ │ │ ├── afrixnli_translate_lin.yaml │ │ │ │ │ ├── afrixnli_translate_lug.yaml │ │ │ │ │ ├── afrixnli_translate_orm.yaml │ │ │ │ │ ├── afrixnli_translate_sna.yaml │ │ │ │ │ ├── afrixnli_translate_sot.yaml │ │ │ │ │ ├── afrixnli_translate_swa.yaml │ │ │ │ │ ├── afrixnli_translate_twi.yaml │ │ │ │ │ ├── afrixnli_translate_wol.yaml │ │ │ │ │ ├── afrixnli_translate_xho.yaml │ │ │ │ │ ├── afrixnli_translate_yaml │ │ │ │ │ ├── afrixnli_translate_yor.yaml │ │ │ │ │ ├── afrixnli_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrixnli_translate_amh.yaml │ │ │ │ │ ├── afrixnli_translate_ewe.yaml │ │ │ │ │ ├── afrixnli_translate_fra.yaml │ │ │ │ │ ├── afrixnli_translate_hau.yaml │ │ │ │ │ ├── afrixnli_translate_ibo.yaml │ │ │ │ │ ├── afrixnli_translate_kin.yaml │ │ │ │ │ ├── afrixnli_translate_lin.yaml │ │ │ │ │ ├── afrixnli_translate_lug.yaml │ │ │ │ │ ├── afrixnli_translate_orm.yaml │ │ │ │ │ ├── afrixnli_translate_sna.yaml │ │ │ │ │ ├── afrixnli_translate_sot.yaml │ │ │ │ │ ├── afrixnli_translate_swa.yaml │ │ │ │ │ ├── afrixnli_translate_twi.yaml │ │ │ │ │ ├── afrixnli_translate_wol.yaml │ │ │ │ │ ├── afrixnli_translate_xho.yaml │ │ │ │ │ ├── afrixnli_translate_yaml │ │ │ │ │ ├── afrixnli_translate_yor.yaml │ │ │ │ │ ├── afrixnli_translate_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_5/ │ │ │ │ ├── afrixnli_translate_amh.yaml │ │ │ │ ├── afrixnli_translate_ewe.yaml │ │ │ │ ├── afrixnli_translate_fra.yaml │ │ │ │ ├── afrixnli_translate_hau.yaml │ │ │ │ ├── afrixnli_translate_ibo.yaml │ │ │ │ ├── afrixnli_translate_kin.yaml │ │ │ │ ├── afrixnli_translate_lin.yaml │ │ │ │ ├── afrixnli_translate_lug.yaml │ │ │ │ ├── afrixnli_translate_orm.yaml │ │ │ │ ├── afrixnli_translate_sna.yaml │ │ │ │ ├── afrixnli_translate_sot.yaml │ │ │ │ ├── afrixnli_translate_swa.yaml │ │ │ │ ├── afrixnli_translate_twi.yaml │ │ │ │ ├── afrixnli_translate_wol.yaml │ │ │ │ ├── afrixnli_translate_xho.yaml │ │ │ │ ├── afrixnli_translate_yaml │ │ │ │ ├── afrixnli_translate_yor.yaml │ │ │ │ ├── afrixnli_translate_zul.yaml │ │ │ │ └── utils.py │ │ │ └── utils.py │ │ ├── afrobench/ │ │ │ ├── README.md │ │ │ ├── adr/ │ │ │ │ ├── README.md │ │ │ │ ├── afridiacritics.yaml │ │ │ │ ├── gen_utils.py │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afridiacritics_bbj.yaml │ │ │ │ │ ├── afridiacritics_fon.yaml │ │ │ │ │ ├── afridiacritics_ibo.yaml │ │ │ │ │ ├── afridiacritics_wol.yaml │ │ │ │ │ ├── afridiacritics_yaml │ │ │ │ │ └── afridiacritics_yor.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afridiacritics_bbj.yaml │ │ │ │ │ ├── afridiacritics_fon.yaml │ │ │ │ │ ├── afridiacritics_ibo.yaml │ │ │ │ │ ├── afridiacritics_wol.yaml │ │ │ │ │ ├── afridiacritics_yaml │ │ │ │ │ └── afridiacritics_yor.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afridiacritics_bbj.yaml │ │ │ │ │ ├── afridiacritics_fon.yaml │ │ │ │ │ ├── afridiacritics_ibo.yaml │ │ │ │ │ ├── afridiacritics_wol.yaml │ │ │ │ │ ├── afridiacritics_yaml │ │ │ │ │ └── afridiacritics_yor.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afridiacritics_bbj.yaml │ │ │ │ │ ├── afridiacritics_fon.yaml │ │ │ │ │ ├── afridiacritics_ibo.yaml │ │ │ │ │ ├── afridiacritics_wol.yaml │ │ │ │ │ ├── afridiacritics_yaml │ │ │ │ │ └── afridiacritics_yor.yaml │ │ │ │ └── prompt_5/ │ │ │ │ ├── afridiacritics_bbj.yaml │ │ │ │ ├── afridiacritics_fon.yaml │ │ │ │ ├── afridiacritics_ibo.yaml │ │ │ │ ├── afridiacritics_wol.yaml │ │ │ │ ├── afridiacritics_yaml │ │ │ │ └── afridiacritics_yor.yaml │ │ │ ├── afriqa/ │ │ │ │ ├── README.md │ │ │ │ ├── afriqa.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afriqa │ │ │ │ │ ├── afriqa_bem.yaml │ │ │ │ │ ├── afriqa_fon.yaml │ │ │ │ │ ├── afriqa_hau.yaml │ │ │ │ │ ├── afriqa_ibo.yaml │ │ │ │ │ ├── afriqa_kin.yaml │ │ │ │ │ ├── afriqa_swa.yaml │ │ │ │ │ ├── afriqa_twi.yaml │ │ │ │ │ ├── afriqa_yor.yaml │ │ │ │ │ ├── afriqa_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afriqa │ │ │ │ │ ├── afriqa_bem.yaml │ │ │ │ │ ├── afriqa_fon.yaml │ │ │ │ │ ├── afriqa_hau.yaml │ │ │ │ │ ├── afriqa_ibo.yaml │ │ │ │ │ ├── afriqa_kin.yaml │ │ │ │ │ ├── afriqa_swa.yaml │ │ │ │ │ ├── afriqa_twi.yaml │ │ │ │ │ ├── afriqa_yor.yaml │ │ │ │ │ ├── afriqa_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afriqa │ │ │ │ │ ├── afriqa_bem.yaml │ │ │ │ │ ├── afriqa_fon.yaml │ │ │ │ │ ├── afriqa_hau.yaml │ │ │ │ │ ├── afriqa_ibo.yaml │ │ │ │ │ ├── afriqa_kin.yaml │ │ │ │ │ ├── afriqa_swa.yaml │ │ │ │ │ ├── afriqa_twi.yaml │ │ │ │ │ ├── afriqa_yor.yaml │ │ │ │ │ ├── afriqa_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afriqa │ │ │ │ │ ├── afriqa_bem.yaml │ │ │ │ │ ├── afriqa_fon.yaml │ │ │ │ │ ├── afriqa_hau.yaml │ │ │ │ │ ├── afriqa_ibo.yaml │ │ │ │ │ ├── afriqa_kin.yaml │ │ │ │ │ ├── afriqa_swa.yaml │ │ │ │ │ ├── afriqa_twi.yaml │ │ │ │ │ ├── afriqa_yor.yaml │ │ │ │ │ ├── afriqa_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── afriqa │ │ │ │ │ ├── afriqa_bem.yaml │ │ │ │ │ ├── afriqa_fon.yaml │ │ │ │ │ ├── afriqa_hau.yaml │ │ │ │ │ ├── afriqa_ibo.yaml │ │ │ │ │ ├── afriqa_kin.yaml │ │ │ │ │ ├── afriqa_swa.yaml │ │ │ │ │ ├── afriqa_twi.yaml │ │ │ │ │ ├── afriqa_yor.yaml │ │ │ │ │ ├── afriqa_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── utils.py │ │ │ ├── afrisenti/ │ │ │ │ ├── README.md │ │ │ │ ├── afrisenti.yaml │ │ │ │ ├── fewshot.sh │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── afrisenti │ │ │ │ │ ├── afrisenti_amh.yaml │ │ │ │ │ ├── afrisenti_arq.yaml │ │ │ │ │ ├── afrisenti_ary.yaml │ │ │ │ │ ├── afrisenti_hau.yaml │ │ │ │ │ ├── afrisenti_ibo.yaml │ │ │ │ │ ├── afrisenti_kin.yaml │ │ │ │ │ ├── afrisenti_orm.yaml │ │ │ │ │ ├── afrisenti_pcm.yaml │ │ │ │ │ ├── afrisenti_por.yaml │ │ │ │ │ ├── afrisenti_swa.yaml │ │ │ │ │ ├── afrisenti_tir.yaml │ │ │ │ │ ├── afrisenti_tso.yaml │ │ │ │ │ ├── afrisenti_twi.yaml │ │ │ │ │ ├── afrisenti_yor.yaml │ │ │ │ │ ├── run.sh │ │ │ │ │ ├── utils.py │ │ │ │ │ └── xx.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── afrisenti │ │ │ │ │ ├── afrisenti_amh.yaml │ │ │ │ │ ├── afrisenti_arq.yaml │ │ │ │ │ ├── afrisenti_ary.yaml │ │ │ │ │ ├── afrisenti_hau.yaml │ │ │ │ │ ├── afrisenti_ibo.yaml │ │ │ │ │ ├── afrisenti_kin.yaml │ │ │ │ │ ├── afrisenti_orm.yaml │ │ │ │ │ ├── afrisenti_pcm.yaml │ │ │ │ │ ├── afrisenti_por.yaml │ │ │ │ │ ├── afrisenti_swa.yaml │ │ │ │ │ ├── afrisenti_tir.yaml │ │ │ │ │ ├── afrisenti_tso.yaml │ │ │ │ │ ├── afrisenti_twi.yaml │ │ │ │ │ ├── afrisenti_yor.yaml │ │ │ │ │ ├── run.sh │ │ │ │ │ ├── utils.py │ │ │ │ │ └── xx.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── afrisenti │ │ │ │ │ ├── afrisenti_amh.yaml │ │ │ │ │ ├── afrisenti_arq.yaml │ │ │ │ │ ├── afrisenti_ary.yaml │ │ │ │ │ ├── afrisenti_hau.yaml │ │ │ │ │ ├── afrisenti_ibo.yaml │ │ │ │ │ ├── afrisenti_kin.yaml │ │ │ │ │ ├── afrisenti_orm.yaml │ │ │ │ │ ├── afrisenti_pcm.yaml │ │ │ │ │ ├── afrisenti_por.yaml │ │ │ │ │ ├── afrisenti_swa.yaml │ │ │ │ │ ├── afrisenti_tir.yaml │ │ │ │ │ ├── afrisenti_tso.yaml │ │ │ │ │ ├── afrisenti_twi.yaml │ │ │ │ │ ├── afrisenti_yor.yaml │ │ │ │ │ ├── utils.py │ │ │ │ │ └── xx.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── afrisenti │ │ │ │ │ ├── afrisenti_amh.yaml │ │ │ │ │ ├── afrisenti_arq.yaml │ │ │ │ │ ├── afrisenti_ary.yaml │ │ │ │ │ ├── afrisenti_hau.yaml │ │ │ │ │ ├── afrisenti_ibo.yaml │ │ │ │ │ ├── afrisenti_kin.yaml │ │ │ │ │ ├── afrisenti_orm.yaml │ │ │ │ │ ├── afrisenti_pcm.yaml │ │ │ │ │ ├── afrisenti_por.yaml │ │ │ │ │ ├── afrisenti_swa.yaml │ │ │ │ │ ├── afrisenti_tir.yaml │ │ │ │ │ ├── afrisenti_tso.yaml │ │ │ │ │ ├── afrisenti_twi.yaml │ │ │ │ │ ├── afrisenti_yor.yaml │ │ │ │ │ ├── utils.py │ │ │ │ │ └── xx.py │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── afrisenti │ │ │ │ │ ├── afrisenti_amh.yaml │ │ │ │ │ ├── afrisenti_arq.yaml │ │ │ │ │ ├── afrisenti_ary.yaml │ │ │ │ │ ├── afrisenti_hau.yaml │ │ │ │ │ ├── afrisenti_ibo.yaml │ │ │ │ │ ├── afrisenti_kin.yaml │ │ │ │ │ ├── afrisenti_orm.yaml │ │ │ │ │ ├── afrisenti_pcm.yaml │ │ │ │ │ ├── afrisenti_por.yaml │ │ │ │ │ ├── afrisenti_swa.yaml │ │ │ │ │ ├── afrisenti_tir.yaml │ │ │ │ │ ├── afrisenti_tso.yaml │ │ │ │ │ ├── afrisenti_twi.yaml │ │ │ │ │ ├── afrisenti_yor.yaml │ │ │ │ │ ├── utils.py │ │ │ │ │ └── xx.py │ │ │ │ └── utils.py │ │ │ ├── afrobench-lite.yaml │ │ │ ├── afrobench.yaml │ │ │ ├── belebele/ │ │ │ │ ├── README.md │ │ │ │ ├── belebele.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── belebele │ │ │ │ │ ├── belebele_afr.yaml │ │ │ │ │ ├── belebele_amh.yaml │ │ │ │ │ ├── belebele_ary.yaml │ │ │ │ │ ├── belebele_arz.yaml │ │ │ │ │ ├── belebele_bam.yaml │ │ │ │ │ ├── belebele_eng.yaml │ │ │ │ │ ├── belebele_fra.yaml │ │ │ │ │ ├── belebele_fuv.yaml │ │ │ │ │ ├── belebele_gaz.yaml │ │ │ │ │ ├── belebele_hau.yaml │ │ │ │ │ ├── belebele_ibo.yaml │ │ │ │ │ ├── belebele_kea.yaml │ │ │ │ │ ├── belebele_kin.yaml │ │ │ │ │ ├── belebele_lin.yaml │ │ │ │ │ ├── belebele_lug.yaml │ │ │ │ │ ├── belebele_luo.yaml │ │ │ │ │ ├── belebele_nya.yaml │ │ │ │ │ ├── belebele_plt.yaml │ │ │ │ │ ├── belebele_por.yaml │ │ │ │ │ ├── belebele_sna.yaml │ │ │ │ │ ├── belebele_som.yaml │ │ │ │ │ ├── belebele_sot.yaml │ │ │ │ │ ├── belebele_ssw.yaml │ │ │ │ │ ├── belebele_swa.yaml │ │ │ │ │ ├── belebele_tir.yaml │ │ │ │ │ ├── belebele_tsn.yaml │ │ │ │ │ ├── belebele_tso.yaml │ │ │ │ │ ├── belebele_wol.yaml │ │ │ │ │ ├── belebele_xho.yaml │ │ │ │ │ ├── belebele_yor.yaml │ │ │ │ │ └── belebele_zul.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── belebele │ │ │ │ │ ├── belebele_afr.yaml │ │ │ │ │ ├── belebele_amh.yaml │ │ │ │ │ ├── belebele_ary.yaml │ │ │ │ │ ├── belebele_arz.yaml │ │ │ │ │ ├── belebele_bam.yaml │ │ │ │ │ ├── belebele_eng.yaml │ │ │ │ │ ├── belebele_fra.yaml │ │ │ │ │ ├── belebele_fuv.yaml │ │ │ │ │ ├── belebele_gaz.yaml │ │ │ │ │ ├── belebele_hau.yaml │ │ │ │ │ ├── belebele_ibo.yaml │ │ │ │ │ ├── belebele_kea.yaml │ │ │ │ │ ├── belebele_kin.yaml │ │ │ │ │ ├── belebele_lin.yaml │ │ │ │ │ ├── belebele_lug.yaml │ │ │ │ │ ├── belebele_luo.yaml │ │ │ │ │ ├── belebele_nya.yaml │ │ │ │ │ ├── belebele_plt.yaml │ │ │ │ │ ├── belebele_por.yaml │ │ │ │ │ ├── belebele_sna.yaml │ │ │ │ │ ├── belebele_som.yaml │ │ │ │ │ ├── belebele_sot.yaml │ │ │ │ │ ├── belebele_ssw.yaml │ │ │ │ │ ├── belebele_swa.yaml │ │ │ │ │ ├── belebele_tir.yaml │ │ │ │ │ ├── belebele_tsn.yaml │ │ │ │ │ ├── belebele_tso.yaml │ │ │ │ │ ├── belebele_wol.yaml │ │ │ │ │ ├── belebele_xho.yaml │ │ │ │ │ ├── belebele_yor.yaml │ │ │ │ │ └── belebele_zul.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── belebele │ │ │ │ │ ├── belebele_afr.yaml │ │ │ │ │ ├── belebele_amh.yaml │ │ │ │ │ ├── belebele_ary.yaml │ │ │ │ │ ├── belebele_arz.yaml │ │ │ │ │ ├── belebele_bam.yaml │ │ │ │ │ ├── belebele_eng.yaml │ │ │ │ │ ├── belebele_fra.yaml │ │ │ │ │ ├── belebele_fuv.yaml │ │ │ │ │ ├── belebele_gaz.yaml │ │ │ │ │ ├── belebele_hau.yaml │ │ │ │ │ ├── belebele_ibo.yaml │ │ │ │ │ ├── belebele_kea.yaml │ │ │ │ │ ├── belebele_kin.yaml │ │ │ │ │ ├── belebele_lin.yaml │ │ │ │ │ ├── belebele_lug.yaml │ │ │ │ │ ├── belebele_luo.yaml │ │ │ │ │ ├── belebele_nya.yaml │ │ │ │ │ ├── belebele_plt.yaml │ │ │ │ │ ├── belebele_por.yaml │ │ │ │ │ ├── belebele_sna.yaml │ │ │ │ │ ├── belebele_som.yaml │ │ │ │ │ ├── belebele_sot.yaml │ │ │ │ │ ├── belebele_ssw.yaml │ │ │ │ │ ├── belebele_swa.yaml │ │ │ │ │ ├── belebele_tir.yaml │ │ │ │ │ ├── belebele_tsn.yaml │ │ │ │ │ ├── belebele_tso.yaml │ │ │ │ │ ├── belebele_wol.yaml │ │ │ │ │ ├── belebele_xho.yaml │ │ │ │ │ ├── belebele_yor.yaml │ │ │ │ │ └── belebele_zul.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── belebele │ │ │ │ │ ├── belebele_afr.yaml │ │ │ │ │ ├── belebele_amh.yaml │ │ │ │ │ ├── belebele_ary.yaml │ │ │ │ │ ├── belebele_arz.yaml │ │ │ │ │ ├── belebele_bam.yaml │ │ │ │ │ ├── belebele_eng.yaml │ │ │ │ │ ├── belebele_fra.yaml │ │ │ │ │ ├── belebele_fuv.yaml │ │ │ │ │ ├── belebele_gaz.yaml │ │ │ │ │ ├── belebele_hau.yaml │ │ │ │ │ ├── belebele_ibo.yaml │ │ │ │ │ ├── belebele_kea.yaml │ │ │ │ │ ├── belebele_kin.yaml │ │ │ │ │ ├── belebele_lin.yaml │ │ │ │ │ ├── belebele_lug.yaml │ │ │ │ │ ├── belebele_luo.yaml │ │ │ │ │ ├── belebele_nya.yaml │ │ │ │ │ ├── belebele_plt.yaml │ │ │ │ │ ├── belebele_por.yaml │ │ │ │ │ ├── belebele_sna.yaml │ │ │ │ │ ├── belebele_som.yaml │ │ │ │ │ ├── belebele_sot.yaml │ │ │ │ │ ├── belebele_ssw.yaml │ │ │ │ │ ├── belebele_swa.yaml │ │ │ │ │ ├── belebele_tir.yaml │ │ │ │ │ ├── belebele_tsn.yaml │ │ │ │ │ ├── belebele_tso.yaml │ │ │ │ │ ├── belebele_wol.yaml │ │ │ │ │ ├── belebele_xho.yaml │ │ │ │ │ ├── belebele_yor.yaml │ │ │ │ │ └── belebele_zul.yaml │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── belebele │ │ │ │ │ ├── belebele_afr.yaml │ │ │ │ │ ├── belebele_amh.yaml │ │ │ │ │ ├── belebele_ary.yaml │ │ │ │ │ ├── belebele_arz.yaml │ │ │ │ │ ├── belebele_bam.yaml │ │ │ │ │ ├── belebele_eng.yaml │ │ │ │ │ ├── belebele_fra.yaml │ │ │ │ │ ├── belebele_fuv.yaml │ │ │ │ │ ├── belebele_gaz.yaml │ │ │ │ │ ├── belebele_hau.yaml │ │ │ │ │ ├── belebele_ibo.yaml │ │ │ │ │ ├── belebele_kea.yaml │ │ │ │ │ ├── belebele_kin.yaml │ │ │ │ │ ├── belebele_lin.yaml │ │ │ │ │ ├── belebele_lug.yaml │ │ │ │ │ ├── belebele_luo.yaml │ │ │ │ │ ├── belebele_nya.yaml │ │ │ │ │ ├── belebele_plt.yaml │ │ │ │ │ ├── belebele_por.yaml │ │ │ │ │ ├── belebele_sna.yaml │ │ │ │ │ ├── belebele_som.yaml │ │ │ │ │ ├── belebele_sot.yaml │ │ │ │ │ ├── belebele_ssw.yaml │ │ │ │ │ ├── belebele_swa.yaml │ │ │ │ │ ├── belebele_tir.yaml │ │ │ │ │ ├── belebele_tsn.yaml │ │ │ │ │ ├── belebele_tso.yaml │ │ │ │ │ ├── belebele_wol.yaml │ │ │ │ │ ├── belebele_xho.yaml │ │ │ │ │ ├── belebele_yor.yaml │ │ │ │ │ └── belebele_zul.yaml │ │ │ │ └── utils.py │ │ │ ├── flores/ │ │ │ │ ├── README.md │ │ │ │ ├── flores.yaml │ │ │ │ ├── gen_utils.py │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── african-english/ │ │ │ │ │ │ ├── flores │ │ │ │ │ │ ├── flores_ace_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ace_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_acq_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_aeb_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_afr_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_aka_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_amh_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ary_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_arz_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_bam_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ban_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_bem_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_cjk_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_dik_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_dyu_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ewe_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_fon_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_fra_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_fuv_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_gaz_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_hau_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ibo_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kab_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kam_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kbp_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kea_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kik_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kin_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kmb_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_knc_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_knc_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kon_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_lin_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_lua_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_lug_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_luo_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_mos_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_nso_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_nus_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_nya_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_plt_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_run_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sag_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sna_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_som_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sot_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ssw_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sun_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_swh_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_taq_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_taq_Tfng-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tir_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tsn_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tso_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tum_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_twi_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tzm_Tfng-eng_Latn.yaml │ │ │ │ │ │ ├── flores_umb_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_wol_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_xho_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_yor_Latn-eng_Latn.yaml │ │ │ │ │ │ └── flores_zul_Latn-eng_Latn.yaml │ │ │ │ │ ├── english-african/ │ │ │ │ │ │ ├── flores │ │ │ │ │ │ ├── flores_eng_Latn-ace_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ace_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-acq_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-aeb_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-afr_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-aka_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-amh_Ethi.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ary_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-arz_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-bam_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ban_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-bem_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-cjk_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-dik_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-dyu_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ewe_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-fon_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-fra_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-fuv_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-gaz_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-hau_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ibo_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kab_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kam_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kbp_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kea_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kik_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kin_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kmb_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-knc_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-knc_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kon_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-lin_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-lua_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-lug_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-luo_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-mos_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-nso_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-nus_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-nya_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-plt_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-run_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sag_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sna_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-som_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sot_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ssw_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sun_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-swh_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-taq_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-taq_Tfng.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tir_Ethi.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tsn_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tso_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tum_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-twi_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tzm_Tfng.yaml │ │ │ │ │ │ ├── flores_eng_Latn-umb_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-wol_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-xho_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-yor_Latn.yaml │ │ │ │ │ │ └── flores_eng_Latn-zul_Latn.yaml │ │ │ │ │ └── flores │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── african-english/ │ │ │ │ │ │ ├── flores │ │ │ │ │ │ ├── flores_ace_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ace_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_acq_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_aeb_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_afr_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_aka_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_amh_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ary_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_arz_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_bam_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ban_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_bem_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_cjk_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_dik_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_dyu_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ewe_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_fon_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_fra_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_fuv_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_gaz_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_hau_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ibo_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kab_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kam_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kbp_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kea_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kik_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kin_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kmb_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_knc_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── flores_knc_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_kon_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_lin_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_lua_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_lug_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_luo_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_mos_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_nso_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_nus_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_nya_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_plt_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_run_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sag_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sna_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_som_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sot_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_ssw_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_sun_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_swh_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_taq_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_taq_Tfng-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tir_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tsn_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tso_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tum_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_twi_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_tzm_Tfng-eng_Latn.yaml │ │ │ │ │ │ ├── flores_umb_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_wol_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_xho_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── flores_yor_Latn-eng_Latn.yaml │ │ │ │ │ │ └── flores_zul_Latn-eng_Latn.yaml │ │ │ │ │ ├── english-african/ │ │ │ │ │ │ ├── flores │ │ │ │ │ │ ├── flores_eng_Latn-ace_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ace_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-acq_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-aeb_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-afr_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-aka_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-amh_Ethi.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ary_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-arz_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-bam_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ban_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-bem_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-cjk_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-dik_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-dyu_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ewe_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-fon_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-fra_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-fuv_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-gaz_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-hau_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ibo_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kab_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kam_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kbp_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kea_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kik_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kin_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kmb_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-knc_Arab.yaml │ │ │ │ │ │ ├── flores_eng_Latn-knc_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-kon_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-lin_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-lua_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-lug_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-luo_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-mos_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-nso_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-nus_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-nya_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-plt_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-run_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sag_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sna_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-som_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sot_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-ssw_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-sun_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-swh_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-taq_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-taq_Tfng.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tir_Ethi.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tsn_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tso_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tum_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-twi_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-tzm_Tfng.yaml │ │ │ │ │ │ ├── flores_eng_Latn-umb_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-wol_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-xho_Latn.yaml │ │ │ │ │ │ ├── flores_eng_Latn-yor_Latn.yaml │ │ │ │ │ │ └── flores_eng_Latn-zul_Latn.yaml │ │ │ │ │ └── flores │ │ │ │ └── prompt_3/ │ │ │ │ ├── african-english/ │ │ │ │ │ ├── flores │ │ │ │ │ ├── flores_ace_Arab-eng_Latn.yaml │ │ │ │ │ ├── flores_ace_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_acq_Arab-eng_Latn.yaml │ │ │ │ │ ├── flores_aeb_Arab-eng_Latn.yaml │ │ │ │ │ ├── flores_afr_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_aka_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_amh_Ethi-eng_Latn.yaml │ │ │ │ │ ├── flores_ary_Arab-eng_Latn.yaml │ │ │ │ │ ├── flores_arz_Arab-eng_Latn.yaml │ │ │ │ │ ├── flores_bam_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_ban_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_bem_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_cjk_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_dik_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_dyu_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_ewe_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_fon_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_fra_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_fuv_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_gaz_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_hau_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_ibo_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kab_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kam_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kbp_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kea_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kik_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kin_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kmb_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_knc_Arab-eng_Latn.yaml │ │ │ │ │ ├── flores_knc_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_kon_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_lin_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_lua_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_lug_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_luo_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_mos_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_nso_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_nus_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_nya_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_plt_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_run_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_sag_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_sna_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_som_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_sot_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_ssw_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_sun_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_swh_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_taq_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_taq_Tfng-eng_Latn.yaml │ │ │ │ │ ├── flores_tir_Ethi-eng_Latn.yaml │ │ │ │ │ ├── flores_tsn_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_tso_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_tum_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_twi_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_tzm_Tfng-eng_Latn.yaml │ │ │ │ │ ├── flores_umb_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_wol_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_xho_Latn-eng_Latn.yaml │ │ │ │ │ ├── flores_yor_Latn-eng_Latn.yaml │ │ │ │ │ └── flores_zul_Latn-eng_Latn.yaml │ │ │ │ ├── english-african/ │ │ │ │ │ ├── flores │ │ │ │ │ ├── flores_eng_Latn-ace_Arab.yaml │ │ │ │ │ ├── flores_eng_Latn-ace_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-acq_Arab.yaml │ │ │ │ │ ├── flores_eng_Latn-aeb_Arab.yaml │ │ │ │ │ ├── flores_eng_Latn-afr_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-aka_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-amh_Ethi.yaml │ │ │ │ │ ├── flores_eng_Latn-ary_Arab.yaml │ │ │ │ │ ├── flores_eng_Latn-arz_Arab.yaml │ │ │ │ │ ├── flores_eng_Latn-bam_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-ban_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-bem_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-cjk_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-dik_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-dyu_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-ewe_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-fon_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-fra_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-fuv_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-gaz_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-hau_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-ibo_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kab_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kam_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kbp_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kea_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kik_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kin_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kmb_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-knc_Arab.yaml │ │ │ │ │ ├── flores_eng_Latn-knc_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-kon_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-lin_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-lua_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-lug_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-luo_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-mos_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-nso_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-nus_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-nya_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-plt_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-run_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-sag_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-sna_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-som_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-sot_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-ssw_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-sun_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-swh_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-taq_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-taq_Tfng.yaml │ │ │ │ │ ├── flores_eng_Latn-tir_Ethi.yaml │ │ │ │ │ ├── flores_eng_Latn-tsn_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-tso_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-tum_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-twi_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-tzm_Tfng.yaml │ │ │ │ │ ├── flores_eng_Latn-umb_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-wol_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-xho_Latn.yaml │ │ │ │ │ ├── flores_eng_Latn-yor_Latn.yaml │ │ │ │ │ └── flores_eng_Latn-zul_Latn.yaml │ │ │ │ └── flores │ │ │ ├── injongointent/ │ │ │ │ ├── README.md │ │ │ │ ├── gen_utils.py │ │ │ │ ├── injongointent.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── injongointent │ │ │ │ │ ├── injongointent_amh.yaml │ │ │ │ │ ├── injongointent_eng.yaml │ │ │ │ │ ├── injongointent_ewe.yaml │ │ │ │ │ ├── injongointent_hau.yaml │ │ │ │ │ ├── injongointent_ibo.yaml │ │ │ │ │ ├── injongointent_kin.yaml │ │ │ │ │ ├── injongointent_lin.yaml │ │ │ │ │ ├── injongointent_lug.yaml │ │ │ │ │ ├── injongointent_orm.yaml │ │ │ │ │ ├── injongointent_sna.yaml │ │ │ │ │ ├── injongointent_sot.yaml │ │ │ │ │ ├── injongointent_swa.yaml │ │ │ │ │ ├── injongointent_twi.yaml │ │ │ │ │ ├── injongointent_wol.yaml │ │ │ │ │ ├── injongointent_xho.yaml │ │ │ │ │ ├── injongointent_yor.yaml │ │ │ │ │ ├── injongointent_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── injongointent │ │ │ │ │ ├── injongointent_amh.yaml │ │ │ │ │ ├── injongointent_eng.yaml │ │ │ │ │ ├── injongointent_ewe.yaml │ │ │ │ │ ├── injongointent_hau.yaml │ │ │ │ │ ├── injongointent_ibo.yaml │ │ │ │ │ ├── injongointent_kin.yaml │ │ │ │ │ ├── injongointent_lin.yaml │ │ │ │ │ ├── injongointent_lug.yaml │ │ │ │ │ ├── injongointent_orm.yaml │ │ │ │ │ ├── injongointent_sna.yaml │ │ │ │ │ ├── injongointent_sot.yaml │ │ │ │ │ ├── injongointent_swa.yaml │ │ │ │ │ ├── injongointent_twi.yaml │ │ │ │ │ ├── injongointent_wol.yaml │ │ │ │ │ ├── injongointent_xho.yaml │ │ │ │ │ ├── injongointent_yor.yaml │ │ │ │ │ ├── injongointent_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── injongointent │ │ │ │ │ ├── injongointent_amh.yaml │ │ │ │ │ ├── injongointent_eng.yaml │ │ │ │ │ ├── injongointent_ewe.yaml │ │ │ │ │ ├── injongointent_hau.yaml │ │ │ │ │ ├── injongointent_ibo.yaml │ │ │ │ │ ├── injongointent_kin.yaml │ │ │ │ │ ├── injongointent_lin.yaml │ │ │ │ │ ├── injongointent_lug.yaml │ │ │ │ │ ├── injongointent_orm.yaml │ │ │ │ │ ├── injongointent_sna.yaml │ │ │ │ │ ├── injongointent_sot.yaml │ │ │ │ │ ├── injongointent_swa.yaml │ │ │ │ │ ├── injongointent_twi.yaml │ │ │ │ │ ├── injongointent_wol.yaml │ │ │ │ │ ├── injongointent_xho.yaml │ │ │ │ │ ├── injongointent_yor.yaml │ │ │ │ │ ├── injongointent_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── injongointent │ │ │ │ │ ├── injongointent_amh.yaml │ │ │ │ │ ├── injongointent_eng.yaml │ │ │ │ │ ├── injongointent_ewe.yaml │ │ │ │ │ ├── injongointent_hau.yaml │ │ │ │ │ ├── injongointent_ibo.yaml │ │ │ │ │ ├── injongointent_kin.yaml │ │ │ │ │ ├── injongointent_lin.yaml │ │ │ │ │ ├── injongointent_lug.yaml │ │ │ │ │ ├── injongointent_orm.yaml │ │ │ │ │ ├── injongointent_sna.yaml │ │ │ │ │ ├── injongointent_sot.yaml │ │ │ │ │ ├── injongointent_swa.yaml │ │ │ │ │ ├── injongointent_twi.yaml │ │ │ │ │ ├── injongointent_wol.yaml │ │ │ │ │ ├── injongointent_xho.yaml │ │ │ │ │ ├── injongointent_yor.yaml │ │ │ │ │ ├── injongointent_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_5/ │ │ │ │ ├── injongointent │ │ │ │ ├── injongointent_amh.yaml │ │ │ │ ├── injongointent_eng.yaml │ │ │ │ ├── injongointent_ewe.yaml │ │ │ │ ├── injongointent_hau.yaml │ │ │ │ ├── injongointent_ibo.yaml │ │ │ │ ├── injongointent_kin.yaml │ │ │ │ ├── injongointent_lin.yaml │ │ │ │ ├── injongointent_lug.yaml │ │ │ │ ├── injongointent_orm.yaml │ │ │ │ ├── injongointent_sna.yaml │ │ │ │ ├── injongointent_sot.yaml │ │ │ │ ├── injongointent_swa.yaml │ │ │ │ ├── injongointent_twi.yaml │ │ │ │ ├── injongointent_wol.yaml │ │ │ │ ├── injongointent_xho.yaml │ │ │ │ ├── injongointent_yor.yaml │ │ │ │ ├── injongointent_zul.yaml │ │ │ │ └── utils.py │ │ │ ├── mafand/ │ │ │ │ ├── README.md │ │ │ │ ├── gen_utils.py │ │ │ │ ├── mafand.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── african-english/ │ │ │ │ │ │ ├── mafand │ │ │ │ │ │ ├── mafand_amh-en.yaml │ │ │ │ │ │ ├── mafand_bam-fr.yaml │ │ │ │ │ │ ├── mafand_bbj-fr.yaml │ │ │ │ │ │ ├── mafand_ewe-fr.yaml │ │ │ │ │ │ ├── mafand_fon-fr.yaml │ │ │ │ │ │ ├── mafand_hau-en.yaml │ │ │ │ │ │ ├── mafand_ibo-en.yaml │ │ │ │ │ │ ├── mafand_kin-en.yaml │ │ │ │ │ │ ├── mafand_lug-en.yaml │ │ │ │ │ │ ├── mafand_luo-en.yaml │ │ │ │ │ │ ├── mafand_mos-fr.yaml │ │ │ │ │ │ ├── mafand_nya-en.yaml │ │ │ │ │ │ ├── mafand_pcm-en.yaml │ │ │ │ │ │ ├── mafand_sna-en.yaml │ │ │ │ │ │ ├── mafand_swa-en.yaml │ │ │ │ │ │ ├── mafand_tsn-en.yaml │ │ │ │ │ │ ├── mafand_twi-en.yaml │ │ │ │ │ │ ├── mafand_wol-fr.yaml │ │ │ │ │ │ ├── mafand_xho-en.yaml │ │ │ │ │ │ ├── mafand_yor-en.yaml │ │ │ │ │ │ ├── mafand_zul-en.yaml │ │ │ │ │ │ └── utils.py │ │ │ │ │ └── english-african/ │ │ │ │ │ ├── mafand │ │ │ │ │ ├── mafand_en-amh.yaml │ │ │ │ │ ├── mafand_en-hau.yaml │ │ │ │ │ ├── mafand_en-ibo.yaml │ │ │ │ │ ├── mafand_en-kin.yaml │ │ │ │ │ ├── mafand_en-lug.yaml │ │ │ │ │ ├── mafand_en-luo.yaml │ │ │ │ │ ├── mafand_en-nya.yaml │ │ │ │ │ ├── mafand_en-pcm.yaml │ │ │ │ │ ├── mafand_en-sna.yaml │ │ │ │ │ ├── mafand_en-swa.yaml │ │ │ │ │ ├── mafand_en-tsn.yaml │ │ │ │ │ ├── mafand_en-twi.yaml │ │ │ │ │ ├── mafand_en-xho.yaml │ │ │ │ │ ├── mafand_en-yor.yaml │ │ │ │ │ ├── mafand_en-zul.yaml │ │ │ │ │ ├── mafand_fr-bam.yaml │ │ │ │ │ ├── mafand_fr-bbj.yaml │ │ │ │ │ ├── mafand_fr-ewe.yaml │ │ │ │ │ ├── mafand_fr-fon.yaml │ │ │ │ │ ├── mafand_fr-mos.yaml │ │ │ │ │ ├── mafand_fr-wol.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── african-english/ │ │ │ │ │ │ ├── mafand │ │ │ │ │ │ ├── mafand_amh-en.yaml │ │ │ │ │ │ ├── mafand_bam-fr.yaml │ │ │ │ │ │ ├── mafand_bbj-fr.yaml │ │ │ │ │ │ ├── mafand_ewe-fr.yaml │ │ │ │ │ │ ├── mafand_fon-fr.yaml │ │ │ │ │ │ ├── mafand_hau-en.yaml │ │ │ │ │ │ ├── mafand_ibo-en.yaml │ │ │ │ │ │ ├── mafand_kin-en.yaml │ │ │ │ │ │ ├── mafand_lug-en.yaml │ │ │ │ │ │ ├── mafand_luo-en.yaml │ │ │ │ │ │ ├── mafand_mos-fr.yaml │ │ │ │ │ │ ├── mafand_nya-en.yaml │ │ │ │ │ │ ├── mafand_pcm-en.yaml │ │ │ │ │ │ ├── mafand_sna-en.yaml │ │ │ │ │ │ ├── mafand_swa-en.yaml │ │ │ │ │ │ ├── mafand_tsn-en.yaml │ │ │ │ │ │ ├── mafand_twi-en.yaml │ │ │ │ │ │ ├── mafand_wol-fr.yaml │ │ │ │ │ │ ├── mafand_xho-en.yaml │ │ │ │ │ │ ├── mafand_yor-en.yaml │ │ │ │ │ │ ├── mafand_zul-en.yaml │ │ │ │ │ │ └── utils.py │ │ │ │ │ └── english-african/ │ │ │ │ │ ├── mafand │ │ │ │ │ ├── mafand_en-amh.yaml │ │ │ │ │ ├── mafand_en-hau.yaml │ │ │ │ │ ├── mafand_en-ibo.yaml │ │ │ │ │ ├── mafand_en-kin.yaml │ │ │ │ │ ├── mafand_en-lug.yaml │ │ │ │ │ ├── mafand_en-luo.yaml │ │ │ │ │ ├── mafand_en-nya.yaml │ │ │ │ │ ├── mafand_en-pcm.yaml │ │ │ │ │ ├── mafand_en-sna.yaml │ │ │ │ │ ├── mafand_en-swa.yaml │ │ │ │ │ ├── mafand_en-tsn.yaml │ │ │ │ │ ├── mafand_en-twi.yaml │ │ │ │ │ ├── mafand_en-xho.yaml │ │ │ │ │ ├── mafand_en-yor.yaml │ │ │ │ │ ├── mafand_en-zul.yaml │ │ │ │ │ ├── mafand_fr-bam.yaml │ │ │ │ │ ├── mafand_fr-bbj.yaml │ │ │ │ │ ├── mafand_fr-ewe.yaml │ │ │ │ │ ├── mafand_fr-fon.yaml │ │ │ │ │ ├── mafand_fr-mos.yaml │ │ │ │ │ ├── mafand_fr-wol.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_3/ │ │ │ │ ├── african-english/ │ │ │ │ │ ├── mafand │ │ │ │ │ ├── mafand_amh-en.yaml │ │ │ │ │ ├── mafand_bam-fr.yaml │ │ │ │ │ ├── mafand_bbj-fr.yaml │ │ │ │ │ ├── mafand_ewe-fr.yaml │ │ │ │ │ ├── mafand_fon-fr.yaml │ │ │ │ │ ├── mafand_hau-en.yaml │ │ │ │ │ ├── mafand_ibo-en.yaml │ │ │ │ │ ├── mafand_kin-en.yaml │ │ │ │ │ ├── mafand_lug-en.yaml │ │ │ │ │ ├── mafand_luo-en.yaml │ │ │ │ │ ├── mafand_mos-fr.yaml │ │ │ │ │ ├── mafand_nya-en.yaml │ │ │ │ │ ├── mafand_pcm-en.yaml │ │ │ │ │ ├── mafand_sna-en.yaml │ │ │ │ │ ├── mafand_swa-en.yaml │ │ │ │ │ ├── mafand_tsn-en.yaml │ │ │ │ │ ├── mafand_twi-en.yaml │ │ │ │ │ ├── mafand_wol-fr.yaml │ │ │ │ │ ├── mafand_xho-en.yaml │ │ │ │ │ ├── mafand_yor-en.yaml │ │ │ │ │ ├── mafand_zul-en.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── english-african/ │ │ │ │ ├── mafand │ │ │ │ ├── mafand_en-amh.yaml │ │ │ │ ├── mafand_en-hau.yaml │ │ │ │ ├── mafand_en-ibo.yaml │ │ │ │ ├── mafand_en-kin.yaml │ │ │ │ ├── mafand_en-lug.yaml │ │ │ │ ├── mafand_en-luo.yaml │ │ │ │ ├── mafand_en-nya.yaml │ │ │ │ ├── mafand_en-pcm.yaml │ │ │ │ ├── mafand_en-sna.yaml │ │ │ │ ├── mafand_en-swa.yaml │ │ │ │ ├── mafand_en-tsn.yaml │ │ │ │ ├── mafand_en-twi.yaml │ │ │ │ ├── mafand_en-xho.yaml │ │ │ │ ├── mafand_en-yor.yaml │ │ │ │ ├── mafand_en-zul.yaml │ │ │ │ ├── mafand_fr-bam.yaml │ │ │ │ ├── mafand_fr-bbj.yaml │ │ │ │ ├── mafand_fr-ewe.yaml │ │ │ │ ├── mafand_fr-fon.yaml │ │ │ │ ├── mafand_fr-mos.yaml │ │ │ │ ├── mafand_fr-wol.yaml │ │ │ │ └── utils.py │ │ │ ├── masakhaner/ │ │ │ │ ├── README.md │ │ │ │ ├── gen_utils.py │ │ │ │ ├── masakhaner.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── masakhaner │ │ │ │ │ ├── masakhaner_am.yaml │ │ │ │ │ ├── masakhaner_bbj.yaml │ │ │ │ │ ├── masakhaner_bm.yaml │ │ │ │ │ ├── masakhaner_ee.yaml │ │ │ │ │ ├── masakhaner_ha.yaml │ │ │ │ │ ├── masakhaner_ig.yaml │ │ │ │ │ ├── masakhaner_lg.yaml │ │ │ │ │ ├── masakhaner_luo.yaml │ │ │ │ │ ├── masakhaner_mos.yaml │ │ │ │ │ ├── masakhaner_ny.yaml │ │ │ │ │ ├── masakhaner_pcm.yaml │ │ │ │ │ ├── masakhaner_rw.yaml │ │ │ │ │ ├── masakhaner_sn.yaml │ │ │ │ │ ├── masakhaner_sw.yaml │ │ │ │ │ ├── masakhaner_tn.yaml │ │ │ │ │ ├── masakhaner_tw.yaml │ │ │ │ │ ├── masakhaner_wo.yaml │ │ │ │ │ ├── masakhaner_xh.yaml │ │ │ │ │ ├── masakhaner_yo.yaml │ │ │ │ │ ├── masakhaner_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── masakhaner │ │ │ │ │ ├── masakhaner_am.yaml │ │ │ │ │ ├── masakhaner_bbj.yaml │ │ │ │ │ ├── masakhaner_bm.yaml │ │ │ │ │ ├── masakhaner_ee.yaml │ │ │ │ │ ├── masakhaner_ha.yaml │ │ │ │ │ ├── masakhaner_ig.yaml │ │ │ │ │ ├── masakhaner_lg.yaml │ │ │ │ │ ├── masakhaner_luo.yaml │ │ │ │ │ ├── masakhaner_mos.yaml │ │ │ │ │ ├── masakhaner_ny.yaml │ │ │ │ │ ├── masakhaner_pcm.yaml │ │ │ │ │ ├── masakhaner_rw.yaml │ │ │ │ │ ├── masakhaner_sn.yaml │ │ │ │ │ ├── masakhaner_sw.yaml │ │ │ │ │ ├── masakhaner_tn.yaml │ │ │ │ │ ├── masakhaner_tw.yaml │ │ │ │ │ ├── masakhaner_wo.yaml │ │ │ │ │ ├── masakhaner_xh.yaml │ │ │ │ │ ├── masakhaner_yo.yaml │ │ │ │ │ ├── masakhaner_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── masakhaner │ │ │ │ │ ├── masakhaner_am.yaml │ │ │ │ │ ├── masakhaner_bbj.yaml │ │ │ │ │ ├── masakhaner_bm.yaml │ │ │ │ │ ├── masakhaner_ee.yaml │ │ │ │ │ ├── masakhaner_ha.yaml │ │ │ │ │ ├── masakhaner_ig.yaml │ │ │ │ │ ├── masakhaner_lg.yaml │ │ │ │ │ ├── masakhaner_luo.yaml │ │ │ │ │ ├── masakhaner_mos.yaml │ │ │ │ │ ├── masakhaner_ny.yaml │ │ │ │ │ ├── masakhaner_pcm.yaml │ │ │ │ │ ├── masakhaner_rw.yaml │ │ │ │ │ ├── masakhaner_sn.yaml │ │ │ │ │ ├── masakhaner_sw.yaml │ │ │ │ │ ├── masakhaner_tn.yaml │ │ │ │ │ ├── masakhaner_tw.yaml │ │ │ │ │ ├── masakhaner_wo.yaml │ │ │ │ │ ├── masakhaner_xh.yaml │ │ │ │ │ ├── masakhaner_yo.yaml │ │ │ │ │ ├── masakhaner_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── masakhaner │ │ │ │ │ ├── masakhaner_am.yaml │ │ │ │ │ ├── masakhaner_bbj.yaml │ │ │ │ │ ├── masakhaner_bm.yaml │ │ │ │ │ ├── masakhaner_ee.yaml │ │ │ │ │ ├── masakhaner_ha.yaml │ │ │ │ │ ├── masakhaner_ig.yaml │ │ │ │ │ ├── masakhaner_lg.yaml │ │ │ │ │ ├── masakhaner_luo.yaml │ │ │ │ │ ├── masakhaner_mos.yaml │ │ │ │ │ ├── masakhaner_ny.yaml │ │ │ │ │ ├── masakhaner_pcm.yaml │ │ │ │ │ ├── masakhaner_rw.yaml │ │ │ │ │ ├── masakhaner_sn.yaml │ │ │ │ │ ├── masakhaner_sw.yaml │ │ │ │ │ ├── masakhaner_tn.yaml │ │ │ │ │ ├── masakhaner_tw.yaml │ │ │ │ │ ├── masakhaner_wo.yaml │ │ │ │ │ ├── masakhaner_xh.yaml │ │ │ │ │ ├── masakhaner_yo.yaml │ │ │ │ │ ├── masakhaner_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_5/ │ │ │ │ ├── masakhaner │ │ │ │ ├── masakhaner_am.yaml │ │ │ │ ├── masakhaner_bbj.yaml │ │ │ │ ├── masakhaner_bm.yaml │ │ │ │ ├── masakhaner_ee.yaml │ │ │ │ ├── masakhaner_ha.yaml │ │ │ │ ├── masakhaner_ig.yaml │ │ │ │ ├── masakhaner_lg.yaml │ │ │ │ ├── masakhaner_luo.yaml │ │ │ │ ├── masakhaner_mos.yaml │ │ │ │ ├── masakhaner_ny.yaml │ │ │ │ ├── masakhaner_pcm.yaml │ │ │ │ ├── masakhaner_rw.yaml │ │ │ │ ├── masakhaner_sn.yaml │ │ │ │ ├── masakhaner_sw.yaml │ │ │ │ ├── masakhaner_tn.yaml │ │ │ │ ├── masakhaner_tw.yaml │ │ │ │ ├── masakhaner_wo.yaml │ │ │ │ ├── masakhaner_xh.yaml │ │ │ │ ├── masakhaner_yo.yaml │ │ │ │ ├── masakhaner_zu.yaml │ │ │ │ └── utils.py │ │ │ ├── masakhanews/ │ │ │ │ ├── README.md │ │ │ │ ├── masakhanews.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── masakhanews │ │ │ │ │ ├── masakhanews_amh.yaml │ │ │ │ │ ├── masakhanews_eng.yaml │ │ │ │ │ ├── masakhanews_fra.yaml │ │ │ │ │ ├── masakhanews_hau.yaml │ │ │ │ │ ├── masakhanews_ibo.yaml │ │ │ │ │ ├── masakhanews_lin.yaml │ │ │ │ │ ├── masakhanews_lug.yaml │ │ │ │ │ ├── masakhanews_orm.yaml │ │ │ │ │ ├── masakhanews_pcm.yaml │ │ │ │ │ ├── masakhanews_run.yaml │ │ │ │ │ ├── masakhanews_sna.yaml │ │ │ │ │ ├── masakhanews_som.yaml │ │ │ │ │ ├── masakhanews_swa.yaml │ │ │ │ │ ├── masakhanews_tir.yaml │ │ │ │ │ ├── masakhanews_xho.yaml │ │ │ │ │ ├── masakhanews_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── masakhanews │ │ │ │ │ ├── masakhanews_amh.yaml │ │ │ │ │ ├── masakhanews_eng.yaml │ │ │ │ │ ├── masakhanews_fra.yaml │ │ │ │ │ ├── masakhanews_hau.yaml │ │ │ │ │ ├── masakhanews_ibo.yaml │ │ │ │ │ ├── masakhanews_lin.yaml │ │ │ │ │ ├── masakhanews_lug.yaml │ │ │ │ │ ├── masakhanews_orm.yaml │ │ │ │ │ ├── masakhanews_pcm.yaml │ │ │ │ │ ├── masakhanews_run.yaml │ │ │ │ │ ├── masakhanews_sna.yaml │ │ │ │ │ ├── masakhanews_som.yaml │ │ │ │ │ ├── masakhanews_swa.yaml │ │ │ │ │ ├── masakhanews_tir.yaml │ │ │ │ │ ├── masakhanews_xho.yaml │ │ │ │ │ ├── masakhanews_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── masakhanews │ │ │ │ │ ├── masakhanews_amh.yaml │ │ │ │ │ ├── masakhanews_eng.yaml │ │ │ │ │ ├── masakhanews_fra.yaml │ │ │ │ │ ├── masakhanews_hau.yaml │ │ │ │ │ ├── masakhanews_ibo.yaml │ │ │ │ │ ├── masakhanews_lin.yaml │ │ │ │ │ ├── masakhanews_lug.yaml │ │ │ │ │ ├── masakhanews_orm.yaml │ │ │ │ │ ├── masakhanews_pcm.yaml │ │ │ │ │ ├── masakhanews_run.yaml │ │ │ │ │ ├── masakhanews_sna.yaml │ │ │ │ │ ├── masakhanews_som.yaml │ │ │ │ │ ├── masakhanews_swa.yaml │ │ │ │ │ ├── masakhanews_tir.yaml │ │ │ │ │ ├── masakhanews_xho.yaml │ │ │ │ │ ├── masakhanews_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── masakhanews │ │ │ │ │ ├── masakhanews_amh.yaml │ │ │ │ │ ├── masakhanews_eng.yaml │ │ │ │ │ ├── masakhanews_fra.yaml │ │ │ │ │ ├── masakhanews_hau.yaml │ │ │ │ │ ├── masakhanews_ibo.yaml │ │ │ │ │ ├── masakhanews_lin.yaml │ │ │ │ │ ├── masakhanews_lug.yaml │ │ │ │ │ ├── masakhanews_orm.yaml │ │ │ │ │ ├── masakhanews_pcm.yaml │ │ │ │ │ ├── masakhanews_run.yaml │ │ │ │ │ ├── masakhanews_sna.yaml │ │ │ │ │ ├── masakhanews_som.yaml │ │ │ │ │ ├── masakhanews_swa.yaml │ │ │ │ │ ├── masakhanews_tir.yaml │ │ │ │ │ ├── masakhanews_xho.yaml │ │ │ │ │ ├── masakhanews_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── masakhanews │ │ │ │ │ ├── masakhanews_amh.yaml │ │ │ │ │ ├── masakhanews_eng.yaml │ │ │ │ │ ├── masakhanews_fra.yaml │ │ │ │ │ ├── masakhanews_hau.yaml │ │ │ │ │ ├── masakhanews_ibo.yaml │ │ │ │ │ ├── masakhanews_lin.yaml │ │ │ │ │ ├── masakhanews_lug.yaml │ │ │ │ │ ├── masakhanews_orm.yaml │ │ │ │ │ ├── masakhanews_pcm.yaml │ │ │ │ │ ├── masakhanews_run.yaml │ │ │ │ │ ├── masakhanews_sna.yaml │ │ │ │ │ ├── masakhanews_som.yaml │ │ │ │ │ ├── masakhanews_swa.yaml │ │ │ │ │ ├── masakhanews_tir.yaml │ │ │ │ │ ├── masakhanews_xho.yaml │ │ │ │ │ ├── masakhanews_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── utils.py │ │ │ ├── masakhapos/ │ │ │ │ ├── README.md │ │ │ │ ├── gen_utils.py │ │ │ │ ├── masakhapos.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── masakhapos_bam.yaml │ │ │ │ │ ├── masakhapos_bbj.yaml │ │ │ │ │ ├── masakhapos_ewe.yaml │ │ │ │ │ ├── masakhapos_fon.yaml │ │ │ │ │ ├── masakhapos_hau.yaml │ │ │ │ │ ├── masakhapos_ibo.yaml │ │ │ │ │ ├── masakhapos_kin.yaml │ │ │ │ │ ├── masakhapos_lug.yaml │ │ │ │ │ ├── masakhapos_luo.yaml │ │ │ │ │ ├── masakhapos_mos.yaml │ │ │ │ │ ├── masakhapos_nya.yaml │ │ │ │ │ ├── masakhapos_pcm.yaml │ │ │ │ │ ├── masakhapos_sna.yaml │ │ │ │ │ ├── masakhapos_swa.yaml │ │ │ │ │ ├── masakhapos_tsn.yaml │ │ │ │ │ ├── masakhapos_twi.yaml │ │ │ │ │ ├── masakhapos_wol.yaml │ │ │ │ │ ├── masakhapos_xho.yaml │ │ │ │ │ ├── masakhapos_yaml │ │ │ │ │ ├── masakhapos_yor.yaml │ │ │ │ │ ├── masakhapos_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── masakhapos_bam.yaml │ │ │ │ │ ├── masakhapos_bbj.yaml │ │ │ │ │ ├── masakhapos_ewe.yaml │ │ │ │ │ ├── masakhapos_fon.yaml │ │ │ │ │ ├── masakhapos_hau.yaml │ │ │ │ │ ├── masakhapos_ibo.yaml │ │ │ │ │ ├── masakhapos_kin.yaml │ │ │ │ │ ├── masakhapos_lug.yaml │ │ │ │ │ ├── masakhapos_luo.yaml │ │ │ │ │ ├── masakhapos_mos.yaml │ │ │ │ │ ├── masakhapos_nya.yaml │ │ │ │ │ ├── masakhapos_pcm.yaml │ │ │ │ │ ├── masakhapos_sna.yaml │ │ │ │ │ ├── masakhapos_swa.yaml │ │ │ │ │ ├── masakhapos_tsn.yaml │ │ │ │ │ ├── masakhapos_twi.yaml │ │ │ │ │ ├── masakhapos_wol.yaml │ │ │ │ │ ├── masakhapos_xho.yaml │ │ │ │ │ ├── masakhapos_yaml │ │ │ │ │ ├── masakhapos_yor.yaml │ │ │ │ │ ├── masakhapos_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── masakhapos_bam.yaml │ │ │ │ │ ├── masakhapos_bbj.yaml │ │ │ │ │ ├── masakhapos_ewe.yaml │ │ │ │ │ ├── masakhapos_fon.yaml │ │ │ │ │ ├── masakhapos_hau.yaml │ │ │ │ │ ├── masakhapos_ibo.yaml │ │ │ │ │ ├── masakhapos_kin.yaml │ │ │ │ │ ├── masakhapos_lug.yaml │ │ │ │ │ ├── masakhapos_luo.yaml │ │ │ │ │ ├── masakhapos_mos.yaml │ │ │ │ │ ├── masakhapos_nya.yaml │ │ │ │ │ ├── masakhapos_pcm.yaml │ │ │ │ │ ├── masakhapos_sna.yaml │ │ │ │ │ ├── masakhapos_swa.yaml │ │ │ │ │ ├── masakhapos_tsn.yaml │ │ │ │ │ ├── masakhapos_twi.yaml │ │ │ │ │ ├── masakhapos_wol.yaml │ │ │ │ │ ├── masakhapos_xho.yaml │ │ │ │ │ ├── masakhapos_yaml │ │ │ │ │ ├── masakhapos_yor.yaml │ │ │ │ │ ├── masakhapos_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── masakhapos_bam.yaml │ │ │ │ │ ├── masakhapos_bbj.yaml │ │ │ │ │ ├── masakhapos_ewe.yaml │ │ │ │ │ ├── masakhapos_fon.yaml │ │ │ │ │ ├── masakhapos_hau.yaml │ │ │ │ │ ├── masakhapos_ibo.yaml │ │ │ │ │ ├── masakhapos_kin.yaml │ │ │ │ │ ├── masakhapos_lug.yaml │ │ │ │ │ ├── masakhapos_luo.yaml │ │ │ │ │ ├── masakhapos_mos.yaml │ │ │ │ │ ├── masakhapos_nya.yaml │ │ │ │ │ ├── masakhapos_pcm.yaml │ │ │ │ │ ├── masakhapos_sna.yaml │ │ │ │ │ ├── masakhapos_swa.yaml │ │ │ │ │ ├── masakhapos_tsn.yaml │ │ │ │ │ ├── masakhapos_twi.yaml │ │ │ │ │ ├── masakhapos_wol.yaml │ │ │ │ │ ├── masakhapos_xho.yaml │ │ │ │ │ ├── masakhapos_yaml │ │ │ │ │ ├── masakhapos_yor.yaml │ │ │ │ │ ├── masakhapos_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── masakhapos_bam.yaml │ │ │ │ │ ├── masakhapos_bbj.yaml │ │ │ │ │ ├── masakhapos_ewe.yaml │ │ │ │ │ ├── masakhapos_fon.yaml │ │ │ │ │ ├── masakhapos_hau.yaml │ │ │ │ │ ├── masakhapos_ibo.yaml │ │ │ │ │ ├── masakhapos_kin.yaml │ │ │ │ │ ├── masakhapos_lug.yaml │ │ │ │ │ ├── masakhapos_luo.yaml │ │ │ │ │ ├── masakhapos_mos.yaml │ │ │ │ │ ├── masakhapos_nya.yaml │ │ │ │ │ ├── masakhapos_pcm.yaml │ │ │ │ │ ├── masakhapos_sna.yaml │ │ │ │ │ ├── masakhapos_swa.yaml │ │ │ │ │ ├── masakhapos_tsn.yaml │ │ │ │ │ ├── masakhapos_twi.yaml │ │ │ │ │ ├── masakhapos_wol.yaml │ │ │ │ │ ├── masakhapos_xho.yaml │ │ │ │ │ ├── masakhapos_yaml │ │ │ │ │ ├── masakhapos_yor.yaml │ │ │ │ │ ├── masakhapos_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── utils.py │ │ │ ├── naijarc/ │ │ │ │ ├── README.md │ │ │ │ ├── naijarc.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── naijarc │ │ │ │ │ ├── naijarc_hau.yaml │ │ │ │ │ ├── naijarc_ibo.yaml │ │ │ │ │ └── naijarc_yor.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── naijarc │ │ │ │ │ ├── naijarc_hau.yaml │ │ │ │ │ ├── naijarc_ibo.yaml │ │ │ │ │ └── naijarc_yor.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── naijarc │ │ │ │ │ ├── naijarc_hau.yaml │ │ │ │ │ ├── naijarc_ibo.yaml │ │ │ │ │ └── naijarc_yor.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── naijarc │ │ │ │ │ ├── naijarc_hau.yaml │ │ │ │ │ ├── naijarc_ibo.yaml │ │ │ │ │ └── naijarc_yor.yaml │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── naijarc │ │ │ │ │ ├── naijarc_hau.yaml │ │ │ │ │ ├── naijarc_ibo.yaml │ │ │ │ │ └── naijarc_yor.yaml │ │ │ │ └── utils.py │ │ │ ├── nollysenti/ │ │ │ │ ├── README.md │ │ │ │ ├── nollysenti.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── nollysenti │ │ │ │ │ ├── nollysenti_eng.yaml │ │ │ │ │ ├── nollysenti_hau.yaml │ │ │ │ │ ├── nollysenti_ibo.yaml │ │ │ │ │ ├── nollysenti_pcm.yaml │ │ │ │ │ ├── nollysenti_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── nollysenti │ │ │ │ │ ├── nollysenti_eng.yaml │ │ │ │ │ ├── nollysenti_hau.yaml │ │ │ │ │ ├── nollysenti_ibo.yaml │ │ │ │ │ ├── nollysenti_pcm.yaml │ │ │ │ │ ├── nollysenti_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── nollysenti │ │ │ │ │ ├── nollysenti_eng.yaml │ │ │ │ │ ├── nollysenti_hau.yaml │ │ │ │ │ ├── nollysenti_ibo.yaml │ │ │ │ │ ├── nollysenti_pcm.yaml │ │ │ │ │ ├── nollysenti_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── nollysenti │ │ │ │ │ ├── nollysenti_eng.yaml │ │ │ │ │ ├── nollysenti_hau.yaml │ │ │ │ │ ├── nollysenti_ibo.yaml │ │ │ │ │ ├── nollysenti_pcm.yaml │ │ │ │ │ ├── nollysenti_yor.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── prompt_5/ │ │ │ │ ├── nollysenti │ │ │ │ ├── nollysenti_eng.yaml │ │ │ │ ├── nollysenti_hau.yaml │ │ │ │ ├── nollysenti_ibo.yaml │ │ │ │ ├── nollysenti_pcm.yaml │ │ │ │ ├── nollysenti_yor.yaml │ │ │ │ └── utils.py │ │ │ ├── ntrex/ │ │ │ │ ├── README.md │ │ │ │ ├── gen_utils.py │ │ │ │ ├── ntrex.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── african-english/ │ │ │ │ │ │ ├── ntrex │ │ │ │ │ │ ├── ntrex_afr_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_amh_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_arb_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_bem_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ewe_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_fra_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_hau_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ibo_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_kin_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_mey_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_mlg_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_msa_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_nde_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_nso_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_nya_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_orm_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_shi_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_sna_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_som_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ssw_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_swa_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tam_Taml-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tel_Telu-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tir_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ton_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tsn_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_urd_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ven_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_wol_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_xho_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_yor_Latn-eng_Latn.yaml │ │ │ │ │ │ └── ntrex_zul_Latn-eng_Latn.yaml │ │ │ │ │ └── english-african/ │ │ │ │ │ ├── ntrex │ │ │ │ │ ├── ntrex_eng_Latn-afr_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-amh_Ethi.yaml │ │ │ │ │ ├── ntrex_eng_Latn-arb_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-bem_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ewe_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-fra_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-hau_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ibo_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-kin_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-mey_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-mlg_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-msa_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-nde_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-nso_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-nya_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-orm_Ethi.yaml │ │ │ │ │ ├── ntrex_eng_Latn-shi_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-sna_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-som_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ssw_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-swa_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tam_Taml.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tel_Telu.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tir_Ethi.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ton_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tsn_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-urd_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ven_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-wol_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-xho_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-yor_Latn.yaml │ │ │ │ │ └── ntrex_eng_Latn-zul_Latn.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── african-english/ │ │ │ │ │ │ ├── ntrex │ │ │ │ │ │ ├── ntrex_afr_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_amh_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_arb_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_bem_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ewe_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_fra_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_hau_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ibo_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_kin_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_mey_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_mlg_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_msa_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_nde_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_nso_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_nya_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_orm_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_shi_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_sna_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_som_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ssw_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_swa_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tam_Taml-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tel_Telu-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tir_Ethi-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ton_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_tsn_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_urd_Arab-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_ven_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_wol_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_xho_Latn-eng_Latn.yaml │ │ │ │ │ │ ├── ntrex_yor_Latn-eng_Latn.yaml │ │ │ │ │ │ └── ntrex_zul_Latn-eng_Latn.yaml │ │ │ │ │ └── english-african/ │ │ │ │ │ ├── ntrex │ │ │ │ │ ├── ntrex_eng_Latn-afr_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-amh_Ethi.yaml │ │ │ │ │ ├── ntrex_eng_Latn-arb_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-bem_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ewe_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-fra_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-hau_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ibo_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-kin_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-mey_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-mlg_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-msa_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-nde_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-nso_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-nya_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-orm_Ethi.yaml │ │ │ │ │ ├── ntrex_eng_Latn-shi_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-sna_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-som_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ssw_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-swa_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tam_Taml.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tel_Telu.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tir_Ethi.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ton_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-tsn_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-urd_Arab.yaml │ │ │ │ │ ├── ntrex_eng_Latn-ven_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-wol_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-xho_Latn.yaml │ │ │ │ │ ├── ntrex_eng_Latn-yor_Latn.yaml │ │ │ │ │ └── ntrex_eng_Latn-zul_Latn.yaml │ │ │ │ └── prompt_3/ │ │ │ │ ├── african-english/ │ │ │ │ │ ├── ntrex │ │ │ │ │ ├── ntrex_afr_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_amh_Ethi-eng_Latn.yaml │ │ │ │ │ ├── ntrex_arb_Arab-eng_Latn.yaml │ │ │ │ │ ├── ntrex_bem_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_ewe_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_fra_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_hau_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_ibo_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_kin_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_mey_Arab-eng_Latn.yaml │ │ │ │ │ ├── ntrex_mlg_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_msa_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_nde_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_nso_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_nya_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_orm_Ethi-eng_Latn.yaml │ │ │ │ │ ├── ntrex_shi_Arab-eng_Latn.yaml │ │ │ │ │ ├── ntrex_sna_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_som_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_ssw_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_swa_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_tam_Taml-eng_Latn.yaml │ │ │ │ │ ├── ntrex_tel_Telu-eng_Latn.yaml │ │ │ │ │ ├── ntrex_tir_Ethi-eng_Latn.yaml │ │ │ │ │ ├── ntrex_ton_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_tsn_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_urd_Arab-eng_Latn.yaml │ │ │ │ │ ├── ntrex_ven_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_wol_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_xho_Latn-eng_Latn.yaml │ │ │ │ │ ├── ntrex_yor_Latn-eng_Latn.yaml │ │ │ │ │ └── ntrex_zul_Latn-eng_Latn.yaml │ │ │ │ └── english-african/ │ │ │ │ ├── ntrex │ │ │ │ ├── ntrex_eng_Latn-afr_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-amh_Ethi.yaml │ │ │ │ ├── ntrex_eng_Latn-arb_Arab.yaml │ │ │ │ ├── ntrex_eng_Latn-bem_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-ewe_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-fra_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-hau_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-ibo_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-kin_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-mey_Arab.yaml │ │ │ │ ├── ntrex_eng_Latn-mlg_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-msa_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-nde_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-nso_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-nya_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-orm_Ethi.yaml │ │ │ │ ├── ntrex_eng_Latn-shi_Arab.yaml │ │ │ │ ├── ntrex_eng_Latn-sna_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-som_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-ssw_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-swa_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-tam_Taml.yaml │ │ │ │ ├── ntrex_eng_Latn-tel_Telu.yaml │ │ │ │ ├── ntrex_eng_Latn-tir_Ethi.yaml │ │ │ │ ├── ntrex_eng_Latn-ton_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-tsn_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-urd_Arab.yaml │ │ │ │ ├── ntrex_eng_Latn-ven_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-wol_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-xho_Latn.yaml │ │ │ │ ├── ntrex_eng_Latn-yor_Latn.yaml │ │ │ │ └── ntrex_eng_Latn-zul_Latn.yaml │ │ │ ├── openai_mmlu/ │ │ │ │ ├── README.md │ │ │ │ ├── openai_mmlu.yaml │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── openai_mmlu │ │ │ │ │ ├── openai_mmlu_ara.yaml │ │ │ │ │ ├── openai_mmlu_swa.yaml │ │ │ │ │ └── openai_mmlu_yor.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── openai_mmlu │ │ │ │ │ ├── openai_mmlu_ara.yaml │ │ │ │ │ ├── openai_mmlu_swa.yaml │ │ │ │ │ └── openai_mmlu_yor.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── openai_mmlu │ │ │ │ │ ├── openai_mmlu_ara.yaml │ │ │ │ │ ├── openai_mmlu_swa.yaml │ │ │ │ │ └── openai_mmlu_yor.yaml │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── openai_mmlu │ │ │ │ │ ├── openai_mmlu_ara.yaml │ │ │ │ │ ├── openai_mmlu_swa.yaml │ │ │ │ │ └── openai_mmlu_yor.yaml │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── openai_mmlu │ │ │ │ │ ├── openai_mmlu_ara.yaml │ │ │ │ │ ├── openai_mmlu_swa.yaml │ │ │ │ │ └── openai_mmlu_yor.yaml │ │ │ │ └── utils.py │ │ │ ├── salt/ │ │ │ │ ├── README.md │ │ │ │ ├── gen_utils.py │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── salt │ │ │ │ │ ├── salt_ach-eng.yaml │ │ │ │ │ ├── salt_eng-ach.yaml │ │ │ │ │ ├── salt_eng-ibo.yaml │ │ │ │ │ ├── salt_eng-lgg.yaml │ │ │ │ │ ├── salt_eng-lug.yaml │ │ │ │ │ ├── salt_eng-nyn.yaml │ │ │ │ │ ├── salt_eng-swa.yaml │ │ │ │ │ ├── salt_eng-teo.yaml │ │ │ │ │ ├── salt_ibo-eng.yaml │ │ │ │ │ ├── salt_lgg-eng.yaml │ │ │ │ │ ├── salt_lug-eng.yaml │ │ │ │ │ ├── salt_nyn-eng.yaml │ │ │ │ │ ├── salt_swa-eng.yaml │ │ │ │ │ └── salt_teo-eng.yaml │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── salt │ │ │ │ │ ├── salt_ach-eng.yaml │ │ │ │ │ ├── salt_eng-ach.yaml │ │ │ │ │ ├── salt_eng-ibo.yaml │ │ │ │ │ ├── salt_eng-lgg.yaml │ │ │ │ │ ├── salt_eng-lug.yaml │ │ │ │ │ ├── salt_eng-nyn.yaml │ │ │ │ │ ├── salt_eng-swa.yaml │ │ │ │ │ ├── salt_eng-teo.yaml │ │ │ │ │ ├── salt_ibo-eng.yaml │ │ │ │ │ ├── salt_lgg-eng.yaml │ │ │ │ │ ├── salt_lug-eng.yaml │ │ │ │ │ ├── salt_nyn-eng.yaml │ │ │ │ │ ├── salt_swa-eng.yaml │ │ │ │ │ └── salt_teo-eng.yaml │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── salt │ │ │ │ │ ├── salt_ach-eng.yaml │ │ │ │ │ ├── salt_eng-ach.yaml │ │ │ │ │ ├── salt_eng-ibo.yaml │ │ │ │ │ ├── salt_eng-lgg.yaml │ │ │ │ │ ├── salt_eng-lug.yaml │ │ │ │ │ ├── salt_eng-nyn.yaml │ │ │ │ │ ├── salt_eng-swa.yaml │ │ │ │ │ ├── salt_eng-teo.yaml │ │ │ │ │ ├── salt_ibo-eng.yaml │ │ │ │ │ ├── salt_lgg-eng.yaml │ │ │ │ │ ├── salt_lug-eng.yaml │ │ │ │ │ ├── salt_nyn-eng.yaml │ │ │ │ │ ├── salt_swa-eng.yaml │ │ │ │ │ └── salt_teo-eng.yaml │ │ │ │ └── salt.yaml │ │ │ ├── sample_run_scripts/ │ │ │ │ ├── run_afrobench.sh │ │ │ │ └── run_afrobench_lite.sh │ │ │ ├── sib/ │ │ │ │ ├── README.md │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── sib │ │ │ │ │ ├── sib_aeb.yaml │ │ │ │ │ ├── sib_afr.yaml │ │ │ │ │ ├── sib_aka.yaml │ │ │ │ │ ├── sib_amh.yaml │ │ │ │ │ ├── sib_ary.yaml │ │ │ │ │ ├── sib_arz.yaml │ │ │ │ │ ├── sib_bam.yaml │ │ │ │ │ ├── sib_bem.yaml │ │ │ │ │ ├── sib_cjk.yaml │ │ │ │ │ ├── sib_dik.yaml │ │ │ │ │ ├── sib_dyu.yaml │ │ │ │ │ ├── sib_eng.yaml │ │ │ │ │ ├── sib_ewe.yaml │ │ │ │ │ ├── sib_fon.yaml │ │ │ │ │ ├── sib_fra.yaml │ │ │ │ │ ├── sib_fuv.yaml │ │ │ │ │ ├── sib_gaz.yaml │ │ │ │ │ ├── sib_hau.yaml │ │ │ │ │ ├── sib_ibo.yaml │ │ │ │ │ ├── sib_kab.yaml │ │ │ │ │ ├── sib_kam.yaml │ │ │ │ │ ├── sib_kbp.yaml │ │ │ │ │ ├── sib_kea.yaml │ │ │ │ │ ├── sib_kik.yaml │ │ │ │ │ ├── sib_kin.yaml │ │ │ │ │ ├── sib_kmb.yaml │ │ │ │ │ ├── sib_knc.yaml │ │ │ │ │ ├── sib_kon.yaml │ │ │ │ │ ├── sib_lin.yaml │ │ │ │ │ ├── sib_lua.yaml │ │ │ │ │ ├── sib_lug.yaml │ │ │ │ │ ├── sib_luo.yaml │ │ │ │ │ ├── sib_mos.yaml │ │ │ │ │ ├── sib_nso.yaml │ │ │ │ │ ├── sib_nus.yaml │ │ │ │ │ ├── sib_nya.yaml │ │ │ │ │ ├── sib_plt.yaml │ │ │ │ │ ├── sib_por.yaml │ │ │ │ │ ├── sib_run.yaml │ │ │ │ │ ├── sib_sag.yaml │ │ │ │ │ ├── sib_sna.yaml │ │ │ │ │ ├── sib_som.yaml │ │ │ │ │ ├── sib_sot.yaml │ │ │ │ │ ├── sib_ssw.yaml │ │ │ │ │ ├── sib_swa.yaml │ │ │ │ │ ├── sib_taq.yaml │ │ │ │ │ ├── sib_tir.yaml │ │ │ │ │ ├── sib_tso.yaml │ │ │ │ │ ├── sib_tum.yaml │ │ │ │ │ ├── sib_twi.yaml │ │ │ │ │ ├── sib_tzm.yaml │ │ │ │ │ ├── sib_umb.yaml │ │ │ │ │ ├── sib_wol.yaml │ │ │ │ │ ├── sib_xho.yaml │ │ │ │ │ ├── sib_yor.yaml │ │ │ │ │ ├── sib_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── sib │ │ │ │ │ ├── sib_aeb.yaml │ │ │ │ │ ├── sib_afr.yaml │ │ │ │ │ ├── sib_aka.yaml │ │ │ │ │ ├── sib_amh.yaml │ │ │ │ │ ├── sib_ary.yaml │ │ │ │ │ ├── sib_arz.yaml │ │ │ │ │ ├── sib_bam.yaml │ │ │ │ │ ├── sib_bem.yaml │ │ │ │ │ ├── sib_cjk.yaml │ │ │ │ │ ├── sib_dik.yaml │ │ │ │ │ ├── sib_dyu.yaml │ │ │ │ │ ├── sib_eng.yaml │ │ │ │ │ ├── sib_ewe.yaml │ │ │ │ │ ├── sib_fon.yaml │ │ │ │ │ ├── sib_fra.yaml │ │ │ │ │ ├── sib_fuv.yaml │ │ │ │ │ ├── sib_gaz.yaml │ │ │ │ │ ├── sib_hau.yaml │ │ │ │ │ ├── sib_ibo.yaml │ │ │ │ │ ├── sib_kab.yaml │ │ │ │ │ ├── sib_kam.yaml │ │ │ │ │ ├── sib_kbp.yaml │ │ │ │ │ ├── sib_kea.yaml │ │ │ │ │ ├── sib_kik.yaml │ │ │ │ │ ├── sib_kin.yaml │ │ │ │ │ ├── sib_kmb.yaml │ │ │ │ │ ├── sib_knc.yaml │ │ │ │ │ ├── sib_kon.yaml │ │ │ │ │ ├── sib_lin.yaml │ │ │ │ │ ├── sib_lua.yaml │ │ │ │ │ ├── sib_lug.yaml │ │ │ │ │ ├── sib_luo.yaml │ │ │ │ │ ├── sib_mos.yaml │ │ │ │ │ ├── sib_nso.yaml │ │ │ │ │ ├── sib_nus.yaml │ │ │ │ │ ├── sib_nya.yaml │ │ │ │ │ ├── sib_plt.yaml │ │ │ │ │ ├── sib_por.yaml │ │ │ │ │ ├── sib_run.yaml │ │ │ │ │ ├── sib_sag.yaml │ │ │ │ │ ├── sib_sna.yaml │ │ │ │ │ ├── sib_som.yaml │ │ │ │ │ ├── sib_sot.yaml │ │ │ │ │ ├── sib_ssw.yaml │ │ │ │ │ ├── sib_swa.yaml │ │ │ │ │ ├── sib_taq.yaml │ │ │ │ │ ├── sib_tir.yaml │ │ │ │ │ ├── sib_tso.yaml │ │ │ │ │ ├── sib_tum.yaml │ │ │ │ │ ├── sib_twi.yaml │ │ │ │ │ ├── sib_tzm.yaml │ │ │ │ │ ├── sib_umb.yaml │ │ │ │ │ ├── sib_wol.yaml │ │ │ │ │ ├── sib_xho.yaml │ │ │ │ │ ├── sib_yor.yaml │ │ │ │ │ ├── sib_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── sib │ │ │ │ │ ├── sib_aeb.yaml │ │ │ │ │ ├── sib_afr.yaml │ │ │ │ │ ├── sib_aka.yaml │ │ │ │ │ ├── sib_amh.yaml │ │ │ │ │ ├── sib_ary.yaml │ │ │ │ │ ├── sib_arz.yaml │ │ │ │ │ ├── sib_bam.yaml │ │ │ │ │ ├── sib_bem.yaml │ │ │ │ │ ├── sib_cjk.yaml │ │ │ │ │ ├── sib_dik.yaml │ │ │ │ │ ├── sib_dyu.yaml │ │ │ │ │ ├── sib_eng.yaml │ │ │ │ │ ├── sib_ewe.yaml │ │ │ │ │ ├── sib_fon.yaml │ │ │ │ │ ├── sib_fra.yaml │ │ │ │ │ ├── sib_fuv.yaml │ │ │ │ │ ├── sib_gaz.yaml │ │ │ │ │ ├── sib_hau.yaml │ │ │ │ │ ├── sib_ibo.yaml │ │ │ │ │ ├── sib_kab.yaml │ │ │ │ │ ├── sib_kam.yaml │ │ │ │ │ ├── sib_kbp.yaml │ │ │ │ │ ├── sib_kea.yaml │ │ │ │ │ ├── sib_kik.yaml │ │ │ │ │ ├── sib_kin.yaml │ │ │ │ │ ├── sib_kmb.yaml │ │ │ │ │ ├── sib_knc.yaml │ │ │ │ │ ├── sib_kon.yaml │ │ │ │ │ ├── sib_lin.yaml │ │ │ │ │ ├── sib_lua.yaml │ │ │ │ │ ├── sib_lug.yaml │ │ │ │ │ ├── sib_luo.yaml │ │ │ │ │ ├── sib_mos.yaml │ │ │ │ │ ├── sib_nso.yaml │ │ │ │ │ ├── sib_nus.yaml │ │ │ │ │ ├── sib_nya.yaml │ │ │ │ │ ├── sib_plt.yaml │ │ │ │ │ ├── sib_por.yaml │ │ │ │ │ ├── sib_run.yaml │ │ │ │ │ ├── sib_sag.yaml │ │ │ │ │ ├── sib_sna.yaml │ │ │ │ │ ├── sib_som.yaml │ │ │ │ │ ├── sib_sot.yaml │ │ │ │ │ ├── sib_ssw.yaml │ │ │ │ │ ├── sib_swa.yaml │ │ │ │ │ ├── sib_taq.yaml │ │ │ │ │ ├── sib_tir.yaml │ │ │ │ │ ├── sib_tso.yaml │ │ │ │ │ ├── sib_tum.yaml │ │ │ │ │ ├── sib_twi.yaml │ │ │ │ │ ├── sib_tzm.yaml │ │ │ │ │ ├── sib_umb.yaml │ │ │ │ │ ├── sib_wol.yaml │ │ │ │ │ ├── sib_xho.yaml │ │ │ │ │ ├── sib_yor.yaml │ │ │ │ │ ├── sib_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── sib │ │ │ │ │ ├── sib_aeb.yaml │ │ │ │ │ ├── sib_afr.yaml │ │ │ │ │ ├── sib_aka.yaml │ │ │ │ │ ├── sib_amh.yaml │ │ │ │ │ ├── sib_ary.yaml │ │ │ │ │ ├── sib_arz.yaml │ │ │ │ │ ├── sib_bam.yaml │ │ │ │ │ ├── sib_bem.yaml │ │ │ │ │ ├── sib_cjk.yaml │ │ │ │ │ ├── sib_dik.yaml │ │ │ │ │ ├── sib_dyu.yaml │ │ │ │ │ ├── sib_eng.yaml │ │ │ │ │ ├── sib_ewe.yaml │ │ │ │ │ ├── sib_fon.yaml │ │ │ │ │ ├── sib_fra.yaml │ │ │ │ │ ├── sib_fuv.yaml │ │ │ │ │ ├── sib_gaz.yaml │ │ │ │ │ ├── sib_hau.yaml │ │ │ │ │ ├── sib_ibo.yaml │ │ │ │ │ ├── sib_kab.yaml │ │ │ │ │ ├── sib_kam.yaml │ │ │ │ │ ├── sib_kbp.yaml │ │ │ │ │ ├── sib_kea.yaml │ │ │ │ │ ├── sib_kik.yaml │ │ │ │ │ ├── sib_kin.yaml │ │ │ │ │ ├── sib_kmb.yaml │ │ │ │ │ ├── sib_knc.yaml │ │ │ │ │ ├── sib_kon.yaml │ │ │ │ │ ├── sib_lin.yaml │ │ │ │ │ ├── sib_lua.yaml │ │ │ │ │ ├── sib_lug.yaml │ │ │ │ │ ├── sib_luo.yaml │ │ │ │ │ ├── sib_mos.yaml │ │ │ │ │ ├── sib_nso.yaml │ │ │ │ │ ├── sib_nus.yaml │ │ │ │ │ ├── sib_nya.yaml │ │ │ │ │ ├── sib_plt.yaml │ │ │ │ │ ├── sib_por.yaml │ │ │ │ │ ├── sib_run.yaml │ │ │ │ │ ├── sib_sag.yaml │ │ │ │ │ ├── sib_sna.yaml │ │ │ │ │ ├── sib_som.yaml │ │ │ │ │ ├── sib_sot.yaml │ │ │ │ │ ├── sib_ssw.yaml │ │ │ │ │ ├── sib_swa.yaml │ │ │ │ │ ├── sib_taq.yaml │ │ │ │ │ ├── sib_tir.yaml │ │ │ │ │ ├── sib_tso.yaml │ │ │ │ │ ├── sib_tum.yaml │ │ │ │ │ ├── sib_twi.yaml │ │ │ │ │ ├── sib_tzm.yaml │ │ │ │ │ ├── sib_umb.yaml │ │ │ │ │ ├── sib_wol.yaml │ │ │ │ │ ├── sib_xho.yaml │ │ │ │ │ ├── sib_yor.yaml │ │ │ │ │ ├── sib_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── sib │ │ │ │ │ ├── sib_aeb.yaml │ │ │ │ │ ├── sib_afr.yaml │ │ │ │ │ ├── sib_aka.yaml │ │ │ │ │ ├── sib_amh.yaml │ │ │ │ │ ├── sib_ary.yaml │ │ │ │ │ ├── sib_arz.yaml │ │ │ │ │ ├── sib_bam.yaml │ │ │ │ │ ├── sib_bem.yaml │ │ │ │ │ ├── sib_cjk.yaml │ │ │ │ │ ├── sib_dik.yaml │ │ │ │ │ ├── sib_dyu.yaml │ │ │ │ │ ├── sib_eng.yaml │ │ │ │ │ ├── sib_ewe.yaml │ │ │ │ │ ├── sib_fon.yaml │ │ │ │ │ ├── sib_fra.yaml │ │ │ │ │ ├── sib_fuv.yaml │ │ │ │ │ ├── sib_gaz.yaml │ │ │ │ │ ├── sib_hau.yaml │ │ │ │ │ ├── sib_ibo.yaml │ │ │ │ │ ├── sib_kab.yaml │ │ │ │ │ ├── sib_kam.yaml │ │ │ │ │ ├── sib_kbp.yaml │ │ │ │ │ ├── sib_kea.yaml │ │ │ │ │ ├── sib_kik.yaml │ │ │ │ │ ├── sib_kin.yaml │ │ │ │ │ ├── sib_kmb.yaml │ │ │ │ │ ├── sib_knc.yaml │ │ │ │ │ ├── sib_kon.yaml │ │ │ │ │ ├── sib_lin.yaml │ │ │ │ │ ├── sib_lua.yaml │ │ │ │ │ ├── sib_lug.yaml │ │ │ │ │ ├── sib_luo.yaml │ │ │ │ │ ├── sib_mos.yaml │ │ │ │ │ ├── sib_nso.yaml │ │ │ │ │ ├── sib_nus.yaml │ │ │ │ │ ├── sib_nya.yaml │ │ │ │ │ ├── sib_plt.yaml │ │ │ │ │ ├── sib_por.yaml │ │ │ │ │ ├── sib_run.yaml │ │ │ │ │ ├── sib_sag.yaml │ │ │ │ │ ├── sib_sna.yaml │ │ │ │ │ ├── sib_som.yaml │ │ │ │ │ ├── sib_sot.yaml │ │ │ │ │ ├── sib_ssw.yaml │ │ │ │ │ ├── sib_swa.yaml │ │ │ │ │ ├── sib_taq.yaml │ │ │ │ │ ├── sib_tir.yaml │ │ │ │ │ ├── sib_tso.yaml │ │ │ │ │ ├── sib_tum.yaml │ │ │ │ │ ├── sib_twi.yaml │ │ │ │ │ ├── sib_tzm.yaml │ │ │ │ │ ├── sib_umb.yaml │ │ │ │ │ ├── sib_wol.yaml │ │ │ │ │ ├── sib_xho.yaml │ │ │ │ │ ├── sib_yor.yaml │ │ │ │ │ ├── sib_zul.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── sib.yaml │ │ │ │ └── utils.py │ │ │ ├── uhura-arc-easy/ │ │ │ │ ├── README.md │ │ │ │ ├── prompt_1/ │ │ │ │ │ ├── uhura-arc-easy │ │ │ │ │ ├── uhura-arc-easy_am.yaml │ │ │ │ │ ├── uhura-arc-easy_en.yaml │ │ │ │ │ ├── uhura-arc-easy_ha.yaml │ │ │ │ │ ├── uhura-arc-easy_nso.yaml │ │ │ │ │ ├── uhura-arc-easy_sw.yaml │ │ │ │ │ ├── uhura-arc-easy_yo.yaml │ │ │ │ │ ├── uhura-arc-easy_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_2/ │ │ │ │ │ ├── uhura-arc-easy │ │ │ │ │ ├── uhura-arc-easy_am.yaml │ │ │ │ │ ├── uhura-arc-easy_en.yaml │ │ │ │ │ ├── uhura-arc-easy_ha.yaml │ │ │ │ │ ├── uhura-arc-easy_nso.yaml │ │ │ │ │ ├── uhura-arc-easy_sw.yaml │ │ │ │ │ ├── uhura-arc-easy_yo.yaml │ │ │ │ │ ├── uhura-arc-easy_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_3/ │ │ │ │ │ ├── uhura-arc-easy │ │ │ │ │ ├── uhura-arc-easy_am.yaml │ │ │ │ │ ├── uhura-arc-easy_en.yaml │ │ │ │ │ ├── uhura-arc-easy_ha.yaml │ │ │ │ │ ├── uhura-arc-easy_nso.yaml │ │ │ │ │ ├── uhura-arc-easy_sw.yaml │ │ │ │ │ ├── uhura-arc-easy_yo.yaml │ │ │ │ │ ├── uhura-arc-easy_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_4/ │ │ │ │ │ ├── uhura-arc-easy │ │ │ │ │ ├── uhura-arc-easy_am.yaml │ │ │ │ │ ├── uhura-arc-easy_en.yaml │ │ │ │ │ ├── uhura-arc-easy_ha.yaml │ │ │ │ │ ├── uhura-arc-easy_nso.yaml │ │ │ │ │ ├── uhura-arc-easy_sw.yaml │ │ │ │ │ ├── uhura-arc-easy_yo.yaml │ │ │ │ │ ├── uhura-arc-easy_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── prompt_5/ │ │ │ │ │ ├── uhura-arc-easy │ │ │ │ │ ├── uhura-arc-easy_am.yaml │ │ │ │ │ ├── uhura-arc-easy_en.yaml │ │ │ │ │ ├── uhura-arc-easy_ha.yaml │ │ │ │ │ ├── uhura-arc-easy_nso.yaml │ │ │ │ │ ├── uhura-arc-easy_sw.yaml │ │ │ │ │ ├── uhura-arc-easy_yo.yaml │ │ │ │ │ ├── uhura-arc-easy_zu.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── uhura.yaml │ │ │ │ └── utils.py │ │ │ └── xlsum/ │ │ │ ├── README.md │ │ │ ├── prompt_1/ │ │ │ │ ├── utils.py │ │ │ │ ├── xlsum │ │ │ │ ├── xlsum_amharic.yaml │ │ │ │ ├── xlsum_arabic.yaml │ │ │ │ ├── xlsum_hausa.yaml │ │ │ │ ├── xlsum_igbo.yaml │ │ │ │ ├── xlsum_kirundi.yaml │ │ │ │ ├── xlsum_oromo.yaml │ │ │ │ ├── xlsum_pidgin.yaml │ │ │ │ ├── xlsum_somali.yaml │ │ │ │ ├── xlsum_swahili.yaml │ │ │ │ ├── xlsum_telugu.yaml │ │ │ │ ├── xlsum_tigrinya.yaml │ │ │ │ └── xlsum_yoruba.yaml │ │ │ ├── prompt_2/ │ │ │ │ ├── utils.py │ │ │ │ ├── xlsum │ │ │ │ ├── xlsum_amharic.yaml │ │ │ │ ├── xlsum_arabic.yaml │ │ │ │ ├── xlsum_hausa.yaml │ │ │ │ ├── xlsum_igbo.yaml │ │ │ │ ├── xlsum_kirundi.yaml │ │ │ │ ├── xlsum_oromo.yaml │ │ │ │ ├── xlsum_pidgin.yaml │ │ │ │ ├── xlsum_somali.yaml │ │ │ │ ├── xlsum_swahili.yaml │ │ │ │ ├── xlsum_telugu.yaml │ │ │ │ ├── xlsum_tigrinya.yaml │ │ │ │ └── xlsum_yoruba.yaml │ │ │ ├── prompt_3/ │ │ │ │ ├── utils.py │ │ │ │ ├── xlsum │ │ │ │ ├── xlsum_amharic.yaml │ │ │ │ ├── xlsum_arabic.yaml │ │ │ │ ├── xlsum_hausa.yaml │ │ │ │ ├── xlsum_igbo.yaml │ │ │ │ ├── xlsum_kirundi.yaml │ │ │ │ ├── xlsum_oromo.yaml │ │ │ │ ├── xlsum_pidgin.yaml │ │ │ │ ├── xlsum_somali.yaml │ │ │ │ ├── xlsum_swahili.yaml │ │ │ │ ├── xlsum_telugu.yaml │ │ │ │ ├── xlsum_tigrinya.yaml │ │ │ │ └── xlsum_yoruba.yaml │ │ │ ├── utils.py │ │ │ └── xlsum.yaml │ │ ├── agieval/ │ │ │ ├── README.md │ │ │ ├── agieval.yaml │ │ │ ├── agieval_cn.yaml │ │ │ ├── agieval_en.yaml │ │ │ ├── agieval_nous.yaml │ │ │ ├── aqua-rat.yaml │ │ │ ├── gaokao-biology.yaml │ │ │ ├── gaokao-chemistry.yaml │ │ │ ├── gaokao-chinese.yaml │ │ │ ├── gaokao-english.yaml │ │ │ ├── gaokao-geography.yaml │ │ │ ├── gaokao-history.yaml │ │ │ ├── gaokao-mathcloze.yaml │ │ │ ├── gaokao-mathqa.yaml │ │ │ ├── gaokao-physics.yaml │ │ │ ├── jec-qa-ca.yaml │ │ │ ├── jec-qa-kd.yaml │ │ │ ├── logiqa-en.yaml │ │ │ ├── logiqa-zh.yaml │ │ │ ├── lsat-ar.yaml │ │ │ ├── lsat-lr.yaml │ │ │ ├── lsat-rc.yaml │ │ │ ├── math.yaml │ │ │ ├── sat-en-without-passage.yaml │ │ │ ├── sat-en.yaml │ │ │ ├── sat-math.yaml │ │ │ └── utils.py │ │ ├── aime/ │ │ │ ├── README.md │ │ │ ├── aime.yaml │ │ │ ├── aime24.yaml │ │ │ ├── aime25.yaml │ │ │ └── utils.py │ │ ├── alghafa/ │ │ │ ├── copa_ar/ │ │ │ │ ├── README.md │ │ │ │ └── copa_ar.yaml │ │ │ └── piqa_ar/ │ │ │ ├── README.md │ │ │ └── piqa_ar.yaml │ │ ├── anli/ │ │ │ ├── README.md │ │ │ ├── anli_r1.yaml │ │ │ ├── anli_r2.yaml │ │ │ └── anli_r3.yaml │ │ ├── arab_culture/ │ │ │ ├── README.md │ │ │ ├── _arab_culture.yaml │ │ │ ├── _arab_culture_gulf.yaml │ │ │ ├── _arab_culture_levant.yaml │ │ │ ├── _arab_culture_nile_valley.yaml │ │ │ ├── _arab_culture_north_africa.yaml │ │ │ ├── _default_arab_culture_mcq_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── arab_culture_algeria.yaml │ │ │ ├── arab_culture_egypt.yaml │ │ │ ├── arab_culture_jordan.yaml │ │ │ ├── arab_culture_ksa.yaml │ │ │ ├── arab_culture_lebanon.yaml │ │ │ ├── arab_culture_libya.yaml │ │ │ ├── arab_culture_morocco.yaml │ │ │ ├── arab_culture_palestine.yaml │ │ │ ├── arab_culture_sudan.yaml │ │ │ ├── arab_culture_syria.yaml │ │ │ ├── arab_culture_tunisia.yaml │ │ │ ├── arab_culture_uae.yaml │ │ │ ├── arab_culture_yemen.yaml │ │ │ ├── prompts.py │ │ │ └── utils_mcq.py │ │ ├── arab_culture_completion/ │ │ │ ├── README.md │ │ │ ├── _arab_culture_completion.yaml │ │ │ ├── _arab_culture_completion_gulf.yaml │ │ │ ├── _arab_culture_completion_levant.yaml │ │ │ ├── _arab_culture_completion_nile_valley.yaml │ │ │ ├── _arab_culture_completion_north_africa.yaml │ │ │ ├── _default_arab_culture_completion_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── arab_culture_completion_algeria.yaml │ │ │ ├── arab_culture_completion_egypt.yaml │ │ │ ├── arab_culture_completion_jordan.yaml │ │ │ ├── arab_culture_completion_ksa.yaml │ │ │ ├── arab_culture_completion_lebanon.yaml │ │ │ ├── arab_culture_completion_libya.yaml │ │ │ ├── arab_culture_completion_morocco.yaml │ │ │ ├── arab_culture_completion_palestine.yaml │ │ │ ├── arab_culture_completion_sudan.yaml │ │ │ ├── arab_culture_completion_syria.yaml │ │ │ ├── arab_culture_completion_tunisia.yaml │ │ │ ├── arab_culture_completion_uae.yaml │ │ │ ├── arab_culture_completion_yemen.yaml │ │ │ ├── prompts.py │ │ │ └── utils_completion.py │ │ ├── arabic_leaderboard_complete/ │ │ │ ├── README.md │ │ │ ├── arabic_leaderboard_alghafa/ │ │ │ │ ├── arabic_leaderboard_alghafa.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_mcq_exams_test_ar.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_meta_ar_dialects.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_meta_ar_msa.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_facts_truefalse_balanced_task.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_grounded_statement_soqal_task.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_grounded_statement_xglue_mlqa_task.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_rating_sentiment_no_neutral_task.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_rating_sentiment_task.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_sentiment_task.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_exams/ │ │ │ │ ├── arabic_exams.yaml │ │ │ │ ├── arabic_leaderboard_arabic_exams.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mmlu/ │ │ │ │ ├── arabic_leaderboard_arabic_mmlu.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_abstract_algebra.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_anatomy.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_astronomy.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_business_ethics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_clinical_knowledge.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_biology.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_chemistry.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_computer_science.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_mathematics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_medicine.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_physics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_computer_security.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_conceptual_physics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_econometrics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_electrical_engineering.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_elementary_mathematics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_formal_logic.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_global_facts.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_biology.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_chemistry.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_computer_science.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_european_history.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_geography.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_mathematics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_microeconomics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_physics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_psychology.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_statistics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_us_history.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_world_history.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_human_aging.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_human_sexuality.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_international_law.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_jurisprudence.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_logical_fallacies.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_machine_learning.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_management.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_marketing.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_medical_genetics.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_miscellaneous.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_moral_disputes.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_moral_scenarios.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_nutrition.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_philosophy.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_prehistory.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_accounting.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_law.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_medicine.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_psychology.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_public_relations.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_security_studies.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_sociology.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_us_foreign_policy.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_virology.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_arc_challenge/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_arc_challenge.yaml │ │ │ │ ├── arabic_mt_arc_challenge.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_arc_easy/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_arc_easy.yaml │ │ │ │ ├── arabic_mt_arc_easy.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_boolq/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_boolq.yaml │ │ │ │ ├── arabic_mt_boolq.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_copa/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_copa.yaml │ │ │ │ ├── arabic_mt_copa.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_hellaswag/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_hellaswag.yaml │ │ │ │ ├── arabic_mt_hellaswag.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_mmlu/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_mmlu.yaml │ │ │ │ ├── arabic_mt_mmlu.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_openbook_qa/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_openbook_qa.yaml │ │ │ │ ├── arabic_mt_openbook_qa.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_piqa/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_piqa.yaml │ │ │ │ ├── arabic_mt_piqa.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_race/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_race.yaml │ │ │ │ ├── arabic_mt_race.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_sciq/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_sciq.yaml │ │ │ │ ├── arabic_mt_sciq.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_toxigen/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_toxigen.yaml │ │ │ │ ├── arabic_mt_toxigen.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_avca/ │ │ │ │ ├── arabic_leaderboard_acva.yaml │ │ │ │ ├── arabic_leaderboard_acva_Algeria.yaml │ │ │ │ ├── arabic_leaderboard_acva_Ancient_Egypt.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arab_Empire.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Architecture.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Art.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Astronomy.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Calligraphy.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Ceremony.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Clothing.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Culture.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Food.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Funeral.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Geography.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_History.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Language_Origin.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Literature.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Math.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Medicine.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Music.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Ornament.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Philosophy.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Physics_and_Chemistry.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Wedding.yaml │ │ │ │ ├── arabic_leaderboard_acva_Bahrain.yaml │ │ │ │ ├── arabic_leaderboard_acva_Comoros.yaml │ │ │ │ ├── arabic_leaderboard_acva_Egypt_modern.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromAncientEgypt.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromByzantium.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromChina.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromGreece.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromIslam.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromPersia.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromRome.yaml │ │ │ │ ├── arabic_leaderboard_acva_Iraq.yaml │ │ │ │ ├── arabic_leaderboard_acva_Islam_Education.yaml │ │ │ │ ├── arabic_leaderboard_acva_Islam_branches_and_schools.yaml │ │ │ │ ├── arabic_leaderboard_acva_Islamic_law_system.yaml │ │ │ │ ├── arabic_leaderboard_acva_Jordan.yaml │ │ │ │ ├── arabic_leaderboard_acva_Kuwait.yaml │ │ │ │ ├── arabic_leaderboard_acva_Lebanon.yaml │ │ │ │ ├── arabic_leaderboard_acva_Libya.yaml │ │ │ │ ├── arabic_leaderboard_acva_Mauritania.yaml │ │ │ │ ├── arabic_leaderboard_acva_Mesopotamia_civilization.yaml │ │ │ │ ├── arabic_leaderboard_acva_Morocco.yaml │ │ │ │ ├── arabic_leaderboard_acva_Oman.yaml │ │ │ │ ├── arabic_leaderboard_acva_Palestine.yaml │ │ │ │ ├── arabic_leaderboard_acva_Qatar.yaml │ │ │ │ ├── arabic_leaderboard_acva_Saudi_Arabia.yaml │ │ │ │ ├── arabic_leaderboard_acva_Somalia.yaml │ │ │ │ ├── arabic_leaderboard_acva_Sudan.yaml │ │ │ │ ├── arabic_leaderboard_acva_Syria.yaml │ │ │ │ ├── arabic_leaderboard_acva_Tunisia.yaml │ │ │ │ ├── arabic_leaderboard_acva_United_Arab_Emirates.yaml │ │ │ │ ├── arabic_leaderboard_acva_Yemen.yaml │ │ │ │ ├── arabic_leaderboard_acva_communication.yaml │ │ │ │ ├── arabic_leaderboard_acva_computer_and_phone.yaml │ │ │ │ ├── arabic_leaderboard_acva_daily_life.yaml │ │ │ │ ├── arabic_leaderboard_acva_entertainment.yaml │ │ │ │ └── utils.py │ │ │ └── arabic_leaderboard_complete.yaml │ │ ├── arabic_leaderboard_light/ │ │ │ ├── README.md │ │ │ ├── arabic_leaderboard_alghafa_light/ │ │ │ │ ├── arabic_leaderboard_alghafa_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_mcq_exams_test_ar_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_meta_ar_dialects_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_meta_ar_msa_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_facts_truefalse_balanced_task_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_grounded_statement_soqal_task_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_grounded_statement_xglue_mlqa_task_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_rating_sentiment_no_neutral_task_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_rating_sentiment_task_light.yaml │ │ │ │ ├── arabic_leaderboard_alghafa_multiple_choice_sentiment_task_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_exams_light/ │ │ │ │ ├── arabic_exams_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_exams_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mmlu_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_abstract_algebra_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_anatomy_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_astronomy_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_business_ethics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_clinical_knowledge_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_biology_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_chemistry_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_computer_science_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_mathematics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_medicine_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_college_physics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_computer_security_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_conceptual_physics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_econometrics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_electrical_engineering_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_elementary_mathematics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_formal_logic_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_global_facts_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_biology_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_chemistry_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_computer_science_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_european_history_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_geography_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_government_and_politics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_macroeconomics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_mathematics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_microeconomics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_physics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_psychology_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_statistics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_us_history_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_high_school_world_history_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_human_aging_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_human_sexuality_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_international_law_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_jurisprudence_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_logical_fallacies_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_machine_learning_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_management_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_marketing_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_medical_genetics_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_miscellaneous_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_moral_disputes_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_moral_scenarios_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_nutrition_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_philosophy_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_prehistory_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_accounting_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_law_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_medicine_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_professional_psychology_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_public_relations_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_security_studies_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_sociology_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_us_foreign_policy_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_virology_light.yaml │ │ │ │ ├── arabic_leaderboard_arabic_mmlu_world_religions_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_arc_challenge_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_arc_challenge_light.yaml │ │ │ │ ├── arabic_mt_arc_challenge_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_arc_easy_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_arc_easy_light.yaml │ │ │ │ ├── arabic_mt_arc_easy_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_boolq_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_boolq_light.yaml │ │ │ │ ├── arabic_mt_boolq_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_copa_light/ │ │ │ │ ├── arabic_mt_copa_light.yaml │ │ │ │ ├── arbic_leaderboard_arabic_mt_copa_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_hellaswag_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_hellaswag_light.yaml │ │ │ │ ├── arabic_mt_hellaswag_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_mmlu_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_mmlu_light.yaml │ │ │ │ ├── arabic_mt_mmlu_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_openbook_qa_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_openbook_qa_light.yaml │ │ │ │ ├── arabic_mt_openbook_qa_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_piqa_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_piqa_light.yaml │ │ │ │ ├── arabic_mt_piqa_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_race_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_race_light.yaml │ │ │ │ ├── arabic_mt_race_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_sciq_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_sciq_light.yaml │ │ │ │ ├── arabic_mt_sciq_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_arabic_mt_toxigen_light/ │ │ │ │ ├── arabic_leaderboard_arabic_mt_toxigen_light.yaml │ │ │ │ ├── arabic_mt_toxigen_light.yaml │ │ │ │ └── utils.py │ │ │ ├── arabic_leaderboard_avca_light/ │ │ │ │ ├── arabic_leaderboard_acva_Algeria_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Ancient_Egypt_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arab_Empire_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Architecture_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Art_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Astronomy_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Calligraphy_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Ceremony_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Clothing_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Culture_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Food_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Funeral_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Geography_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_History_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Language_Origin_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Literature_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Math_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Medicine_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Music_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Ornament_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Philosophy_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Physics_and_Chemistry_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Arabic_Wedding_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Bahrain_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Comoros_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Egypt_modern_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromAncientEgypt_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromByzantium_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromChina_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromGreece_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromIslam_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromPersia_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_InfluenceFromRome_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Iraq_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Islam_Education_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Islam_branches_and_schools_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Islamic_law_system_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Jordan_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Kuwait_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Lebanon_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Libya_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Mauritania_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Mesopotamia_civilization_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Morocco_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Oman_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Palestine_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Qatar_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Saudi_Arabia_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Somalia_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Sudan_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Syria_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Tunisia_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_United_Arab_Emirates_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_Yemen_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_communication_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_computer_and_phone_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_daily_life_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_entertainment_light.yaml │ │ │ │ ├── arabic_leaderboard_acva_light.yaml │ │ │ │ └── utils.py │ │ │ └── arabic_leaderboard_light.yaml │ │ ├── arabicmmlu/ │ │ │ ├── README.md │ │ │ ├── _arabicmmlu.yaml │ │ │ ├── _arabicmmlu_humanities.yaml │ │ │ ├── _arabicmmlu_language.yaml │ │ │ ├── _arabicmmlu_other.yaml │ │ │ ├── _arabicmmlu_social_science.yaml │ │ │ ├── _arabicmmlu_stem.yaml │ │ │ ├── _default_arabicmmlu_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── arabicmmlu_accounting_university.yaml │ │ │ ├── arabicmmlu_arabic_language_general.yaml │ │ │ ├── arabicmmlu_arabic_language_grammar.yaml │ │ │ ├── arabicmmlu_arabic_language_high_school.yaml │ │ │ ├── arabicmmlu_arabic_language_middle_school.yaml │ │ │ ├── arabicmmlu_arabic_language_primary_school.yaml │ │ │ ├── arabicmmlu_biology_high_school.yaml │ │ │ ├── arabicmmlu_civics_high_school.yaml │ │ │ ├── arabicmmlu_civics_middle_school.yaml │ │ │ ├── arabicmmlu_computer_science_high_school.yaml │ │ │ ├── arabicmmlu_computer_science_middle_school.yaml │ │ │ ├── arabicmmlu_computer_science_primary_school.yaml │ │ │ ├── arabicmmlu_computer_science_university.yaml │ │ │ ├── arabicmmlu_driving_test.yaml │ │ │ ├── arabicmmlu_economics_high_school.yaml │ │ │ ├── arabicmmlu_economics_middle_school.yaml │ │ │ ├── arabicmmlu_economics_university.yaml │ │ │ ├── arabicmmlu_general_knowledge.yaml │ │ │ ├── arabicmmlu_general_knowledge_middle_school.yaml │ │ │ ├── arabicmmlu_general_knowledge_primary_school.yaml │ │ │ ├── arabicmmlu_geography_high_school.yaml │ │ │ ├── arabicmmlu_geography_middle_school.yaml │ │ │ ├── arabicmmlu_geography_primary_school.yaml │ │ │ ├── arabicmmlu_history_high_school.yaml │ │ │ ├── arabicmmlu_history_middle_school.yaml │ │ │ ├── arabicmmlu_history_primary_school.yaml │ │ │ ├── arabicmmlu_islamic_studies.yaml │ │ │ ├── arabicmmlu_islamic_studies_high_school.yaml │ │ │ ├── arabicmmlu_islamic_studies_middle_school.yaml │ │ │ ├── arabicmmlu_islamic_studies_primary_school.yaml │ │ │ ├── arabicmmlu_law_professional.yaml │ │ │ ├── arabicmmlu_management_university.yaml │ │ │ ├── arabicmmlu_math_primary_school.yaml │ │ │ ├── arabicmmlu_natural_science_middle_school.yaml │ │ │ ├── arabicmmlu_natural_science_primary_school.yaml │ │ │ ├── arabicmmlu_philosophy_high_school.yaml │ │ │ ├── arabicmmlu_physics_high_school.yaml │ │ │ ├── arabicmmlu_political_science_university.yaml │ │ │ ├── arabicmmlu_social_science_middle_school.yaml │ │ │ ├── arabicmmlu_social_science_primary_school.yaml │ │ │ └── utils.py │ │ ├── aradice/ │ │ │ ├── ArabicMMLU/ │ │ │ │ ├── EGY/ │ │ │ │ │ ├── AraDiCE_ArabicMMLU.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_humanities_history.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_humanities_islamic-studies.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_humanities_philosophy.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_language_arabic-language.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_social-science_civics.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_social-science_economics.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_social-science_geography.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_stem_biology.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_stem_computer-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_high_stem_physics.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_humanities_history.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_humanities_islamic-studies.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_language_arabic-language.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_other_general-knowledge.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_civics.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_economics.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_geography.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_social-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_stem_computer-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_stem_natural-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_na_humanities_islamic-studies.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_na_language_arabic-language-general.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_na_language_arabic-language-grammar.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_na_other_driving-test.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_na_other_general-knowledge.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_humanities_history.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_humanities_islamic-studies.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_language_arabic-language.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_other_general-knowledge.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_social-science_geography.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_social-science_social-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_stem_computer-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_stem_math.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_stem_natural-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_prof_humanities_law.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_other_management.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_social-science_accounting.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_social-science_economics.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_social-science_political-science.yaml │ │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_stem_computer-science.yaml │ │ │ │ │ ├── _default_template_yaml │ │ │ │ │ ├── metrics.py │ │ │ │ │ └── utils.py │ │ │ │ └── LEV/ │ │ │ │ ├── AraDiCE_ArabicMMLU.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_humanities_history.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_humanities_islamic-studies.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_humanities_philosophy.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_language_arabic-language.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_social-science_civics.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_social-science_economics.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_social-science_geography.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_stem_biology.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_stem_computer-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_high_stem_physics.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_humanities_history.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_humanities_islamic-studies.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_language_arabic-language.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_other_general-knowledge.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_civics.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_economics.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_geography.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_social-science_social-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_stem_computer-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_middle_stem_natural-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_na_humanities_islamic-studies.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_na_language_arabic-language-general.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_na_language_arabic-language-grammar.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_na_other_driving-test.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_na_other_general-knowledge.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_humanities_history.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_humanities_islamic-studies.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_language_arabic-language.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_other_general-knowledge.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_social-science_geography.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_social-science_social-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_stem_computer-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_stem_math.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_primary_stem_natural-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_prof_humanities_law.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_other_management.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_social-science_accounting.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_social-science_economics.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_social-science_political-science.yaml │ │ │ │ ├── AraDiCE_ArabicMMLU_univ_stem_computer-science.yaml │ │ │ │ ├── _default_template_yaml │ │ │ │ ├── metrics.py │ │ │ │ └── utils.py │ │ │ ├── README.md │ │ │ ├── aradice.yaml │ │ │ ├── boolq/ │ │ │ │ ├── EGY/ │ │ │ │ │ ├── boolq_egy.yaml │ │ │ │ │ ├── metrics.py │ │ │ │ │ └── utils.py │ │ │ │ ├── ENG/ │ │ │ │ │ ├── boolq_eng.yaml │ │ │ │ │ ├── metrics.py │ │ │ │ │ └── utils.py │ │ │ │ ├── LEV/ │ │ │ │ │ ├── boolq_lev.yaml │ │ │ │ │ ├── metrics.py │ │ │ │ │ └── utils.py │ │ │ │ └── MSA/ │ │ │ │ ├── boolq_msa.yaml │ │ │ │ ├── metrics.py │ │ │ │ └── utils.py │ │ │ ├── cultural-benchmark/ │ │ │ │ ├── egypt.yaml │ │ │ │ ├── jordan.yaml │ │ │ │ ├── lebanon.yaml │ │ │ │ ├── metrics.py │ │ │ │ ├── palestine.yaml │ │ │ │ ├── qatar.yaml │ │ │ │ ├── syria.yaml │ │ │ │ └── utils.py │ │ │ ├── openbookqa/ │ │ │ │ ├── metrics.py │ │ │ │ ├── openbookqa_egy.yaml │ │ │ │ ├── openbookqa_eng.yaml │ │ │ │ ├── openbookqa_lev.yaml │ │ │ │ ├── openbookqa_msa.yaml │ │ │ │ └── utils.py │ │ │ ├── piqa/ │ │ │ │ ├── metrics.py │ │ │ │ ├── piqa_egy.yaml │ │ │ │ ├── piqa_eng.yaml │ │ │ │ ├── piqa_lev.yaml │ │ │ │ └── piqa_msa.yaml │ │ │ ├── truthfulqa_mcq/ │ │ │ │ ├── metrics.py │ │ │ │ ├── truthfulqa_mc1_egy.yaml │ │ │ │ ├── truthfulqa_mc1_eng.yaml │ │ │ │ ├── truthfulqa_mc1_lev.yaml │ │ │ │ └── truthfulqa_mc1_msa.yaml │ │ │ └── winogrande/ │ │ │ ├── metrics.py │ │ │ ├── utils.py │ │ │ ├── winogrande_egy.yaml │ │ │ ├── winogrande_eng.yaml │ │ │ ├── winogrande_lev.yaml │ │ │ └── winogrande_msa.yaml │ │ ├── arc/ │ │ │ ├── README.md │ │ │ ├── arc_challenge.yaml │ │ │ ├── arc_challenge_chat.yaml │ │ │ └── arc_easy.yaml │ │ ├── arc_mt/ │ │ │ ├── README.md │ │ │ ├── arc_challenge_mt_da.yaml │ │ │ ├── arc_challenge_mt_de.yaml │ │ │ ├── arc_challenge_mt_el.yaml │ │ │ ├── arc_challenge_mt_es.yaml │ │ │ ├── arc_challenge_mt_fi.yaml │ │ │ ├── arc_challenge_mt_hu.yaml │ │ │ ├── arc_challenge_mt_is.yaml │ │ │ ├── arc_challenge_mt_it.yaml │ │ │ ├── arc_challenge_mt_nb.yaml │ │ │ ├── arc_challenge_mt_pl.yaml │ │ │ ├── arc_challenge_mt_pt.yaml │ │ │ └── arc_challenge_mt_sv.yaml │ │ ├── arithmetic/ │ │ │ ├── README.md │ │ │ ├── arithmetic_1dc.yaml │ │ │ ├── arithmetic_2da.yaml │ │ │ ├── arithmetic_2dm.yaml │ │ │ ├── arithmetic_2ds.yaml │ │ │ ├── arithmetic_3da.yaml │ │ │ ├── arithmetic_3ds.yaml │ │ │ ├── arithmetic_4da.yaml │ │ │ ├── arithmetic_4ds.yaml │ │ │ ├── arithmetic_5da.yaml │ │ │ └── arithmetic_5ds.yaml │ │ ├── asdiv/ │ │ │ ├── README.md │ │ │ ├── asdiv-cot-llama.yaml │ │ │ └── default.yaml │ │ ├── babi/ │ │ │ ├── README.md │ │ │ └── babi.yaml │ │ ├── babilong/ │ │ │ ├── README.md │ │ │ ├── _babilong_common_yaml │ │ │ ├── babilong.yaml │ │ │ ├── babilong_longctx.yaml │ │ │ ├── babilong_qa1.yaml │ │ │ ├── babilong_qa10.yaml │ │ │ ├── babilong_qa11.yaml │ │ │ ├── babilong_qa12.yaml │ │ │ ├── babilong_qa13.yaml │ │ │ ├── babilong_qa14.yaml │ │ │ ├── babilong_qa15.yaml │ │ │ ├── babilong_qa16.yaml │ │ │ ├── babilong_qa17.yaml │ │ │ ├── babilong_qa18.yaml │ │ │ ├── babilong_qa19.yaml │ │ │ ├── babilong_qa2.yaml │ │ │ ├── babilong_qa20.yaml │ │ │ ├── babilong_qa3.yaml │ │ │ ├── babilong_qa4.yaml │ │ │ ├── babilong_qa5.yaml │ │ │ ├── babilong_qa6.yaml │ │ │ ├── babilong_qa7.yaml │ │ │ ├── babilong_qa8.yaml │ │ │ ├── babilong_qa9.yaml │ │ │ └── common_utils.py │ │ ├── bangla/ │ │ │ ├── README.md │ │ │ ├── bangla_boolqa.yaml │ │ │ ├── bangla_commonsenseqa.yaml │ │ │ ├── bangla_mmlu.yaml │ │ │ ├── bangla_openbookqa.yaml │ │ │ └── bangla_piqa.yaml │ │ ├── basque_bench/ │ │ │ ├── README.md │ │ │ ├── arc_eu_challenge.yaml │ │ │ ├── arc_eu_easy.yaml │ │ │ ├── basque_bench.yaml │ │ │ ├── flores_eu/ │ │ │ │ ├── _flores_common_yaml │ │ │ │ ├── create_yamls_flores_eu.py │ │ │ │ ├── flores_ca-eu.yaml │ │ │ │ ├── flores_de-eu.yaml │ │ │ │ ├── flores_en-eu.yaml │ │ │ │ ├── flores_es-eu.yaml │ │ │ │ ├── flores_eu-ca.yaml │ │ │ │ ├── flores_eu-de.yaml │ │ │ │ ├── flores_eu-en.yaml │ │ │ │ ├── flores_eu-es.yaml │ │ │ │ ├── flores_eu-fr.yaml │ │ │ │ ├── flores_eu-gl.yaml │ │ │ │ ├── flores_eu-it.yaml │ │ │ │ ├── flores_eu-pt.yaml │ │ │ │ ├── flores_eu.yaml │ │ │ │ ├── flores_fr-eu.yaml │ │ │ │ ├── flores_gl-eu.yaml │ │ │ │ ├── flores_it-eu.yaml │ │ │ │ └── flores_pt-eu.yaml │ │ │ ├── mgsm_direct_eu.yaml │ │ │ ├── mgsm_native_cot_eu.yaml │ │ │ ├── paws_eu.yaml │ │ │ ├── piqa_eu.yaml │ │ │ ├── utils.py │ │ │ ├── wnli_eu.yaml │ │ │ └── xcopa_eu.yaml │ │ ├── basqueglue/ │ │ │ ├── README.md │ │ │ ├── bec.yaml │ │ │ ├── bhtc.yaml │ │ │ ├── coref.yaml │ │ │ ├── qnli.yaml │ │ │ ├── utils.py │ │ │ ├── vaxx.yaml │ │ │ └── wic.yaml │ │ ├── bbh/ │ │ │ ├── README.md │ │ │ ├── _generate_configs.py │ │ │ ├── cot_fewshot/ │ │ │ │ ├── _bbh.yaml │ │ │ │ ├── _bbh_cot_fewshot.yaml │ │ │ │ ├── _cot_fewshot_template_yaml │ │ │ │ ├── boolean_expressions.yaml │ │ │ │ ├── causal_judgement.yaml │ │ │ │ ├── date_understanding.yaml │ │ │ │ ├── disambiguation_qa.yaml │ │ │ │ ├── dyck_languages.yaml │ │ │ │ ├── formal_fallacies.yaml │ │ │ │ ├── geometric_shapes.yaml │ │ │ │ ├── hyperbaton.yaml │ │ │ │ ├── logical_deduction_five_objects.yaml │ │ │ │ ├── logical_deduction_seven_objects.yaml │ │ │ │ ├── logical_deduction_three_objects.yaml │ │ │ │ ├── movie_recommendation.yaml │ │ │ │ ├── multistep_arithmetic_two.yaml │ │ │ │ ├── navigate.yaml │ │ │ │ ├── object_counting.yaml │ │ │ │ ├── penguins_in_a_table.yaml │ │ │ │ ├── reasoning_about_colored_objects.yaml │ │ │ │ ├── ruin_names.yaml │ │ │ │ ├── salient_translation_error_detection.yaml │ │ │ │ ├── snarks.yaml │ │ │ │ ├── sports_understanding.yaml │ │ │ │ ├── temporal_sequences.yaml │ │ │ │ ├── tracking_shuffled_objects_five_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_seven_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_three_objects.yaml │ │ │ │ ├── web_of_lies.yaml │ │ │ │ └── word_sorting.yaml │ │ │ ├── cot_zeroshot/ │ │ │ │ ├── _bbh_cot_zeroshot.yaml │ │ │ │ ├── _cot_zeroshot_template_yaml │ │ │ │ ├── boolean_expressions.yaml │ │ │ │ ├── causal_judgement.yaml │ │ │ │ ├── date_understanding.yaml │ │ │ │ ├── disambiguation_qa.yaml │ │ │ │ ├── dyck_languages.yaml │ │ │ │ ├── formal_fallacies.yaml │ │ │ │ ├── geometric_shapes.yaml │ │ │ │ ├── hyperbaton.yaml │ │ │ │ ├── logical_deduction_five_objects.yaml │ │ │ │ ├── logical_deduction_seven_objects.yaml │ │ │ │ ├── logical_deduction_three_objects.yaml │ │ │ │ ├── movie_recommendation.yaml │ │ │ │ ├── multistep_arithmetic_two.yaml │ │ │ │ ├── navigate.yaml │ │ │ │ ├── object_counting.yaml │ │ │ │ ├── penguins_in_a_table.yaml │ │ │ │ ├── reasoning_about_colored_objects.yaml │ │ │ │ ├── ruin_names.yaml │ │ │ │ ├── salient_translation_error_detection.yaml │ │ │ │ ├── snarks.yaml │ │ │ │ ├── sports_understanding.yaml │ │ │ │ ├── temporal_sequences.yaml │ │ │ │ ├── tracking_shuffled_objects_five_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_seven_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_three_objects.yaml │ │ │ │ ├── utils.py │ │ │ │ ├── web_of_lies.yaml │ │ │ │ └── word_sorting.yaml │ │ │ ├── fewshot/ │ │ │ │ ├── _bbh_fewshot.yaml │ │ │ │ ├── _fewshot_template_yaml │ │ │ │ ├── boolean_expressions.yaml │ │ │ │ ├── causal_judgement.yaml │ │ │ │ ├── date_understanding.yaml │ │ │ │ ├── disambiguation_qa.yaml │ │ │ │ ├── dyck_languages.yaml │ │ │ │ ├── formal_fallacies.yaml │ │ │ │ ├── geometric_shapes.yaml │ │ │ │ ├── hyperbaton.yaml │ │ │ │ ├── logical_deduction_five_objects.yaml │ │ │ │ ├── logical_deduction_seven_objects.yaml │ │ │ │ ├── logical_deduction_three_objects.yaml │ │ │ │ ├── movie_recommendation.yaml │ │ │ │ ├── multistep_arithmetic_two.yaml │ │ │ │ ├── navigate.yaml │ │ │ │ ├── object_counting.yaml │ │ │ │ ├── penguins_in_a_table.yaml │ │ │ │ ├── reasoning_about_colored_objects.yaml │ │ │ │ ├── ruin_names.yaml │ │ │ │ ├── salient_translation_error_detection.yaml │ │ │ │ ├── snarks.yaml │ │ │ │ ├── sports_understanding.yaml │ │ │ │ ├── temporal_sequences.yaml │ │ │ │ ├── tracking_shuffled_objects_five_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_seven_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_three_objects.yaml │ │ │ │ ├── web_of_lies.yaml │ │ │ │ └── word_sorting.yaml │ │ │ └── zeroshot/ │ │ │ ├── _bbh_zeroshot.yaml │ │ │ ├── _zeroshot_template_yaml │ │ │ ├── boolean_expressions.yaml │ │ │ ├── causal_judgement.yaml │ │ │ ├── date_understanding.yaml │ │ │ ├── disambiguation_qa.yaml │ │ │ ├── dyck_languages.yaml │ │ │ ├── formal_fallacies.yaml │ │ │ ├── geometric_shapes.yaml │ │ │ ├── hyperbaton.yaml │ │ │ ├── logical_deduction_five_objects.yaml │ │ │ ├── logical_deduction_seven_objects.yaml │ │ │ ├── logical_deduction_three_objects.yaml │ │ │ ├── movie_recommendation.yaml │ │ │ ├── multistep_arithmetic_two.yaml │ │ │ ├── navigate.yaml │ │ │ ├── object_counting.yaml │ │ │ ├── penguins_in_a_table.yaml │ │ │ ├── reasoning_about_colored_objects.yaml │ │ │ ├── ruin_names.yaml │ │ │ ├── salient_translation_error_detection.yaml │ │ │ ├── snarks.yaml │ │ │ ├── sports_understanding.yaml │ │ │ ├── temporal_sequences.yaml │ │ │ ├── tracking_shuffled_objects_five_objects.yaml │ │ │ ├── tracking_shuffled_objects_seven_objects.yaml │ │ │ ├── tracking_shuffled_objects_three_objects.yaml │ │ │ ├── utils.py │ │ │ ├── web_of_lies.yaml │ │ │ └── word_sorting.yaml │ │ ├── bbq/ │ │ │ ├── README.md │ │ │ ├── bbq_generate.yaml │ │ │ ├── bbq_generate_ambig.yaml │ │ │ ├── bbq_generate_disambig.yaml │ │ │ ├── bbq_multiple_choice.yaml │ │ │ ├── bbq_multiple_choice_ambig.yaml │ │ │ ├── bbq_multiple_choice_disambig.yaml │ │ │ └── utils.py │ │ ├── bear/ │ │ │ ├── README.md │ │ │ ├── bear.yaml │ │ │ └── bear_big.yaml │ │ ├── belebele/ │ │ │ ├── README.md │ │ │ ├── _belebele.yaml │ │ │ ├── _default_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── belebele_acm_Arab.yaml │ │ │ ├── belebele_afr_Latn.yaml │ │ │ ├── belebele_als_Latn.yaml │ │ │ ├── belebele_amh_Ethi.yaml │ │ │ ├── belebele_apc_Arab.yaml │ │ │ ├── belebele_arb_Arab.yaml │ │ │ ├── belebele_arb_Latn.yaml │ │ │ ├── belebele_ars_Arab.yaml │ │ │ ├── belebele_ary_Arab.yaml │ │ │ ├── belebele_arz_Arab.yaml │ │ │ ├── belebele_asm_Beng.yaml │ │ │ ├── belebele_azj_Latn.yaml │ │ │ ├── belebele_bam_Latn.yaml │ │ │ ├── belebele_ben_Beng.yaml │ │ │ ├── belebele_ben_Latn.yaml │ │ │ ├── belebele_bod_Tibt.yaml │ │ │ ├── belebele_bul_Cyrl.yaml │ │ │ ├── belebele_cat_Latn.yaml │ │ │ ├── belebele_ceb_Latn.yaml │ │ │ ├── belebele_ces_Latn.yaml │ │ │ ├── belebele_ckb_Arab.yaml │ │ │ ├── belebele_dan_Latn.yaml │ │ │ ├── belebele_deu_Latn.yaml │ │ │ ├── belebele_ell_Grek.yaml │ │ │ ├── belebele_eng_Latn.yaml │ │ │ ├── belebele_est_Latn.yaml │ │ │ ├── belebele_eus_Latn.yaml │ │ │ ├── belebele_fin_Latn.yaml │ │ │ ├── belebele_fra_Latn.yaml │ │ │ ├── belebele_fuv_Latn.yaml │ │ │ ├── belebele_gaz_Latn.yaml │ │ │ ├── belebele_grn_Latn.yaml │ │ │ ├── belebele_guj_Gujr.yaml │ │ │ ├── belebele_hat_Latn.yaml │ │ │ ├── belebele_hau_Latn.yaml │ │ │ ├── belebele_heb_Hebr.yaml │ │ │ ├── belebele_hin_Deva.yaml │ │ │ ├── belebele_hin_Latn.yaml │ │ │ ├── belebele_hrv_Latn.yaml │ │ │ ├── belebele_hun_Latn.yaml │ │ │ ├── belebele_hye_Armn.yaml │ │ │ ├── belebele_ibo_Latn.yaml │ │ │ ├── belebele_ilo_Latn.yaml │ │ │ ├── belebele_ind_Latn.yaml │ │ │ ├── belebele_isl_Latn.yaml │ │ │ ├── belebele_ita_Latn.yaml │ │ │ ├── belebele_jav_Latn.yaml │ │ │ ├── belebele_jpn_Jpan.yaml │ │ │ ├── belebele_kac_Latn.yaml │ │ │ ├── belebele_kan_Knda.yaml │ │ │ ├── belebele_kat_Geor.yaml │ │ │ ├── belebele_kaz_Cyrl.yaml │ │ │ ├── belebele_kea_Latn.yaml │ │ │ ├── belebele_khk_Cyrl.yaml │ │ │ ├── belebele_khm_Khmr.yaml │ │ │ ├── belebele_kin_Latn.yaml │ │ │ ├── belebele_kir_Cyrl.yaml │ │ │ ├── belebele_kor_Hang.yaml │ │ │ ├── belebele_lao_Laoo.yaml │ │ │ ├── belebele_lin_Latn.yaml │ │ │ ├── belebele_lit_Latn.yaml │ │ │ ├── belebele_lug_Latn.yaml │ │ │ ├── belebele_luo_Latn.yaml │ │ │ ├── belebele_lvs_Latn.yaml │ │ │ ├── belebele_mal_Mlym.yaml │ │ │ ├── belebele_mar_Deva.yaml │ │ │ ├── belebele_mkd_Cyrl.yaml │ │ │ ├── belebele_mlt_Latn.yaml │ │ │ ├── belebele_mri_Latn.yaml │ │ │ ├── belebele_mya_Mymr.yaml │ │ │ ├── belebele_nld_Latn.yaml │ │ │ ├── belebele_nob_Latn.yaml │ │ │ ├── belebele_npi_Deva.yaml │ │ │ ├── belebele_npi_Latn.yaml │ │ │ ├── belebele_nso_Latn.yaml │ │ │ ├── belebele_nya_Latn.yaml │ │ │ ├── belebele_ory_Orya.yaml │ │ │ ├── belebele_pan_Guru.yaml │ │ │ ├── belebele_pbt_Arab.yaml │ │ │ ├── belebele_pes_Arab.yaml │ │ │ ├── belebele_plt_Latn.yaml │ │ │ ├── belebele_pol_Latn.yaml │ │ │ ├── belebele_por_Latn.yaml │ │ │ ├── belebele_ron_Latn.yaml │ │ │ ├── belebele_rus_Cyrl.yaml │ │ │ ├── belebele_shn_Mymr.yaml │ │ │ ├── belebele_sin_Latn.yaml │ │ │ ├── belebele_sin_Sinh.yaml │ │ │ ├── belebele_slk_Latn.yaml │ │ │ ├── belebele_slv_Latn.yaml │ │ │ ├── belebele_sna_Latn.yaml │ │ │ ├── belebele_snd_Arab.yaml │ │ │ ├── belebele_som_Latn.yaml │ │ │ ├── belebele_sot_Latn.yaml │ │ │ ├── belebele_spa_Latn.yaml │ │ │ ├── belebele_srp_Cyrl.yaml │ │ │ ├── belebele_ssw_Latn.yaml │ │ │ ├── belebele_sun_Latn.yaml │ │ │ ├── belebele_swe_Latn.yaml │ │ │ ├── belebele_swh_Latn.yaml │ │ │ ├── belebele_tam_Taml.yaml │ │ │ ├── belebele_tel_Telu.yaml │ │ │ ├── belebele_tgk_Cyrl.yaml │ │ │ ├── belebele_tgl_Latn.yaml │ │ │ ├── belebele_tha_Thai.yaml │ │ │ ├── belebele_tir_Ethi.yaml │ │ │ ├── belebele_tsn_Latn.yaml │ │ │ ├── belebele_tso_Latn.yaml │ │ │ ├── belebele_tur_Latn.yaml │ │ │ ├── belebele_ukr_Cyrl.yaml │ │ │ ├── belebele_urd_Arab.yaml │ │ │ ├── belebele_urd_Latn.yaml │ │ │ ├── belebele_uzn_Latn.yaml │ │ │ ├── belebele_vie_Latn.yaml │ │ │ ├── belebele_war_Latn.yaml │ │ │ ├── belebele_wol_Latn.yaml │ │ │ ├── belebele_xho_Latn.yaml │ │ │ ├── belebele_yor_Latn.yaml │ │ │ ├── belebele_zho_Hans.yaml │ │ │ ├── belebele_zho_Hant.yaml │ │ │ ├── belebele_zsm_Latn.yaml │ │ │ └── belebele_zul_Latn.yaml │ │ ├── benchmarks/ │ │ │ ├── README.md │ │ │ ├── flan/ │ │ │ │ ├── _held_in_template_yaml │ │ │ │ ├── flan_held_in.yaml │ │ │ │ └── flan_held_out.yaml │ │ │ ├── minerva_math.yaml │ │ │ ├── multimedqa/ │ │ │ │ ├── README.md │ │ │ │ └── multimedqa.yaml │ │ │ ├── openllm.yaml │ │ │ ├── pythia.yaml │ │ │ └── t0_eval.yaml │ │ ├── bertaqa/ │ │ │ ├── README.md │ │ │ ├── _bertaqa_template │ │ │ ├── bertaqa_en.yaml │ │ │ ├── bertaqa_en_mt_gemma-7b.yaml │ │ │ ├── bertaqa_en_mt_hitz.yaml │ │ │ ├── bertaqa_en_mt_itzuli.yaml │ │ │ ├── bertaqa_en_mt_latxa-13b-v1.1.yaml │ │ │ ├── bertaqa_en_mt_latxa-13b-v1.yaml │ │ │ ├── bertaqa_en_mt_latxa-70b-v1.1.yaml │ │ │ ├── bertaqa_en_mt_latxa-70b-v1.yaml │ │ │ ├── bertaqa_en_mt_latxa-7b-v1.1.yaml │ │ │ ├── bertaqa_en_mt_latxa-7b-v1.yaml │ │ │ ├── bertaqa_en_mt_llama-2-13b.yaml │ │ │ ├── bertaqa_en_mt_llama-2-70b.yaml │ │ │ ├── bertaqa_en_mt_llama-2-7b.yaml │ │ │ ├── bertaqa_en_mt_madlad.yaml │ │ │ ├── bertaqa_en_mt_nllb.yaml │ │ │ └── bertaqa_eu.yaml │ │ ├── bhs/ │ │ │ ├── README.md │ │ │ ├── _template_yaml │ │ │ ├── basque-DO-S_DO_V_AUX.yaml │ │ │ ├── basque-DO-S_IO_DO_V_AUX.yaml │ │ │ ├── basque-IO-IO_S_V_AUX.yaml │ │ │ ├── basque-IO-S_IO_DO_V_AUX.yaml │ │ │ ├── basque-S-IO_S_V_AUX.yaml │ │ │ ├── basque-S-S_DO_V_AUX.yaml │ │ │ ├── basque-S-S_IO_DO_V_AUX.yaml │ │ │ ├── basque-S-S_V_AUX.yaml │ │ │ ├── bhs_basque.yaml │ │ │ ├── bhs_hindi.yaml │ │ │ ├── bhs_swahili.yaml │ │ │ ├── hindi-S_O_V.yaml │ │ │ ├── hindi-S_PossPRN_O_V.yaml │ │ │ ├── hindi-S_PossPRN_PossN_O_V.yaml │ │ │ ├── hindi-S_ne_O_V.yaml │ │ │ ├── hindi-S_ne_PossPRN_O_V.yaml │ │ │ ├── hindi-S_ne_PossPRN_PossN_O_V.yaml │ │ │ ├── swahili-N_of_Poss_D_AP_V_ni_AN.yaml │ │ │ ├── swahili-N_of_Poss_D_AP_ni_AN.yaml │ │ │ ├── swahili-N_of_Poss_D_A_V.yaml │ │ │ ├── swahili-N_of_Poss_D_A_V1_V2.yaml │ │ │ ├── swahili-N_of_Poss_D_V.yaml │ │ │ ├── swahili-N_of_Poss_D_ni_A.yaml │ │ │ ├── swahili-N_of_Poss_V.yaml │ │ │ └── swahili-N_of_Poss_ni_A.yaml │ │ ├── bigbench/ │ │ │ ├── README.md │ │ │ ├── generate_tasks.py │ │ │ ├── generate_until/ │ │ │ │ ├── abstract_narrative_understanding.yaml │ │ │ │ ├── anachronisms.yaml │ │ │ │ ├── analogical_similarity.yaml │ │ │ │ ├── analytic_entailment.yaml │ │ │ │ ├── arithmetic.yaml │ │ │ │ ├── ascii_word_recognition.yaml │ │ │ │ ├── authorship_verification.yaml │ │ │ │ ├── auto_categorization.yaml │ │ │ │ ├── auto_debugging.yaml │ │ │ │ ├── bbq_lite_json.yaml │ │ │ │ ├── bridging_anaphora_resolution_barqa.yaml │ │ │ │ ├── causal_judgment.yaml │ │ │ │ ├── cause_and_effect.yaml │ │ │ │ ├── checkmate_in_one.yaml │ │ │ │ ├── chess_state_tracking.yaml │ │ │ │ ├── chinese_remainder_theorem.yaml │ │ │ │ ├── cifar10_classification.yaml │ │ │ │ ├── code_line_description.yaml │ │ │ │ ├── codenames.yaml │ │ │ │ ├── color.yaml │ │ │ │ ├── common_morpheme.yaml │ │ │ │ ├── conceptual_combinations.yaml │ │ │ │ ├── conlang_translation.yaml │ │ │ │ ├── contextual_parametric_knowledge_conflicts.yaml │ │ │ │ ├── crash_blossom.yaml │ │ │ │ ├── crass_ai.yaml │ │ │ │ ├── cryobiology_spanish.yaml │ │ │ │ ├── cryptonite.yaml │ │ │ │ ├── cs_algorithms.yaml │ │ │ │ ├── dark_humor_detection.yaml │ │ │ │ ├── date_understanding.yaml │ │ │ │ ├── disambiguation_qa.yaml │ │ │ │ ├── discourse_marker_prediction.yaml │ │ │ │ ├── disfl_qa.yaml │ │ │ │ ├── dyck_languages.yaml │ │ │ │ ├── elementary_math_qa.yaml │ │ │ │ ├── emoji_movie.yaml │ │ │ │ ├── emojis_emotion_prediction.yaml │ │ │ │ ├── empirical_judgments.yaml │ │ │ │ ├── english_proverbs.yaml │ │ │ │ ├── english_russian_proverbs.yaml │ │ │ │ ├── entailed_polarity.yaml │ │ │ │ ├── entailed_polarity_hindi.yaml │ │ │ │ ├── epistemic_reasoning.yaml │ │ │ │ ├── evaluating_information_essentiality.yaml │ │ │ │ ├── fact_checker.yaml │ │ │ │ ├── fantasy_reasoning.yaml │ │ │ │ ├── few_shot_nlg.yaml │ │ │ │ ├── figure_of_speech_detection.yaml │ │ │ │ ├── formal_fallacies_syllogisms_negation.yaml │ │ │ │ ├── gem.yaml │ │ │ │ ├── gender_inclusive_sentences_german.yaml │ │ │ │ ├── general_knowledge.yaml │ │ │ │ ├── geometric_shapes.yaml │ │ │ │ ├── goal_step_wikihow.yaml │ │ │ │ ├── gre_reading_comprehension.yaml │ │ │ │ ├── hhh_alignment.yaml │ │ │ │ ├── hindi_question_answering.yaml │ │ │ │ ├── hindu_knowledge.yaml │ │ │ │ ├── hinglish_toxicity.yaml │ │ │ │ ├── human_organs_senses.yaml │ │ │ │ ├── hyperbaton.yaml │ │ │ │ ├── identify_math_theorems.yaml │ │ │ │ ├── identify_odd_metaphor.yaml │ │ │ │ ├── implicatures.yaml │ │ │ │ ├── implicit_relations.yaml │ │ │ │ ├── intent_recognition.yaml │ │ │ │ ├── international_phonetic_alphabet_nli.yaml │ │ │ │ ├── international_phonetic_alphabet_transliterate.yaml │ │ │ │ ├── intersect_geometry.yaml │ │ │ │ ├── irony_identification.yaml │ │ │ │ ├── kanji_ascii.yaml │ │ │ │ ├── kannada.yaml │ │ │ │ ├── key_value_maps.yaml │ │ │ │ ├── known_unknowns.yaml │ │ │ │ ├── language_games.yaml │ │ │ │ ├── language_identification.yaml │ │ │ │ ├── linguistic_mappings.yaml │ │ │ │ ├── linguistics_puzzles.yaml │ │ │ │ ├── list_functions.yaml │ │ │ │ ├── logic_grid_puzzle.yaml │ │ │ │ ├── logical_args.yaml │ │ │ │ ├── logical_deduction.yaml │ │ │ │ ├── logical_fallacy_detection.yaml │ │ │ │ ├── logical_sequence.yaml │ │ │ │ ├── mathematical_induction.yaml │ │ │ │ ├── matrixshapes.yaml │ │ │ │ ├── metaphor_boolean.yaml │ │ │ │ ├── metaphor_understanding.yaml │ │ │ │ ├── minute_mysteries_qa.yaml │ │ │ │ ├── misconceptions.yaml │ │ │ │ ├── misconceptions_russian.yaml │ │ │ │ ├── mnist_ascii.yaml │ │ │ │ ├── modified_arithmetic.yaml │ │ │ │ ├── moral_permissibility.yaml │ │ │ │ ├── movie_dialog_same_or_different.yaml │ │ │ │ ├── movie_recommendation.yaml │ │ │ │ ├── mult_data_wrangling.yaml │ │ │ │ ├── multiemo.yaml │ │ │ │ ├── natural_instructions.yaml │ │ │ │ ├── navigate.yaml │ │ │ │ ├── nonsense_words_grammar.yaml │ │ │ │ ├── novel_concepts.yaml │ │ │ │ ├── object_counting.yaml │ │ │ │ ├── odd_one_out.yaml │ │ │ │ ├── operators.yaml │ │ │ │ ├── paragraph_segmentation.yaml │ │ │ │ ├── parsinlu_qa.yaml │ │ │ │ ├── parsinlu_reading_comprehension.yaml │ │ │ │ ├── penguins_in_a_table.yaml │ │ │ │ ├── periodic_elements.yaml │ │ │ │ ├── persian_idioms.yaml │ │ │ │ ├── phrase_relatedness.yaml │ │ │ │ ├── physical_intuition.yaml │ │ │ │ ├── physics.yaml │ │ │ │ ├── physics_questions.yaml │ │ │ │ ├── play_dialog_same_or_different.yaml │ │ │ │ ├── polish_sequence_labeling.yaml │ │ │ │ ├── presuppositions_as_nli.yaml │ │ │ │ ├── qa_wikidata.yaml │ │ │ │ ├── question_selection.yaml │ │ │ │ ├── real_or_fake_text.yaml │ │ │ │ ├── reasoning_about_colored_objects.yaml │ │ │ │ ├── repeat_copy_logic.yaml │ │ │ │ ├── rephrase.yaml │ │ │ │ ├── riddle_sense.yaml │ │ │ │ ├── ruin_names.yaml │ │ │ │ ├── salient_translation_error_detection.yaml │ │ │ │ ├── scientific_press_release.yaml │ │ │ │ ├── semantic_parsing_in_context_sparc.yaml │ │ │ │ ├── semantic_parsing_spider.yaml │ │ │ │ ├── sentence_ambiguity.yaml │ │ │ │ ├── similarities_abstraction.yaml │ │ │ │ ├── simp_turing_concept.yaml │ │ │ │ ├── simple_arithmetic_json.yaml │ │ │ │ ├── simple_arithmetic_json_multiple_choice.yaml │ │ │ │ ├── simple_arithmetic_json_subtasks.yaml │ │ │ │ ├── simple_arithmetic_multiple_targets_json.yaml │ │ │ │ ├── simple_ethical_questions.yaml │ │ │ │ ├── simple_text_editing.yaml │ │ │ │ ├── snarks.yaml │ │ │ │ ├── social_iqa.yaml │ │ │ │ ├── social_support.yaml │ │ │ │ ├── sports_understanding.yaml │ │ │ │ ├── strange_stories.yaml │ │ │ │ ├── strategyqa.yaml │ │ │ │ ├── sufficient_information.yaml │ │ │ │ ├── suicide_risk.yaml │ │ │ │ ├── swahili_english_proverbs.yaml │ │ │ │ ├── swedish_to_german_proverbs.yaml │ │ │ │ ├── symbol_interpretation.yaml │ │ │ │ ├── temporal_sequences.yaml │ │ │ │ ├── tense.yaml │ │ │ │ ├── timedial.yaml │ │ │ │ ├── topical_chat.yaml │ │ │ │ ├── tracking_shuffled_objects.yaml │ │ │ │ ├── understanding_fables.yaml │ │ │ │ ├── undo_permutation.yaml │ │ │ │ ├── unit_conversion.yaml │ │ │ │ ├── unit_interpretation.yaml │ │ │ │ ├── unnatural_in_context_learning.yaml │ │ │ │ ├── vitaminc_fact_verification.yaml │ │ │ │ ├── what_is_the_tao.yaml │ │ │ │ ├── which_wiki_edit.yaml │ │ │ │ ├── winowhy.yaml │ │ │ │ ├── word_sorting.yaml │ │ │ │ └── word_unscrambling.yaml │ │ │ ├── generate_until_template_yaml │ │ │ ├── multiple_choice/ │ │ │ │ ├── abstract_narrative_understanding.yaml │ │ │ │ ├── anachronisms.yaml │ │ │ │ ├── analogical_similarity.yaml │ │ │ │ ├── analytic_entailment.yaml │ │ │ │ ├── arithmetic.yaml │ │ │ │ ├── authorship_verification.yaml │ │ │ │ ├── bbq_lite_json.yaml │ │ │ │ ├── causal_judgment.yaml │ │ │ │ ├── cause_and_effect.yaml │ │ │ │ ├── checkmate_in_one.yaml │ │ │ │ ├── cifar10_classification.yaml │ │ │ │ ├── code_line_description.yaml │ │ │ │ ├── color.yaml │ │ │ │ ├── common_morpheme.yaml │ │ │ │ ├── conceptual_combinations.yaml │ │ │ │ ├── contextual_parametric_knowledge_conflicts.yaml │ │ │ │ ├── crash_blossom.yaml │ │ │ │ ├── crass_ai.yaml │ │ │ │ ├── cryobiology_spanish.yaml │ │ │ │ ├── cs_algorithms.yaml │ │ │ │ ├── dark_humor_detection.yaml │ │ │ │ ├── date_understanding.yaml │ │ │ │ ├── disambiguation_qa.yaml │ │ │ │ ├── discourse_marker_prediction.yaml │ │ │ │ ├── dyck_languages.yaml │ │ │ │ ├── elementary_math_qa.yaml │ │ │ │ ├── emoji_movie.yaml │ │ │ │ ├── emojis_emotion_prediction.yaml │ │ │ │ ├── empirical_judgments.yaml │ │ │ │ ├── english_proverbs.yaml │ │ │ │ ├── english_russian_proverbs.yaml │ │ │ │ ├── entailed_polarity.yaml │ │ │ │ ├── entailed_polarity_hindi.yaml │ │ │ │ ├── epistemic_reasoning.yaml │ │ │ │ ├── evaluating_information_essentiality.yaml │ │ │ │ ├── fact_checker.yaml │ │ │ │ ├── fantasy_reasoning.yaml │ │ │ │ ├── figure_of_speech_detection.yaml │ │ │ │ ├── formal_fallacies_syllogisms_negation.yaml │ │ │ │ ├── general_knowledge.yaml │ │ │ │ ├── geometric_shapes.yaml │ │ │ │ ├── goal_step_wikihow.yaml │ │ │ │ ├── gre_reading_comprehension.yaml │ │ │ │ ├── hhh_alignment.yaml │ │ │ │ ├── hindu_knowledge.yaml │ │ │ │ ├── hinglish_toxicity.yaml │ │ │ │ ├── human_organs_senses.yaml │ │ │ │ ├── hyperbaton.yaml │ │ │ │ ├── identify_math_theorems.yaml │ │ │ │ ├── identify_odd_metaphor.yaml │ │ │ │ ├── implicatures.yaml │ │ │ │ ├── implicit_relations.yaml │ │ │ │ ├── intent_recognition.yaml │ │ │ │ ├── international_phonetic_alphabet_nli.yaml │ │ │ │ ├── intersect_geometry.yaml │ │ │ │ ├── irony_identification.yaml │ │ │ │ ├── kanji_ascii.yaml │ │ │ │ ├── kannada.yaml │ │ │ │ ├── key_value_maps.yaml │ │ │ │ ├── known_unknowns.yaml │ │ │ │ ├── language_identification.yaml │ │ │ │ ├── logic_grid_puzzle.yaml │ │ │ │ ├── logical_args.yaml │ │ │ │ ├── logical_deduction.yaml │ │ │ │ ├── logical_fallacy_detection.yaml │ │ │ │ ├── logical_sequence.yaml │ │ │ │ ├── mathematical_induction.yaml │ │ │ │ ├── metaphor_boolean.yaml │ │ │ │ ├── metaphor_understanding.yaml │ │ │ │ ├── misconceptions.yaml │ │ │ │ ├── misconceptions_russian.yaml │ │ │ │ ├── mnist_ascii.yaml │ │ │ │ ├── moral_permissibility.yaml │ │ │ │ ├── movie_dialog_same_or_different.yaml │ │ │ │ ├── movie_recommendation.yaml │ │ │ │ ├── multiemo.yaml │ │ │ │ ├── navigate.yaml │ │ │ │ ├── nonsense_words_grammar.yaml │ │ │ │ ├── novel_concepts.yaml │ │ │ │ ├── odd_one_out.yaml │ │ │ │ ├── parsinlu_qa.yaml │ │ │ │ ├── penguins_in_a_table.yaml │ │ │ │ ├── periodic_elements.yaml │ │ │ │ ├── persian_idioms.yaml │ │ │ │ ├── phrase_relatedness.yaml │ │ │ │ ├── physical_intuition.yaml │ │ │ │ ├── physics.yaml │ │ │ │ ├── play_dialog_same_or_different.yaml │ │ │ │ ├── presuppositions_as_nli.yaml │ │ │ │ ├── question_selection.yaml │ │ │ │ ├── real_or_fake_text.yaml │ │ │ │ ├── reasoning_about_colored_objects.yaml │ │ │ │ ├── riddle_sense.yaml │ │ │ │ ├── ruin_names.yaml │ │ │ │ ├── salient_translation_error_detection.yaml │ │ │ │ ├── sentence_ambiguity.yaml │ │ │ │ ├── similarities_abstraction.yaml │ │ │ │ ├── simple_ethical_questions.yaml │ │ │ │ ├── snarks.yaml │ │ │ │ ├── social_iqa.yaml │ │ │ │ ├── social_support.yaml │ │ │ │ ├── sports_understanding.yaml │ │ │ │ ├── strange_stories.yaml │ │ │ │ ├── strategyqa.yaml │ │ │ │ ├── suicide_risk.yaml │ │ │ │ ├── swahili_english_proverbs.yaml │ │ │ │ ├── swedish_to_german_proverbs.yaml │ │ │ │ ├── symbol_interpretation.yaml │ │ │ │ ├── temporal_sequences.yaml │ │ │ │ ├── timedial.yaml │ │ │ │ ├── tracking_shuffled_objects.yaml │ │ │ │ ├── understanding_fables.yaml │ │ │ │ ├── undo_permutation.yaml │ │ │ │ ├── unit_conversion.yaml │ │ │ │ ├── unit_interpretation.yaml │ │ │ │ ├── vitaminc_fact_verification.yaml │ │ │ │ ├── what_is_the_tao.yaml │ │ │ │ ├── which_wiki_edit.yaml │ │ │ │ └── winowhy.yaml │ │ │ ├── multiple_choice_template_a_yaml │ │ │ ├── multiple_choice_template_b_yaml │ │ │ └── push_bigbench_dataset.py │ │ ├── blimp/ │ │ │ ├── README.md │ │ │ ├── _blimp.yaml │ │ │ ├── _template_yaml │ │ │ ├── adjunct_island.yaml │ │ │ ├── anaphor_gender_agreement.yaml │ │ │ ├── anaphor_number_agreement.yaml │ │ │ ├── animate_subject_passive.yaml │ │ │ ├── animate_subject_trans.yaml │ │ │ ├── causative.yaml │ │ │ ├── complex_NP_island.yaml │ │ │ ├── coordinate_structure_constraint_complex_left_branch.yaml │ │ │ ├── coordinate_structure_constraint_object_extraction.yaml │ │ │ ├── determiner_noun_agreement_1.yaml │ │ │ ├── determiner_noun_agreement_2.yaml │ │ │ ├── determiner_noun_agreement_irregular_1.yaml │ │ │ ├── determiner_noun_agreement_irregular_2.yaml │ │ │ ├── determiner_noun_agreement_with_adj_2.yaml │ │ │ ├── determiner_noun_agreement_with_adj_irregular_1.yaml │ │ │ ├── determiner_noun_agreement_with_adj_irregular_2.yaml │ │ │ ├── determiner_noun_agreement_with_adjective_1.yaml │ │ │ ├── distractor_agreement_relational_noun.yaml │ │ │ ├── distractor_agreement_relative_clause.yaml │ │ │ ├── drop_argument.yaml │ │ │ ├── ellipsis_n_bar_1.yaml │ │ │ ├── ellipsis_n_bar_2.yaml │ │ │ ├── existential_there_object_raising.yaml │ │ │ ├── existential_there_quantifiers_1.yaml │ │ │ ├── existential_there_quantifiers_2.yaml │ │ │ ├── existential_there_subject_raising.yaml │ │ │ ├── expletive_it_object_raising.yaml │ │ │ ├── generate_configs.py │ │ │ ├── inchoative.yaml │ │ │ ├── intransitive.yaml │ │ │ ├── irregular_past_participle_adjectives.yaml │ │ │ ├── irregular_past_participle_verbs.yaml │ │ │ ├── irregular_plural_subject_verb_agreement_1.yaml │ │ │ ├── irregular_plural_subject_verb_agreement_2.yaml │ │ │ ├── left_branch_island_echo_question.yaml │ │ │ ├── left_branch_island_simple_question.yaml │ │ │ ├── matrix_question_npi_licensor_present.yaml │ │ │ ├── npi_present_1.yaml │ │ │ ├── npi_present_2.yaml │ │ │ ├── only_npi_licensor_present.yaml │ │ │ ├── only_npi_scope.yaml │ │ │ ├── passive_1.yaml │ │ │ ├── passive_2.yaml │ │ │ ├── principle_A_c_command.yaml │ │ │ ├── principle_A_case_1.yaml │ │ │ ├── principle_A_case_2.yaml │ │ │ ├── principle_A_domain_1.yaml │ │ │ ├── principle_A_domain_2.yaml │ │ │ ├── principle_A_domain_3.yaml │ │ │ ├── principle_A_reconstruction.yaml │ │ │ ├── regular_plural_subject_verb_agreement_1.yaml │ │ │ ├── regular_plural_subject_verb_agreement_2.yaml │ │ │ ├── sentential_negation_npi_licensor_present.yaml │ │ │ ├── sentential_negation_npi_scope.yaml │ │ │ ├── sentential_subject_island.yaml │ │ │ ├── superlative_quantifiers_1.yaml │ │ │ ├── superlative_quantifiers_2.yaml │ │ │ ├── tough_vs_raising_1.yaml │ │ │ ├── tough_vs_raising_2.yaml │ │ │ ├── transitive.yaml │ │ │ ├── wh_island.yaml │ │ │ ├── wh_questions_object_gap.yaml │ │ │ ├── wh_questions_subject_gap.yaml │ │ │ ├── wh_questions_subject_gap_long_distance.yaml │ │ │ ├── wh_vs_that_no_gap.yaml │ │ │ ├── wh_vs_that_no_gap_long_distance.yaml │ │ │ ├── wh_vs_that_with_gap.yaml │ │ │ └── wh_vs_that_with_gap_long_distance.yaml │ │ ├── blimp_nl/ │ │ │ ├── README.md │ │ │ ├── _template_yaml │ │ │ ├── adpositional_phrases__argument_r_extraction.yaml │ │ │ ├── adpositional_phrases__argument_scrambling.yaml │ │ │ ├── adverbial_modification__position_proform.yaml │ │ │ ├── adverbial_modification__position_type.yaml │ │ │ ├── anaphor_agreement__number.yaml │ │ │ ├── anaphor_agreement__person.yaml │ │ │ ├── argument_structure__argument_number_ditransitive.yaml │ │ │ ├── argument_structure__argument_number_in_transitive.yaml │ │ │ ├── argument_structure__ditransitive_nomdat_1.yaml │ │ │ ├── argument_structure__ditransitive_nomdat_2.yaml │ │ │ ├── argument_structure__ditransitive_nomdat_3.yaml │ │ │ ├── argument_structure__intransitive_unaccusative_1.yaml │ │ │ ├── argument_structure__intransitive_unaccusative_2.yaml │ │ │ ├── argument_structure__intransitive_unaccusative_3.yaml │ │ │ ├── auxiliaries__order_1.yaml │ │ │ ├── auxiliaries__order_2.yaml │ │ │ ├── auxiliaries__perfect.yaml │ │ │ ├── auxiliaries__semi_aspectual_1.yaml │ │ │ ├── auxiliaries__semi_aspectual_2.yaml │ │ │ ├── binding_principle_a__c_command.yaml │ │ │ ├── binding_principle_a__monomorphemic.yaml │ │ │ ├── blimp_nl_group.yaml │ │ │ ├── complementive__ditransitive.yaml │ │ │ ├── complementive__intransitive.yaml │ │ │ ├── complementive__position_adverb.yaml │ │ │ ├── complementive__position_verb.yaml │ │ │ ├── complementive__transitive.yaml │ │ │ ├── crossing_dependencies__cross_dependency.yaml │ │ │ ├── determiners__geen_expletive.yaml │ │ │ ├── determiners__geen_scrambling_1.yaml │ │ │ ├── determiners__geen_scrambling_2.yaml │ │ │ ├── determiners__negative_polarity.yaml │ │ │ ├── extraposition__adjectival_adverbial.yaml │ │ │ ├── extraposition__adjectival_supplementive.yaml │ │ │ ├── extraposition__argument_nominal.yaml │ │ │ ├── finite_argument_clause__complementizer.yaml │ │ │ ├── finite_argument_clause__perception_dat.yaml │ │ │ ├── finite_argument_clause__perception_of.yaml │ │ │ ├── finite_argument_clause__position.yaml │ │ │ ├── finite_argument_clause__sluicing_1.yaml │ │ │ ├── finite_argument_clause__sluicing_2.yaml │ │ │ ├── infinitival_argument_clause__bare_verb_cluster.yaml │ │ │ ├── infinitival_argument_clause__bare_verb_type_1.yaml │ │ │ ├── infinitival_argument_clause__bare_verb_type_2.yaml │ │ │ ├── infinitival_argument_clause__bare_verb_type_3.yaml │ │ │ ├── infinitival_argument_clause__om_te.yaml │ │ │ ├── infinitival_argument_clause__te_om_te_difference_1.yaml │ │ │ ├── infinitival_argument_clause__te_om_te_difference_2.yaml │ │ │ ├── infinitival_argument_clause__te_transparant_split.yaml │ │ │ ├── infinitival_argument_clause__verb_type.yaml │ │ │ ├── nominalization__type_inf_1.yaml │ │ │ ├── nominalization__type_inf_2.yaml │ │ │ ├── parasitic_gaps__scrambling.yaml │ │ │ ├── parasitic_gaps__structure_type_1.yaml │ │ │ ├── parasitic_gaps__structure_type_2.yaml │ │ │ ├── parasitic_gaps__structure_type_3.yaml │ │ │ ├── passive__aci.yaml │ │ │ ├── passive__ditransitive_1.yaml │ │ │ ├── passive__ditransitive_2.yaml │ │ │ ├── passive__impersonal.yaml │ │ │ ├── quantifiers__universal_difference_agreement_plural.yaml │ │ │ ├── quantifiers__universal_difference_agreement_singular.yaml │ │ │ ├── r_words__adverbial.yaml │ │ │ ├── r_words__weak_proform.yaml │ │ │ ├── relativization__island.yaml │ │ │ ├── relativization__pied_piping.yaml │ │ │ ├── relativization__resumptive_prolepsis.yaml │ │ │ ├── topicalization__island.yaml │ │ │ ├── topicalization__question_similarity_1.yaml │ │ │ ├── topicalization__question_similarity_2.yaml │ │ │ ├── topicalization__resumptive_prolepsis.yaml │ │ │ ├── verb_second__order_embedded.yaml │ │ │ ├── verb_second__order_main.yaml │ │ │ ├── wh_movement__filler_effect_gap.yaml │ │ │ ├── wh_movement__filler_effect_no_gap.yaml │ │ │ ├── wh_movement__hierarchy.yaml │ │ │ ├── wh_movement__question_formation.yaml │ │ │ ├── wh_movement__stranding_1.yaml │ │ │ ├── wh_movement__stranding_2.yaml │ │ │ ├── wh_movement_restrictions__bridge_verb_1.yaml │ │ │ ├── wh_movement_restrictions__bridge_verb_2.yaml │ │ │ ├── wh_movement_restrictions__island_1.yaml │ │ │ ├── wh_movement_restrictions__island_2.yaml │ │ │ ├── wh_movement_restrictions__resumptive_prolepsis.yaml │ │ │ └── wh_movement_restrictions__superiority.yaml │ │ ├── c4/ │ │ │ ├── README.md │ │ │ ├── c4.yaml │ │ │ └── preprocess_c4.py │ │ ├── cabbq/ │ │ │ ├── README.md │ │ │ ├── _cabbq_common_yaml │ │ │ ├── cabbq.yaml │ │ │ ├── cabbq_age.yaml │ │ │ ├── cabbq_disability_status.yaml │ │ │ ├── cabbq_gender.yaml │ │ │ ├── cabbq_lgbtqia.yaml │ │ │ ├── cabbq_nationality.yaml │ │ │ ├── cabbq_physical_appearance.yaml │ │ │ ├── cabbq_race_ethnicity.yaml │ │ │ ├── cabbq_religion.yaml │ │ │ ├── cabbq_ses.yaml │ │ │ ├── cabbq_spanish_region.yaml │ │ │ └── utils.py │ │ ├── careqa/ │ │ │ ├── README.md │ │ │ ├── careqa_en.yaml │ │ │ ├── careqa_es.yaml │ │ │ ├── careqa_open.yaml │ │ │ ├── careqa_open_perplexity.yaml │ │ │ ├── utils.py │ │ │ ├── utils_open.py │ │ │ └── utils_perplexity.py │ │ ├── catalan_bench/ │ │ │ ├── README.md │ │ │ ├── _arc_ca_common_yaml │ │ │ ├── _cabreu_common_yaml │ │ │ ├── arc_ca_challenge.yaml │ │ │ ├── arc_ca_easy.yaml │ │ │ ├── cabreu_abstractive.yaml │ │ │ ├── cabreu_extractive.yaml │ │ │ ├── cabreu_extreme.yaml │ │ │ ├── catalan_bench.yaml │ │ │ ├── catalanqa.yaml │ │ │ ├── catcola.yaml │ │ │ ├── cocoteros_va.yaml │ │ │ ├── copa_ca.yaml │ │ │ ├── coqcat.yaml │ │ │ ├── flores_ca/ │ │ │ │ ├── _flores_common_yaml │ │ │ │ ├── create_yamls_flores_ca.py │ │ │ │ ├── flores_ca-de.yaml │ │ │ │ ├── flores_ca-en.yaml │ │ │ │ ├── flores_ca-es.yaml │ │ │ │ ├── flores_ca-eu.yaml │ │ │ │ ├── flores_ca-fr.yaml │ │ │ │ ├── flores_ca-gl.yaml │ │ │ │ ├── flores_ca-it.yaml │ │ │ │ ├── flores_ca-pt.yaml │ │ │ │ ├── flores_ca.yaml │ │ │ │ ├── flores_de-ca.yaml │ │ │ │ ├── flores_en-ca.yaml │ │ │ │ ├── flores_es-ca.yaml │ │ │ │ ├── flores_eu-ca.yaml │ │ │ │ ├── flores_fr-ca.yaml │ │ │ │ ├── flores_gl-ca.yaml │ │ │ │ ├── flores_it-ca.yaml │ │ │ │ └── flores_pt-ca.yaml │ │ │ ├── mgsm_direct_ca.yaml │ │ │ ├── openbookqa_ca.yaml │ │ │ ├── parafraseja.yaml │ │ │ ├── paws_ca.yaml │ │ │ ├── phrases_va/ │ │ │ │ ├── _phrases_va_common │ │ │ │ ├── phrases_ca-va.yaml │ │ │ │ └── phrases_va-ca.yaml │ │ │ ├── piqa_ca.yaml │ │ │ ├── siqa_ca.yaml │ │ │ ├── teca.yaml │ │ │ ├── truthfulqa_va/ │ │ │ │ ├── truthfulqa_va.yaml │ │ │ │ └── utils.py │ │ │ ├── utils.py │ │ │ ├── wnli_ca.yaml │ │ │ ├── xnli_ca.yaml │ │ │ ├── xnli_va.yaml │ │ │ ├── xquad_ca.yaml │ │ │ └── xstorycloze_ca.yaml │ │ ├── ceval/ │ │ │ ├── README.md │ │ │ ├── _ceval-valid.yaml │ │ │ ├── _default_ceval_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── ceval-valid_accountant.yaml │ │ │ ├── ceval-valid_advanced_mathematics.yaml │ │ │ ├── ceval-valid_art_studies.yaml │ │ │ ├── ceval-valid_basic_medicine.yaml │ │ │ ├── ceval-valid_business_administration.yaml │ │ │ ├── ceval-valid_chinese_language_and_literature.yaml │ │ │ ├── ceval-valid_civil_servant.yaml │ │ │ ├── ceval-valid_clinical_medicine.yaml │ │ │ ├── ceval-valid_college_chemistry.yaml │ │ │ ├── ceval-valid_college_economics.yaml │ │ │ ├── ceval-valid_college_physics.yaml │ │ │ ├── ceval-valid_college_programming.yaml │ │ │ ├── ceval-valid_computer_architecture.yaml │ │ │ ├── ceval-valid_computer_network.yaml │ │ │ ├── ceval-valid_discrete_mathematics.yaml │ │ │ ├── ceval-valid_education_science.yaml │ │ │ ├── ceval-valid_electrical_engineer.yaml │ │ │ ├── ceval-valid_environmental_impact_assessment_engineer.yaml │ │ │ ├── ceval-valid_fire_engineer.yaml │ │ │ ├── ceval-valid_high_school_biology.yaml │ │ │ ├── ceval-valid_high_school_chemistry.yaml │ │ │ ├── ceval-valid_high_school_chinese.yaml │ │ │ ├── ceval-valid_high_school_geography.yaml │ │ │ ├── ceval-valid_high_school_history.yaml │ │ │ ├── ceval-valid_high_school_mathematics.yaml │ │ │ ├── ceval-valid_high_school_physics.yaml │ │ │ ├── ceval-valid_high_school_politics.yaml │ │ │ ├── ceval-valid_ideological_and_moral_cultivation.yaml │ │ │ ├── ceval-valid_law.yaml │ │ │ ├── ceval-valid_legal_professional.yaml │ │ │ ├── ceval-valid_logic.yaml │ │ │ ├── ceval-valid_mao_zedong_thought.yaml │ │ │ ├── ceval-valid_marxism.yaml │ │ │ ├── ceval-valid_metrology_engineer.yaml │ │ │ ├── ceval-valid_middle_school_biology.yaml │ │ │ ├── ceval-valid_middle_school_chemistry.yaml │ │ │ ├── ceval-valid_middle_school_geography.yaml │ │ │ ├── ceval-valid_middle_school_history.yaml │ │ │ ├── ceval-valid_middle_school_mathematics.yaml │ │ │ ├── ceval-valid_middle_school_physics.yaml │ │ │ ├── ceval-valid_middle_school_politics.yaml │ │ │ ├── ceval-valid_modern_chinese_history.yaml │ │ │ ├── ceval-valid_operating_system.yaml │ │ │ ├── ceval-valid_physician.yaml │ │ │ ├── ceval-valid_plant_protection.yaml │ │ │ ├── ceval-valid_probability_and_statistics.yaml │ │ │ ├── ceval-valid_professional_tour_guide.yaml │ │ │ ├── ceval-valid_sports_science.yaml │ │ │ ├── ceval-valid_tax_accountant.yaml │ │ │ ├── ceval-valid_teacher_qualification.yaml │ │ │ ├── ceval-valid_urban_and_rural_planner.yaml │ │ │ └── ceval-valid_veterinary_medicine.yaml │ │ ├── chartqa/ │ │ │ ├── README.md │ │ │ ├── chartqa.yaml │ │ │ ├── chartqa_llama.yaml │ │ │ ├── chartqa_llama_90.yaml │ │ │ └── utils.py │ │ ├── click/ │ │ │ ├── README.md │ │ │ ├── click.yaml │ │ │ ├── click_cul/ │ │ │ │ ├── _click_cul.yaml │ │ │ │ ├── _default_click_cul_yaml │ │ │ │ ├── click_cul_economy.yaml │ │ │ │ ├── click_cul_geography.yaml │ │ │ │ ├── click_cul_history.yaml │ │ │ │ ├── click_cul_kpop.yaml │ │ │ │ ├── click_cul_law.yaml │ │ │ │ ├── click_cul_politics.yaml │ │ │ │ ├── click_cul_society.yaml │ │ │ │ ├── click_cul_tradition.yaml │ │ │ │ └── utils.py │ │ │ └── click_lang/ │ │ │ ├── _click_lang.yaml │ │ │ ├── _default_click_lang_yaml │ │ │ ├── click_lang_function.yaml │ │ │ ├── click_lang_grammar.yaml │ │ │ ├── click_lang_text.yaml │ │ │ └── utils.py │ │ ├── cmmlu/ │ │ │ ├── README.md │ │ │ ├── _cmmlu.yaml │ │ │ ├── _default_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── cmmlu_agronomy.yaml │ │ │ ├── cmmlu_anatomy.yaml │ │ │ ├── cmmlu_ancient_chinese.yaml │ │ │ ├── cmmlu_arts.yaml │ │ │ ├── cmmlu_astronomy.yaml │ │ │ ├── cmmlu_business_ethics.yaml │ │ │ ├── cmmlu_chinese_civil_service_exam.yaml │ │ │ ├── cmmlu_chinese_driving_rule.yaml │ │ │ ├── cmmlu_chinese_food_culture.yaml │ │ │ ├── cmmlu_chinese_foreign_policy.yaml │ │ │ ├── cmmlu_chinese_history.yaml │ │ │ ├── cmmlu_chinese_literature.yaml │ │ │ ├── cmmlu_chinese_teacher_qualification.yaml │ │ │ ├── cmmlu_clinical_knowledge.yaml │ │ │ ├── cmmlu_college_actuarial_science.yaml │ │ │ ├── cmmlu_college_education.yaml │ │ │ ├── cmmlu_college_engineering_hydrology.yaml │ │ │ ├── cmmlu_college_law.yaml │ │ │ ├── cmmlu_college_mathematics.yaml │ │ │ ├── cmmlu_college_medical_statistics.yaml │ │ │ ├── cmmlu_college_medicine.yaml │ │ │ ├── cmmlu_computer_science.yaml │ │ │ ├── cmmlu_computer_security.yaml │ │ │ ├── cmmlu_conceptual_physics.yaml │ │ │ ├── cmmlu_construction_project_management.yaml │ │ │ ├── cmmlu_economics.yaml │ │ │ ├── cmmlu_education.yaml │ │ │ ├── cmmlu_electrical_engineering.yaml │ │ │ ├── cmmlu_elementary_chinese.yaml │ │ │ ├── cmmlu_elementary_commonsense.yaml │ │ │ ├── cmmlu_elementary_information_and_technology.yaml │ │ │ ├── cmmlu_elementary_mathematics.yaml │ │ │ ├── cmmlu_ethnology.yaml │ │ │ ├── cmmlu_food_science.yaml │ │ │ ├── cmmlu_genetics.yaml │ │ │ ├── cmmlu_global_facts.yaml │ │ │ ├── cmmlu_high_school_biology.yaml │ │ │ ├── cmmlu_high_school_chemistry.yaml │ │ │ ├── cmmlu_high_school_geography.yaml │ │ │ ├── cmmlu_high_school_mathematics.yaml │ │ │ ├── cmmlu_high_school_physics.yaml │ │ │ ├── cmmlu_high_school_politics.yaml │ │ │ ├── cmmlu_human_sexuality.yaml │ │ │ ├── cmmlu_international_law.yaml │ │ │ ├── cmmlu_journalism.yaml │ │ │ ├── cmmlu_jurisprudence.yaml │ │ │ ├── cmmlu_legal_and_moral_basis.yaml │ │ │ ├── cmmlu_logical.yaml │ │ │ ├── cmmlu_machine_learning.yaml │ │ │ ├── cmmlu_management.yaml │ │ │ ├── cmmlu_marketing.yaml │ │ │ ├── cmmlu_marxist_theory.yaml │ │ │ ├── cmmlu_modern_chinese.yaml │ │ │ ├── cmmlu_nutrition.yaml │ │ │ ├── cmmlu_philosophy.yaml │ │ │ ├── cmmlu_professional_accounting.yaml │ │ │ ├── cmmlu_professional_law.yaml │ │ │ ├── cmmlu_professional_medicine.yaml │ │ │ ├── cmmlu_professional_psychology.yaml │ │ │ ├── cmmlu_public_relations.yaml │ │ │ ├── cmmlu_security_study.yaml │ │ │ ├── cmmlu_sociology.yaml │ │ │ ├── cmmlu_sports_science.yaml │ │ │ ├── cmmlu_traditional_chinese_medicine.yaml │ │ │ ├── cmmlu_virology.yaml │ │ │ ├── cmmlu_world_history.yaml │ │ │ └── cmmlu_world_religions.yaml │ │ ├── cnn_dailymail/ │ │ │ ├── README.md │ │ │ ├── cnn_dailymail.yaml │ │ │ └── utils.py │ │ ├── code_x_glue/ │ │ │ └── code-text/ │ │ │ ├── README.md │ │ │ ├── _codexglue.yaml │ │ │ ├── _default_template_yaml │ │ │ ├── bleu.py │ │ │ ├── go.yaml │ │ │ ├── java.yaml │ │ │ ├── javascript.yaml │ │ │ ├── php.yaml │ │ │ ├── python.yaml │ │ │ ├── ruby.yaml │ │ │ └── utils.py │ │ ├── common_voice/ │ │ │ ├── common_voice_en.yaml │ │ │ └── utils.py │ │ ├── commonsense_qa/ │ │ │ ├── README.md │ │ │ └── default.yaml │ │ ├── copal_id/ │ │ │ ├── README.md │ │ │ ├── colloquial.yaml │ │ │ ├── standard.yaml │ │ │ └── utils.py │ │ ├── coqa/ │ │ │ ├── README.md │ │ │ ├── default.yaml │ │ │ └── utils.py │ │ ├── crows_pairs/ │ │ │ ├── README.md │ │ │ ├── crows_pairs_english.yaml │ │ │ ├── crows_pairs_english_age.yaml │ │ │ ├── crows_pairs_english_autre.yaml │ │ │ ├── crows_pairs_english_disability.yaml │ │ │ ├── crows_pairs_english_gender.yaml │ │ │ ├── crows_pairs_english_nationality.yaml │ │ │ ├── crows_pairs_english_physical_appearance.yaml │ │ │ ├── crows_pairs_english_race_color.yaml │ │ │ ├── crows_pairs_english_religion.yaml │ │ │ ├── crows_pairs_english_sexual_orientation.yaml │ │ │ ├── crows_pairs_english_socioeconomic.yaml │ │ │ ├── crows_pairs_french.yaml │ │ │ ├── crows_pairs_french_age.yaml │ │ │ ├── crows_pairs_french_autre.yaml │ │ │ ├── crows_pairs_french_disability.yaml │ │ │ ├── crows_pairs_french_gender.yaml │ │ │ ├── crows_pairs_french_nationality.yaml │ │ │ ├── crows_pairs_french_physical_appearance.yaml │ │ │ ├── crows_pairs_french_race_color.yaml │ │ │ ├── crows_pairs_french_religion.yaml │ │ │ ├── crows_pairs_french_sexual_orientation.yaml │ │ │ ├── crows_pairs_french_socioeconomic.yaml │ │ │ └── utils.py │ │ ├── csatqa/ │ │ │ ├── _csatqa.yaml │ │ │ ├── _default_csatqa_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── csatqa_gr.yaml │ │ │ ├── csatqa_li.yaml │ │ │ ├── csatqa_rch.yaml │ │ │ ├── csatqa_rcs.yaml │ │ │ ├── csatqa_rcss.yaml │ │ │ ├── csatqa_wr.yaml │ │ │ └── utils.py │ │ ├── darija_bench/ │ │ │ ├── README.md │ │ │ ├── darija_sentiment/ │ │ │ │ ├── README.md │ │ │ │ ├── darija_sentiment.yaml │ │ │ │ ├── darija_sentiment_electrom.yaml │ │ │ │ ├── darija_sentiment_mac.yaml │ │ │ │ ├── darija_sentiment_msac.yaml │ │ │ │ ├── darija_sentiment_msda.yaml │ │ │ │ ├── darija_sentiment_myc.yaml │ │ │ │ ├── default_darija_sentiment_template_yaml │ │ │ │ └── utils.py │ │ │ ├── darija_summarization/ │ │ │ │ ├── README.md │ │ │ │ ├── summarization.yaml │ │ │ │ ├── summarization_common_yaml │ │ │ │ ├── summarization_darija.yaml │ │ │ │ └── utils.py │ │ │ ├── darija_translation/ │ │ │ │ ├── README.md │ │ │ │ ├── doda_common_yaml │ │ │ │ ├── doda_translation_all.yaml │ │ │ │ ├── doda_translation_darija.yaml │ │ │ │ ├── doda_translation_dr_en.yaml │ │ │ │ ├── doda_translation_dr_fr.yaml │ │ │ │ ├── doda_translation_dr_msa.yaml │ │ │ │ ├── doda_translation_en_dr.yaml │ │ │ │ ├── doda_translation_fr_dr.yaml │ │ │ │ ├── doda_translation_msa_dr.yaml │ │ │ │ ├── flores_common_yaml │ │ │ │ ├── flores_translation_all.yaml │ │ │ │ ├── flores_translation_darija.yaml │ │ │ │ ├── flores_translation_dr_en.yaml │ │ │ │ ├── flores_translation_dr_fr.yaml │ │ │ │ ├── flores_translation_dr_msa.yaml │ │ │ │ ├── flores_translation_en_dr.yaml │ │ │ │ ├── flores_translation_fr_dr.yaml │ │ │ │ ├── flores_translation_msa_dr.yaml │ │ │ │ ├── madar_common_yaml │ │ │ │ ├── madar_translation_all.yaml │ │ │ │ ├── madar_translation_darija.yaml │ │ │ │ ├── madar_translation_dr_msa.yaml │ │ │ │ ├── madar_translation_msa_dr.yaml │ │ │ │ ├── seed_common_yaml │ │ │ │ ├── seed_translation_all.yaml │ │ │ │ ├── seed_translation_darija.yaml │ │ │ │ ├── seed_translation_dr_en.yaml │ │ │ │ ├── seed_translation_en_dr.yaml │ │ │ │ ├── translation_common_yaml │ │ │ │ ├── translation_darija.yaml │ │ │ │ └── utils.py │ │ │ └── darija_transliteration/ │ │ │ ├── README.md │ │ │ ├── translation_ar_dr.yaml │ │ │ ├── translation_dr_ar.yaml │ │ │ ├── transliteration_all.yaml │ │ │ ├── transliteration_common_yaml │ │ │ ├── transliteration_darija.yaml │ │ │ └── utils.py │ │ ├── darijahellaswag/ │ │ │ ├── README.md │ │ │ ├── darijahellaswag.yaml │ │ │ └── utils.py │ │ ├── darijammlu/ │ │ │ ├── README.md │ │ │ ├── _darijammlu.yaml │ │ │ ├── _darijammlu_ar_mmlu.yaml │ │ │ ├── _darijammlu_mmlu.yaml │ │ │ ├── _default_darijammlu_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── darijammlu_accounting.yaml │ │ │ ├── darijammlu_arabic_language.yaml │ │ │ ├── darijammlu_arabic_language_(general).yaml │ │ │ ├── darijammlu_arabic_language_(grammar).yaml │ │ │ ├── darijammlu_biology.yaml │ │ │ ├── darijammlu_civics.yaml │ │ │ ├── darijammlu_computer_science.yaml │ │ │ ├── darijammlu_driving_test.yaml │ │ │ ├── darijammlu_economics.yaml │ │ │ ├── darijammlu_general_knowledge.yaml │ │ │ ├── darijammlu_geography.yaml │ │ │ ├── darijammlu_global_facts.yaml │ │ │ ├── darijammlu_high_school_european_history.yaml │ │ │ ├── darijammlu_high_school_geography.yaml │ │ │ ├── darijammlu_high_school_government_and_politics.yaml │ │ │ ├── darijammlu_high_school_psychology.yaml │ │ │ ├── darijammlu_high_school_statistics.yaml │ │ │ ├── darijammlu_high_school_world_history.yaml │ │ │ ├── darijammlu_history.yaml │ │ │ ├── darijammlu_human_aging.yaml │ │ │ ├── darijammlu_international_law.yaml │ │ │ ├── darijammlu_islamic_studies.yaml │ │ │ ├── darijammlu_jurisprudence.yaml │ │ │ ├── darijammlu_law.yaml │ │ │ ├── darijammlu_logical_fallacies.yaml │ │ │ ├── darijammlu_management.yaml │ │ │ ├── darijammlu_management_ar.yaml │ │ │ ├── darijammlu_marketing.yaml │ │ │ ├── darijammlu_math.yaml │ │ │ ├── darijammlu_moral_disputes.yaml │ │ │ ├── darijammlu_moral_scenarios.yaml │ │ │ ├── darijammlu_natural_science.yaml │ │ │ ├── darijammlu_nutrition.yaml │ │ │ ├── darijammlu_philosophy.yaml │ │ │ ├── darijammlu_philosophy_ar.yaml │ │ │ ├── darijammlu_physics.yaml │ │ │ ├── darijammlu_political_science.yaml │ │ │ ├── darijammlu_professional_law.yaml │ │ │ ├── darijammlu_professional_psychology.yaml │ │ │ ├── darijammlu_public_relations.yaml │ │ │ ├── darijammlu_security_studies.yaml │ │ │ ├── darijammlu_social_science.yaml │ │ │ ├── darijammlu_sociology.yaml │ │ │ ├── darijammlu_world_religions.yaml │ │ │ └── utils.py │ │ ├── discrim_eval/ │ │ │ ├── README.md │ │ │ ├── discrim_eval_explicit.yaml │ │ │ ├── discrim_eval_implicit.yaml │ │ │ └── utils.py │ │ ├── drop/ │ │ │ ├── README.md │ │ │ ├── default.yaml │ │ │ └── utils.py │ │ ├── e2lmc/ │ │ │ ├── mmlu_early_training/ │ │ │ │ ├── README.md │ │ │ │ ├── custom_metrics.py │ │ │ │ └── mmlu_early_training.yaml │ │ │ ├── noor/ │ │ │ │ ├── README.md │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _noor.yaml │ │ │ │ ├── _noor_stem.yaml │ │ │ │ ├── _noor_template │ │ │ │ ├── noor_abstract_algebra.yaml │ │ │ │ ├── noor_college_computer_science.yaml │ │ │ │ ├── noor_college_mathematics.yaml │ │ │ │ ├── noor_college_physics.yaml │ │ │ │ ├── noor_conceptual_physics.yaml │ │ │ │ ├── noor_electrical_engineering.yaml │ │ │ │ ├── noor_elementary_mathematics.yaml │ │ │ │ ├── noor_high_school_computer_science.yaml │ │ │ │ ├── noor_high_school_mathematics.yaml │ │ │ │ ├── noor_high_school_physics.yaml │ │ │ │ ├── noor_high_school_statistics.yaml │ │ │ │ └── noor_machine_learning.yaml │ │ │ └── sciknoweval_mcqa/ │ │ │ ├── README.md │ │ │ ├── _sciknoweval_mcqa.yaml │ │ │ ├── _var5shots_template_yaml │ │ │ ├── sciknoweval_Biology.yaml │ │ │ ├── sciknoweval_Chemistry.yaml │ │ │ ├── sciknoweval_Material.yaml │ │ │ └── sciknoweval_Physics.yaml │ │ ├── egyhellaswag/ │ │ │ ├── README.md │ │ │ ├── egyhellaswag.yaml │ │ │ └── utils.py │ │ ├── egymmlu/ │ │ │ ├── README.md │ │ │ ├── _default_egymmlu_template_yaml │ │ │ ├── _egymmlu.yaml │ │ │ ├── _egymmlu_ar_mmlu.yaml │ │ │ ├── _egymmlu_mmlu.yaml │ │ │ ├── _generate_configs.py │ │ │ ├── egymmlu_accounting.yaml │ │ │ ├── egymmlu_arabic_language.yaml │ │ │ ├── egymmlu_arabic_language_(general).yaml │ │ │ ├── egymmlu_arabic_language_(grammar).yaml │ │ │ ├── egymmlu_biology.yaml │ │ │ ├── egymmlu_civics.yaml │ │ │ ├── egymmlu_computer_science.yaml │ │ │ ├── egymmlu_driving_test.yaml │ │ │ ├── egymmlu_economics.yaml │ │ │ ├── egymmlu_general_knowledge.yaml │ │ │ ├── egymmlu_geography.yaml │ │ │ ├── egymmlu_global_facts.yaml │ │ │ ├── egymmlu_high_school_european_history.yaml │ │ │ ├── egymmlu_high_school_geography.yaml │ │ │ ├── egymmlu_high_school_government_and_politics.yaml │ │ │ ├── egymmlu_high_school_psychology.yaml │ │ │ ├── egymmlu_high_school_statistics.yaml │ │ │ ├── egymmlu_high_school_world_history.yaml │ │ │ ├── egymmlu_history.yaml │ │ │ ├── egymmlu_human_aging.yaml │ │ │ ├── egymmlu_international_law.yaml │ │ │ ├── egymmlu_islamic_studies.yaml │ │ │ ├── egymmlu_jurisprudence.yaml │ │ │ ├── egymmlu_law.yaml │ │ │ ├── egymmlu_logical_fallacies.yaml │ │ │ ├── egymmlu_management.yaml │ │ │ ├── egymmlu_management_ar.yaml │ │ │ ├── egymmlu_marketing.yaml │ │ │ ├── egymmlu_math.yaml │ │ │ ├── egymmlu_moral_disputes.yaml │ │ │ ├── egymmlu_moral_scenarios.yaml │ │ │ ├── egymmlu_natural_science.yaml │ │ │ ├── egymmlu_nutrition.yaml │ │ │ ├── egymmlu_philosophy.yaml │ │ │ ├── egymmlu_philosophy_ar.yaml │ │ │ ├── egymmlu_physics.yaml │ │ │ ├── egymmlu_political_science.yaml │ │ │ ├── egymmlu_professional_law.yaml │ │ │ ├── egymmlu_professional_psychology.yaml │ │ │ ├── egymmlu_public_relations.yaml │ │ │ ├── egymmlu_security_studies.yaml │ │ │ ├── egymmlu_social_science.yaml │ │ │ ├── egymmlu_sociology.yaml │ │ │ ├── egymmlu_world_religions.yaml │ │ │ └── utils.py │ │ ├── eq_bench/ │ │ │ ├── README.md │ │ │ ├── default.yaml │ │ │ ├── multilingual/ │ │ │ │ ├── eqbench_ca.yaml │ │ │ │ ├── eqbench_es.yaml │ │ │ │ └── utils.py │ │ │ └── utils.py │ │ ├── esbbq/ │ │ │ ├── README.md │ │ │ ├── _esbbq_common_yaml │ │ │ ├── esbbq.yaml │ │ │ ├── esbbq_age.yaml │ │ │ ├── esbbq_disability_status.yaml │ │ │ ├── esbbq_gender.yaml │ │ │ ├── esbbq_lgbtqia.yaml │ │ │ ├── esbbq_nationality.yaml │ │ │ ├── esbbq_physical_appearance.yaml │ │ │ ├── esbbq_race_ethnicity.yaml │ │ │ ├── esbbq_religion.yaml │ │ │ ├── esbbq_ses.yaml │ │ │ ├── esbbq_spanish_region.yaml │ │ │ └── utils.py │ │ ├── eus_exams/ │ │ │ ├── README.md │ │ │ ├── configs.py │ │ │ ├── eus_exams │ │ │ ├── eus_exams_es │ │ │ ├── eus_exams_es_ejadministrativo.yaml │ │ │ ├── eus_exams_es_ejauxiliar.yaml │ │ │ ├── eus_exams_es_ejsubalterno.yaml │ │ │ ├── eus_exams_es_ejtecnico.yaml │ │ │ ├── eus_exams_es_opeayuntamientovitoria.yaml │ │ │ ├── eus_exams_es_opebilbao.yaml │ │ │ ├── eus_exams_es_opeehuadmin.yaml │ │ │ ├── eus_exams_es_opeehuaux.yaml │ │ │ ├── eus_exams_es_opeehubiblio.yaml │ │ │ ├── eus_exams_es_opeehuderecho.yaml │ │ │ ├── eus_exams_es_opeehueconomicas.yaml │ │ │ ├── eus_exams_es_opeehuempresariales.yaml │ │ │ ├── eus_exams_es_opeehusubalterno.yaml │ │ │ ├── eus_exams_es_opeehutecnico.yaml │ │ │ ├── eus_exams_es_opeehutecnicob.yaml │ │ │ ├── eus_exams_es_opeosakiadmin.yaml │ │ │ ├── eus_exams_es_opeosakiaux.yaml │ │ │ ├── eus_exams_es_opeosakiauxenf.yaml │ │ │ ├── eus_exams_es_opeosakicelador.yaml │ │ │ ├── eus_exams_es_opeosakienf.yaml │ │ │ ├── eus_exams_es_opeosakijuridico.yaml │ │ │ ├── eus_exams_es_opeosakioperario.yaml │ │ │ ├── eus_exams_es_opeosakitecnico.yaml │ │ │ ├── eus_exams_es_opeosakivarios.yaml │ │ │ ├── eus_exams_es_osakidetza1c.yaml │ │ │ ├── eus_exams_es_osakidetza2c.yaml │ │ │ ├── eus_exams_es_osakidetza3c.yaml │ │ │ ├── eus_exams_es_osakidetza4c.yaml │ │ │ ├── eus_exams_es_osakidetza5c.yaml │ │ │ ├── eus_exams_es_osakidetza6c.yaml │ │ │ ├── eus_exams_es_osakidetza7c.yaml │ │ │ ├── eus_exams_es_osakidetza8c.yaml │ │ │ ├── eus_exams_es_osakidetza9c.yaml │ │ │ ├── eus_exams_eu │ │ │ ├── eus_exams_eu_ejadministrari.yaml │ │ │ ├── eus_exams_eu_ejlaguntza.yaml │ │ │ ├── eus_exams_eu_ejlaguntzaile.yaml │ │ │ ├── eus_exams_eu_ejteknikari.yaml │ │ │ ├── eus_exams_eu_opebilbaoeu.yaml │ │ │ ├── eus_exams_eu_opeehuadmineu.yaml │ │ │ ├── eus_exams_eu_opeehuauxeu.yaml │ │ │ ├── eus_exams_eu_opeehubiblioeu.yaml │ │ │ ├── eus_exams_eu_opeehuderechoeu.yaml │ │ │ ├── eus_exams_eu_opeehueconomicaseu.yaml │ │ │ ├── eus_exams_eu_opeehuempresarialeseu.yaml │ │ │ ├── eus_exams_eu_opeehusubalternoeu.yaml │ │ │ ├── eus_exams_eu_opeehutecnicoeu.yaml │ │ │ ├── eus_exams_eu_opeehuteknikarib.yaml │ │ │ ├── eus_exams_eu_opegasteizkoudala.yaml │ │ │ ├── eus_exams_eu_opeosakiadmineu.yaml │ │ │ ├── eus_exams_eu_opeosakiauxenfeu.yaml │ │ │ ├── eus_exams_eu_opeosakiauxeu.yaml │ │ │ ├── eus_exams_eu_opeosakiceladoreu.yaml │ │ │ ├── eus_exams_eu_opeosakienfeu.yaml │ │ │ ├── eus_exams_eu_opeosakioperarioeu.yaml │ │ │ ├── eus_exams_eu_opeosakitecnicoeu.yaml │ │ │ ├── eus_exams_eu_opeosakivarioseu.yaml │ │ │ ├── eus_exams_eu_osakidetza1e.yaml │ │ │ ├── eus_exams_eu_osakidetza2e.yaml │ │ │ ├── eus_exams_eu_osakidetza3e.yaml │ │ │ ├── eus_exams_eu_osakidetza5e.yaml │ │ │ ├── eus_exams_eu_osakidetza6e.yaml │ │ │ ├── eus_exams_eu_osakidetza7e.yaml │ │ │ └── utils.py │ │ ├── eus_proficiency/ │ │ │ ├── README.md │ │ │ └── eus_proficiency.yaml │ │ ├── eus_reading/ │ │ │ ├── README.md │ │ │ ├── eus_reading.yaml │ │ │ └── utils.py │ │ ├── eus_trivia/ │ │ │ ├── README.md │ │ │ ├── eus_trivia.yaml │ │ │ └── utils.py │ │ ├── evalita_llm/ │ │ │ ├── README.md │ │ │ ├── _at_template_yaml │ │ │ ├── _evalita-mp.yaml │ │ │ ├── _evalita-mp_at_task_p1.yaml │ │ │ ├── _evalita-mp_at_task_p2.yaml │ │ │ ├── _evalita-mp_at_task_p3.yaml │ │ │ ├── _evalita-mp_at_task_p4.yaml │ │ │ ├── _evalita-mp_at_task_p5.yaml │ │ │ ├── _evalita-mp_at_task_p6.yaml │ │ │ ├── _evalita-mp_at_tasks.yaml │ │ │ ├── _evalita-mp_faq_p1.yaml │ │ │ ├── _evalita-mp_faq_p2.yaml │ │ │ ├── _evalita-mp_faq_p3.yaml │ │ │ ├── _evalita-mp_faq_p4.yaml │ │ │ ├── _evalita-mp_faq_p5.yaml │ │ │ ├── _evalita-mp_faq_p6.yaml │ │ │ ├── _evalita-mp_faq_tasks.yaml │ │ │ ├── _evalita-mp_gen.yaml │ │ │ ├── _evalita-mp_hs_p1.yaml │ │ │ ├── _evalita-mp_hs_p2.yaml │ │ │ ├── _evalita-mp_hs_p3.yaml │ │ │ ├── _evalita-mp_hs_p4.yaml │ │ │ ├── _evalita-mp_hs_p5.yaml │ │ │ ├── _evalita-mp_hs_p6.yaml │ │ │ ├── _evalita-mp_hs_task.yaml │ │ │ ├── _evalita-mp_ls_p1.yaml │ │ │ ├── _evalita-mp_ls_p2.yaml │ │ │ ├── _evalita-mp_ls_task.yaml │ │ │ ├── _evalita-mp_mc.yaml │ │ │ ├── _evalita-mp_ner-adg_group.yaml │ │ │ ├── _evalita-mp_ner-adg_group_p1.yaml │ │ │ ├── _evalita-mp_ner-adg_group_p2.yaml │ │ │ ├── _evalita-mp_ner-fic_group.yaml │ │ │ ├── _evalita-mp_ner-fic_group_p1.yaml │ │ │ ├── _evalita-mp_ner-fic_group_p2.yaml │ │ │ ├── _evalita-mp_ner-wn_group.yaml │ │ │ ├── _evalita-mp_ner-wn_group_p1.yaml │ │ │ ├── _evalita-mp_ner-wn_group_p2.yaml │ │ │ ├── _evalita-mp_ner_adg │ │ │ ├── _evalita-mp_ner_adg_p1.yaml │ │ │ ├── _evalita-mp_ner_adg_p2.yaml │ │ │ ├── _evalita-mp_ner_fic │ │ │ ├── _evalita-mp_ner_fic_p1.yaml │ │ │ ├── _evalita-mp_ner_fic_p2.yaml │ │ │ ├── _evalita-mp_ner_group.yaml │ │ │ ├── _evalita-mp_ner_wn │ │ │ ├── _evalita-mp_ner_wn_p1.yaml │ │ │ ├── _evalita-mp_ner_wn_p2.yaml │ │ │ ├── _evalita-mp_re_p1.yaml │ │ │ ├── _evalita-mp_re_p2.yaml │ │ │ ├── _evalita-mp_re_task.yaml │ │ │ ├── _evalita-mp_sa_p1.yaml │ │ │ ├── _evalita-mp_sa_p2.yaml │ │ │ ├── _evalita-mp_sa_p3.yaml │ │ │ ├── _evalita-mp_sa_p4.yaml │ │ │ ├── _evalita-mp_sa_p5.yaml │ │ │ ├── _evalita-mp_sa_p6.yaml │ │ │ ├── _evalita-mp_sa_tasks.yaml │ │ │ ├── _evalita-mp_sum_fp-small_p1.yaml │ │ │ ├── _evalita-mp_sum_fp-small_p2.yaml │ │ │ ├── _evalita-mp_sum_fp-small_task.yaml │ │ │ ├── _evalita-mp_sum_fp_p1.yaml │ │ │ ├── _evalita-mp_sum_fp_p2.yaml │ │ │ ├── _evalita-mp_sum_fp_task.yaml │ │ │ ├── _evalita-mp_te_p1.yaml │ │ │ ├── _evalita-mp_te_p2.yaml │ │ │ ├── _evalita-mp_te_p3.yaml │ │ │ ├── _evalita-mp_te_p4.yaml │ │ │ ├── _evalita-mp_te_p5.yaml │ │ │ ├── _evalita-mp_te_p6.yaml │ │ │ ├── _evalita-mp_te_tasks.yaml │ │ │ ├── _evalita-mp_wic_p1.yaml │ │ │ ├── _evalita-mp_wic_p2.yaml │ │ │ ├── _evalita-mp_wic_p3.yaml │ │ │ ├── _evalita-mp_wic_p4.yaml │ │ │ ├── _evalita-mp_wic_p5.yaml │ │ │ ├── _evalita-mp_wic_p6.yaml │ │ │ ├── _evalita-mp_wic_tasks.yaml │ │ │ ├── _faq_template_yaml │ │ │ ├── _hs_template_yaml │ │ │ ├── _ls_template_yaml │ │ │ ├── _ner_template_yaml │ │ │ ├── _re_template_yaml │ │ │ ├── _sa_template_v2_yaml │ │ │ ├── _sa_template_yaml │ │ │ ├── _sum_template_fp-small_yaml │ │ │ ├── _sum_template_fp_yaml │ │ │ ├── _sum_template_yaml │ │ │ ├── _te_template_yaml │ │ │ ├── _wic_template_yaml │ │ │ ├── metrics.py │ │ │ ├── sum_utils.py │ │ │ └── utils.py │ │ ├── fda/ │ │ │ ├── README.md │ │ │ ├── fda.yaml │ │ │ └── task.py │ │ ├── fld/ │ │ │ ├── README.md │ │ │ ├── fld_default.yaml │ │ │ ├── fld_logical_formula_default.yaml │ │ │ ├── fld_logical_formula_star.yaml │ │ │ └── fld_star.yaml │ │ ├── french_bench/ │ │ │ ├── README.md │ │ │ ├── _default_template_yaml │ │ │ ├── french_bench_arc_challenge.yaml │ │ │ ├── french_bench_boolqa.yaml │ │ │ ├── french_bench_fquadv2.yaml │ │ │ ├── french_bench_fquadv2_bool.yaml │ │ │ ├── french_bench_fquadv2_genq.yaml │ │ │ ├── french_bench_fquadv2_hasAns.yaml │ │ │ ├── french_bench_grammar.yaml │ │ │ ├── french_bench_hellaswag.yaml │ │ │ ├── french_bench_multifquad.yaml │ │ │ ├── french_bench_opus_perplexity.yaml │ │ │ ├── french_bench_orangesum_abstract.yaml │ │ │ ├── french_bench_orangesum_title.yaml │ │ │ ├── french_bench_reading_comp.yaml │ │ │ ├── french_bench_topic_based_nli.yaml │ │ │ ├── french_bench_trivia.yaml │ │ │ ├── french_bench_vocab.yaml │ │ │ ├── french_bench_wikitext_fr.yaml │ │ │ ├── french_bench_xnli.yaml │ │ │ ├── preprocess_wikitext.py │ │ │ └── utils.py │ │ ├── galician_bench/ │ │ │ ├── README.md │ │ │ ├── belebele_glg_Latn.yaml │ │ │ ├── flores_gl/ │ │ │ │ ├── _flores_common_yaml │ │ │ │ ├── create_yamls_flores_gl.py │ │ │ │ ├── flores_ca-gl.yaml │ │ │ │ ├── flores_de-gl.yaml │ │ │ │ ├── flores_en-gl.yaml │ │ │ │ ├── flores_es-gl.yaml │ │ │ │ ├── flores_eu-gl.yaml │ │ │ │ ├── flores_fr-gl.yaml │ │ │ │ ├── flores_gl-ca.yaml │ │ │ │ ├── flores_gl-de.yaml │ │ │ │ ├── flores_gl-en.yaml │ │ │ │ ├── flores_gl-es.yaml │ │ │ │ ├── flores_gl-eu.yaml │ │ │ │ ├── flores_gl-fr.yaml │ │ │ │ ├── flores_gl-it.yaml │ │ │ │ ├── flores_gl-pt.yaml │ │ │ │ ├── flores_gl.yaml │ │ │ │ ├── flores_it-gl.yaml │ │ │ │ └── flores_pt-gl.yaml │ │ │ ├── galcola.yaml │ │ │ ├── galician_bench.yaml │ │ │ ├── mgsm_direct_gl.yaml │ │ │ ├── openbookqa_gl.yaml │ │ │ ├── parafrases_gl.yaml │ │ │ ├── paws_gl.yaml │ │ │ ├── summarization_gl.yaml │ │ │ ├── truthfulqa_gl_gen.yaml │ │ │ ├── truthfulqa_gl_mc1.yaml │ │ │ ├── truthfulqa_gl_mc2.yaml │ │ │ ├── utils.py │ │ │ ├── xnli_gl.yaml │ │ │ └── xstorycloze_gl.yaml │ │ ├── glianorex/ │ │ │ ├── README.md │ │ │ ├── glianorex.yaml │ │ │ ├── glianorex_en.yaml │ │ │ ├── glianorex_fr.yaml │ │ │ └── preprocess_glianorex.py │ │ ├── global_mmlu/ │ │ │ ├── README.md │ │ │ ├── default/ │ │ │ │ ├── ar/ │ │ │ │ │ ├── _ar_template_yaml │ │ │ │ │ ├── _global_mmlu_ar.yaml │ │ │ │ │ ├── global_mmlu_ar_business.yaml │ │ │ │ │ ├── global_mmlu_ar_humanities.yaml │ │ │ │ │ ├── global_mmlu_ar_medical.yaml │ │ │ │ │ ├── global_mmlu_ar_other.yaml │ │ │ │ │ ├── global_mmlu_ar_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_ar_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── bn/ │ │ │ │ │ ├── _bn_template_yaml │ │ │ │ │ ├── _global_mmlu_bn.yaml │ │ │ │ │ ├── global_mmlu_bn_business.yaml │ │ │ │ │ ├── global_mmlu_bn_humanities.yaml │ │ │ │ │ ├── global_mmlu_bn_medical.yaml │ │ │ │ │ ├── global_mmlu_bn_other.yaml │ │ │ │ │ ├── global_mmlu_bn_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_bn_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── de/ │ │ │ │ │ ├── _de_template_yaml │ │ │ │ │ ├── _global_mmlu_de.yaml │ │ │ │ │ ├── global_mmlu_de_business.yaml │ │ │ │ │ ├── global_mmlu_de_humanities.yaml │ │ │ │ │ ├── global_mmlu_de_medical.yaml │ │ │ │ │ ├── global_mmlu_de_other.yaml │ │ │ │ │ ├── global_mmlu_de_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_de_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── en/ │ │ │ │ │ ├── _en_template_yaml │ │ │ │ │ ├── _global_mmlu_en.yaml │ │ │ │ │ ├── global_mmlu_en_business.yaml │ │ │ │ │ ├── global_mmlu_en_humanities.yaml │ │ │ │ │ ├── global_mmlu_en_medical.yaml │ │ │ │ │ ├── global_mmlu_en_other.yaml │ │ │ │ │ ├── global_mmlu_en_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_en_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── es/ │ │ │ │ │ ├── _es_template_yaml │ │ │ │ │ ├── _global_mmlu_es.yaml │ │ │ │ │ ├── global_mmlu_es_business.yaml │ │ │ │ │ ├── global_mmlu_es_humanities.yaml │ │ │ │ │ ├── global_mmlu_es_medical.yaml │ │ │ │ │ ├── global_mmlu_es_other.yaml │ │ │ │ │ ├── global_mmlu_es_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_es_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── fr/ │ │ │ │ │ ├── _fr_template_yaml │ │ │ │ │ ├── _global_mmlu_fr.yaml │ │ │ │ │ ├── global_mmlu_fr_business.yaml │ │ │ │ │ ├── global_mmlu_fr_humanities.yaml │ │ │ │ │ ├── global_mmlu_fr_medical.yaml │ │ │ │ │ ├── global_mmlu_fr_other.yaml │ │ │ │ │ ├── global_mmlu_fr_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_fr_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── hi/ │ │ │ │ │ ├── _global_mmlu_hi.yaml │ │ │ │ │ ├── _hi_template_yaml │ │ │ │ │ ├── global_mmlu_hi_business.yaml │ │ │ │ │ ├── global_mmlu_hi_humanities.yaml │ │ │ │ │ ├── global_mmlu_hi_medical.yaml │ │ │ │ │ ├── global_mmlu_hi_other.yaml │ │ │ │ │ ├── global_mmlu_hi_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_hi_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── id/ │ │ │ │ │ ├── _global_mmlu_id.yaml │ │ │ │ │ ├── _id_template_yaml │ │ │ │ │ ├── global_mmlu_id_business.yaml │ │ │ │ │ ├── global_mmlu_id_humanities.yaml │ │ │ │ │ ├── global_mmlu_id_medical.yaml │ │ │ │ │ ├── global_mmlu_id_other.yaml │ │ │ │ │ ├── global_mmlu_id_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_id_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── it/ │ │ │ │ │ ├── _global_mmlu_it.yaml │ │ │ │ │ ├── _it_template_yaml │ │ │ │ │ ├── global_mmlu_it_business.yaml │ │ │ │ │ ├── global_mmlu_it_humanities.yaml │ │ │ │ │ ├── global_mmlu_it_medical.yaml │ │ │ │ │ ├── global_mmlu_it_other.yaml │ │ │ │ │ ├── global_mmlu_it_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_it_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── ja/ │ │ │ │ │ ├── _global_mmlu_ja.yaml │ │ │ │ │ ├── _ja_template_yaml │ │ │ │ │ ├── global_mmlu_ja_business.yaml │ │ │ │ │ ├── global_mmlu_ja_humanities.yaml │ │ │ │ │ ├── global_mmlu_ja_medical.yaml │ │ │ │ │ ├── global_mmlu_ja_other.yaml │ │ │ │ │ ├── global_mmlu_ja_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_ja_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── ko/ │ │ │ │ │ ├── _global_mmlu_ko.yaml │ │ │ │ │ ├── _ko_template_yaml │ │ │ │ │ ├── global_mmlu_ko_business.yaml │ │ │ │ │ ├── global_mmlu_ko_humanities.yaml │ │ │ │ │ ├── global_mmlu_ko_medical.yaml │ │ │ │ │ ├── global_mmlu_ko_other.yaml │ │ │ │ │ ├── global_mmlu_ko_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_ko_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── pt/ │ │ │ │ │ ├── _global_mmlu_pt.yaml │ │ │ │ │ ├── _pt_template_yaml │ │ │ │ │ ├── global_mmlu_pt_business.yaml │ │ │ │ │ ├── global_mmlu_pt_humanities.yaml │ │ │ │ │ ├── global_mmlu_pt_medical.yaml │ │ │ │ │ ├── global_mmlu_pt_other.yaml │ │ │ │ │ ├── global_mmlu_pt_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_pt_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── sw/ │ │ │ │ │ ├── _global_mmlu_sw.yaml │ │ │ │ │ ├── _sw_template_yaml │ │ │ │ │ ├── global_mmlu_sw_business.yaml │ │ │ │ │ ├── global_mmlu_sw_humanities.yaml │ │ │ │ │ ├── global_mmlu_sw_medical.yaml │ │ │ │ │ ├── global_mmlu_sw_other.yaml │ │ │ │ │ ├── global_mmlu_sw_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_sw_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── yo/ │ │ │ │ │ ├── _global_mmlu_yo.yaml │ │ │ │ │ ├── _yo_template_yaml │ │ │ │ │ ├── global_mmlu_yo_business.yaml │ │ │ │ │ ├── global_mmlu_yo_humanities.yaml │ │ │ │ │ ├── global_mmlu_yo_medical.yaml │ │ │ │ │ ├── global_mmlu_yo_other.yaml │ │ │ │ │ ├── global_mmlu_yo_social_sciences.yaml │ │ │ │ │ ├── global_mmlu_yo_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── zh/ │ │ │ │ ├── _global_mmlu_zh.yaml │ │ │ │ ├── _zh_template_yaml │ │ │ │ ├── global_mmlu_zh_business.yaml │ │ │ │ ├── global_mmlu_zh_humanities.yaml │ │ │ │ ├── global_mmlu_zh_medical.yaml │ │ │ │ ├── global_mmlu_zh_other.yaml │ │ │ │ ├── global_mmlu_zh_social_sciences.yaml │ │ │ │ ├── global_mmlu_zh_stem.yaml │ │ │ │ └── utils.py │ │ │ └── full/ │ │ │ ├── am/ │ │ │ │ ├── _am_template_yaml │ │ │ │ ├── _global_mmlu_full_am.yaml │ │ │ │ ├── _global_mmlu_full_am_humanities.yaml │ │ │ │ ├── _global_mmlu_full_am_other.yaml │ │ │ │ ├── _global_mmlu_full_am_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_am_stem.yaml │ │ │ │ ├── global_mmlu_full_am_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_am_anatomy.yaml │ │ │ │ ├── global_mmlu_full_am_astronomy.yaml │ │ │ │ ├── global_mmlu_full_am_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_am_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_am_college_biology.yaml │ │ │ │ ├── global_mmlu_full_am_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_am_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_am_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_am_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_am_college_physics.yaml │ │ │ │ ├── global_mmlu_full_am_computer_security.yaml │ │ │ │ ├── global_mmlu_full_am_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_am_econometrics.yaml │ │ │ │ ├── global_mmlu_full_am_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_am_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_am_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_am_global_facts.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_am_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_am_human_aging.yaml │ │ │ │ ├── global_mmlu_full_am_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_am_international_law.yaml │ │ │ │ ├── global_mmlu_full_am_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_am_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_am_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_am_management.yaml │ │ │ │ ├── global_mmlu_full_am_marketing.yaml │ │ │ │ ├── global_mmlu_full_am_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_am_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_am_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_am_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_am_nutrition.yaml │ │ │ │ ├── global_mmlu_full_am_philosophy.yaml │ │ │ │ ├── global_mmlu_full_am_prehistory.yaml │ │ │ │ ├── global_mmlu_full_am_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_am_professional_law.yaml │ │ │ │ ├── global_mmlu_full_am_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_am_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_am_public_relations.yaml │ │ │ │ ├── global_mmlu_full_am_security_studies.yaml │ │ │ │ ├── global_mmlu_full_am_sociology.yaml │ │ │ │ ├── global_mmlu_full_am_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_am_virology.yaml │ │ │ │ ├── global_mmlu_full_am_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ar/ │ │ │ │ ├── _ar_template_yaml │ │ │ │ ├── _global_mmlu_full_ar.yaml │ │ │ │ ├── _global_mmlu_full_ar_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ar_other.yaml │ │ │ │ ├── _global_mmlu_full_ar_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ar_stem.yaml │ │ │ │ ├── global_mmlu_full_ar_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ar_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ar_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ar_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ar_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ar_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ar_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ar_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ar_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ar_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ar_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ar_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ar_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ar_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ar_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ar_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ar_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ar_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ar_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ar_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ar_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ar_international_law.yaml │ │ │ │ ├── global_mmlu_full_ar_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ar_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ar_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ar_management.yaml │ │ │ │ ├── global_mmlu_full_ar_marketing.yaml │ │ │ │ ├── global_mmlu_full_ar_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ar_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ar_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ar_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ar_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ar_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ar_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ar_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ar_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ar_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ar_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ar_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ar_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ar_sociology.yaml │ │ │ │ ├── global_mmlu_full_ar_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ar_virology.yaml │ │ │ │ ├── global_mmlu_full_ar_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── bn/ │ │ │ │ ├── _bn_template_yaml │ │ │ │ ├── _global_mmlu_full_bn.yaml │ │ │ │ ├── _global_mmlu_full_bn_humanities.yaml │ │ │ │ ├── _global_mmlu_full_bn_other.yaml │ │ │ │ ├── _global_mmlu_full_bn_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_bn_stem.yaml │ │ │ │ ├── global_mmlu_full_bn_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_bn_anatomy.yaml │ │ │ │ ├── global_mmlu_full_bn_astronomy.yaml │ │ │ │ ├── global_mmlu_full_bn_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_bn_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_bn_college_biology.yaml │ │ │ │ ├── global_mmlu_full_bn_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_bn_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_bn_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_bn_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_bn_college_physics.yaml │ │ │ │ ├── global_mmlu_full_bn_computer_security.yaml │ │ │ │ ├── global_mmlu_full_bn_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_bn_econometrics.yaml │ │ │ │ ├── global_mmlu_full_bn_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_bn_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_bn_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_bn_global_facts.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_bn_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_bn_human_aging.yaml │ │ │ │ ├── global_mmlu_full_bn_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_bn_international_law.yaml │ │ │ │ ├── global_mmlu_full_bn_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_bn_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_bn_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_bn_management.yaml │ │ │ │ ├── global_mmlu_full_bn_marketing.yaml │ │ │ │ ├── global_mmlu_full_bn_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_bn_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_bn_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_bn_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_bn_nutrition.yaml │ │ │ │ ├── global_mmlu_full_bn_philosophy.yaml │ │ │ │ ├── global_mmlu_full_bn_prehistory.yaml │ │ │ │ ├── global_mmlu_full_bn_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_bn_professional_law.yaml │ │ │ │ ├── global_mmlu_full_bn_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_bn_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_bn_public_relations.yaml │ │ │ │ ├── global_mmlu_full_bn_security_studies.yaml │ │ │ │ ├── global_mmlu_full_bn_sociology.yaml │ │ │ │ ├── global_mmlu_full_bn_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_bn_virology.yaml │ │ │ │ ├── global_mmlu_full_bn_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── cs/ │ │ │ │ ├── _cs_template_yaml │ │ │ │ ├── _global_mmlu_full_cs.yaml │ │ │ │ ├── _global_mmlu_full_cs_humanities.yaml │ │ │ │ ├── _global_mmlu_full_cs_other.yaml │ │ │ │ ├── _global_mmlu_full_cs_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_cs_stem.yaml │ │ │ │ ├── global_mmlu_full_cs_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_cs_anatomy.yaml │ │ │ │ ├── global_mmlu_full_cs_astronomy.yaml │ │ │ │ ├── global_mmlu_full_cs_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_cs_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_cs_college_biology.yaml │ │ │ │ ├── global_mmlu_full_cs_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_cs_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_cs_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_cs_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_cs_college_physics.yaml │ │ │ │ ├── global_mmlu_full_cs_computer_security.yaml │ │ │ │ ├── global_mmlu_full_cs_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_cs_econometrics.yaml │ │ │ │ ├── global_mmlu_full_cs_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_cs_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_cs_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_cs_global_facts.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_cs_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_cs_human_aging.yaml │ │ │ │ ├── global_mmlu_full_cs_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_cs_international_law.yaml │ │ │ │ ├── global_mmlu_full_cs_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_cs_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_cs_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_cs_management.yaml │ │ │ │ ├── global_mmlu_full_cs_marketing.yaml │ │ │ │ ├── global_mmlu_full_cs_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_cs_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_cs_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_cs_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_cs_nutrition.yaml │ │ │ │ ├── global_mmlu_full_cs_philosophy.yaml │ │ │ │ ├── global_mmlu_full_cs_prehistory.yaml │ │ │ │ ├── global_mmlu_full_cs_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_cs_professional_law.yaml │ │ │ │ ├── global_mmlu_full_cs_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_cs_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_cs_public_relations.yaml │ │ │ │ ├── global_mmlu_full_cs_security_studies.yaml │ │ │ │ ├── global_mmlu_full_cs_sociology.yaml │ │ │ │ ├── global_mmlu_full_cs_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_cs_virology.yaml │ │ │ │ ├── global_mmlu_full_cs_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── de/ │ │ │ │ ├── _de_template_yaml │ │ │ │ ├── _global_mmlu_full_de.yaml │ │ │ │ ├── _global_mmlu_full_de_humanities.yaml │ │ │ │ ├── _global_mmlu_full_de_other.yaml │ │ │ │ ├── _global_mmlu_full_de_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_de_stem.yaml │ │ │ │ ├── global_mmlu_full_de_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_de_anatomy.yaml │ │ │ │ ├── global_mmlu_full_de_astronomy.yaml │ │ │ │ ├── global_mmlu_full_de_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_de_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_de_college_biology.yaml │ │ │ │ ├── global_mmlu_full_de_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_de_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_de_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_de_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_de_college_physics.yaml │ │ │ │ ├── global_mmlu_full_de_computer_security.yaml │ │ │ │ ├── global_mmlu_full_de_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_de_econometrics.yaml │ │ │ │ ├── global_mmlu_full_de_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_de_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_de_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_de_global_facts.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_de_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_de_human_aging.yaml │ │ │ │ ├── global_mmlu_full_de_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_de_international_law.yaml │ │ │ │ ├── global_mmlu_full_de_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_de_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_de_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_de_management.yaml │ │ │ │ ├── global_mmlu_full_de_marketing.yaml │ │ │ │ ├── global_mmlu_full_de_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_de_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_de_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_de_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_de_nutrition.yaml │ │ │ │ ├── global_mmlu_full_de_philosophy.yaml │ │ │ │ ├── global_mmlu_full_de_prehistory.yaml │ │ │ │ ├── global_mmlu_full_de_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_de_professional_law.yaml │ │ │ │ ├── global_mmlu_full_de_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_de_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_de_public_relations.yaml │ │ │ │ ├── global_mmlu_full_de_security_studies.yaml │ │ │ │ ├── global_mmlu_full_de_sociology.yaml │ │ │ │ ├── global_mmlu_full_de_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_de_virology.yaml │ │ │ │ ├── global_mmlu_full_de_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── el/ │ │ │ │ ├── _el_template_yaml │ │ │ │ ├── _global_mmlu_full_el.yaml │ │ │ │ ├── _global_mmlu_full_el_humanities.yaml │ │ │ │ ├── _global_mmlu_full_el_other.yaml │ │ │ │ ├── _global_mmlu_full_el_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_el_stem.yaml │ │ │ │ ├── global_mmlu_full_el_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_el_anatomy.yaml │ │ │ │ ├── global_mmlu_full_el_astronomy.yaml │ │ │ │ ├── global_mmlu_full_el_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_el_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_el_college_biology.yaml │ │ │ │ ├── global_mmlu_full_el_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_el_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_el_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_el_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_el_college_physics.yaml │ │ │ │ ├── global_mmlu_full_el_computer_security.yaml │ │ │ │ ├── global_mmlu_full_el_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_el_econometrics.yaml │ │ │ │ ├── global_mmlu_full_el_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_el_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_el_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_el_global_facts.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_el_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_el_human_aging.yaml │ │ │ │ ├── global_mmlu_full_el_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_el_international_law.yaml │ │ │ │ ├── global_mmlu_full_el_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_el_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_el_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_el_management.yaml │ │ │ │ ├── global_mmlu_full_el_marketing.yaml │ │ │ │ ├── global_mmlu_full_el_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_el_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_el_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_el_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_el_nutrition.yaml │ │ │ │ ├── global_mmlu_full_el_philosophy.yaml │ │ │ │ ├── global_mmlu_full_el_prehistory.yaml │ │ │ │ ├── global_mmlu_full_el_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_el_professional_law.yaml │ │ │ │ ├── global_mmlu_full_el_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_el_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_el_public_relations.yaml │ │ │ │ ├── global_mmlu_full_el_security_studies.yaml │ │ │ │ ├── global_mmlu_full_el_sociology.yaml │ │ │ │ ├── global_mmlu_full_el_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_el_virology.yaml │ │ │ │ ├── global_mmlu_full_el_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── en/ │ │ │ │ ├── _en_template_yaml │ │ │ │ ├── _global_mmlu_full_en.yaml │ │ │ │ ├── _global_mmlu_full_en_humanities.yaml │ │ │ │ ├── _global_mmlu_full_en_other.yaml │ │ │ │ ├── _global_mmlu_full_en_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_en_stem.yaml │ │ │ │ ├── global_mmlu_full_en_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_en_anatomy.yaml │ │ │ │ ├── global_mmlu_full_en_astronomy.yaml │ │ │ │ ├── global_mmlu_full_en_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_en_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_en_college_biology.yaml │ │ │ │ ├── global_mmlu_full_en_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_en_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_en_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_en_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_en_college_physics.yaml │ │ │ │ ├── global_mmlu_full_en_computer_security.yaml │ │ │ │ ├── global_mmlu_full_en_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_en_econometrics.yaml │ │ │ │ ├── global_mmlu_full_en_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_en_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_en_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_en_global_facts.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_en_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_en_human_aging.yaml │ │ │ │ ├── global_mmlu_full_en_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_en_international_law.yaml │ │ │ │ ├── global_mmlu_full_en_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_en_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_en_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_en_management.yaml │ │ │ │ ├── global_mmlu_full_en_marketing.yaml │ │ │ │ ├── global_mmlu_full_en_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_en_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_en_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_en_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_en_nutrition.yaml │ │ │ │ ├── global_mmlu_full_en_philosophy.yaml │ │ │ │ ├── global_mmlu_full_en_prehistory.yaml │ │ │ │ ├── global_mmlu_full_en_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_en_professional_law.yaml │ │ │ │ ├── global_mmlu_full_en_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_en_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_en_public_relations.yaml │ │ │ │ ├── global_mmlu_full_en_security_studies.yaml │ │ │ │ ├── global_mmlu_full_en_sociology.yaml │ │ │ │ ├── global_mmlu_full_en_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_en_virology.yaml │ │ │ │ ├── global_mmlu_full_en_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── es/ │ │ │ │ ├── _es_template_yaml │ │ │ │ ├── _global_mmlu_full_es.yaml │ │ │ │ ├── _global_mmlu_full_es_humanities.yaml │ │ │ │ ├── _global_mmlu_full_es_other.yaml │ │ │ │ ├── _global_mmlu_full_es_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_es_stem.yaml │ │ │ │ ├── global_mmlu_full_es_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_es_anatomy.yaml │ │ │ │ ├── global_mmlu_full_es_astronomy.yaml │ │ │ │ ├── global_mmlu_full_es_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_es_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_es_college_biology.yaml │ │ │ │ ├── global_mmlu_full_es_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_es_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_es_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_es_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_es_college_physics.yaml │ │ │ │ ├── global_mmlu_full_es_computer_security.yaml │ │ │ │ ├── global_mmlu_full_es_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_es_econometrics.yaml │ │ │ │ ├── global_mmlu_full_es_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_es_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_es_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_es_global_facts.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_es_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_es_human_aging.yaml │ │ │ │ ├── global_mmlu_full_es_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_es_international_law.yaml │ │ │ │ ├── global_mmlu_full_es_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_es_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_es_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_es_management.yaml │ │ │ │ ├── global_mmlu_full_es_marketing.yaml │ │ │ │ ├── global_mmlu_full_es_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_es_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_es_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_es_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_es_nutrition.yaml │ │ │ │ ├── global_mmlu_full_es_philosophy.yaml │ │ │ │ ├── global_mmlu_full_es_prehistory.yaml │ │ │ │ ├── global_mmlu_full_es_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_es_professional_law.yaml │ │ │ │ ├── global_mmlu_full_es_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_es_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_es_public_relations.yaml │ │ │ │ ├── global_mmlu_full_es_security_studies.yaml │ │ │ │ ├── global_mmlu_full_es_sociology.yaml │ │ │ │ ├── global_mmlu_full_es_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_es_virology.yaml │ │ │ │ ├── global_mmlu_full_es_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── fa/ │ │ │ │ ├── _fa_template_yaml │ │ │ │ ├── _global_mmlu_full_fa.yaml │ │ │ │ ├── _global_mmlu_full_fa_humanities.yaml │ │ │ │ ├── _global_mmlu_full_fa_other.yaml │ │ │ │ ├── _global_mmlu_full_fa_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_fa_stem.yaml │ │ │ │ ├── global_mmlu_full_fa_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_fa_anatomy.yaml │ │ │ │ ├── global_mmlu_full_fa_astronomy.yaml │ │ │ │ ├── global_mmlu_full_fa_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_fa_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_fa_college_biology.yaml │ │ │ │ ├── global_mmlu_full_fa_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_fa_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_fa_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fa_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_fa_college_physics.yaml │ │ │ │ ├── global_mmlu_full_fa_computer_security.yaml │ │ │ │ ├── global_mmlu_full_fa_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_fa_econometrics.yaml │ │ │ │ ├── global_mmlu_full_fa_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_fa_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fa_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_fa_global_facts.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_fa_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_fa_human_aging.yaml │ │ │ │ ├── global_mmlu_full_fa_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_fa_international_law.yaml │ │ │ │ ├── global_mmlu_full_fa_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_fa_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_fa_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_fa_management.yaml │ │ │ │ ├── global_mmlu_full_fa_marketing.yaml │ │ │ │ ├── global_mmlu_full_fa_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_fa_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_fa_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_fa_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_fa_nutrition.yaml │ │ │ │ ├── global_mmlu_full_fa_philosophy.yaml │ │ │ │ ├── global_mmlu_full_fa_prehistory.yaml │ │ │ │ ├── global_mmlu_full_fa_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_fa_professional_law.yaml │ │ │ │ ├── global_mmlu_full_fa_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_fa_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_fa_public_relations.yaml │ │ │ │ ├── global_mmlu_full_fa_security_studies.yaml │ │ │ │ ├── global_mmlu_full_fa_sociology.yaml │ │ │ │ ├── global_mmlu_full_fa_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_fa_virology.yaml │ │ │ │ ├── global_mmlu_full_fa_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── fil/ │ │ │ │ ├── _fil_template_yaml │ │ │ │ ├── _global_mmlu_full_fil.yaml │ │ │ │ ├── _global_mmlu_full_fil_humanities.yaml │ │ │ │ ├── _global_mmlu_full_fil_other.yaml │ │ │ │ ├── _global_mmlu_full_fil_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_fil_stem.yaml │ │ │ │ ├── global_mmlu_full_fil_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_fil_anatomy.yaml │ │ │ │ ├── global_mmlu_full_fil_astronomy.yaml │ │ │ │ ├── global_mmlu_full_fil_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_fil_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_fil_college_biology.yaml │ │ │ │ ├── global_mmlu_full_fil_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_fil_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_fil_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fil_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_fil_college_physics.yaml │ │ │ │ ├── global_mmlu_full_fil_computer_security.yaml │ │ │ │ ├── global_mmlu_full_fil_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_fil_econometrics.yaml │ │ │ │ ├── global_mmlu_full_fil_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_fil_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fil_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_fil_global_facts.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_fil_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_fil_human_aging.yaml │ │ │ │ ├── global_mmlu_full_fil_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_fil_international_law.yaml │ │ │ │ ├── global_mmlu_full_fil_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_fil_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_fil_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_fil_management.yaml │ │ │ │ ├── global_mmlu_full_fil_marketing.yaml │ │ │ │ ├── global_mmlu_full_fil_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_fil_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_fil_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_fil_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_fil_nutrition.yaml │ │ │ │ ├── global_mmlu_full_fil_philosophy.yaml │ │ │ │ ├── global_mmlu_full_fil_prehistory.yaml │ │ │ │ ├── global_mmlu_full_fil_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_fil_professional_law.yaml │ │ │ │ ├── global_mmlu_full_fil_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_fil_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_fil_public_relations.yaml │ │ │ │ ├── global_mmlu_full_fil_security_studies.yaml │ │ │ │ ├── global_mmlu_full_fil_sociology.yaml │ │ │ │ ├── global_mmlu_full_fil_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_fil_virology.yaml │ │ │ │ ├── global_mmlu_full_fil_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── fr/ │ │ │ │ ├── _fr_template_yaml │ │ │ │ ├── _global_mmlu_full_fr.yaml │ │ │ │ ├── _global_mmlu_full_fr_humanities.yaml │ │ │ │ ├── _global_mmlu_full_fr_other.yaml │ │ │ │ ├── _global_mmlu_full_fr_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_fr_stem.yaml │ │ │ │ ├── global_mmlu_full_fr_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_fr_anatomy.yaml │ │ │ │ ├── global_mmlu_full_fr_astronomy.yaml │ │ │ │ ├── global_mmlu_full_fr_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_fr_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_fr_college_biology.yaml │ │ │ │ ├── global_mmlu_full_fr_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_fr_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_fr_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fr_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_fr_college_physics.yaml │ │ │ │ ├── global_mmlu_full_fr_computer_security.yaml │ │ │ │ ├── global_mmlu_full_fr_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_fr_econometrics.yaml │ │ │ │ ├── global_mmlu_full_fr_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_fr_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fr_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_fr_global_facts.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_fr_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_fr_human_aging.yaml │ │ │ │ ├── global_mmlu_full_fr_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_fr_international_law.yaml │ │ │ │ ├── global_mmlu_full_fr_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_fr_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_fr_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_fr_management.yaml │ │ │ │ ├── global_mmlu_full_fr_marketing.yaml │ │ │ │ ├── global_mmlu_full_fr_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_fr_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_fr_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_fr_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_fr_nutrition.yaml │ │ │ │ ├── global_mmlu_full_fr_philosophy.yaml │ │ │ │ ├── global_mmlu_full_fr_prehistory.yaml │ │ │ │ ├── global_mmlu_full_fr_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_fr_professional_law.yaml │ │ │ │ ├── global_mmlu_full_fr_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_fr_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_fr_public_relations.yaml │ │ │ │ ├── global_mmlu_full_fr_security_studies.yaml │ │ │ │ ├── global_mmlu_full_fr_sociology.yaml │ │ │ │ ├── global_mmlu_full_fr_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_fr_virology.yaml │ │ │ │ ├── global_mmlu_full_fr_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ha/ │ │ │ │ ├── _global_mmlu_full_ha.yaml │ │ │ │ ├── _global_mmlu_full_ha_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ha_other.yaml │ │ │ │ ├── _global_mmlu_full_ha_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ha_stem.yaml │ │ │ │ ├── _ha_template_yaml │ │ │ │ ├── global_mmlu_full_ha_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ha_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ha_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ha_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ha_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ha_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ha_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ha_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ha_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ha_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ha_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ha_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ha_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ha_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ha_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ha_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ha_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ha_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ha_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ha_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ha_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ha_international_law.yaml │ │ │ │ ├── global_mmlu_full_ha_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ha_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ha_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ha_management.yaml │ │ │ │ ├── global_mmlu_full_ha_marketing.yaml │ │ │ │ ├── global_mmlu_full_ha_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ha_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ha_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ha_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ha_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ha_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ha_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ha_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ha_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ha_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ha_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ha_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ha_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ha_sociology.yaml │ │ │ │ ├── global_mmlu_full_ha_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ha_virology.yaml │ │ │ │ ├── global_mmlu_full_ha_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── he/ │ │ │ │ ├── _global_mmlu_full_he.yaml │ │ │ │ ├── _global_mmlu_full_he_humanities.yaml │ │ │ │ ├── _global_mmlu_full_he_other.yaml │ │ │ │ ├── _global_mmlu_full_he_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_he_stem.yaml │ │ │ │ ├── _he_template_yaml │ │ │ │ ├── global_mmlu_full_he_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_he_anatomy.yaml │ │ │ │ ├── global_mmlu_full_he_astronomy.yaml │ │ │ │ ├── global_mmlu_full_he_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_he_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_he_college_biology.yaml │ │ │ │ ├── global_mmlu_full_he_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_he_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_he_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_he_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_he_college_physics.yaml │ │ │ │ ├── global_mmlu_full_he_computer_security.yaml │ │ │ │ ├── global_mmlu_full_he_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_he_econometrics.yaml │ │ │ │ ├── global_mmlu_full_he_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_he_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_he_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_he_global_facts.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_he_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_he_human_aging.yaml │ │ │ │ ├── global_mmlu_full_he_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_he_international_law.yaml │ │ │ │ ├── global_mmlu_full_he_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_he_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_he_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_he_management.yaml │ │ │ │ ├── global_mmlu_full_he_marketing.yaml │ │ │ │ ├── global_mmlu_full_he_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_he_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_he_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_he_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_he_nutrition.yaml │ │ │ │ ├── global_mmlu_full_he_philosophy.yaml │ │ │ │ ├── global_mmlu_full_he_prehistory.yaml │ │ │ │ ├── global_mmlu_full_he_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_he_professional_law.yaml │ │ │ │ ├── global_mmlu_full_he_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_he_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_he_public_relations.yaml │ │ │ │ ├── global_mmlu_full_he_security_studies.yaml │ │ │ │ ├── global_mmlu_full_he_sociology.yaml │ │ │ │ ├── global_mmlu_full_he_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_he_virology.yaml │ │ │ │ ├── global_mmlu_full_he_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── hi/ │ │ │ │ ├── _global_mmlu_full_hi.yaml │ │ │ │ ├── _global_mmlu_full_hi_humanities.yaml │ │ │ │ ├── _global_mmlu_full_hi_other.yaml │ │ │ │ ├── _global_mmlu_full_hi_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_hi_stem.yaml │ │ │ │ ├── _hi_template_yaml │ │ │ │ ├── global_mmlu_full_hi_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_hi_anatomy.yaml │ │ │ │ ├── global_mmlu_full_hi_astronomy.yaml │ │ │ │ ├── global_mmlu_full_hi_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_hi_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_hi_college_biology.yaml │ │ │ │ ├── global_mmlu_full_hi_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_hi_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_hi_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_hi_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_hi_college_physics.yaml │ │ │ │ ├── global_mmlu_full_hi_computer_security.yaml │ │ │ │ ├── global_mmlu_full_hi_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_hi_econometrics.yaml │ │ │ │ ├── global_mmlu_full_hi_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_hi_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_hi_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_hi_global_facts.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_hi_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_hi_human_aging.yaml │ │ │ │ ├── global_mmlu_full_hi_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_hi_international_law.yaml │ │ │ │ ├── global_mmlu_full_hi_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_hi_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_hi_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_hi_management.yaml │ │ │ │ ├── global_mmlu_full_hi_marketing.yaml │ │ │ │ ├── global_mmlu_full_hi_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_hi_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_hi_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_hi_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_hi_nutrition.yaml │ │ │ │ ├── global_mmlu_full_hi_philosophy.yaml │ │ │ │ ├── global_mmlu_full_hi_prehistory.yaml │ │ │ │ ├── global_mmlu_full_hi_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_hi_professional_law.yaml │ │ │ │ ├── global_mmlu_full_hi_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_hi_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_hi_public_relations.yaml │ │ │ │ ├── global_mmlu_full_hi_security_studies.yaml │ │ │ │ ├── global_mmlu_full_hi_sociology.yaml │ │ │ │ ├── global_mmlu_full_hi_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_hi_virology.yaml │ │ │ │ ├── global_mmlu_full_hi_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── id/ │ │ │ │ ├── _global_mmlu_full_id.yaml │ │ │ │ ├── _global_mmlu_full_id_humanities.yaml │ │ │ │ ├── _global_mmlu_full_id_other.yaml │ │ │ │ ├── _global_mmlu_full_id_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_id_stem.yaml │ │ │ │ ├── _id_template_yaml │ │ │ │ ├── global_mmlu_full_id_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_id_anatomy.yaml │ │ │ │ ├── global_mmlu_full_id_astronomy.yaml │ │ │ │ ├── global_mmlu_full_id_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_id_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_id_college_biology.yaml │ │ │ │ ├── global_mmlu_full_id_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_id_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_id_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_id_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_id_college_physics.yaml │ │ │ │ ├── global_mmlu_full_id_computer_security.yaml │ │ │ │ ├── global_mmlu_full_id_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_id_econometrics.yaml │ │ │ │ ├── global_mmlu_full_id_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_id_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_id_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_id_global_facts.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_id_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_id_human_aging.yaml │ │ │ │ ├── global_mmlu_full_id_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_id_international_law.yaml │ │ │ │ ├── global_mmlu_full_id_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_id_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_id_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_id_management.yaml │ │ │ │ ├── global_mmlu_full_id_marketing.yaml │ │ │ │ ├── global_mmlu_full_id_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_id_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_id_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_id_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_id_nutrition.yaml │ │ │ │ ├── global_mmlu_full_id_philosophy.yaml │ │ │ │ ├── global_mmlu_full_id_prehistory.yaml │ │ │ │ ├── global_mmlu_full_id_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_id_professional_law.yaml │ │ │ │ ├── global_mmlu_full_id_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_id_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_id_public_relations.yaml │ │ │ │ ├── global_mmlu_full_id_security_studies.yaml │ │ │ │ ├── global_mmlu_full_id_sociology.yaml │ │ │ │ ├── global_mmlu_full_id_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_id_virology.yaml │ │ │ │ ├── global_mmlu_full_id_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ig/ │ │ │ │ ├── _global_mmlu_full_ig.yaml │ │ │ │ ├── _global_mmlu_full_ig_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ig_other.yaml │ │ │ │ ├── _global_mmlu_full_ig_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ig_stem.yaml │ │ │ │ ├── _ig_template_yaml │ │ │ │ ├── global_mmlu_full_ig_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ig_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ig_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ig_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ig_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ig_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ig_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ig_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ig_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ig_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ig_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ig_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ig_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ig_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ig_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ig_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ig_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ig_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ig_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ig_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ig_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ig_international_law.yaml │ │ │ │ ├── global_mmlu_full_ig_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ig_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ig_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ig_management.yaml │ │ │ │ ├── global_mmlu_full_ig_marketing.yaml │ │ │ │ ├── global_mmlu_full_ig_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ig_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ig_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ig_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ig_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ig_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ig_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ig_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ig_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ig_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ig_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ig_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ig_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ig_sociology.yaml │ │ │ │ ├── global_mmlu_full_ig_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ig_virology.yaml │ │ │ │ ├── global_mmlu_full_ig_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── it/ │ │ │ │ ├── _global_mmlu_full_it.yaml │ │ │ │ ├── _global_mmlu_full_it_humanities.yaml │ │ │ │ ├── _global_mmlu_full_it_other.yaml │ │ │ │ ├── _global_mmlu_full_it_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_it_stem.yaml │ │ │ │ ├── _it_template_yaml │ │ │ │ ├── global_mmlu_full_it_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_it_anatomy.yaml │ │ │ │ ├── global_mmlu_full_it_astronomy.yaml │ │ │ │ ├── global_mmlu_full_it_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_it_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_it_college_biology.yaml │ │ │ │ ├── global_mmlu_full_it_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_it_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_it_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_it_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_it_college_physics.yaml │ │ │ │ ├── global_mmlu_full_it_computer_security.yaml │ │ │ │ ├── global_mmlu_full_it_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_it_econometrics.yaml │ │ │ │ ├── global_mmlu_full_it_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_it_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_it_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_it_global_facts.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_it_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_it_human_aging.yaml │ │ │ │ ├── global_mmlu_full_it_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_it_international_law.yaml │ │ │ │ ├── global_mmlu_full_it_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_it_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_it_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_it_management.yaml │ │ │ │ ├── global_mmlu_full_it_marketing.yaml │ │ │ │ ├── global_mmlu_full_it_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_it_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_it_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_it_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_it_nutrition.yaml │ │ │ │ ├── global_mmlu_full_it_philosophy.yaml │ │ │ │ ├── global_mmlu_full_it_prehistory.yaml │ │ │ │ ├── global_mmlu_full_it_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_it_professional_law.yaml │ │ │ │ ├── global_mmlu_full_it_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_it_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_it_public_relations.yaml │ │ │ │ ├── global_mmlu_full_it_security_studies.yaml │ │ │ │ ├── global_mmlu_full_it_sociology.yaml │ │ │ │ ├── global_mmlu_full_it_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_it_virology.yaml │ │ │ │ ├── global_mmlu_full_it_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ja/ │ │ │ │ ├── _global_mmlu_full_ja.yaml │ │ │ │ ├── _global_mmlu_full_ja_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ja_other.yaml │ │ │ │ ├── _global_mmlu_full_ja_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ja_stem.yaml │ │ │ │ ├── _ja_template_yaml │ │ │ │ ├── global_mmlu_full_ja_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ja_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ja_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ja_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ja_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ja_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ja_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ja_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ja_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ja_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ja_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ja_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ja_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ja_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ja_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ja_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ja_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ja_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ja_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ja_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ja_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ja_international_law.yaml │ │ │ │ ├── global_mmlu_full_ja_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ja_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ja_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ja_management.yaml │ │ │ │ ├── global_mmlu_full_ja_marketing.yaml │ │ │ │ ├── global_mmlu_full_ja_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ja_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ja_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ja_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ja_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ja_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ja_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ja_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ja_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ja_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ja_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ja_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ja_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ja_sociology.yaml │ │ │ │ ├── global_mmlu_full_ja_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ja_virology.yaml │ │ │ │ ├── global_mmlu_full_ja_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ko/ │ │ │ │ ├── _global_mmlu_full_ko.yaml │ │ │ │ ├── _global_mmlu_full_ko_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ko_other.yaml │ │ │ │ ├── _global_mmlu_full_ko_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ko_stem.yaml │ │ │ │ ├── _ko_template_yaml │ │ │ │ ├── global_mmlu_full_ko_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ko_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ko_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ko_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ko_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ko_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ko_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ko_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ko_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ko_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ko_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ko_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ko_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ko_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ko_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ko_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ko_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ko_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ko_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ko_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ko_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ko_international_law.yaml │ │ │ │ ├── global_mmlu_full_ko_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ko_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ko_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ko_management.yaml │ │ │ │ ├── global_mmlu_full_ko_marketing.yaml │ │ │ │ ├── global_mmlu_full_ko_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ko_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ko_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ko_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ko_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ko_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ko_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ko_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ko_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ko_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ko_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ko_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ko_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ko_sociology.yaml │ │ │ │ ├── global_mmlu_full_ko_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ko_virology.yaml │ │ │ │ ├── global_mmlu_full_ko_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ky/ │ │ │ │ ├── _global_mmlu_full_ky.yaml │ │ │ │ ├── _global_mmlu_full_ky_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ky_other.yaml │ │ │ │ ├── _global_mmlu_full_ky_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ky_stem.yaml │ │ │ │ ├── _ky_template_yaml │ │ │ │ ├── global_mmlu_full_ky_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ky_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ky_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ky_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ky_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ky_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ky_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ky_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ky_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ky_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ky_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ky_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ky_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ky_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ky_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ky_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ky_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ky_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ky_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ky_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ky_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ky_international_law.yaml │ │ │ │ ├── global_mmlu_full_ky_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ky_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ky_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ky_management.yaml │ │ │ │ ├── global_mmlu_full_ky_marketing.yaml │ │ │ │ ├── global_mmlu_full_ky_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ky_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ky_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ky_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ky_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ky_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ky_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ky_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ky_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ky_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ky_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ky_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ky_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ky_sociology.yaml │ │ │ │ ├── global_mmlu_full_ky_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ky_virology.yaml │ │ │ │ ├── global_mmlu_full_ky_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── lt/ │ │ │ │ ├── _global_mmlu_full_lt.yaml │ │ │ │ ├── _global_mmlu_full_lt_humanities.yaml │ │ │ │ ├── _global_mmlu_full_lt_other.yaml │ │ │ │ ├── _global_mmlu_full_lt_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_lt_stem.yaml │ │ │ │ ├── _lt_template_yaml │ │ │ │ ├── global_mmlu_full_lt_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_lt_anatomy.yaml │ │ │ │ ├── global_mmlu_full_lt_astronomy.yaml │ │ │ │ ├── global_mmlu_full_lt_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_lt_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_lt_college_biology.yaml │ │ │ │ ├── global_mmlu_full_lt_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_lt_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_lt_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_lt_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_lt_college_physics.yaml │ │ │ │ ├── global_mmlu_full_lt_computer_security.yaml │ │ │ │ ├── global_mmlu_full_lt_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_lt_econometrics.yaml │ │ │ │ ├── global_mmlu_full_lt_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_lt_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_lt_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_lt_global_facts.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_lt_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_lt_human_aging.yaml │ │ │ │ ├── global_mmlu_full_lt_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_lt_international_law.yaml │ │ │ │ ├── global_mmlu_full_lt_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_lt_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_lt_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_lt_management.yaml │ │ │ │ ├── global_mmlu_full_lt_marketing.yaml │ │ │ │ ├── global_mmlu_full_lt_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_lt_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_lt_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_lt_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_lt_nutrition.yaml │ │ │ │ ├── global_mmlu_full_lt_philosophy.yaml │ │ │ │ ├── global_mmlu_full_lt_prehistory.yaml │ │ │ │ ├── global_mmlu_full_lt_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_lt_professional_law.yaml │ │ │ │ ├── global_mmlu_full_lt_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_lt_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_lt_public_relations.yaml │ │ │ │ ├── global_mmlu_full_lt_security_studies.yaml │ │ │ │ ├── global_mmlu_full_lt_sociology.yaml │ │ │ │ ├── global_mmlu_full_lt_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_lt_virology.yaml │ │ │ │ ├── global_mmlu_full_lt_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── mg/ │ │ │ │ ├── _global_mmlu_full_mg.yaml │ │ │ │ ├── _global_mmlu_full_mg_humanities.yaml │ │ │ │ ├── _global_mmlu_full_mg_other.yaml │ │ │ │ ├── _global_mmlu_full_mg_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_mg_stem.yaml │ │ │ │ ├── _mg_template_yaml │ │ │ │ ├── global_mmlu_full_mg_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_mg_anatomy.yaml │ │ │ │ ├── global_mmlu_full_mg_astronomy.yaml │ │ │ │ ├── global_mmlu_full_mg_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_mg_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_mg_college_biology.yaml │ │ │ │ ├── global_mmlu_full_mg_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_mg_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_mg_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_mg_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_mg_college_physics.yaml │ │ │ │ ├── global_mmlu_full_mg_computer_security.yaml │ │ │ │ ├── global_mmlu_full_mg_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_mg_econometrics.yaml │ │ │ │ ├── global_mmlu_full_mg_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_mg_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_mg_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_mg_global_facts.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_mg_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_mg_human_aging.yaml │ │ │ │ ├── global_mmlu_full_mg_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_mg_international_law.yaml │ │ │ │ ├── global_mmlu_full_mg_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_mg_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_mg_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_mg_management.yaml │ │ │ │ ├── global_mmlu_full_mg_marketing.yaml │ │ │ │ ├── global_mmlu_full_mg_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_mg_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_mg_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_mg_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_mg_nutrition.yaml │ │ │ │ ├── global_mmlu_full_mg_philosophy.yaml │ │ │ │ ├── global_mmlu_full_mg_prehistory.yaml │ │ │ │ ├── global_mmlu_full_mg_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_mg_professional_law.yaml │ │ │ │ ├── global_mmlu_full_mg_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_mg_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_mg_public_relations.yaml │ │ │ │ ├── global_mmlu_full_mg_security_studies.yaml │ │ │ │ ├── global_mmlu_full_mg_sociology.yaml │ │ │ │ ├── global_mmlu_full_mg_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_mg_virology.yaml │ │ │ │ ├── global_mmlu_full_mg_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ms/ │ │ │ │ ├── _global_mmlu_full_ms.yaml │ │ │ │ ├── _global_mmlu_full_ms_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ms_other.yaml │ │ │ │ ├── _global_mmlu_full_ms_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ms_stem.yaml │ │ │ │ ├── _ms_template_yaml │ │ │ │ ├── global_mmlu_full_ms_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ms_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ms_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ms_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ms_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ms_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ms_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ms_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ms_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ms_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ms_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ms_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ms_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ms_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ms_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ms_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ms_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ms_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ms_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ms_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ms_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ms_international_law.yaml │ │ │ │ ├── global_mmlu_full_ms_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ms_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ms_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ms_management.yaml │ │ │ │ ├── global_mmlu_full_ms_marketing.yaml │ │ │ │ ├── global_mmlu_full_ms_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ms_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ms_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ms_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ms_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ms_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ms_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ms_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ms_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ms_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ms_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ms_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ms_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ms_sociology.yaml │ │ │ │ ├── global_mmlu_full_ms_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ms_virology.yaml │ │ │ │ ├── global_mmlu_full_ms_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ne/ │ │ │ │ ├── _global_mmlu_full_ne.yaml │ │ │ │ ├── _global_mmlu_full_ne_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ne_other.yaml │ │ │ │ ├── _global_mmlu_full_ne_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ne_stem.yaml │ │ │ │ ├── _ne_template_yaml │ │ │ │ ├── global_mmlu_full_ne_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ne_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ne_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ne_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ne_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ne_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ne_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ne_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ne_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ne_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ne_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ne_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ne_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ne_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ne_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ne_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ne_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ne_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ne_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ne_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ne_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ne_international_law.yaml │ │ │ │ ├── global_mmlu_full_ne_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ne_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ne_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ne_management.yaml │ │ │ │ ├── global_mmlu_full_ne_marketing.yaml │ │ │ │ ├── global_mmlu_full_ne_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ne_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ne_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ne_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ne_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ne_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ne_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ne_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ne_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ne_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ne_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ne_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ne_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ne_sociology.yaml │ │ │ │ ├── global_mmlu_full_ne_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ne_virology.yaml │ │ │ │ ├── global_mmlu_full_ne_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── nl/ │ │ │ │ ├── _global_mmlu_full_nl.yaml │ │ │ │ ├── _global_mmlu_full_nl_humanities.yaml │ │ │ │ ├── _global_mmlu_full_nl_other.yaml │ │ │ │ ├── _global_mmlu_full_nl_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_nl_stem.yaml │ │ │ │ ├── _nl_template_yaml │ │ │ │ ├── global_mmlu_full_nl_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_nl_anatomy.yaml │ │ │ │ ├── global_mmlu_full_nl_astronomy.yaml │ │ │ │ ├── global_mmlu_full_nl_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_nl_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_nl_college_biology.yaml │ │ │ │ ├── global_mmlu_full_nl_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_nl_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_nl_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_nl_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_nl_college_physics.yaml │ │ │ │ ├── global_mmlu_full_nl_computer_security.yaml │ │ │ │ ├── global_mmlu_full_nl_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_nl_econometrics.yaml │ │ │ │ ├── global_mmlu_full_nl_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_nl_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_nl_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_nl_global_facts.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_nl_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_nl_human_aging.yaml │ │ │ │ ├── global_mmlu_full_nl_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_nl_international_law.yaml │ │ │ │ ├── global_mmlu_full_nl_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_nl_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_nl_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_nl_management.yaml │ │ │ │ ├── global_mmlu_full_nl_marketing.yaml │ │ │ │ ├── global_mmlu_full_nl_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_nl_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_nl_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_nl_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_nl_nutrition.yaml │ │ │ │ ├── global_mmlu_full_nl_philosophy.yaml │ │ │ │ ├── global_mmlu_full_nl_prehistory.yaml │ │ │ │ ├── global_mmlu_full_nl_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_nl_professional_law.yaml │ │ │ │ ├── global_mmlu_full_nl_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_nl_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_nl_public_relations.yaml │ │ │ │ ├── global_mmlu_full_nl_security_studies.yaml │ │ │ │ ├── global_mmlu_full_nl_sociology.yaml │ │ │ │ ├── global_mmlu_full_nl_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_nl_virology.yaml │ │ │ │ ├── global_mmlu_full_nl_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ny/ │ │ │ │ ├── _global_mmlu_full_ny.yaml │ │ │ │ ├── _global_mmlu_full_ny_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ny_other.yaml │ │ │ │ ├── _global_mmlu_full_ny_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ny_stem.yaml │ │ │ │ ├── _ny_template_yaml │ │ │ │ ├── global_mmlu_full_ny_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ny_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ny_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ny_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ny_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ny_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ny_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ny_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ny_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ny_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ny_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ny_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ny_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ny_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ny_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ny_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ny_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ny_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ny_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ny_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ny_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ny_international_law.yaml │ │ │ │ ├── global_mmlu_full_ny_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ny_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ny_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ny_management.yaml │ │ │ │ ├── global_mmlu_full_ny_marketing.yaml │ │ │ │ ├── global_mmlu_full_ny_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ny_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ny_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ny_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ny_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ny_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ny_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ny_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ny_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ny_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ny_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ny_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ny_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ny_sociology.yaml │ │ │ │ ├── global_mmlu_full_ny_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ny_virology.yaml │ │ │ │ ├── global_mmlu_full_ny_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── pl/ │ │ │ │ ├── _global_mmlu_full_pl.yaml │ │ │ │ ├── _global_mmlu_full_pl_humanities.yaml │ │ │ │ ├── _global_mmlu_full_pl_other.yaml │ │ │ │ ├── _global_mmlu_full_pl_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_pl_stem.yaml │ │ │ │ ├── _pl_template_yaml │ │ │ │ ├── global_mmlu_full_pl_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_pl_anatomy.yaml │ │ │ │ ├── global_mmlu_full_pl_astronomy.yaml │ │ │ │ ├── global_mmlu_full_pl_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_pl_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_pl_college_biology.yaml │ │ │ │ ├── global_mmlu_full_pl_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_pl_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_pl_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_pl_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_pl_college_physics.yaml │ │ │ │ ├── global_mmlu_full_pl_computer_security.yaml │ │ │ │ ├── global_mmlu_full_pl_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_pl_econometrics.yaml │ │ │ │ ├── global_mmlu_full_pl_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_pl_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_pl_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_pl_global_facts.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_pl_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_pl_human_aging.yaml │ │ │ │ ├── global_mmlu_full_pl_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_pl_international_law.yaml │ │ │ │ ├── global_mmlu_full_pl_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_pl_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_pl_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_pl_management.yaml │ │ │ │ ├── global_mmlu_full_pl_marketing.yaml │ │ │ │ ├── global_mmlu_full_pl_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_pl_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_pl_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_pl_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_pl_nutrition.yaml │ │ │ │ ├── global_mmlu_full_pl_philosophy.yaml │ │ │ │ ├── global_mmlu_full_pl_prehistory.yaml │ │ │ │ ├── global_mmlu_full_pl_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_pl_professional_law.yaml │ │ │ │ ├── global_mmlu_full_pl_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_pl_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_pl_public_relations.yaml │ │ │ │ ├── global_mmlu_full_pl_security_studies.yaml │ │ │ │ ├── global_mmlu_full_pl_sociology.yaml │ │ │ │ ├── global_mmlu_full_pl_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_pl_virology.yaml │ │ │ │ ├── global_mmlu_full_pl_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── pt/ │ │ │ │ ├── _global_mmlu_full_pt.yaml │ │ │ │ ├── _global_mmlu_full_pt_humanities.yaml │ │ │ │ ├── _global_mmlu_full_pt_other.yaml │ │ │ │ ├── _global_mmlu_full_pt_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_pt_stem.yaml │ │ │ │ ├── _pt_template_yaml │ │ │ │ ├── global_mmlu_full_pt_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_pt_anatomy.yaml │ │ │ │ ├── global_mmlu_full_pt_astronomy.yaml │ │ │ │ ├── global_mmlu_full_pt_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_pt_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_pt_college_biology.yaml │ │ │ │ ├── global_mmlu_full_pt_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_pt_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_pt_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_pt_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_pt_college_physics.yaml │ │ │ │ ├── global_mmlu_full_pt_computer_security.yaml │ │ │ │ ├── global_mmlu_full_pt_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_pt_econometrics.yaml │ │ │ │ ├── global_mmlu_full_pt_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_pt_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_pt_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_pt_global_facts.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_pt_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_pt_human_aging.yaml │ │ │ │ ├── global_mmlu_full_pt_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_pt_international_law.yaml │ │ │ │ ├── global_mmlu_full_pt_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_pt_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_pt_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_pt_management.yaml │ │ │ │ ├── global_mmlu_full_pt_marketing.yaml │ │ │ │ ├── global_mmlu_full_pt_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_pt_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_pt_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_pt_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_pt_nutrition.yaml │ │ │ │ ├── global_mmlu_full_pt_philosophy.yaml │ │ │ │ ├── global_mmlu_full_pt_prehistory.yaml │ │ │ │ ├── global_mmlu_full_pt_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_pt_professional_law.yaml │ │ │ │ ├── global_mmlu_full_pt_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_pt_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_pt_public_relations.yaml │ │ │ │ ├── global_mmlu_full_pt_security_studies.yaml │ │ │ │ ├── global_mmlu_full_pt_sociology.yaml │ │ │ │ ├── global_mmlu_full_pt_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_pt_virology.yaml │ │ │ │ ├── global_mmlu_full_pt_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ro/ │ │ │ │ ├── _global_mmlu_full_ro.yaml │ │ │ │ ├── _global_mmlu_full_ro_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ro_other.yaml │ │ │ │ ├── _global_mmlu_full_ro_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ro_stem.yaml │ │ │ │ ├── _ro_template_yaml │ │ │ │ ├── global_mmlu_full_ro_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ro_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ro_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ro_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ro_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ro_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ro_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ro_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ro_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ro_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ro_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ro_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ro_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ro_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ro_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ro_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ro_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ro_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ro_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ro_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ro_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ro_international_law.yaml │ │ │ │ ├── global_mmlu_full_ro_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ro_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ro_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ro_management.yaml │ │ │ │ ├── global_mmlu_full_ro_marketing.yaml │ │ │ │ ├── global_mmlu_full_ro_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ro_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ro_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ro_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ro_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ro_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ro_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ro_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ro_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ro_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ro_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ro_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ro_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ro_sociology.yaml │ │ │ │ ├── global_mmlu_full_ro_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ro_virology.yaml │ │ │ │ ├── global_mmlu_full_ro_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── ru/ │ │ │ │ ├── _global_mmlu_full_ru.yaml │ │ │ │ ├── _global_mmlu_full_ru_humanities.yaml │ │ │ │ ├── _global_mmlu_full_ru_other.yaml │ │ │ │ ├── _global_mmlu_full_ru_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_ru_stem.yaml │ │ │ │ ├── _ru_template_yaml │ │ │ │ ├── global_mmlu_full_ru_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_ru_anatomy.yaml │ │ │ │ ├── global_mmlu_full_ru_astronomy.yaml │ │ │ │ ├── global_mmlu_full_ru_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_ru_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_ru_college_biology.yaml │ │ │ │ ├── global_mmlu_full_ru_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ru_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ru_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ru_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_ru_college_physics.yaml │ │ │ │ ├── global_mmlu_full_ru_computer_security.yaml │ │ │ │ ├── global_mmlu_full_ru_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_ru_econometrics.yaml │ │ │ │ ├── global_mmlu_full_ru_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_ru_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ru_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_ru_global_facts.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_ru_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_ru_human_aging.yaml │ │ │ │ ├── global_mmlu_full_ru_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_ru_international_law.yaml │ │ │ │ ├── global_mmlu_full_ru_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_ru_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_ru_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_ru_management.yaml │ │ │ │ ├── global_mmlu_full_ru_marketing.yaml │ │ │ │ ├── global_mmlu_full_ru_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_ru_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_ru_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_ru_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_ru_nutrition.yaml │ │ │ │ ├── global_mmlu_full_ru_philosophy.yaml │ │ │ │ ├── global_mmlu_full_ru_prehistory.yaml │ │ │ │ ├── global_mmlu_full_ru_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_ru_professional_law.yaml │ │ │ │ ├── global_mmlu_full_ru_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_ru_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_ru_public_relations.yaml │ │ │ │ ├── global_mmlu_full_ru_security_studies.yaml │ │ │ │ ├── global_mmlu_full_ru_sociology.yaml │ │ │ │ ├── global_mmlu_full_ru_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_ru_virology.yaml │ │ │ │ ├── global_mmlu_full_ru_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── si/ │ │ │ │ ├── _global_mmlu_full_si.yaml │ │ │ │ ├── _global_mmlu_full_si_humanities.yaml │ │ │ │ ├── _global_mmlu_full_si_other.yaml │ │ │ │ ├── _global_mmlu_full_si_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_si_stem.yaml │ │ │ │ ├── _si_template_yaml │ │ │ │ ├── global_mmlu_full_si_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_si_anatomy.yaml │ │ │ │ ├── global_mmlu_full_si_astronomy.yaml │ │ │ │ ├── global_mmlu_full_si_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_si_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_si_college_biology.yaml │ │ │ │ ├── global_mmlu_full_si_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_si_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_si_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_si_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_si_college_physics.yaml │ │ │ │ ├── global_mmlu_full_si_computer_security.yaml │ │ │ │ ├── global_mmlu_full_si_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_si_econometrics.yaml │ │ │ │ ├── global_mmlu_full_si_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_si_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_si_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_si_global_facts.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_si_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_si_human_aging.yaml │ │ │ │ ├── global_mmlu_full_si_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_si_international_law.yaml │ │ │ │ ├── global_mmlu_full_si_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_si_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_si_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_si_management.yaml │ │ │ │ ├── global_mmlu_full_si_marketing.yaml │ │ │ │ ├── global_mmlu_full_si_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_si_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_si_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_si_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_si_nutrition.yaml │ │ │ │ ├── global_mmlu_full_si_philosophy.yaml │ │ │ │ ├── global_mmlu_full_si_prehistory.yaml │ │ │ │ ├── global_mmlu_full_si_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_si_professional_law.yaml │ │ │ │ ├── global_mmlu_full_si_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_si_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_si_public_relations.yaml │ │ │ │ ├── global_mmlu_full_si_security_studies.yaml │ │ │ │ ├── global_mmlu_full_si_sociology.yaml │ │ │ │ ├── global_mmlu_full_si_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_si_virology.yaml │ │ │ │ ├── global_mmlu_full_si_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── sn/ │ │ │ │ ├── _global_mmlu_full_sn.yaml │ │ │ │ ├── _global_mmlu_full_sn_humanities.yaml │ │ │ │ ├── _global_mmlu_full_sn_other.yaml │ │ │ │ ├── _global_mmlu_full_sn_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_sn_stem.yaml │ │ │ │ ├── _sn_template_yaml │ │ │ │ ├── global_mmlu_full_sn_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_sn_anatomy.yaml │ │ │ │ ├── global_mmlu_full_sn_astronomy.yaml │ │ │ │ ├── global_mmlu_full_sn_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_sn_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_sn_college_biology.yaml │ │ │ │ ├── global_mmlu_full_sn_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sn_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sn_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sn_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_sn_college_physics.yaml │ │ │ │ ├── global_mmlu_full_sn_computer_security.yaml │ │ │ │ ├── global_mmlu_full_sn_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_sn_econometrics.yaml │ │ │ │ ├── global_mmlu_full_sn_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_sn_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sn_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_sn_global_facts.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_sn_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_sn_human_aging.yaml │ │ │ │ ├── global_mmlu_full_sn_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_sn_international_law.yaml │ │ │ │ ├── global_mmlu_full_sn_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_sn_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_sn_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_sn_management.yaml │ │ │ │ ├── global_mmlu_full_sn_marketing.yaml │ │ │ │ ├── global_mmlu_full_sn_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_sn_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_sn_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_sn_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_sn_nutrition.yaml │ │ │ │ ├── global_mmlu_full_sn_philosophy.yaml │ │ │ │ ├── global_mmlu_full_sn_prehistory.yaml │ │ │ │ ├── global_mmlu_full_sn_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_sn_professional_law.yaml │ │ │ │ ├── global_mmlu_full_sn_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_sn_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_sn_public_relations.yaml │ │ │ │ ├── global_mmlu_full_sn_security_studies.yaml │ │ │ │ ├── global_mmlu_full_sn_sociology.yaml │ │ │ │ ├── global_mmlu_full_sn_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_sn_virology.yaml │ │ │ │ ├── global_mmlu_full_sn_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── so/ │ │ │ │ ├── _global_mmlu_full_so.yaml │ │ │ │ ├── _global_mmlu_full_so_humanities.yaml │ │ │ │ ├── _global_mmlu_full_so_other.yaml │ │ │ │ ├── _global_mmlu_full_so_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_so_stem.yaml │ │ │ │ ├── _so_template_yaml │ │ │ │ ├── global_mmlu_full_so_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_so_anatomy.yaml │ │ │ │ ├── global_mmlu_full_so_astronomy.yaml │ │ │ │ ├── global_mmlu_full_so_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_so_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_so_college_biology.yaml │ │ │ │ ├── global_mmlu_full_so_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_so_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_so_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_so_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_so_college_physics.yaml │ │ │ │ ├── global_mmlu_full_so_computer_security.yaml │ │ │ │ ├── global_mmlu_full_so_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_so_econometrics.yaml │ │ │ │ ├── global_mmlu_full_so_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_so_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_so_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_so_global_facts.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_so_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_so_human_aging.yaml │ │ │ │ ├── global_mmlu_full_so_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_so_international_law.yaml │ │ │ │ ├── global_mmlu_full_so_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_so_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_so_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_so_management.yaml │ │ │ │ ├── global_mmlu_full_so_marketing.yaml │ │ │ │ ├── global_mmlu_full_so_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_so_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_so_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_so_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_so_nutrition.yaml │ │ │ │ ├── global_mmlu_full_so_philosophy.yaml │ │ │ │ ├── global_mmlu_full_so_prehistory.yaml │ │ │ │ ├── global_mmlu_full_so_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_so_professional_law.yaml │ │ │ │ ├── global_mmlu_full_so_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_so_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_so_public_relations.yaml │ │ │ │ ├── global_mmlu_full_so_security_studies.yaml │ │ │ │ ├── global_mmlu_full_so_sociology.yaml │ │ │ │ ├── global_mmlu_full_so_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_so_virology.yaml │ │ │ │ ├── global_mmlu_full_so_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── sr/ │ │ │ │ ├── _global_mmlu_full_sr.yaml │ │ │ │ ├── _global_mmlu_full_sr_humanities.yaml │ │ │ │ ├── _global_mmlu_full_sr_other.yaml │ │ │ │ ├── _global_mmlu_full_sr_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_sr_stem.yaml │ │ │ │ ├── _sr_template_yaml │ │ │ │ ├── global_mmlu_full_sr_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_sr_anatomy.yaml │ │ │ │ ├── global_mmlu_full_sr_astronomy.yaml │ │ │ │ ├── global_mmlu_full_sr_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_sr_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_sr_college_biology.yaml │ │ │ │ ├── global_mmlu_full_sr_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sr_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sr_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sr_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_sr_college_physics.yaml │ │ │ │ ├── global_mmlu_full_sr_computer_security.yaml │ │ │ │ ├── global_mmlu_full_sr_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_sr_econometrics.yaml │ │ │ │ ├── global_mmlu_full_sr_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_sr_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sr_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_sr_global_facts.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_sr_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_sr_human_aging.yaml │ │ │ │ ├── global_mmlu_full_sr_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_sr_international_law.yaml │ │ │ │ ├── global_mmlu_full_sr_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_sr_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_sr_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_sr_management.yaml │ │ │ │ ├── global_mmlu_full_sr_marketing.yaml │ │ │ │ ├── global_mmlu_full_sr_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_sr_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_sr_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_sr_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_sr_nutrition.yaml │ │ │ │ ├── global_mmlu_full_sr_philosophy.yaml │ │ │ │ ├── global_mmlu_full_sr_prehistory.yaml │ │ │ │ ├── global_mmlu_full_sr_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_sr_professional_law.yaml │ │ │ │ ├── global_mmlu_full_sr_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_sr_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_sr_public_relations.yaml │ │ │ │ ├── global_mmlu_full_sr_security_studies.yaml │ │ │ │ ├── global_mmlu_full_sr_sociology.yaml │ │ │ │ ├── global_mmlu_full_sr_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_sr_virology.yaml │ │ │ │ ├── global_mmlu_full_sr_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── sv/ │ │ │ │ ├── _global_mmlu_full_sv.yaml │ │ │ │ ├── _global_mmlu_full_sv_humanities.yaml │ │ │ │ ├── _global_mmlu_full_sv_other.yaml │ │ │ │ ├── _global_mmlu_full_sv_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_sv_stem.yaml │ │ │ │ ├── _sv_template_yaml │ │ │ │ ├── global_mmlu_full_sv_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_sv_anatomy.yaml │ │ │ │ ├── global_mmlu_full_sv_astronomy.yaml │ │ │ │ ├── global_mmlu_full_sv_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_sv_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_sv_college_biology.yaml │ │ │ │ ├── global_mmlu_full_sv_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sv_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sv_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sv_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_sv_college_physics.yaml │ │ │ │ ├── global_mmlu_full_sv_computer_security.yaml │ │ │ │ ├── global_mmlu_full_sv_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_sv_econometrics.yaml │ │ │ │ ├── global_mmlu_full_sv_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_sv_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sv_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_sv_global_facts.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_sv_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_sv_human_aging.yaml │ │ │ │ ├── global_mmlu_full_sv_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_sv_international_law.yaml │ │ │ │ ├── global_mmlu_full_sv_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_sv_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_sv_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_sv_management.yaml │ │ │ │ ├── global_mmlu_full_sv_marketing.yaml │ │ │ │ ├── global_mmlu_full_sv_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_sv_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_sv_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_sv_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_sv_nutrition.yaml │ │ │ │ ├── global_mmlu_full_sv_philosophy.yaml │ │ │ │ ├── global_mmlu_full_sv_prehistory.yaml │ │ │ │ ├── global_mmlu_full_sv_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_sv_professional_law.yaml │ │ │ │ ├── global_mmlu_full_sv_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_sv_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_sv_public_relations.yaml │ │ │ │ ├── global_mmlu_full_sv_security_studies.yaml │ │ │ │ ├── global_mmlu_full_sv_sociology.yaml │ │ │ │ ├── global_mmlu_full_sv_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_sv_virology.yaml │ │ │ │ ├── global_mmlu_full_sv_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── sw/ │ │ │ │ ├── _global_mmlu_full_sw.yaml │ │ │ │ ├── _global_mmlu_full_sw_humanities.yaml │ │ │ │ ├── _global_mmlu_full_sw_other.yaml │ │ │ │ ├── _global_mmlu_full_sw_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_sw_stem.yaml │ │ │ │ ├── _sw_template_yaml │ │ │ │ ├── global_mmlu_full_sw_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_sw_anatomy.yaml │ │ │ │ ├── global_mmlu_full_sw_astronomy.yaml │ │ │ │ ├── global_mmlu_full_sw_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_sw_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_sw_college_biology.yaml │ │ │ │ ├── global_mmlu_full_sw_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sw_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sw_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sw_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_sw_college_physics.yaml │ │ │ │ ├── global_mmlu_full_sw_computer_security.yaml │ │ │ │ ├── global_mmlu_full_sw_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_sw_econometrics.yaml │ │ │ │ ├── global_mmlu_full_sw_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_sw_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sw_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_sw_global_facts.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_sw_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_sw_human_aging.yaml │ │ │ │ ├── global_mmlu_full_sw_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_sw_international_law.yaml │ │ │ │ ├── global_mmlu_full_sw_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_sw_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_sw_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_sw_management.yaml │ │ │ │ ├── global_mmlu_full_sw_marketing.yaml │ │ │ │ ├── global_mmlu_full_sw_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_sw_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_sw_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_sw_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_sw_nutrition.yaml │ │ │ │ ├── global_mmlu_full_sw_philosophy.yaml │ │ │ │ ├── global_mmlu_full_sw_prehistory.yaml │ │ │ │ ├── global_mmlu_full_sw_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_sw_professional_law.yaml │ │ │ │ ├── global_mmlu_full_sw_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_sw_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_sw_public_relations.yaml │ │ │ │ ├── global_mmlu_full_sw_security_studies.yaml │ │ │ │ ├── global_mmlu_full_sw_sociology.yaml │ │ │ │ ├── global_mmlu_full_sw_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_sw_virology.yaml │ │ │ │ ├── global_mmlu_full_sw_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── te/ │ │ │ │ ├── _global_mmlu_full_te.yaml │ │ │ │ ├── _global_mmlu_full_te_humanities.yaml │ │ │ │ ├── _global_mmlu_full_te_other.yaml │ │ │ │ ├── _global_mmlu_full_te_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_te_stem.yaml │ │ │ │ ├── _te_template_yaml │ │ │ │ ├── global_mmlu_full_te_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_te_anatomy.yaml │ │ │ │ ├── global_mmlu_full_te_astronomy.yaml │ │ │ │ ├── global_mmlu_full_te_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_te_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_te_college_biology.yaml │ │ │ │ ├── global_mmlu_full_te_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_te_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_te_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_te_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_te_college_physics.yaml │ │ │ │ ├── global_mmlu_full_te_computer_security.yaml │ │ │ │ ├── global_mmlu_full_te_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_te_econometrics.yaml │ │ │ │ ├── global_mmlu_full_te_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_te_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_te_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_te_global_facts.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_te_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_te_human_aging.yaml │ │ │ │ ├── global_mmlu_full_te_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_te_international_law.yaml │ │ │ │ ├── global_mmlu_full_te_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_te_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_te_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_te_management.yaml │ │ │ │ ├── global_mmlu_full_te_marketing.yaml │ │ │ │ ├── global_mmlu_full_te_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_te_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_te_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_te_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_te_nutrition.yaml │ │ │ │ ├── global_mmlu_full_te_philosophy.yaml │ │ │ │ ├── global_mmlu_full_te_prehistory.yaml │ │ │ │ ├── global_mmlu_full_te_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_te_professional_law.yaml │ │ │ │ ├── global_mmlu_full_te_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_te_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_te_public_relations.yaml │ │ │ │ ├── global_mmlu_full_te_security_studies.yaml │ │ │ │ ├── global_mmlu_full_te_sociology.yaml │ │ │ │ ├── global_mmlu_full_te_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_te_virology.yaml │ │ │ │ ├── global_mmlu_full_te_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── tr/ │ │ │ │ ├── _global_mmlu_full_tr.yaml │ │ │ │ ├── _global_mmlu_full_tr_humanities.yaml │ │ │ │ ├── _global_mmlu_full_tr_other.yaml │ │ │ │ ├── _global_mmlu_full_tr_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_tr_stem.yaml │ │ │ │ ├── _tr_template_yaml │ │ │ │ ├── global_mmlu_full_tr_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_tr_anatomy.yaml │ │ │ │ ├── global_mmlu_full_tr_astronomy.yaml │ │ │ │ ├── global_mmlu_full_tr_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_tr_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_tr_college_biology.yaml │ │ │ │ ├── global_mmlu_full_tr_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_tr_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_tr_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_tr_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_tr_college_physics.yaml │ │ │ │ ├── global_mmlu_full_tr_computer_security.yaml │ │ │ │ ├── global_mmlu_full_tr_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_tr_econometrics.yaml │ │ │ │ ├── global_mmlu_full_tr_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_tr_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_tr_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_tr_global_facts.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_tr_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_tr_human_aging.yaml │ │ │ │ ├── global_mmlu_full_tr_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_tr_international_law.yaml │ │ │ │ ├── global_mmlu_full_tr_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_tr_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_tr_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_tr_management.yaml │ │ │ │ ├── global_mmlu_full_tr_marketing.yaml │ │ │ │ ├── global_mmlu_full_tr_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_tr_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_tr_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_tr_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_tr_nutrition.yaml │ │ │ │ ├── global_mmlu_full_tr_philosophy.yaml │ │ │ │ ├── global_mmlu_full_tr_prehistory.yaml │ │ │ │ ├── global_mmlu_full_tr_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_tr_professional_law.yaml │ │ │ │ ├── global_mmlu_full_tr_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_tr_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_tr_public_relations.yaml │ │ │ │ ├── global_mmlu_full_tr_security_studies.yaml │ │ │ │ ├── global_mmlu_full_tr_sociology.yaml │ │ │ │ ├── global_mmlu_full_tr_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_tr_virology.yaml │ │ │ │ ├── global_mmlu_full_tr_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── uk/ │ │ │ │ ├── _global_mmlu_full_uk.yaml │ │ │ │ ├── _global_mmlu_full_uk_humanities.yaml │ │ │ │ ├── _global_mmlu_full_uk_other.yaml │ │ │ │ ├── _global_mmlu_full_uk_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_uk_stem.yaml │ │ │ │ ├── _uk_template_yaml │ │ │ │ ├── global_mmlu_full_uk_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_uk_anatomy.yaml │ │ │ │ ├── global_mmlu_full_uk_astronomy.yaml │ │ │ │ ├── global_mmlu_full_uk_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_uk_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_uk_college_biology.yaml │ │ │ │ ├── global_mmlu_full_uk_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_uk_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_uk_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_uk_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_uk_college_physics.yaml │ │ │ │ ├── global_mmlu_full_uk_computer_security.yaml │ │ │ │ ├── global_mmlu_full_uk_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_uk_econometrics.yaml │ │ │ │ ├── global_mmlu_full_uk_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_uk_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_uk_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_uk_global_facts.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_uk_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_uk_human_aging.yaml │ │ │ │ ├── global_mmlu_full_uk_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_uk_international_law.yaml │ │ │ │ ├── global_mmlu_full_uk_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_uk_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_uk_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_uk_management.yaml │ │ │ │ ├── global_mmlu_full_uk_marketing.yaml │ │ │ │ ├── global_mmlu_full_uk_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_uk_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_uk_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_uk_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_uk_nutrition.yaml │ │ │ │ ├── global_mmlu_full_uk_philosophy.yaml │ │ │ │ ├── global_mmlu_full_uk_prehistory.yaml │ │ │ │ ├── global_mmlu_full_uk_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_uk_professional_law.yaml │ │ │ │ ├── global_mmlu_full_uk_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_uk_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_uk_public_relations.yaml │ │ │ │ ├── global_mmlu_full_uk_security_studies.yaml │ │ │ │ ├── global_mmlu_full_uk_sociology.yaml │ │ │ │ ├── global_mmlu_full_uk_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_uk_virology.yaml │ │ │ │ ├── global_mmlu_full_uk_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── vi/ │ │ │ │ ├── _global_mmlu_full_vi.yaml │ │ │ │ ├── _global_mmlu_full_vi_humanities.yaml │ │ │ │ ├── _global_mmlu_full_vi_other.yaml │ │ │ │ ├── _global_mmlu_full_vi_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_vi_stem.yaml │ │ │ │ ├── _vi_template_yaml │ │ │ │ ├── global_mmlu_full_vi_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_vi_anatomy.yaml │ │ │ │ ├── global_mmlu_full_vi_astronomy.yaml │ │ │ │ ├── global_mmlu_full_vi_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_vi_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_vi_college_biology.yaml │ │ │ │ ├── global_mmlu_full_vi_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_vi_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_vi_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_vi_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_vi_college_physics.yaml │ │ │ │ ├── global_mmlu_full_vi_computer_security.yaml │ │ │ │ ├── global_mmlu_full_vi_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_vi_econometrics.yaml │ │ │ │ ├── global_mmlu_full_vi_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_vi_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_vi_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_vi_global_facts.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_vi_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_vi_human_aging.yaml │ │ │ │ ├── global_mmlu_full_vi_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_vi_international_law.yaml │ │ │ │ ├── global_mmlu_full_vi_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_vi_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_vi_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_vi_management.yaml │ │ │ │ ├── global_mmlu_full_vi_marketing.yaml │ │ │ │ ├── global_mmlu_full_vi_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_vi_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_vi_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_vi_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_vi_nutrition.yaml │ │ │ │ ├── global_mmlu_full_vi_philosophy.yaml │ │ │ │ ├── global_mmlu_full_vi_prehistory.yaml │ │ │ │ ├── global_mmlu_full_vi_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_vi_professional_law.yaml │ │ │ │ ├── global_mmlu_full_vi_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_vi_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_vi_public_relations.yaml │ │ │ │ ├── global_mmlu_full_vi_security_studies.yaml │ │ │ │ ├── global_mmlu_full_vi_sociology.yaml │ │ │ │ ├── global_mmlu_full_vi_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_vi_virology.yaml │ │ │ │ ├── global_mmlu_full_vi_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── yo/ │ │ │ │ ├── _global_mmlu_full_yo.yaml │ │ │ │ ├── _global_mmlu_full_yo_humanities.yaml │ │ │ │ ├── _global_mmlu_full_yo_other.yaml │ │ │ │ ├── _global_mmlu_full_yo_social_sciences.yaml │ │ │ │ ├── _global_mmlu_full_yo_stem.yaml │ │ │ │ ├── _yo_template_yaml │ │ │ │ ├── global_mmlu_full_yo_abstract_algebra.yaml │ │ │ │ ├── global_mmlu_full_yo_anatomy.yaml │ │ │ │ ├── global_mmlu_full_yo_astronomy.yaml │ │ │ │ ├── global_mmlu_full_yo_business_ethics.yaml │ │ │ │ ├── global_mmlu_full_yo_clinical_knowledge.yaml │ │ │ │ ├── global_mmlu_full_yo_college_biology.yaml │ │ │ │ ├── global_mmlu_full_yo_college_chemistry.yaml │ │ │ │ ├── global_mmlu_full_yo_college_computer_science.yaml │ │ │ │ ├── global_mmlu_full_yo_college_mathematics.yaml │ │ │ │ ├── global_mmlu_full_yo_college_medicine.yaml │ │ │ │ ├── global_mmlu_full_yo_college_physics.yaml │ │ │ │ ├── global_mmlu_full_yo_computer_security.yaml │ │ │ │ ├── global_mmlu_full_yo_conceptual_physics.yaml │ │ │ │ ├── global_mmlu_full_yo_econometrics.yaml │ │ │ │ ├── global_mmlu_full_yo_electrical_engineering.yaml │ │ │ │ ├── global_mmlu_full_yo_elementary_mathematics.yaml │ │ │ │ ├── global_mmlu_full_yo_formal_logic.yaml │ │ │ │ ├── global_mmlu_full_yo_global_facts.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_biology.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_chemistry.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_computer_science.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_european_history.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_geography.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_government_and_politics.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_macroeconomics.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_mathematics.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_microeconomics.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_physics.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_psychology.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_statistics.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_us_history.yaml │ │ │ │ ├── global_mmlu_full_yo_high_school_world_history.yaml │ │ │ │ ├── global_mmlu_full_yo_human_aging.yaml │ │ │ │ ├── global_mmlu_full_yo_human_sexuality.yaml │ │ │ │ ├── global_mmlu_full_yo_international_law.yaml │ │ │ │ ├── global_mmlu_full_yo_jurisprudence.yaml │ │ │ │ ├── global_mmlu_full_yo_logical_fallacies.yaml │ │ │ │ ├── global_mmlu_full_yo_machine_learning.yaml │ │ │ │ ├── global_mmlu_full_yo_management.yaml │ │ │ │ ├── global_mmlu_full_yo_marketing.yaml │ │ │ │ ├── global_mmlu_full_yo_medical_genetics.yaml │ │ │ │ ├── global_mmlu_full_yo_miscellaneous.yaml │ │ │ │ ├── global_mmlu_full_yo_moral_disputes.yaml │ │ │ │ ├── global_mmlu_full_yo_moral_scenarios.yaml │ │ │ │ ├── global_mmlu_full_yo_nutrition.yaml │ │ │ │ ├── global_mmlu_full_yo_philosophy.yaml │ │ │ │ ├── global_mmlu_full_yo_prehistory.yaml │ │ │ │ ├── global_mmlu_full_yo_professional_accounting.yaml │ │ │ │ ├── global_mmlu_full_yo_professional_law.yaml │ │ │ │ ├── global_mmlu_full_yo_professional_medicine.yaml │ │ │ │ ├── global_mmlu_full_yo_professional_psychology.yaml │ │ │ │ ├── global_mmlu_full_yo_public_relations.yaml │ │ │ │ ├── global_mmlu_full_yo_security_studies.yaml │ │ │ │ ├── global_mmlu_full_yo_sociology.yaml │ │ │ │ ├── global_mmlu_full_yo_us_foreign_policy.yaml │ │ │ │ ├── global_mmlu_full_yo_virology.yaml │ │ │ │ ├── global_mmlu_full_yo_world_religions.yaml │ │ │ │ └── utils.py │ │ │ └── zh/ │ │ │ ├── _global_mmlu_full_zh.yaml │ │ │ ├── _global_mmlu_full_zh_humanities.yaml │ │ │ ├── _global_mmlu_full_zh_other.yaml │ │ │ ├── _global_mmlu_full_zh_social_sciences.yaml │ │ │ ├── _global_mmlu_full_zh_stem.yaml │ │ │ ├── _zh_template_yaml │ │ │ ├── global_mmlu_full_zh_abstract_algebra.yaml │ │ │ ├── global_mmlu_full_zh_anatomy.yaml │ │ │ ├── global_mmlu_full_zh_astronomy.yaml │ │ │ ├── global_mmlu_full_zh_business_ethics.yaml │ │ │ ├── global_mmlu_full_zh_clinical_knowledge.yaml │ │ │ ├── global_mmlu_full_zh_college_biology.yaml │ │ │ ├── global_mmlu_full_zh_college_chemistry.yaml │ │ │ ├── global_mmlu_full_zh_college_computer_science.yaml │ │ │ ├── global_mmlu_full_zh_college_mathematics.yaml │ │ │ ├── global_mmlu_full_zh_college_medicine.yaml │ │ │ ├── global_mmlu_full_zh_college_physics.yaml │ │ │ ├── global_mmlu_full_zh_computer_security.yaml │ │ │ ├── global_mmlu_full_zh_conceptual_physics.yaml │ │ │ ├── global_mmlu_full_zh_econometrics.yaml │ │ │ ├── global_mmlu_full_zh_electrical_engineering.yaml │ │ │ ├── global_mmlu_full_zh_elementary_mathematics.yaml │ │ │ ├── global_mmlu_full_zh_formal_logic.yaml │ │ │ ├── global_mmlu_full_zh_global_facts.yaml │ │ │ ├── global_mmlu_full_zh_high_school_biology.yaml │ │ │ ├── global_mmlu_full_zh_high_school_chemistry.yaml │ │ │ ├── global_mmlu_full_zh_high_school_computer_science.yaml │ │ │ ├── global_mmlu_full_zh_high_school_european_history.yaml │ │ │ ├── global_mmlu_full_zh_high_school_geography.yaml │ │ │ ├── global_mmlu_full_zh_high_school_government_and_politics.yaml │ │ │ ├── global_mmlu_full_zh_high_school_macroeconomics.yaml │ │ │ ├── global_mmlu_full_zh_high_school_mathematics.yaml │ │ │ ├── global_mmlu_full_zh_high_school_microeconomics.yaml │ │ │ ├── global_mmlu_full_zh_high_school_physics.yaml │ │ │ ├── global_mmlu_full_zh_high_school_psychology.yaml │ │ │ ├── global_mmlu_full_zh_high_school_statistics.yaml │ │ │ ├── global_mmlu_full_zh_high_school_us_history.yaml │ │ │ ├── global_mmlu_full_zh_high_school_world_history.yaml │ │ │ ├── global_mmlu_full_zh_human_aging.yaml │ │ │ ├── global_mmlu_full_zh_human_sexuality.yaml │ │ │ ├── global_mmlu_full_zh_international_law.yaml │ │ │ ├── global_mmlu_full_zh_jurisprudence.yaml │ │ │ ├── global_mmlu_full_zh_logical_fallacies.yaml │ │ │ ├── global_mmlu_full_zh_machine_learning.yaml │ │ │ ├── global_mmlu_full_zh_management.yaml │ │ │ ├── global_mmlu_full_zh_marketing.yaml │ │ │ ├── global_mmlu_full_zh_medical_genetics.yaml │ │ │ ├── global_mmlu_full_zh_miscellaneous.yaml │ │ │ ├── global_mmlu_full_zh_moral_disputes.yaml │ │ │ ├── global_mmlu_full_zh_moral_scenarios.yaml │ │ │ ├── global_mmlu_full_zh_nutrition.yaml │ │ │ ├── global_mmlu_full_zh_philosophy.yaml │ │ │ ├── global_mmlu_full_zh_prehistory.yaml │ │ │ ├── global_mmlu_full_zh_professional_accounting.yaml │ │ │ ├── global_mmlu_full_zh_professional_law.yaml │ │ │ ├── global_mmlu_full_zh_professional_medicine.yaml │ │ │ ├── global_mmlu_full_zh_professional_psychology.yaml │ │ │ ├── global_mmlu_full_zh_public_relations.yaml │ │ │ ├── global_mmlu_full_zh_security_studies.yaml │ │ │ ├── global_mmlu_full_zh_sociology.yaml │ │ │ ├── global_mmlu_full_zh_us_foreign_policy.yaml │ │ │ ├── global_mmlu_full_zh_virology.yaml │ │ │ ├── global_mmlu_full_zh_world_religions.yaml │ │ │ └── utils.py │ │ ├── global_piqa/ │ │ │ ├── README.md │ │ │ ├── completions/ │ │ │ │ ├── _generate_config.py │ │ │ │ ├── _global_piqa.yaml │ │ │ │ ├── _template │ │ │ │ ├── acm_arab.yaml │ │ │ │ ├── acq_arab.yaml │ │ │ │ ├── aeb_arab.yaml │ │ │ │ ├── afb_arab.yaml │ │ │ │ ├── als_latn.yaml │ │ │ │ ├── amh_ethi.yaml │ │ │ │ ├── apc_arab_jord.yaml │ │ │ │ ├── apc_arab_leba.yaml │ │ │ │ ├── apc_arab_pale.yaml │ │ │ │ ├── apc_arab_syri.yaml │ │ │ │ ├── arb_arab.yaml │ │ │ │ ├── arq_arab.yaml │ │ │ │ ├── ars_arab.yaml │ │ │ │ ├── ary_arab.yaml │ │ │ │ ├── arz_arab.yaml │ │ │ │ ├── asm_beng.yaml │ │ │ │ ├── azj_latn.yaml │ │ │ │ ├── bam_latn.yaml │ │ │ │ ├── bel_cyrl.yaml │ │ │ │ ├── ben_beng.yaml │ │ │ │ ├── ben_latn.yaml │ │ │ │ ├── bho_deva.yaml │ │ │ │ ├── bos_latn.yaml │ │ │ │ ├── bsk_arab.yaml │ │ │ │ ├── bul_cyrl.yaml │ │ │ │ ├── cat_latn.yaml │ │ │ │ ├── ces_latn.yaml │ │ │ │ ├── ckb_arab.yaml │ │ │ │ ├── ckm_latn.yaml │ │ │ │ ├── cmn_hans.yaml │ │ │ │ ├── cmn_hant.yaml │ │ │ │ ├── deu_latn.yaml │ │ │ │ ├── dhd_deva.yaml │ │ │ │ ├── ekk_latn.yaml │ │ │ │ ├── ekp_latn.yaml │ │ │ │ ├── ell_grek.yaml │ │ │ │ ├── eng_latn.yaml │ │ │ │ ├── fao_latn.yaml │ │ │ │ ├── fin_latn.yaml │ │ │ │ ├── fra_latn_cana.yaml │ │ │ │ ├── fra_latn_fran.yaml │ │ │ │ ├── glg_latn.yaml │ │ │ │ ├── guj_gujr.yaml │ │ │ │ ├── hau_latn.yaml │ │ │ │ ├── haw_latn.yaml │ │ │ │ ├── heb_hebr.yaml │ │ │ │ ├── hin_deva.yaml │ │ │ │ ├── hrv_latn.yaml │ │ │ │ ├── hun_latn.yaml │ │ │ │ ├── hye_armn.yaml │ │ │ │ ├── ibo_latn.yaml │ │ │ │ ├── idu_latn.yaml │ │ │ │ ├── ind_latn.yaml │ │ │ │ ├── isl_latn.yaml │ │ │ │ ├── iso_latn.yaml │ │ │ │ ├── ita_latn.yaml │ │ │ │ ├── jav_latn.yaml │ │ │ │ ├── jpn_jpan.yaml │ │ │ │ ├── kan_knda.yaml │ │ │ │ ├── kat_geor.yaml │ │ │ │ ├── kaz_cyrl.yaml │ │ │ │ ├── kin_latn.yaml │ │ │ │ ├── kir_cyrl.yaml │ │ │ │ ├── kor_hang.yaml │ │ │ │ ├── lin_latn.yaml │ │ │ │ ├── lit_latn.yaml │ │ │ │ ├── luo_latn.yaml │ │ │ │ ├── mal_mlym.yaml │ │ │ │ ├── mar_deva.yaml │ │ │ │ ├── mkd_cyrl.yaml │ │ │ │ ├── mni_beng.yaml │ │ │ │ ├── mni_mtei.yaml │ │ │ │ ├── nag_latn.yaml │ │ │ │ ├── nld_latn.yaml │ │ │ │ ├── nno_latn.yaml │ │ │ │ ├── nob_latn.yaml │ │ │ │ ├── npi_deva.yaml │ │ │ │ ├── pan_guru.yaml │ │ │ │ ├── pcm_latn.yaml │ │ │ │ ├── pes_arab.yaml │ │ │ │ ├── pol_latn.yaml │ │ │ │ ├── por_latn_braz.yaml │ │ │ │ ├── por_latn_port.yaml │ │ │ │ ├── ron_latn.yaml │ │ │ │ ├── rus_cyrl.yaml │ │ │ │ ├── rwr_deva.yaml │ │ │ │ ├── sin_sinh.yaml │ │ │ │ ├── slk_latn.yaml │ │ │ │ ├── slk_latn_sari.yaml │ │ │ │ ├── slv_latn.yaml │ │ │ │ ├── slv_latn_cerk.yaml │ │ │ │ ├── snd_arab.yaml │ │ │ │ ├── snd_deva.yaml │ │ │ │ ├── spa_latn_mexi.yaml │ │ │ │ ├── spa_latn_peru.yaml │ │ │ │ ├── spa_latn_spai.yaml │ │ │ │ ├── srp_cyrl.yaml │ │ │ │ ├── srp_latn.yaml │ │ │ │ ├── swe_latn.yaml │ │ │ │ ├── swh_latn.yaml │ │ │ │ ├── tam_taml.yaml │ │ │ │ ├── tel_telu.yaml │ │ │ │ ├── tgl_latn.yaml │ │ │ │ ├── tha_thai.yaml │ │ │ │ ├── tur_latn.yaml │ │ │ │ ├── uig_arab.yaml │ │ │ │ ├── ukr_cyrl.yaml │ │ │ │ ├── urd_arab.yaml │ │ │ │ ├── urd_latn.yaml │ │ │ │ ├── urh_latn.yaml │ │ │ │ ├── uzn_latn.yaml │ │ │ │ ├── vie_latn.yaml │ │ │ │ ├── yor_latn.yaml │ │ │ │ ├── yue_hant.yaml │ │ │ │ ├── zsm_latn.yaml │ │ │ │ └── zul_latn.yaml │ │ │ └── prompted/ │ │ │ ├── _generate_config.py │ │ │ ├── _global_piqa.yaml │ │ │ ├── _template │ │ │ ├── acm_arab.yaml │ │ │ ├── acq_arab.yaml │ │ │ ├── aeb_arab.yaml │ │ │ ├── afb_arab.yaml │ │ │ ├── als_latn.yaml │ │ │ ├── amh_ethi.yaml │ │ │ ├── apc_arab_jord.yaml │ │ │ ├── apc_arab_leba.yaml │ │ │ ├── apc_arab_pale.yaml │ │ │ ├── apc_arab_syri.yaml │ │ │ ├── arb_arab.yaml │ │ │ ├── arq_arab.yaml │ │ │ ├── ars_arab.yaml │ │ │ ├── ary_arab.yaml │ │ │ ├── arz_arab.yaml │ │ │ ├── asm_beng.yaml │ │ │ ├── azj_latn.yaml │ │ │ ├── bam_latn.yaml │ │ │ ├── bel_cyrl.yaml │ │ │ ├── ben_beng.yaml │ │ │ ├── ben_latn.yaml │ │ │ ├── bho_deva.yaml │ │ │ ├── bos_latn.yaml │ │ │ ├── bsk_arab.yaml │ │ │ ├── bul_cyrl.yaml │ │ │ ├── cat_latn.yaml │ │ │ ├── ces_latn.yaml │ │ │ ├── ckb_arab.yaml │ │ │ ├── ckm_latn.yaml │ │ │ ├── cmn_hans.yaml │ │ │ ├── cmn_hant.yaml │ │ │ ├── deu_latn.yaml │ │ │ ├── dhd_deva.yaml │ │ │ ├── ekk_latn.yaml │ │ │ ├── ekp_latn.yaml │ │ │ ├── ell_grek.yaml │ │ │ ├── eng_latn.yaml │ │ │ ├── fao_latn.yaml │ │ │ ├── fin_latn.yaml │ │ │ ├── fra_latn_cana.yaml │ │ │ ├── fra_latn_fran.yaml │ │ │ ├── glg_latn.yaml │ │ │ ├── guj_gujr.yaml │ │ │ ├── hau_latn.yaml │ │ │ ├── haw_latn.yaml │ │ │ ├── heb_hebr.yaml │ │ │ ├── hin_deva.yaml │ │ │ ├── hrv_latn.yaml │ │ │ ├── hun_latn.yaml │ │ │ ├── hye_armn.yaml │ │ │ ├── ibo_latn.yaml │ │ │ ├── idu_latn.yaml │ │ │ ├── ind_latn.yaml │ │ │ ├── isl_latn.yaml │ │ │ ├── iso_latn.yaml │ │ │ ├── ita_latn.yaml │ │ │ ├── jav_latn.yaml │ │ │ ├── jpn_jpan.yaml │ │ │ ├── kan_knda.yaml │ │ │ ├── kat_geor.yaml │ │ │ ├── kaz_cyrl.yaml │ │ │ ├── kin_latn.yaml │ │ │ ├── kir_cyrl.yaml │ │ │ ├── kor_hang.yaml │ │ │ ├── lin_latn.yaml │ │ │ ├── lit_latn.yaml │ │ │ ├── luo_latn.yaml │ │ │ ├── mal_mlym.yaml │ │ │ ├── mar_deva.yaml │ │ │ ├── mkd_cyrl.yaml │ │ │ ├── mni_beng.yaml │ │ │ ├── mni_mtei.yaml │ │ │ ├── nag_latn.yaml │ │ │ ├── nld_latn.yaml │ │ │ ├── nno_latn.yaml │ │ │ ├── nob_latn.yaml │ │ │ ├── npi_deva.yaml │ │ │ ├── pan_guru.yaml │ │ │ ├── pcm_latn.yaml │ │ │ ├── pes_arab.yaml │ │ │ ├── pol_latn.yaml │ │ │ ├── por_latn_braz.yaml │ │ │ ├── por_latn_port.yaml │ │ │ ├── ron_latn.yaml │ │ │ ├── rus_cyrl.yaml │ │ │ ├── rwr_deva.yaml │ │ │ ├── sin_sinh.yaml │ │ │ ├── slk_latn.yaml │ │ │ ├── slk_latn_sari.yaml │ │ │ ├── slv_latn.yaml │ │ │ ├── slv_latn_cerk.yaml │ │ │ ├── snd_arab.yaml │ │ │ ├── snd_deva.yaml │ │ │ ├── spa_latn_mexi.yaml │ │ │ ├── spa_latn_peru.yaml │ │ │ ├── spa_latn_spai.yaml │ │ │ ├── srp_cyrl.yaml │ │ │ ├── srp_latn.yaml │ │ │ ├── swe_latn.yaml │ │ │ ├── swh_latn.yaml │ │ │ ├── tam_taml.yaml │ │ │ ├── tel_telu.yaml │ │ │ ├── tgl_latn.yaml │ │ │ ├── tha_thai.yaml │ │ │ ├── tur_latn.yaml │ │ │ ├── uig_arab.yaml │ │ │ ├── ukr_cyrl.yaml │ │ │ ├── urd_arab.yaml │ │ │ ├── urd_latn.yaml │ │ │ ├── urh_latn.yaml │ │ │ ├── uzn_latn.yaml │ │ │ ├── vie_latn.yaml │ │ │ ├── yor_latn.yaml │ │ │ ├── yue_hant.yaml │ │ │ ├── zsm_latn.yaml │ │ │ └── zul_latn.yaml │ │ ├── glue/ │ │ │ ├── README.md │ │ │ ├── cola/ │ │ │ │ └── default.yaml │ │ │ ├── mnli/ │ │ │ │ ├── default.yaml │ │ │ │ ├── mismatch.yaml │ │ │ │ └── utils.py │ │ │ ├── mrpc/ │ │ │ │ └── default.yaml │ │ │ ├── qnli/ │ │ │ │ └── default.yaml │ │ │ ├── qqp/ │ │ │ │ └── default.yaml │ │ │ ├── rte/ │ │ │ │ └── default.yaml │ │ │ ├── sst2/ │ │ │ │ └── default.yaml │ │ │ └── wnli/ │ │ │ └── default.yaml │ │ ├── gpqa/ │ │ │ ├── README.md │ │ │ ├── cot_n_shot/ │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _gpqa_cot_n_shot_yaml │ │ │ │ ├── gpqa_diamond_cot_n_shot.yaml │ │ │ │ ├── gpqa_extended_cot_n_shot.yaml │ │ │ │ ├── gpqa_main_cot_n_shot.yaml │ │ │ │ └── utils.py │ │ │ ├── cot_zeroshot/ │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _gpqa_cot_zeroshot_yaml │ │ │ │ ├── gpqa_diamond_cot_zeroshot.yaml │ │ │ │ ├── gpqa_extended_cot_zeroshot.yaml │ │ │ │ ├── gpqa_main_cot_zeroshot.yaml │ │ │ │ └── utils.py │ │ │ ├── generative/ │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _gpqa_generative_n_shot_yaml │ │ │ │ ├── gpqa_diamond_generative_n_shot.yaml │ │ │ │ ├── gpqa_extended_generative_n_shot.yaml │ │ │ │ ├── gpqa_main_generative_n_shot.yaml │ │ │ │ └── utils.py │ │ │ ├── n_shot/ │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _gpqa_n_shot_yaml │ │ │ │ ├── gpqa_diamond_n_shot.yaml │ │ │ │ ├── gpqa_extended_n_shot.yaml │ │ │ │ ├── gpqa_main_n_shot.yaml │ │ │ │ └── utils.py │ │ │ └── zeroshot/ │ │ │ ├── _generate_configs.py │ │ │ ├── _gpqa_zeroshot_yaml │ │ │ ├── gpqa_diamond_zeroshot.yaml │ │ │ ├── gpqa_extended_zeroshot.yaml │ │ │ ├── gpqa_main_zeroshot.yaml │ │ │ └── utils.py │ │ ├── graphwalks/ │ │ │ ├── README.md │ │ │ ├── graphwalks.yaml │ │ │ ├── graphwalks_128k.yaml │ │ │ ├── graphwalks_1M.yaml │ │ │ └── utils.py │ │ ├── groundcocoa/ │ │ │ ├── README.md │ │ │ ├── groundcocoa.yaml │ │ │ └── utils.py │ │ ├── gsm8k/ │ │ │ ├── README.md │ │ │ ├── gsm8k-cot-llama.yaml │ │ │ ├── gsm8k-cot-self-consistency.yaml │ │ │ ├── gsm8k-cot-zeroshot.yaml │ │ │ ├── gsm8k-cot.yaml │ │ │ └── gsm8k.yaml │ │ ├── gsm8k_platinum/ │ │ │ ├── README.md │ │ │ ├── gsm8k-platinum-cot-llama.yaml │ │ │ ├── gsm8k-platinum-cot-self-consistency.yaml │ │ │ ├── gsm8k-platinum-cot-zeroshot.yaml │ │ │ ├── gsm8k-platinum-cot.yaml │ │ │ └── gsm8k-platinum.yaml │ │ ├── gsm_plus/ │ │ │ ├── README.md │ │ │ ├── gsm_plus.yaml │ │ │ └── gsm_plus_mini.yaml │ │ ├── haerae/ │ │ │ ├── README.md │ │ │ ├── _default_haerae_yaml │ │ │ ├── _haerae.yaml │ │ │ ├── haerae_gk.yaml │ │ │ ├── haerae_hi.yaml │ │ │ ├── haerae_lw.yaml │ │ │ ├── haerae_rw.yaml │ │ │ └── haerae_sn.yaml │ │ ├── headqa/ │ │ │ ├── README.md │ │ │ ├── headqa_en.yaml │ │ │ └── headqa_es.yaml │ │ ├── hellaswag/ │ │ │ ├── README.md │ │ │ ├── hellaswag.yaml │ │ │ └── utils.py │ │ ├── hendrycks_ethics/ │ │ │ ├── README.md │ │ │ ├── commonsense.yaml │ │ │ ├── deontology.yaml │ │ │ ├── justice.yaml │ │ │ ├── utilitarianism.yaml │ │ │ ├── utilitarianism_original_yaml │ │ │ ├── utils.py │ │ │ └── virtue.yaml │ │ ├── hendrycks_math/ │ │ │ ├── README.md │ │ │ ├── hendrycks_math.yaml │ │ │ ├── hendrycks_math500.yaml │ │ │ ├── hendrycks_math_algebra.yaml │ │ │ ├── hendrycks_math_counting_and_prob.yaml │ │ │ ├── hendrycks_math_geometry.yaml │ │ │ ├── hendrycks_math_intermediate_algebra.yaml │ │ │ ├── hendrycks_math_num_theory.yaml │ │ │ ├── hendrycks_math_prealgebra.yaml │ │ │ ├── hendrycks_math_precalc.yaml │ │ │ └── utils.py │ │ ├── histoires_morales/ │ │ │ ├── README.md │ │ │ ├── histoires_morales.yaml │ │ │ └── utils.py │ │ ├── hrm8k/ │ │ │ ├── README.md │ │ │ ├── default/ │ │ │ │ ├── _hrm8k_yaml │ │ │ │ ├── hrm8k.yaml │ │ │ │ ├── hrm8k_gsm8k.yaml │ │ │ │ ├── hrm8k_ksm.yaml │ │ │ │ ├── hrm8k_math.yaml │ │ │ │ ├── hrm8k_mmmlu.yaml │ │ │ │ ├── hrm8k_omni_math.yaml │ │ │ │ └── utils.py │ │ │ └── en/ │ │ │ ├── _hrm8k_en_yaml │ │ │ ├── hrm8k_en.yaml │ │ │ ├── hrm8k_gsm8k_en.yaml │ │ │ ├── hrm8k_ksm_en.yaml │ │ │ ├── hrm8k_math_en.yaml │ │ │ ├── hrm8k_mmmlu_en.yaml │ │ │ ├── hrm8k_omni_math_en.yaml │ │ │ └── utils.py │ │ ├── humaneval/ │ │ │ ├── README.md │ │ │ ├── humaneval.yaml │ │ │ ├── humaneval_64.yaml │ │ │ ├── humaneval_64_instruct.yaml │ │ │ ├── humaneval_instruct.yaml │ │ │ ├── humaneval_plus.yaml │ │ │ └── utils.py │ │ ├── humaneval_infilling/ │ │ │ ├── README.md │ │ │ ├── humaneval_infilling.yaml │ │ │ ├── multi_line_infilling.yaml │ │ │ ├── random_span_infilling.yaml │ │ │ ├── random_span_infilling_light.yaml │ │ │ ├── single_line_infilling.yaml │ │ │ └── utils.py │ │ ├── icelandic_winogrande/ │ │ │ ├── README.md │ │ │ ├── default.yaml │ │ │ └── preprocess_winogrande.py │ │ ├── ifeval/ │ │ │ ├── README.md │ │ │ ├── ifeval.yaml │ │ │ ├── instructions.py │ │ │ ├── instructions_registry.py │ │ │ ├── instructions_util.py │ │ │ ├── multilingual/ │ │ │ │ ├── ifeval_ca.yaml │ │ │ │ ├── ifeval_es.yaml │ │ │ │ ├── instruction_utils/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── ca_instructions_util.py │ │ │ │ │ └── es_instructions_util.py │ │ │ │ ├── instructions/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── ca_instructions.py │ │ │ │ │ └── es_instructions.py │ │ │ │ ├── instructions_registry.py │ │ │ │ └── utils.py │ │ │ └── utils.py │ │ ├── include/ │ │ │ ├── README.md │ │ │ ├── default/ │ │ │ │ ├── Albanian/ │ │ │ │ │ ├── _albanian_template_yaml │ │ │ │ │ ├── _include_base_44_albanian.yaml │ │ │ │ │ ├── include_base_44_albanian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_albanian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_albanian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_albanian_social_science.yaml │ │ │ │ │ ├── include_base_44_albanian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Arabic/ │ │ │ │ │ ├── _arabic_template_yaml │ │ │ │ │ ├── _include_base_44_arabic.yaml │ │ │ │ │ ├── include_base_44_arabic_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_arabic_business_commerce.yaml │ │ │ │ │ ├── include_base_44_arabic_driving_license.yaml │ │ │ │ │ ├── include_base_44_arabic_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_arabic_social_science.yaml │ │ │ │ │ ├── include_base_44_arabic_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Armenian/ │ │ │ │ │ ├── _armenian_template_yaml │ │ │ │ │ ├── _include_base_44_armenian.yaml │ │ │ │ │ ├── include_base_44_armenian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_armenian_driving_license.yaml │ │ │ │ │ ├── include_base_44_armenian_social_science.yaml │ │ │ │ │ ├── include_base_44_armenian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Azerbaijani/ │ │ │ │ │ ├── _azerbaijani_template_yaml │ │ │ │ │ ├── _include_base_44_azerbaijani.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_applied_science.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_business_commerce.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_social_science.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Basque/ │ │ │ │ │ ├── _basque_template_yaml │ │ │ │ │ ├── _include_base_44_basque.yaml │ │ │ │ │ ├── include_base_44_basque_professional_certification.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Belarusian/ │ │ │ │ │ ├── _belarusian_template_yaml │ │ │ │ │ ├── _include_base_44_belarusian.yaml │ │ │ │ │ ├── include_base_44_belarusian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_belarusian_social_science.yaml │ │ │ │ │ ├── include_base_44_belarusian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Bengali/ │ │ │ │ │ ├── _bengali_template_yaml │ │ │ │ │ ├── _include_base_44_bengali.yaml │ │ │ │ │ ├── include_base_44_bengali_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_bengali_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_bengali_professional_certification.yaml │ │ │ │ │ ├── include_base_44_bengali_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Bulgarian/ │ │ │ │ │ ├── _bulgarian_template_yaml │ │ │ │ │ ├── _include_base_44_bulgarian.yaml │ │ │ │ │ ├── include_base_44_bulgarian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_bulgarian_social_science.yaml │ │ │ │ │ ├── include_base_44_bulgarian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Chinese/ │ │ │ │ │ ├── _chinese_template_yaml │ │ │ │ │ ├── _include_base_44_chinese.yaml │ │ │ │ │ ├── include_base_44_chinese_applied_science.yaml │ │ │ │ │ ├── include_base_44_chinese_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_chinese_business_commerce.yaml │ │ │ │ │ ├── include_base_44_chinese_driving_license.yaml │ │ │ │ │ ├── include_base_44_chinese_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_chinese_professional_certification.yaml │ │ │ │ │ ├── include_base_44_chinese_social_science.yaml │ │ │ │ │ ├── include_base_44_chinese_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Croatian/ │ │ │ │ │ ├── _croatian_template_yaml │ │ │ │ │ ├── _include_base_44_croatian.yaml │ │ │ │ │ ├── include_base_44_croatian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_croatian_social_science.yaml │ │ │ │ │ ├── include_base_44_croatian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Dutch/ │ │ │ │ │ ├── _dutch_template_yaml │ │ │ │ │ ├── _include_base_44_dutch.yaml │ │ │ │ │ ├── include_base_44_dutch_applied_science.yaml │ │ │ │ │ ├── include_base_44_dutch_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_dutch_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_dutch_social_science.yaml │ │ │ │ │ ├── include_base_44_dutch_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Estonian/ │ │ │ │ │ ├── _estonian_template_yaml │ │ │ │ │ ├── _include_base_44_estonian.yaml │ │ │ │ │ ├── include_base_44_estonian_applied_science.yaml │ │ │ │ │ ├── include_base_44_estonian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_estonian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_estonian_social_science.yaml │ │ │ │ │ ├── include_base_44_estonian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Finnish/ │ │ │ │ │ ├── _finnish_template_yaml │ │ │ │ │ ├── _include_base_44_finnish.yaml │ │ │ │ │ ├── include_base_44_finnish_applied_science.yaml │ │ │ │ │ ├── include_base_44_finnish_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_finnish_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_finnish_social_science.yaml │ │ │ │ │ ├── include_base_44_finnish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── French/ │ │ │ │ │ ├── _french_template_yaml │ │ │ │ │ ├── _include_base_44_french.yaml │ │ │ │ │ ├── include_base_44_french_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_french_driving_license.yaml │ │ │ │ │ ├── include_base_44_french_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_french_social_science.yaml │ │ │ │ │ ├── include_base_44_french_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Georgian/ │ │ │ │ │ ├── _georgian_template_yaml │ │ │ │ │ ├── _include_base_44_georgian.yaml │ │ │ │ │ ├── include_base_44_georgian_arts_humanities.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── German/ │ │ │ │ │ ├── _german_template_yaml │ │ │ │ │ ├── _include_base_44_german.yaml │ │ │ │ │ ├── include_base_44_german_driving_license.yaml │ │ │ │ │ ├── include_base_44_german_social_science.yaml │ │ │ │ │ ├── include_base_44_german_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Greek/ │ │ │ │ │ ├── _greek_template_yaml │ │ │ │ │ ├── _include_base_44_greek.yaml │ │ │ │ │ ├── include_base_44_greek_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_greek_business_commerce.yaml │ │ │ │ │ ├── include_base_44_greek_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_greek_medical_license.yaml │ │ │ │ │ ├── include_base_44_greek_professional_certification.yaml │ │ │ │ │ ├── include_base_44_greek_social_science.yaml │ │ │ │ │ ├── include_base_44_greek_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Hebrew/ │ │ │ │ │ ├── _hebrew_template_yaml │ │ │ │ │ ├── _include_base_44_hebrew.yaml │ │ │ │ │ ├── include_base_44_hebrew_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_hebrew_driving_license.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Hindi/ │ │ │ │ │ ├── _hindi_template_yaml │ │ │ │ │ ├── _include_base_44_hindi.yaml │ │ │ │ │ ├── include_base_44_hindi_applied_science.yaml │ │ │ │ │ ├── include_base_44_hindi_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_hindi_driving_license.yaml │ │ │ │ │ ├── include_base_44_hindi_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_hindi_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_hindi_professional_certification.yaml │ │ │ │ │ ├── include_base_44_hindi_social_science.yaml │ │ │ │ │ ├── include_base_44_hindi_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Hungarian/ │ │ │ │ │ ├── _hungarian_template_yaml │ │ │ │ │ ├── _include_base_44_hungarian.yaml │ │ │ │ │ ├── include_base_44_hungarian_applied_science.yaml │ │ │ │ │ ├── include_base_44_hungarian_social_science.yaml │ │ │ │ │ ├── include_base_44_hungarian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Indonesian/ │ │ │ │ │ ├── _include_base_44_indonesian.yaml │ │ │ │ │ ├── _indonesian_template_yaml │ │ │ │ │ ├── include_base_44_indonesian_applied_science.yaml │ │ │ │ │ ├── include_base_44_indonesian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_indonesian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_indonesian_social_science.yaml │ │ │ │ │ ├── include_base_44_indonesian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Italian/ │ │ │ │ │ ├── _include_base_44_italian.yaml │ │ │ │ │ ├── _italian_template_yaml │ │ │ │ │ ├── include_base_44_italian_applied_science.yaml │ │ │ │ │ ├── include_base_44_italian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_italian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_italian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_italian_social_science.yaml │ │ │ │ │ ├── include_base_44_italian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Japanese/ │ │ │ │ │ ├── _include_base_44_japanese.yaml │ │ │ │ │ ├── _japanese_template_yaml │ │ │ │ │ ├── include_base_44_japanese_driving_license.yaml │ │ │ │ │ ├── include_base_44_japanese_medical_license.yaml │ │ │ │ │ ├── include_base_44_japanese_professional_certification.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Kazakh/ │ │ │ │ │ ├── _include_base_44_kazakh.yaml │ │ │ │ │ ├── _kazakh_template_yaml │ │ │ │ │ ├── include_base_44_kazakh_arts_humanities.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Korean/ │ │ │ │ │ ├── _include_base_44_korean.yaml │ │ │ │ │ ├── _korean_template_yaml │ │ │ │ │ ├── include_base_44_korean_professional_certification.yaml │ │ │ │ │ ├── include_base_44_korean_social_science.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Lithuanian/ │ │ │ │ │ ├── _include_base_44_lithuanian.yaml │ │ │ │ │ ├── _lithuanian_template_yaml │ │ │ │ │ ├── include_base_44_lithuanian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_lithuanian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_lithuanian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_lithuanian_social_science.yaml │ │ │ │ │ ├── include_base_44_lithuanian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Malay/ │ │ │ │ │ ├── _include_base_44_malay.yaml │ │ │ │ │ ├── _malay_template_yaml │ │ │ │ │ ├── include_base_44_malay_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_malay_business_commerce.yaml │ │ │ │ │ ├── include_base_44_malay_social_science.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Malayalam/ │ │ │ │ │ ├── _include_base_44_malayalam.yaml │ │ │ │ │ ├── _malayalam_template_yaml │ │ │ │ │ ├── include_base_44_malayalam_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_malayalam_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_malayalam_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_malayalam_marine_license.yaml │ │ │ │ │ ├── include_base_44_malayalam_social_science.yaml │ │ │ │ │ ├── include_base_44_malayalam_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Nepali/ │ │ │ │ │ ├── _include_base_44_nepali.yaml │ │ │ │ │ ├── _nepali_template_yaml │ │ │ │ │ ├── include_base_44_nepali_driving_license.yaml │ │ │ │ │ ├── include_base_44_nepali_professional_certification.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── North Macedonian/ │ │ │ │ │ ├── _include_base_44_north macedonian.yaml │ │ │ │ │ ├── _north macedonian_template_yaml │ │ │ │ │ ├── include_base_44_north macedonian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_north macedonian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_north macedonian_social_science.yaml │ │ │ │ │ ├── include_base_44_north macedonian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Persian/ │ │ │ │ │ ├── _include_base_44_persian.yaml │ │ │ │ │ ├── _persian_template_yaml │ │ │ │ │ ├── include_base_44_persian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_persian_driving_license.yaml │ │ │ │ │ ├── include_base_44_persian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_persian_social_science.yaml │ │ │ │ │ ├── include_base_44_persian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Polish/ │ │ │ │ │ ├── _include_base_44_polish.yaml │ │ │ │ │ ├── _polish_template_yaml │ │ │ │ │ ├── include_base_44_polish_professional_certification.yaml │ │ │ │ │ ├── include_base_44_polish_social_science.yaml │ │ │ │ │ ├── include_base_44_polish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Portuguese/ │ │ │ │ │ ├── _include_base_44_portuguese.yaml │ │ │ │ │ ├── _portuguese_template_yaml │ │ │ │ │ ├── include_base_44_portuguese_applied_science.yaml │ │ │ │ │ ├── include_base_44_portuguese_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_portuguese_business_commerce.yaml │ │ │ │ │ ├── include_base_44_portuguese_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_portuguese_social_science.yaml │ │ │ │ │ ├── include_base_44_portuguese_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Russian/ │ │ │ │ │ ├── _include_base_44_russian.yaml │ │ │ │ │ ├── _russian_template_yaml │ │ │ │ │ ├── include_base_44_russian_applied_science.yaml │ │ │ │ │ ├── include_base_44_russian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_russian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_russian_driving_license.yaml │ │ │ │ │ ├── include_base_44_russian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_russian_marine_license.yaml │ │ │ │ │ ├── include_base_44_russian_social_science.yaml │ │ │ │ │ ├── include_base_44_russian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Serbian/ │ │ │ │ │ ├── _include_base_44_serbian.yaml │ │ │ │ │ ├── _serbian_template_yaml │ │ │ │ │ ├── include_base_44_serbian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_serbian_social_science.yaml │ │ │ │ │ ├── include_base_44_serbian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Spanish/ │ │ │ │ │ ├── _include_base_44_spanish.yaml │ │ │ │ │ ├── _spanish_template_yaml │ │ │ │ │ ├── include_base_44_spanish_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_spanish_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_spanish_social_science.yaml │ │ │ │ │ ├── include_base_44_spanish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Tagalog/ │ │ │ │ │ ├── _include_base_44_tagalog.yaml │ │ │ │ │ ├── _tagalog_template_yaml │ │ │ │ │ ├── include_base_44_tagalog_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_tagalog_driving_license.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Tamil/ │ │ │ │ │ ├── _include_base_44_tamil.yaml │ │ │ │ │ ├── _tamil_template_yaml │ │ │ │ │ ├── include_base_44_tamil_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_tamil_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Telugu/ │ │ │ │ │ ├── _include_base_44_telugu.yaml │ │ │ │ │ ├── _telugu_template_yaml │ │ │ │ │ ├── include_base_44_telugu_applied_science.yaml │ │ │ │ │ ├── include_base_44_telugu_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_telugu_social_science.yaml │ │ │ │ │ ├── include_base_44_telugu_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Turkish/ │ │ │ │ │ ├── _include_base_44_turkish.yaml │ │ │ │ │ ├── _turkish_template_yaml │ │ │ │ │ ├── include_base_44_turkish_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_turkish_business_commerce.yaml │ │ │ │ │ ├── include_base_44_turkish_social_science.yaml │ │ │ │ │ ├── include_base_44_turkish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Ukrainian/ │ │ │ │ │ ├── _include_base_44_ukrainian.yaml │ │ │ │ │ ├── _ukrainian_template_yaml │ │ │ │ │ ├── include_base_44_ukrainian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_ukrainian_social_science.yaml │ │ │ │ │ ├── include_base_44_ukrainian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Urdu/ │ │ │ │ │ ├── _include_base_44_urdu.yaml │ │ │ │ │ ├── _urdu_template_yaml │ │ │ │ │ ├── include_base_44_urdu_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_urdu_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_urdu_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Uzbek/ │ │ │ │ │ ├── _include_base_44_uzbek.yaml │ │ │ │ │ ├── _uzbek_template_yaml │ │ │ │ │ ├── include_base_44_uzbek_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_uzbek_medical_license.yaml │ │ │ │ │ ├── include_base_44_uzbek_social_science.yaml │ │ │ │ │ ├── include_base_44_uzbek_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── Vietnamese/ │ │ │ │ ├── _include_base_44_vietnamese.yaml │ │ │ │ ├── _vietnamese_template_yaml │ │ │ │ ├── include_base_44_vietnamese_arts_humanities.yaml │ │ │ │ ├── include_base_44_vietnamese_social_science.yaml │ │ │ │ ├── include_base_44_vietnamese_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── few_shot_en/ │ │ │ │ ├── Albanian/ │ │ │ │ │ ├── _albanian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_albanian.yaml │ │ │ │ │ ├── include_base_44_albanian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_albanian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_albanian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_albanian_social_science.yaml │ │ │ │ │ ├── include_base_44_albanian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Arabic/ │ │ │ │ │ ├── _arabic_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_arabic.yaml │ │ │ │ │ ├── include_base_44_arabic_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_arabic_business_commerce.yaml │ │ │ │ │ ├── include_base_44_arabic_driving_license.yaml │ │ │ │ │ ├── include_base_44_arabic_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_arabic_social_science.yaml │ │ │ │ │ ├── include_base_44_arabic_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Armenian/ │ │ │ │ │ ├── _armenian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_armenian.yaml │ │ │ │ │ ├── include_base_44_armenian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_armenian_driving_license.yaml │ │ │ │ │ ├── include_base_44_armenian_social_science.yaml │ │ │ │ │ ├── include_base_44_armenian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Azerbaijani/ │ │ │ │ │ ├── _azerbaijani_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_azerbaijani.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_applied_science.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_business_commerce.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_social_science.yaml │ │ │ │ │ ├── include_base_44_azerbaijani_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Basque/ │ │ │ │ │ ├── _basque_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_basque.yaml │ │ │ │ │ ├── include_base_44_basque_professional_certification.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Belarusian/ │ │ │ │ │ ├── _belarusian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_belarusian.yaml │ │ │ │ │ ├── include_base_44_belarusian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_belarusian_social_science.yaml │ │ │ │ │ ├── include_base_44_belarusian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Bengali/ │ │ │ │ │ ├── _bengali_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_bengali.yaml │ │ │ │ │ ├── include_base_44_bengali_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_bengali_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_bengali_professional_certification.yaml │ │ │ │ │ ├── include_base_44_bengali_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Bulgarian/ │ │ │ │ │ ├── _bulgarian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_bulgarian.yaml │ │ │ │ │ ├── include_base_44_bulgarian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_bulgarian_social_science.yaml │ │ │ │ │ ├── include_base_44_bulgarian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Chinese/ │ │ │ │ │ ├── _chinese_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_chinese.yaml │ │ │ │ │ ├── include_base_44_chinese_applied_science.yaml │ │ │ │ │ ├── include_base_44_chinese_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_chinese_business_commerce.yaml │ │ │ │ │ ├── include_base_44_chinese_driving_license.yaml │ │ │ │ │ ├── include_base_44_chinese_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_chinese_professional_certification.yaml │ │ │ │ │ ├── include_base_44_chinese_social_science.yaml │ │ │ │ │ ├── include_base_44_chinese_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Croatian/ │ │ │ │ │ ├── _croatian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_croatian.yaml │ │ │ │ │ ├── include_base_44_croatian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_croatian_social_science.yaml │ │ │ │ │ ├── include_base_44_croatian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Dutch/ │ │ │ │ │ ├── _dutch_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_dutch.yaml │ │ │ │ │ ├── include_base_44_dutch_applied_science.yaml │ │ │ │ │ ├── include_base_44_dutch_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_dutch_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_dutch_social_science.yaml │ │ │ │ │ ├── include_base_44_dutch_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Estonian/ │ │ │ │ │ ├── _estonian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_estonian.yaml │ │ │ │ │ ├── include_base_44_estonian_applied_science.yaml │ │ │ │ │ ├── include_base_44_estonian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_estonian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_estonian_social_science.yaml │ │ │ │ │ ├── include_base_44_estonian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Finnish/ │ │ │ │ │ ├── _finnish_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_finnish.yaml │ │ │ │ │ ├── include_base_44_finnish_applied_science.yaml │ │ │ │ │ ├── include_base_44_finnish_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_finnish_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_finnish_social_science.yaml │ │ │ │ │ ├── include_base_44_finnish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── French/ │ │ │ │ │ ├── _french_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_french.yaml │ │ │ │ │ ├── include_base_44_french_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_french_driving_license.yaml │ │ │ │ │ ├── include_base_44_french_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_french_social_science.yaml │ │ │ │ │ ├── include_base_44_french_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Georgian/ │ │ │ │ │ ├── _georgian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_georgian.yaml │ │ │ │ │ ├── include_base_44_georgian_arts_humanities.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── German/ │ │ │ │ │ ├── _german_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_german.yaml │ │ │ │ │ ├── include_base_44_german_driving_license.yaml │ │ │ │ │ ├── include_base_44_german_social_science.yaml │ │ │ │ │ ├── include_base_44_german_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Greek/ │ │ │ │ │ ├── _greek_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_greek.yaml │ │ │ │ │ ├── include_base_44_greek_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_greek_business_commerce.yaml │ │ │ │ │ ├── include_base_44_greek_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_greek_medical_license.yaml │ │ │ │ │ ├── include_base_44_greek_professional_certification.yaml │ │ │ │ │ ├── include_base_44_greek_social_science.yaml │ │ │ │ │ ├── include_base_44_greek_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Hebrew/ │ │ │ │ │ ├── _hebrew_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_hebrew.yaml │ │ │ │ │ ├── include_base_44_hebrew_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_hebrew_driving_license.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Hindi/ │ │ │ │ │ ├── _hindi_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_hindi.yaml │ │ │ │ │ ├── include_base_44_hindi_applied_science.yaml │ │ │ │ │ ├── include_base_44_hindi_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_hindi_driving_license.yaml │ │ │ │ │ ├── include_base_44_hindi_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_hindi_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_hindi_professional_certification.yaml │ │ │ │ │ ├── include_base_44_hindi_social_science.yaml │ │ │ │ │ ├── include_base_44_hindi_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Hungarian/ │ │ │ │ │ ├── _hungarian_few_shot_en_template_yaml │ │ │ │ │ ├── _include_base_44_hungarian.yaml │ │ │ │ │ ├── include_base_44_hungarian_applied_science.yaml │ │ │ │ │ ├── include_base_44_hungarian_social_science.yaml │ │ │ │ │ ├── include_base_44_hungarian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Indonesian/ │ │ │ │ │ ├── _include_base_44_indonesian.yaml │ │ │ │ │ ├── _indonesian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_indonesian_applied_science.yaml │ │ │ │ │ ├── include_base_44_indonesian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_indonesian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_indonesian_social_science.yaml │ │ │ │ │ ├── include_base_44_indonesian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Italian/ │ │ │ │ │ ├── _include_base_44_italian.yaml │ │ │ │ │ ├── _italian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_italian_applied_science.yaml │ │ │ │ │ ├── include_base_44_italian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_italian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_italian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_italian_social_science.yaml │ │ │ │ │ ├── include_base_44_italian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Japanese/ │ │ │ │ │ ├── _include_base_44_japanese.yaml │ │ │ │ │ ├── _japanese_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_japanese_driving_license.yaml │ │ │ │ │ ├── include_base_44_japanese_medical_license.yaml │ │ │ │ │ ├── include_base_44_japanese_professional_certification.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Kazakh/ │ │ │ │ │ ├── _include_base_44_kazakh.yaml │ │ │ │ │ ├── _kazakh_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_kazakh_arts_humanities.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Korean/ │ │ │ │ │ ├── _include_base_44_korean.yaml │ │ │ │ │ ├── _korean_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_korean_professional_certification.yaml │ │ │ │ │ ├── include_base_44_korean_social_science.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Lithuanian/ │ │ │ │ │ ├── _include_base_44_lithuanian.yaml │ │ │ │ │ ├── _lithuanian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_lithuanian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_lithuanian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_lithuanian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_lithuanian_social_science.yaml │ │ │ │ │ ├── include_base_44_lithuanian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Malay/ │ │ │ │ │ ├── _include_base_44_malay.yaml │ │ │ │ │ ├── _malay_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_malay_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_malay_business_commerce.yaml │ │ │ │ │ ├── include_base_44_malay_social_science.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Malayalam/ │ │ │ │ │ ├── _include_base_44_malayalam.yaml │ │ │ │ │ ├── _malayalam_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_malayalam_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_malayalam_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_malayalam_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_malayalam_marine_license.yaml │ │ │ │ │ ├── include_base_44_malayalam_social_science.yaml │ │ │ │ │ ├── include_base_44_malayalam_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Nepali/ │ │ │ │ │ ├── _include_base_44_nepali.yaml │ │ │ │ │ ├── _nepali_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_nepali_driving_license.yaml │ │ │ │ │ ├── include_base_44_nepali_professional_certification.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── North Macedonian/ │ │ │ │ │ ├── _include_base_44_north macedonian.yaml │ │ │ │ │ ├── _north macedonian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_north macedonian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_north macedonian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_north macedonian_social_science.yaml │ │ │ │ │ ├── include_base_44_north macedonian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Persian/ │ │ │ │ │ ├── _include_base_44_persian.yaml │ │ │ │ │ ├── _persian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_persian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_persian_driving_license.yaml │ │ │ │ │ ├── include_base_44_persian_professional_certification.yaml │ │ │ │ │ ├── include_base_44_persian_social_science.yaml │ │ │ │ │ ├── include_base_44_persian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Polish/ │ │ │ │ │ ├── _include_base_44_polish.yaml │ │ │ │ │ ├── _polish_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_polish_professional_certification.yaml │ │ │ │ │ ├── include_base_44_polish_social_science.yaml │ │ │ │ │ ├── include_base_44_polish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Portuguese/ │ │ │ │ │ ├── _include_base_44_portuguese.yaml │ │ │ │ │ ├── _portuguese_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_portuguese_applied_science.yaml │ │ │ │ │ ├── include_base_44_portuguese_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_portuguese_business_commerce.yaml │ │ │ │ │ ├── include_base_44_portuguese_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_portuguese_social_science.yaml │ │ │ │ │ ├── include_base_44_portuguese_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Russian/ │ │ │ │ │ ├── _include_base_44_russian.yaml │ │ │ │ │ ├── _russian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_russian_applied_science.yaml │ │ │ │ │ ├── include_base_44_russian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_russian_business_commerce.yaml │ │ │ │ │ ├── include_base_44_russian_driving_license.yaml │ │ │ │ │ ├── include_base_44_russian_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_russian_marine_license.yaml │ │ │ │ │ ├── include_base_44_russian_social_science.yaml │ │ │ │ │ ├── include_base_44_russian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Serbian/ │ │ │ │ │ ├── _include_base_44_serbian.yaml │ │ │ │ │ ├── _serbian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_serbian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_serbian_social_science.yaml │ │ │ │ │ ├── include_base_44_serbian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Spanish/ │ │ │ │ │ ├── _include_base_44_spanish.yaml │ │ │ │ │ ├── _spanish_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_spanish_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_spanish_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_spanish_social_science.yaml │ │ │ │ │ ├── include_base_44_spanish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Tagalog/ │ │ │ │ │ ├── _include_base_44_tagalog.yaml │ │ │ │ │ ├── _tagalog_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_tagalog_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_tagalog_driving_license.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Tamil/ │ │ │ │ │ ├── _include_base_44_tamil.yaml │ │ │ │ │ ├── _tamil_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_tamil_general_knowledge.yaml │ │ │ │ │ ├── include_base_44_tamil_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Telugu/ │ │ │ │ │ ├── _include_base_44_telugu.yaml │ │ │ │ │ ├── _telugu_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_telugu_applied_science.yaml │ │ │ │ │ ├── include_base_44_telugu_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_telugu_social_science.yaml │ │ │ │ │ ├── include_base_44_telugu_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Turkish/ │ │ │ │ │ ├── _include_base_44_turkish.yaml │ │ │ │ │ ├── _turkish_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_turkish_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_turkish_business_commerce.yaml │ │ │ │ │ ├── include_base_44_turkish_social_science.yaml │ │ │ │ │ ├── include_base_44_turkish_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Ukrainian/ │ │ │ │ │ ├── _include_base_44_ukrainian.yaml │ │ │ │ │ ├── _ukrainian_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_ukrainian_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_ukrainian_social_science.yaml │ │ │ │ │ ├── include_base_44_ukrainian_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Urdu/ │ │ │ │ │ ├── _include_base_44_urdu.yaml │ │ │ │ │ ├── _urdu_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_urdu_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_urdu_health_oriented_education.yaml │ │ │ │ │ ├── include_base_44_urdu_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ ├── Uzbek/ │ │ │ │ │ ├── _include_base_44_uzbek.yaml │ │ │ │ │ ├── _uzbek_few_shot_en_template_yaml │ │ │ │ │ ├── include_base_44_uzbek_arts_humanities.yaml │ │ │ │ │ ├── include_base_44_uzbek_medical_license.yaml │ │ │ │ │ ├── include_base_44_uzbek_social_science.yaml │ │ │ │ │ ├── include_base_44_uzbek_stem.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── Vietnamese/ │ │ │ │ ├── _include_base_44_vietnamese.yaml │ │ │ │ ├── _vietnamese_few_shot_en_template_yaml │ │ │ │ ├── include_base_44_vietnamese_arts_humanities.yaml │ │ │ │ ├── include_base_44_vietnamese_social_science.yaml │ │ │ │ ├── include_base_44_vietnamese_stem.yaml │ │ │ │ └── utils.py │ │ │ └── few_shot_og/ │ │ │ ├── Albanian/ │ │ │ │ ├── _albanian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_albanian.yaml │ │ │ │ ├── include_base_44_albanian_arts_humanities.yaml │ │ │ │ ├── include_base_44_albanian_business_commerce.yaml │ │ │ │ ├── include_base_44_albanian_health_oriented_education.yaml │ │ │ │ ├── include_base_44_albanian_social_science.yaml │ │ │ │ ├── include_base_44_albanian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Arabic/ │ │ │ │ ├── _arabic_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_arabic.yaml │ │ │ │ ├── include_base_44_arabic_arts_humanities.yaml │ │ │ │ ├── include_base_44_arabic_business_commerce.yaml │ │ │ │ ├── include_base_44_arabic_driving_license.yaml │ │ │ │ ├── include_base_44_arabic_general_knowledge.yaml │ │ │ │ ├── include_base_44_arabic_social_science.yaml │ │ │ │ ├── include_base_44_arabic_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Armenian/ │ │ │ │ ├── _armenian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_armenian.yaml │ │ │ │ ├── include_base_44_armenian_arts_humanities.yaml │ │ │ │ ├── include_base_44_armenian_driving_license.yaml │ │ │ │ ├── include_base_44_armenian_social_science.yaml │ │ │ │ ├── include_base_44_armenian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Azerbaijani/ │ │ │ │ ├── _azerbaijani_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_azerbaijani.yaml │ │ │ │ ├── include_base_44_azerbaijani_applied_science.yaml │ │ │ │ ├── include_base_44_azerbaijani_arts_humanities.yaml │ │ │ │ ├── include_base_44_azerbaijani_business_commerce.yaml │ │ │ │ ├── include_base_44_azerbaijani_health_oriented_education.yaml │ │ │ │ ├── include_base_44_azerbaijani_social_science.yaml │ │ │ │ ├── include_base_44_azerbaijani_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Basque/ │ │ │ │ ├── _basque_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_basque.yaml │ │ │ │ ├── include_base_44_basque_professional_certification.yaml │ │ │ │ └── utils.py │ │ │ ├── Belarusian/ │ │ │ │ ├── _belarusian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_belarusian.yaml │ │ │ │ ├── include_base_44_belarusian_arts_humanities.yaml │ │ │ │ ├── include_base_44_belarusian_social_science.yaml │ │ │ │ ├── include_base_44_belarusian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Bengali/ │ │ │ │ ├── _bengali_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_bengali.yaml │ │ │ │ ├── include_base_44_bengali_arts_humanities.yaml │ │ │ │ ├── include_base_44_bengali_general_knowledge.yaml │ │ │ │ ├── include_base_44_bengali_professional_certification.yaml │ │ │ │ ├── include_base_44_bengali_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Bulgarian/ │ │ │ │ ├── _bulgarian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_bulgarian.yaml │ │ │ │ ├── include_base_44_bulgarian_arts_humanities.yaml │ │ │ │ ├── include_base_44_bulgarian_social_science.yaml │ │ │ │ ├── include_base_44_bulgarian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Chinese/ │ │ │ │ ├── _chinese_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_chinese.yaml │ │ │ │ ├── include_base_44_chinese_applied_science.yaml │ │ │ │ ├── include_base_44_chinese_arts_humanities.yaml │ │ │ │ ├── include_base_44_chinese_business_commerce.yaml │ │ │ │ ├── include_base_44_chinese_driving_license.yaml │ │ │ │ ├── include_base_44_chinese_health_oriented_education.yaml │ │ │ │ ├── include_base_44_chinese_professional_certification.yaml │ │ │ │ ├── include_base_44_chinese_social_science.yaml │ │ │ │ ├── include_base_44_chinese_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Croatian/ │ │ │ │ ├── _croatian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_croatian.yaml │ │ │ │ ├── include_base_44_croatian_arts_humanities.yaml │ │ │ │ ├── include_base_44_croatian_social_science.yaml │ │ │ │ ├── include_base_44_croatian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Dutch/ │ │ │ │ ├── _dutch_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_dutch.yaml │ │ │ │ ├── include_base_44_dutch_applied_science.yaml │ │ │ │ ├── include_base_44_dutch_arts_humanities.yaml │ │ │ │ ├── include_base_44_dutch_health_oriented_education.yaml │ │ │ │ ├── include_base_44_dutch_social_science.yaml │ │ │ │ ├── include_base_44_dutch_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Estonian/ │ │ │ │ ├── _estonian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_estonian.yaml │ │ │ │ ├── include_base_44_estonian_applied_science.yaml │ │ │ │ ├── include_base_44_estonian_arts_humanities.yaml │ │ │ │ ├── include_base_44_estonian_health_oriented_education.yaml │ │ │ │ ├── include_base_44_estonian_social_science.yaml │ │ │ │ ├── include_base_44_estonian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Finnish/ │ │ │ │ ├── _finnish_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_finnish.yaml │ │ │ │ ├── include_base_44_finnish_applied_science.yaml │ │ │ │ ├── include_base_44_finnish_arts_humanities.yaml │ │ │ │ ├── include_base_44_finnish_health_oriented_education.yaml │ │ │ │ ├── include_base_44_finnish_social_science.yaml │ │ │ │ ├── include_base_44_finnish_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── French/ │ │ │ │ ├── _french_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_french.yaml │ │ │ │ ├── include_base_44_french_arts_humanities.yaml │ │ │ │ ├── include_base_44_french_driving_license.yaml │ │ │ │ ├── include_base_44_french_health_oriented_education.yaml │ │ │ │ ├── include_base_44_french_social_science.yaml │ │ │ │ ├── include_base_44_french_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Georgian/ │ │ │ │ ├── _georgian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_georgian.yaml │ │ │ │ ├── include_base_44_georgian_arts_humanities.yaml │ │ │ │ └── utils.py │ │ │ ├── German/ │ │ │ │ ├── _german_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_german.yaml │ │ │ │ ├── include_base_44_german_driving_license.yaml │ │ │ │ ├── include_base_44_german_social_science.yaml │ │ │ │ ├── include_base_44_german_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Greek/ │ │ │ │ ├── _greek_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_greek.yaml │ │ │ │ ├── include_base_44_greek_arts_humanities.yaml │ │ │ │ ├── include_base_44_greek_business_commerce.yaml │ │ │ │ ├── include_base_44_greek_health_oriented_education.yaml │ │ │ │ ├── include_base_44_greek_medical_license.yaml │ │ │ │ ├── include_base_44_greek_professional_certification.yaml │ │ │ │ ├── include_base_44_greek_social_science.yaml │ │ │ │ ├── include_base_44_greek_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Hebrew/ │ │ │ │ ├── _hebrew_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_hebrew.yaml │ │ │ │ ├── include_base_44_hebrew_arts_humanities.yaml │ │ │ │ ├── include_base_44_hebrew_driving_license.yaml │ │ │ │ └── utils.py │ │ │ ├── Hindi/ │ │ │ │ ├── _hindi_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_hindi.yaml │ │ │ │ ├── include_base_44_hindi_applied_science.yaml │ │ │ │ ├── include_base_44_hindi_arts_humanities.yaml │ │ │ │ ├── include_base_44_hindi_driving_license.yaml │ │ │ │ ├── include_base_44_hindi_general_knowledge.yaml │ │ │ │ ├── include_base_44_hindi_health_oriented_education.yaml │ │ │ │ ├── include_base_44_hindi_professional_certification.yaml │ │ │ │ ├── include_base_44_hindi_social_science.yaml │ │ │ │ ├── include_base_44_hindi_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Hungarian/ │ │ │ │ ├── _hungarian_few_shot_og_template_yaml │ │ │ │ ├── _include_base_44_hungarian.yaml │ │ │ │ ├── include_base_44_hungarian_applied_science.yaml │ │ │ │ ├── include_base_44_hungarian_social_science.yaml │ │ │ │ ├── include_base_44_hungarian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Indonesian/ │ │ │ │ ├── _include_base_44_indonesian.yaml │ │ │ │ ├── _indonesian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_indonesian_applied_science.yaml │ │ │ │ ├── include_base_44_indonesian_arts_humanities.yaml │ │ │ │ ├── include_base_44_indonesian_professional_certification.yaml │ │ │ │ ├── include_base_44_indonesian_social_science.yaml │ │ │ │ ├── include_base_44_indonesian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Italian/ │ │ │ │ ├── _include_base_44_italian.yaml │ │ │ │ ├── _italian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_italian_applied_science.yaml │ │ │ │ ├── include_base_44_italian_arts_humanities.yaml │ │ │ │ ├── include_base_44_italian_health_oriented_education.yaml │ │ │ │ ├── include_base_44_italian_professional_certification.yaml │ │ │ │ ├── include_base_44_italian_social_science.yaml │ │ │ │ ├── include_base_44_italian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Japanese/ │ │ │ │ ├── _include_base_44_japanese.yaml │ │ │ │ ├── _japanese_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_japanese_driving_license.yaml │ │ │ │ ├── include_base_44_japanese_medical_license.yaml │ │ │ │ ├── include_base_44_japanese_professional_certification.yaml │ │ │ │ └── utils.py │ │ │ ├── Kazakh/ │ │ │ │ ├── _include_base_44_kazakh.yaml │ │ │ │ ├── _kazakh_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_kazakh_arts_humanities.yaml │ │ │ │ └── utils.py │ │ │ ├── Korean/ │ │ │ │ ├── _include_base_44_korean.yaml │ │ │ │ ├── _korean_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_korean_professional_certification.yaml │ │ │ │ ├── include_base_44_korean_social_science.yaml │ │ │ │ └── utils.py │ │ │ ├── Lithuanian/ │ │ │ │ ├── _include_base_44_lithuanian.yaml │ │ │ │ ├── _lithuanian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_lithuanian_arts_humanities.yaml │ │ │ │ ├── include_base_44_lithuanian_business_commerce.yaml │ │ │ │ ├── include_base_44_lithuanian_professional_certification.yaml │ │ │ │ ├── include_base_44_lithuanian_social_science.yaml │ │ │ │ ├── include_base_44_lithuanian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Malay/ │ │ │ │ ├── _include_base_44_malay.yaml │ │ │ │ ├── _malay_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_malay_arts_humanities.yaml │ │ │ │ ├── include_base_44_malay_business_commerce.yaml │ │ │ │ ├── include_base_44_malay_social_science.yaml │ │ │ │ └── utils.py │ │ │ ├── Malayalam/ │ │ │ │ ├── _include_base_44_malayalam.yaml │ │ │ │ ├── _malayalam_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_malayalam_arts_humanities.yaml │ │ │ │ ├── include_base_44_malayalam_general_knowledge.yaml │ │ │ │ ├── include_base_44_malayalam_health_oriented_education.yaml │ │ │ │ ├── include_base_44_malayalam_marine_license.yaml │ │ │ │ ├── include_base_44_malayalam_social_science.yaml │ │ │ │ ├── include_base_44_malayalam_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Nepali/ │ │ │ │ ├── _include_base_44_nepali.yaml │ │ │ │ ├── _nepali_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_nepali_driving_license.yaml │ │ │ │ ├── include_base_44_nepali_professional_certification.yaml │ │ │ │ └── utils.py │ │ │ ├── North Macedonian/ │ │ │ │ ├── _include_base_44_north macedonian.yaml │ │ │ │ ├── _north macedonian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_north macedonian_arts_humanities.yaml │ │ │ │ ├── include_base_44_north macedonian_business_commerce.yaml │ │ │ │ ├── include_base_44_north macedonian_social_science.yaml │ │ │ │ ├── include_base_44_north macedonian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Persian/ │ │ │ │ ├── _include_base_44_persian.yaml │ │ │ │ ├── _persian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_persian_arts_humanities.yaml │ │ │ │ ├── include_base_44_persian_driving_license.yaml │ │ │ │ ├── include_base_44_persian_professional_certification.yaml │ │ │ │ ├── include_base_44_persian_social_science.yaml │ │ │ │ ├── include_base_44_persian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Polish/ │ │ │ │ ├── _include_base_44_polish.yaml │ │ │ │ ├── _polish_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_polish_professional_certification.yaml │ │ │ │ ├── include_base_44_polish_social_science.yaml │ │ │ │ ├── include_base_44_polish_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Portuguese/ │ │ │ │ ├── _include_base_44_portuguese.yaml │ │ │ │ ├── _portuguese_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_portuguese_applied_science.yaml │ │ │ │ ├── include_base_44_portuguese_arts_humanities.yaml │ │ │ │ ├── include_base_44_portuguese_business_commerce.yaml │ │ │ │ ├── include_base_44_portuguese_health_oriented_education.yaml │ │ │ │ ├── include_base_44_portuguese_social_science.yaml │ │ │ │ ├── include_base_44_portuguese_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Russian/ │ │ │ │ ├── _include_base_44_russian.yaml │ │ │ │ ├── _russian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_russian_applied_science.yaml │ │ │ │ ├── include_base_44_russian_arts_humanities.yaml │ │ │ │ ├── include_base_44_russian_business_commerce.yaml │ │ │ │ ├── include_base_44_russian_driving_license.yaml │ │ │ │ ├── include_base_44_russian_health_oriented_education.yaml │ │ │ │ ├── include_base_44_russian_marine_license.yaml │ │ │ │ ├── include_base_44_russian_social_science.yaml │ │ │ │ ├── include_base_44_russian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Serbian/ │ │ │ │ ├── _include_base_44_serbian.yaml │ │ │ │ ├── _serbian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_serbian_arts_humanities.yaml │ │ │ │ ├── include_base_44_serbian_social_science.yaml │ │ │ │ ├── include_base_44_serbian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Spanish/ │ │ │ │ ├── _include_base_44_spanish.yaml │ │ │ │ ├── _spanish_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_spanish_arts_humanities.yaml │ │ │ │ ├── include_base_44_spanish_health_oriented_education.yaml │ │ │ │ ├── include_base_44_spanish_social_science.yaml │ │ │ │ ├── include_base_44_spanish_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Tagalog/ │ │ │ │ ├── _include_base_44_tagalog.yaml │ │ │ │ ├── _tagalog_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_tagalog_arts_humanities.yaml │ │ │ │ ├── include_base_44_tagalog_driving_license.yaml │ │ │ │ └── utils.py │ │ │ ├── Tamil/ │ │ │ │ ├── _include_base_44_tamil.yaml │ │ │ │ ├── _tamil_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_tamil_general_knowledge.yaml │ │ │ │ ├── include_base_44_tamil_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Telugu/ │ │ │ │ ├── _include_base_44_telugu.yaml │ │ │ │ ├── _telugu_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_telugu_applied_science.yaml │ │ │ │ ├── include_base_44_telugu_arts_humanities.yaml │ │ │ │ ├── include_base_44_telugu_social_science.yaml │ │ │ │ ├── include_base_44_telugu_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Turkish/ │ │ │ │ ├── _include_base_44_turkish.yaml │ │ │ │ ├── _turkish_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_turkish_arts_humanities.yaml │ │ │ │ ├── include_base_44_turkish_business_commerce.yaml │ │ │ │ ├── include_base_44_turkish_social_science.yaml │ │ │ │ ├── include_base_44_turkish_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Ukrainian/ │ │ │ │ ├── _include_base_44_ukrainian.yaml │ │ │ │ ├── _ukrainian_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_ukrainian_arts_humanities.yaml │ │ │ │ ├── include_base_44_ukrainian_social_science.yaml │ │ │ │ ├── include_base_44_ukrainian_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Urdu/ │ │ │ │ ├── _include_base_44_urdu.yaml │ │ │ │ ├── _urdu_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_urdu_arts_humanities.yaml │ │ │ │ ├── include_base_44_urdu_health_oriented_education.yaml │ │ │ │ ├── include_base_44_urdu_stem.yaml │ │ │ │ └── utils.py │ │ │ ├── Uzbek/ │ │ │ │ ├── _include_base_44_uzbek.yaml │ │ │ │ ├── _uzbek_few_shot_og_template_yaml │ │ │ │ ├── include_base_44_uzbek_arts_humanities.yaml │ │ │ │ ├── include_base_44_uzbek_medical_license.yaml │ │ │ │ ├── include_base_44_uzbek_social_science.yaml │ │ │ │ ├── include_base_44_uzbek_stem.yaml │ │ │ │ └── utils.py │ │ │ └── Vietnamese/ │ │ │ ├── _include_base_44_vietnamese.yaml │ │ │ ├── _vietnamese_few_shot_og_template_yaml │ │ │ ├── include_base_44_vietnamese_arts_humanities.yaml │ │ │ ├── include_base_44_vietnamese_social_science.yaml │ │ │ ├── include_base_44_vietnamese_stem.yaml │ │ │ └── utils.py │ │ ├── inverse_scaling/ │ │ │ ├── README.md │ │ │ ├── _inverse_scaling_mc_yaml │ │ │ ├── _some_results │ │ │ ├── inverse_scaling_hindsight_neglect.yaml │ │ │ ├── inverse_scaling_into_the_unknown.yaml │ │ │ ├── inverse_scaling_memo_trap.yaml │ │ │ ├── inverse_scaling_modus_tollens.yaml │ │ │ ├── inverse_scaling_neqa.yaml │ │ │ ├── inverse_scaling_pattern_matching_suppression.yaml │ │ │ ├── inverse_scaling_quote_repetition.yaml │ │ │ ├── inverse_scaling_redefine_math.yaml │ │ │ ├── inverse_scaling_repetitive_algebra.yaml │ │ │ ├── inverse_scaling_sig_figs.yaml │ │ │ └── inverse_scaling_winobias_antistereotype.yaml │ │ ├── japanese_leaderboard/ │ │ │ ├── README.md │ │ │ ├── _ja_leaderboard.yaml │ │ │ ├── ja_leaderboard_jaqket_v2.yaml │ │ │ ├── ja_leaderboard_jcommonsenseqa.py │ │ │ ├── ja_leaderboard_jcommonsenseqa.yaml │ │ │ ├── ja_leaderboard_jnli.yaml │ │ │ ├── ja_leaderboard_jsquad.yaml │ │ │ ├── ja_leaderboard_marc_ja.yaml │ │ │ ├── ja_leaderboard_mgsm.py │ │ │ ├── ja_leaderboard_mgsm.yaml │ │ │ ├── ja_leaderboard_xlsum.py │ │ │ ├── ja_leaderboard_xlsum.yaml │ │ │ ├── ja_leaderboard_xwinograd.py │ │ │ ├── ja_leaderboard_xwinograd.yaml │ │ │ └── requirements.txt │ │ ├── jfinqa/ │ │ │ ├── README.md │ │ │ ├── _jfinqa.yaml │ │ │ ├── jfinqa_consistency.yaml │ │ │ ├── jfinqa_numerical.yaml │ │ │ ├── jfinqa_temporal.yaml │ │ │ ├── test_jfinqa_utils.py │ │ │ └── utils.py │ │ ├── jsonschema_bench/ │ │ │ ├── README.md │ │ │ ├── jsonschema_bench_easy.yaml │ │ │ ├── jsonschema_bench_hard.yaml │ │ │ ├── jsonschema_bench_medium.yaml │ │ │ └── metrics.py │ │ ├── kbl/ │ │ │ ├── README.md │ │ │ ├── bar_exam/ │ │ │ │ ├── civil/ │ │ │ │ │ ├── _base_em_yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2012.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2013.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2014.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2015.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2016.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2017.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2018.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2019.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2020.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2021.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2022.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2023.yaml │ │ │ │ │ ├── kbl_bar_exam_em_civil_2024.yaml │ │ │ │ │ └── kbl_bar_exam_em_civil_2025.yaml │ │ │ │ ├── criminal/ │ │ │ │ │ ├── _base_em_yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2012.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2013.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2014.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2015.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2016.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2017.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2018.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2019.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2020.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2021.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2022.yaml │ │ │ │ │ ├── kbl_bar_exam_em_criminal_2023.yaml │ │ │ │ │ └── kbl_bar_exam_em_criminal_2024.yaml │ │ │ │ ├── public/ │ │ │ │ │ ├── _base_em_yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2012.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2013.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2014.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2015.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2016.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2017.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2018.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2019.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2020.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2021.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2022.yaml │ │ │ │ │ ├── kbl_bar_exam_em_public_2023.yaml │ │ │ │ │ └── kbl_bar_exam_em_public_2024.yaml │ │ │ │ └── responsibility/ │ │ │ │ ├── _base_em_yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2010.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2011.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2012.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2013.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2014.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2015.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2016.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2017.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2018.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2019.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2020.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2021.yaml │ │ │ │ ├── kbl_bar_exam_em_responsibility_2022.yaml │ │ │ │ └── kbl_bar_exam_em_responsibility_2023.yaml │ │ │ ├── knowledge/ │ │ │ │ ├── _kbl_knowledge_yaml │ │ │ │ ├── kbl_common_legal_mistake_qa_em.yaml │ │ │ │ ├── kbl_common_legal_mistake_qa_reasoning_em.yaml │ │ │ │ ├── kbl_legal_concept_qa_em.yaml │ │ │ │ ├── kbl_offense_component_qa_em.yaml │ │ │ │ ├── kbl_query_statute_matching_qa_em.yaml │ │ │ │ ├── kbl_statute_hallucination_qa_em.yaml │ │ │ │ └── kbl_statute_number_and_content_matching_qa_em.yaml │ │ │ └── reasoning/ │ │ │ ├── _kbl_reasoning_yaml │ │ │ ├── kbl_case_relevance_qa_p_em.yaml │ │ │ ├── kbl_case_relevance_qa_q_em.yaml │ │ │ ├── kbl_causal_reasoning_em.yaml │ │ │ └── kbl_statement_consistency_qa_em.yaml │ │ ├── kmmlu/ │ │ │ ├── README.md │ │ │ ├── cot_hard/ │ │ │ │ ├── _cot_kmmlu_yaml │ │ │ │ ├── _kmmlu_cot_hard.yaml │ │ │ │ ├── _kmmlu_cot_hard_applied_science.yaml │ │ │ │ ├── _kmmlu_cot_hard_humss.yaml │ │ │ │ ├── _kmmlu_cot_hard_other.yaml │ │ │ │ ├── _kmmlu_cot_hard_stem.yaml │ │ │ │ ├── kmmlu_cot_hard_accounting.yaml │ │ │ │ ├── kmmlu_cot_hard_agricultural_sciences.yaml │ │ │ │ ├── kmmlu_cot_hard_aviation_engineering_and_maintenance.yaml │ │ │ │ ├── kmmlu_cot_hard_biology.yaml │ │ │ │ ├── kmmlu_cot_hard_chemical_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_chemistry.yaml │ │ │ │ ├── kmmlu_cot_hard_civil_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_computer_science.yaml │ │ │ │ ├── kmmlu_cot_hard_construction.yaml │ │ │ │ ├── kmmlu_cot_hard_criminal_law.yaml │ │ │ │ ├── kmmlu_cot_hard_ecology.yaml │ │ │ │ ├── kmmlu_cot_hard_economics.yaml │ │ │ │ ├── kmmlu_cot_hard_education.yaml │ │ │ │ ├── kmmlu_cot_hard_electrical_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_electronics_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_energy_management.yaml │ │ │ │ ├── kmmlu_cot_hard_environmental_science.yaml │ │ │ │ ├── kmmlu_cot_hard_fashion.yaml │ │ │ │ ├── kmmlu_cot_hard_food_processing.yaml │ │ │ │ ├── kmmlu_cot_hard_gas_technology_and_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_geomatics.yaml │ │ │ │ ├── kmmlu_cot_hard_health.yaml │ │ │ │ ├── kmmlu_cot_hard_industrial_engineer.yaml │ │ │ │ ├── kmmlu_cot_hard_information_technology.yaml │ │ │ │ ├── kmmlu_cot_hard_interior_architecture_and_design.yaml │ │ │ │ ├── kmmlu_cot_hard_korean_history.yaml │ │ │ │ ├── kmmlu_cot_hard_law.yaml │ │ │ │ ├── kmmlu_cot_hard_machine_design_and_manufacturing.yaml │ │ │ │ ├── kmmlu_cot_hard_management.yaml │ │ │ │ ├── kmmlu_cot_hard_maritime_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_marketing.yaml │ │ │ │ ├── kmmlu_cot_hard_materials_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_math.yaml │ │ │ │ ├── kmmlu_cot_hard_mechanical_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_nondestructive_testing.yaml │ │ │ │ ├── kmmlu_cot_hard_patent.yaml │ │ │ │ ├── kmmlu_cot_hard_political_science_and_sociology.yaml │ │ │ │ ├── kmmlu_cot_hard_psychology.yaml │ │ │ │ ├── kmmlu_cot_hard_public_safety.yaml │ │ │ │ ├── kmmlu_cot_hard_railway_and_automotive_engineering.yaml │ │ │ │ ├── kmmlu_cot_hard_real_estate.yaml │ │ │ │ ├── kmmlu_cot_hard_refrigerating_machinery.yaml │ │ │ │ ├── kmmlu_cot_hard_social_welfare.yaml │ │ │ │ ├── kmmlu_cot_hard_taxation.yaml │ │ │ │ └── kmmlu_cot_hard_telecommunications_and_wireless_technology.yaml │ │ │ ├── default/ │ │ │ │ ├── _default_kmmlu_yaml │ │ │ │ ├── _kmmlu_applied_science.yaml │ │ │ │ ├── _kmmlu_default.yaml │ │ │ │ ├── _kmmlu_humss.yaml │ │ │ │ ├── _kmmlu_other.yaml │ │ │ │ ├── _kmmlu_stem.yaml │ │ │ │ ├── kmmlu_accounting.yaml │ │ │ │ ├── kmmlu_agricultural_sciences.yaml │ │ │ │ ├── kmmlu_aviation_engineering_and_maintenance.yaml │ │ │ │ ├── kmmlu_biology.yaml │ │ │ │ ├── kmmlu_chemical_engineering.yaml │ │ │ │ ├── kmmlu_chemistry.yaml │ │ │ │ ├── kmmlu_civil_engineering.yaml │ │ │ │ ├── kmmlu_computer_science.yaml │ │ │ │ ├── kmmlu_construction.yaml │ │ │ │ ├── kmmlu_criminal_law.yaml │ │ │ │ ├── kmmlu_ecology.yaml │ │ │ │ ├── kmmlu_economics.yaml │ │ │ │ ├── kmmlu_education.yaml │ │ │ │ ├── kmmlu_electrical_engineering.yaml │ │ │ │ ├── kmmlu_electronics_engineering.yaml │ │ │ │ ├── kmmlu_energy_management.yaml │ │ │ │ ├── kmmlu_environmental_science.yaml │ │ │ │ ├── kmmlu_fashion.yaml │ │ │ │ ├── kmmlu_food_processing.yaml │ │ │ │ ├── kmmlu_gas_technology_and_engineering.yaml │ │ │ │ ├── kmmlu_geomatics.yaml │ │ │ │ ├── kmmlu_health.yaml │ │ │ │ ├── kmmlu_industrial_engineer.yaml │ │ │ │ ├── kmmlu_information_technology.yaml │ │ │ │ ├── kmmlu_interior_architecture_and_design.yaml │ │ │ │ ├── kmmlu_korean_history.yaml │ │ │ │ ├── kmmlu_law.yaml │ │ │ │ ├── kmmlu_machine_design_and_manufacturing.yaml │ │ │ │ ├── kmmlu_management.yaml │ │ │ │ ├── kmmlu_maritime_engineering.yaml │ │ │ │ ├── kmmlu_marketing.yaml │ │ │ │ ├── kmmlu_materials_engineering.yaml │ │ │ │ ├── kmmlu_math.yaml │ │ │ │ ├── kmmlu_mechanical_engineering.yaml │ │ │ │ ├── kmmlu_nondestructive_testing.yaml │ │ │ │ ├── kmmlu_patent.yaml │ │ │ │ ├── kmmlu_political_science_and_sociology.yaml │ │ │ │ ├── kmmlu_psychology.yaml │ │ │ │ ├── kmmlu_public_safety.yaml │ │ │ │ ├── kmmlu_railway_and_automotive_engineering.yaml │ │ │ │ ├── kmmlu_real_estate.yaml │ │ │ │ ├── kmmlu_refrigerating_machinery.yaml │ │ │ │ ├── kmmlu_social_welfare.yaml │ │ │ │ ├── kmmlu_taxation.yaml │ │ │ │ └── kmmlu_telecommunications_and_wireless_technology.yaml │ │ │ ├── direct/ │ │ │ │ ├── _direct_kmmlu_yaml │ │ │ │ ├── _kmmlu_direct.yaml │ │ │ │ ├── _kmmlu_direct_applied_science.yaml │ │ │ │ ├── _kmmlu_direct_humss.yaml │ │ │ │ ├── _kmmlu_direct_other.yaml │ │ │ │ ├── _kmmlu_direct_stem.yaml │ │ │ │ ├── kmmlu_direct_accounting.yaml │ │ │ │ ├── kmmlu_direct_agricultural_sciences.yaml │ │ │ │ ├── kmmlu_direct_aviation_engineering_and_maintenance.yaml │ │ │ │ ├── kmmlu_direct_biology.yaml │ │ │ │ ├── kmmlu_direct_chemical_engineering.yaml │ │ │ │ ├── kmmlu_direct_chemistry.yaml │ │ │ │ ├── kmmlu_direct_civil_engineering.yaml │ │ │ │ ├── kmmlu_direct_computer_science.yaml │ │ │ │ ├── kmmlu_direct_construction.yaml │ │ │ │ ├── kmmlu_direct_criminal_law.yaml │ │ │ │ ├── kmmlu_direct_ecology.yaml │ │ │ │ ├── kmmlu_direct_economics.yaml │ │ │ │ ├── kmmlu_direct_education.yaml │ │ │ │ ├── kmmlu_direct_electrical_engineering.yaml │ │ │ │ ├── kmmlu_direct_electronics_engineering.yaml │ │ │ │ ├── kmmlu_direct_energy_management.yaml │ │ │ │ ├── kmmlu_direct_environmental_science.yaml │ │ │ │ ├── kmmlu_direct_fashion.yaml │ │ │ │ ├── kmmlu_direct_food_processing.yaml │ │ │ │ ├── kmmlu_direct_gas_technology_and_engineering.yaml │ │ │ │ ├── kmmlu_direct_geomatics.yaml │ │ │ │ ├── kmmlu_direct_health.yaml │ │ │ │ ├── kmmlu_direct_industrial_engineer.yaml │ │ │ │ ├── kmmlu_direct_information_technology.yaml │ │ │ │ ├── kmmlu_direct_interior_architecture_and_design.yaml │ │ │ │ ├── kmmlu_direct_korean_history.yaml │ │ │ │ ├── kmmlu_direct_law.yaml │ │ │ │ ├── kmmlu_direct_machine_design_and_manufacturing.yaml │ │ │ │ ├── kmmlu_direct_management.yaml │ │ │ │ ├── kmmlu_direct_maritime_engineering.yaml │ │ │ │ ├── kmmlu_direct_marketing.yaml │ │ │ │ ├── kmmlu_direct_materials_engineering.yaml │ │ │ │ ├── kmmlu_direct_math.yaml │ │ │ │ ├── kmmlu_direct_mechanical_engineering.yaml │ │ │ │ ├── kmmlu_direct_nondestructive_testing.yaml │ │ │ │ ├── kmmlu_direct_patent.yaml │ │ │ │ ├── kmmlu_direct_political_science_and_sociology.yaml │ │ │ │ ├── kmmlu_direct_psychology.yaml │ │ │ │ ├── kmmlu_direct_public_safety.yaml │ │ │ │ ├── kmmlu_direct_railway_and_automotive_engineering.yaml │ │ │ │ ├── kmmlu_direct_real_estate.yaml │ │ │ │ ├── kmmlu_direct_refrigerating_machinery.yaml │ │ │ │ ├── kmmlu_direct_social_welfare.yaml │ │ │ │ ├── kmmlu_direct_taxation.yaml │ │ │ │ └── kmmlu_direct_telecommunications_and_wireless_technology.yaml │ │ │ ├── direct_hard/ │ │ │ │ ├── _direct_hard_kmmlu_yaml │ │ │ │ ├── _kmmlu_direct_hard.yaml │ │ │ │ ├── _kmmlu_direct_hard_applied_science.yaml │ │ │ │ ├── _kmmlu_direct_hard_humss.yaml │ │ │ │ ├── _kmmlu_direct_hard_other.yaml │ │ │ │ ├── _kmmlu_direct_hard_stem.yaml │ │ │ │ ├── kmmlu_direct_hard_accounting.yaml │ │ │ │ ├── kmmlu_direct_hard_agricultural_sciences.yaml │ │ │ │ ├── kmmlu_direct_hard_aviation_engineering_and_maintenance.yaml │ │ │ │ ├── kmmlu_direct_hard_biology.yaml │ │ │ │ ├── kmmlu_direct_hard_chemical_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_chemistry.yaml │ │ │ │ ├── kmmlu_direct_hard_civil_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_computer_science.yaml │ │ │ │ ├── kmmlu_direct_hard_construction.yaml │ │ │ │ ├── kmmlu_direct_hard_criminal_law.yaml │ │ │ │ ├── kmmlu_direct_hard_ecology.yaml │ │ │ │ ├── kmmlu_direct_hard_economics.yaml │ │ │ │ ├── kmmlu_direct_hard_education.yaml │ │ │ │ ├── kmmlu_direct_hard_electrical_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_electronics_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_energy_management.yaml │ │ │ │ ├── kmmlu_direct_hard_environmental_science.yaml │ │ │ │ ├── kmmlu_direct_hard_fashion.yaml │ │ │ │ ├── kmmlu_direct_hard_food_processing.yaml │ │ │ │ ├── kmmlu_direct_hard_gas_technology_and_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_geomatics.yaml │ │ │ │ ├── kmmlu_direct_hard_health.yaml │ │ │ │ ├── kmmlu_direct_hard_industrial_engineer.yaml │ │ │ │ ├── kmmlu_direct_hard_information_technology.yaml │ │ │ │ ├── kmmlu_direct_hard_interior_architecture_and_design.yaml │ │ │ │ ├── kmmlu_direct_hard_korean_history.yaml │ │ │ │ ├── kmmlu_direct_hard_law.yaml │ │ │ │ ├── kmmlu_direct_hard_machine_design_and_manufacturing.yaml │ │ │ │ ├── kmmlu_direct_hard_management.yaml │ │ │ │ ├── kmmlu_direct_hard_maritime_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_marketing.yaml │ │ │ │ ├── kmmlu_direct_hard_materials_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_math.yaml │ │ │ │ ├── kmmlu_direct_hard_mechanical_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_nondestructive_testing.yaml │ │ │ │ ├── kmmlu_direct_hard_patent.yaml │ │ │ │ ├── kmmlu_direct_hard_political_science_and_sociology.yaml │ │ │ │ ├── kmmlu_direct_hard_psychology.yaml │ │ │ │ ├── kmmlu_direct_hard_public_safety.yaml │ │ │ │ ├── kmmlu_direct_hard_railway_and_automotive_engineering.yaml │ │ │ │ ├── kmmlu_direct_hard_real_estate.yaml │ │ │ │ ├── kmmlu_direct_hard_refrigerating_machinery.yaml │ │ │ │ ├── kmmlu_direct_hard_social_welfare.yaml │ │ │ │ ├── kmmlu_direct_hard_taxation.yaml │ │ │ │ └── kmmlu_direct_hard_telecommunications_and_wireless_technology.yaml │ │ │ └── hard/ │ │ │ ├── _hard_kmmlu_yaml │ │ │ ├── _kmmlu_hard.yaml │ │ │ ├── _kmmlu_hard_applied_science.yaml │ │ │ ├── _kmmlu_hard_humss.yaml │ │ │ ├── _kmmlu_hard_other.yaml │ │ │ ├── _kmmlu_hard_stem.yaml │ │ │ ├── kmmlu_hard_accounting.yaml │ │ │ ├── kmmlu_hard_agricultural_sciences.yaml │ │ │ ├── kmmlu_hard_aviation_engineering_and_maintenance.yaml │ │ │ ├── kmmlu_hard_biology.yaml │ │ │ ├── kmmlu_hard_chemical_engineering.yaml │ │ │ ├── kmmlu_hard_chemistry.yaml │ │ │ ├── kmmlu_hard_civil_engineering.yaml │ │ │ ├── kmmlu_hard_computer_science.yaml │ │ │ ├── kmmlu_hard_construction.yaml │ │ │ ├── kmmlu_hard_criminal_law.yaml │ │ │ ├── kmmlu_hard_ecology.yaml │ │ │ ├── kmmlu_hard_economics.yaml │ │ │ ├── kmmlu_hard_education.yaml │ │ │ ├── kmmlu_hard_electrical_engineering.yaml │ │ │ ├── kmmlu_hard_electronics_engineering.yaml │ │ │ ├── kmmlu_hard_energy_management.yaml │ │ │ ├── kmmlu_hard_environmental_science.yaml │ │ │ ├── kmmlu_hard_fashion.yaml │ │ │ ├── kmmlu_hard_food_processing.yaml │ │ │ ├── kmmlu_hard_gas_technology_and_engineering.yaml │ │ │ ├── kmmlu_hard_geomatics.yaml │ │ │ ├── kmmlu_hard_health.yaml │ │ │ ├── kmmlu_hard_industrial_engineer.yaml │ │ │ ├── kmmlu_hard_information_technology.yaml │ │ │ ├── kmmlu_hard_interior_architecture_and_design.yaml │ │ │ ├── kmmlu_hard_korean_history.yaml │ │ │ ├── kmmlu_hard_law.yaml │ │ │ ├── kmmlu_hard_machine_design_and_manufacturing.yaml │ │ │ ├── kmmlu_hard_management.yaml │ │ │ ├── kmmlu_hard_maritime_engineering.yaml │ │ │ ├── kmmlu_hard_marketing.yaml │ │ │ ├── kmmlu_hard_materials_engineering.yaml │ │ │ ├── kmmlu_hard_math.yaml │ │ │ ├── kmmlu_hard_mechanical_engineering.yaml │ │ │ ├── kmmlu_hard_nondestructive_testing.yaml │ │ │ ├── kmmlu_hard_patent.yaml │ │ │ ├── kmmlu_hard_political_science_and_sociology.yaml │ │ │ ├── kmmlu_hard_psychology.yaml │ │ │ ├── kmmlu_hard_public_safety.yaml │ │ │ ├── kmmlu_hard_railway_and_automotive_engineering.yaml │ │ │ ├── kmmlu_hard_real_estate.yaml │ │ │ ├── kmmlu_hard_refrigerating_machinery.yaml │ │ │ ├── kmmlu_hard_social_welfare.yaml │ │ │ ├── kmmlu_hard_taxation.yaml │ │ │ └── kmmlu_hard_telecommunications_and_wireless_technology.yaml │ │ ├── kobest/ │ │ │ ├── README.md │ │ │ ├── _kobest.yaml │ │ │ ├── kobest_boolq.yaml │ │ │ ├── kobest_copa.yaml │ │ │ ├── kobest_hellaswag.yaml │ │ │ ├── kobest_sentineg.yaml │ │ │ ├── kobest_wic.yaml │ │ │ └── utils.py │ │ ├── kormedmcqa/ │ │ │ ├── README.md │ │ │ ├── _kormedmcqa.yaml │ │ │ ├── _template_yaml │ │ │ ├── dentist.yaml │ │ │ ├── doctor.yaml │ │ │ ├── nurse.yaml │ │ │ └── pharm.yaml │ │ ├── lambada/ │ │ │ ├── README.md │ │ │ ├── lambada_openai.yaml │ │ │ └── lambada_standard.yaml │ │ ├── lambada_cloze/ │ │ │ ├── README.md │ │ │ ├── lambada_openai_cloze.yaml │ │ │ └── lambada_standard_cloze.yaml │ │ ├── lambada_multilingual/ │ │ │ ├── README.md │ │ │ ├── lambada_mt_de.yaml │ │ │ ├── lambada_mt_en.yaml │ │ │ ├── lambada_mt_es.yaml │ │ │ ├── lambada_mt_fr.yaml │ │ │ └── lambada_mt_it.yaml │ │ ├── lambada_multilingual_stablelm/ │ │ │ ├── README.md │ │ │ ├── lambada_mt_stablelm_de.yaml │ │ │ ├── lambada_mt_stablelm_en.yaml │ │ │ ├── lambada_mt_stablelm_es.yaml │ │ │ ├── lambada_mt_stablelm_fr.yaml │ │ │ ├── lambada_mt_stablelm_it.yaml │ │ │ ├── lambada_mt_stablelm_nl.yaml │ │ │ └── lambada_mt_stablelm_pt.yaml │ │ ├── leaderboard/ │ │ │ ├── README.md │ │ │ ├── bbh_mc/ │ │ │ │ ├── _fewshot_template_yaml │ │ │ │ ├── _leaderboard_bbh.yaml │ │ │ │ ├── boolean_expressions.yaml │ │ │ │ ├── causal_judgement.yaml │ │ │ │ ├── date_understanding.yaml │ │ │ │ ├── disambiguation_qa.yaml │ │ │ │ ├── formal_fallacies.yaml │ │ │ │ ├── geometric_shapes.yaml │ │ │ │ ├── hyperbaton.yaml │ │ │ │ ├── logical_deduction_five_objects.yaml │ │ │ │ ├── logical_deduction_seven_objects.yaml │ │ │ │ ├── logical_deduction_three_objects.yaml │ │ │ │ ├── movie_recommendation.yaml │ │ │ │ ├── navigate.yaml │ │ │ │ ├── object_counting.yaml │ │ │ │ ├── penguins_in_a_table.yaml │ │ │ │ ├── reasoning_about_colored_objects.yaml │ │ │ │ ├── ruin_names.yaml │ │ │ │ ├── salient_translation_error_detection.yaml │ │ │ │ ├── snarks.yaml │ │ │ │ ├── sports_understanding.yaml │ │ │ │ ├── temporal_sequences.yaml │ │ │ │ ├── tracking_shuffled_objects_five_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_seven_objects.yaml │ │ │ │ ├── tracking_shuffled_objects_three_objects.yaml │ │ │ │ └── web_of_lies.yaml │ │ │ ├── gpqa/ │ │ │ │ ├── _leaderboard_gpqa.yaml │ │ │ │ ├── _template_yaml │ │ │ │ ├── gpqa_diamond_zeroshot.yaml │ │ │ │ ├── gpqa_extended_zeroshot.yaml │ │ │ │ ├── gpqa_main_zeroshot.yaml │ │ │ │ └── utils.py │ │ │ ├── ifeval/ │ │ │ │ ├── _leaderboard_instruction_following.yaml │ │ │ │ ├── ifeval.yaml │ │ │ │ ├── instructions.py │ │ │ │ ├── instructions_registry.py │ │ │ │ ├── instructions_util.py │ │ │ │ └── utils.py │ │ │ ├── leaderboard.yaml │ │ │ ├── math/ │ │ │ │ ├── _leaderboard_math.yaml │ │ │ │ ├── _template_yaml │ │ │ │ ├── math_algebra.yaml │ │ │ │ ├── math_counting_and_prob.yaml │ │ │ │ ├── math_geometry.yaml │ │ │ │ ├── math_intermediate_algebra.yaml │ │ │ │ ├── math_num_theory.yaml │ │ │ │ ├── math_prealgebra.yaml │ │ │ │ ├── math_precalculus.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_pro/ │ │ │ │ ├── mmlu_pro.yaml │ │ │ │ └── utils.py │ │ │ └── musr/ │ │ │ ├── _musr.yaml │ │ │ ├── _template_yaml │ │ │ ├── musr_murder_mysteries.yaml │ │ │ ├── musr_object_placements.yaml │ │ │ ├── musr_team_allocation.yaml │ │ │ └── utils.py │ │ ├── libra/ │ │ │ ├── README.md │ │ │ ├── _complex_reasoning_and_mathematical_problems.yaml │ │ │ ├── _multi_hop_question_answering.yaml │ │ │ ├── _question_answering_and_multiple_choice.yaml │ │ │ ├── _simple_information_retrieval.yaml │ │ │ ├── _template_yaml │ │ │ ├── librusec_history.yaml │ │ │ ├── librusec_mhqa.yaml │ │ │ ├── long_context_multiq.yaml │ │ │ ├── matreshka_names.yaml │ │ │ ├── matreshka_yes_no.yaml │ │ │ ├── passkey.yaml │ │ │ ├── passkey_with_librusec.yaml │ │ │ ├── ru_2wikimultihopqa.yaml │ │ │ ├── ru_babilong_qa1.yaml │ │ │ ├── ru_babilong_qa2.yaml │ │ │ ├── ru_babilong_qa3.yaml │ │ │ ├── ru_babilong_qa4.yaml │ │ │ ├── ru_babilong_qa5.yaml │ │ │ ├── ru_gsm100.yaml │ │ │ ├── ru_qasper.yaml │ │ │ ├── ru_quality.yaml │ │ │ ├── ru_sci_abstract_retrieval.yaml │ │ │ ├── ru_sci_passage_count.yaml │ │ │ └── utils.py │ │ ├── lingoly/ │ │ │ ├── README.md │ │ │ ├── lingoly_context.yaml │ │ │ ├── lingoly_group.yaml │ │ │ ├── lingoly_nocontext.yaml │ │ │ ├── script.py │ │ │ └── utils.py │ │ ├── llama3/ │ │ │ ├── README.md │ │ │ └── instruct/ │ │ │ ├── arc_challenge/ │ │ │ │ ├── arc_challenge_llama.yaml │ │ │ │ └── utils.py │ │ │ ├── gsm8k/ │ │ │ │ └── gsm8k.yaml │ │ │ ├── mmlu/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu_humanities.yaml │ │ │ │ ├── _mmlu_other.yaml │ │ │ │ ├── _mmlu_social_sciences.yaml │ │ │ │ ├── _mmlu_stem.yaml │ │ │ │ ├── llama.yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ └── mmlu_world_religions.yaml │ │ │ ├── mmlu_cot/ │ │ │ │ ├── _mmlu_cot_llama.yaml │ │ │ │ ├── _mmlu_cot_llama_template_yaml │ │ │ │ ├── _mmlu_humanities.yaml │ │ │ │ ├── _mmlu_other.yaml │ │ │ │ ├── _mmlu_social_sciences.yaml │ │ │ │ ├── _mmlu_stem.yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ └── mmlu_world_religions.yaml │ │ │ ├── mmlu_de/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu_de_humanities.yaml │ │ │ │ ├── _mmlu_de_llama.yaml │ │ │ │ ├── _mmlu_de_other.yaml │ │ │ │ ├── _mmlu_de_social_sciences.yaml │ │ │ │ ├── _mmlu_de_stem.yaml │ │ │ │ ├── mmlu_de_abstract_algebra.yaml │ │ │ │ ├── mmlu_de_anatomy.yaml │ │ │ │ ├── mmlu_de_astronomy.yaml │ │ │ │ ├── mmlu_de_business_ethics.yaml │ │ │ │ ├── mmlu_de_clinical_knowledge.yaml │ │ │ │ ├── mmlu_de_college_biology.yaml │ │ │ │ ├── mmlu_de_college_chemistry.yaml │ │ │ │ ├── mmlu_de_college_computer_science.yaml │ │ │ │ ├── mmlu_de_college_mathematics.yaml │ │ │ │ ├── mmlu_de_college_medicine.yaml │ │ │ │ ├── mmlu_de_college_physics.yaml │ │ │ │ ├── mmlu_de_computer_security.yaml │ │ │ │ ├── mmlu_de_conceptual_physics.yaml │ │ │ │ ├── mmlu_de_econometrics.yaml │ │ │ │ ├── mmlu_de_electrical_engineering.yaml │ │ │ │ ├── mmlu_de_elementary_mathematics.yaml │ │ │ │ ├── mmlu_de_formal_logic.yaml │ │ │ │ ├── mmlu_de_global_facts.yaml │ │ │ │ ├── mmlu_de_high_school_biology.yaml │ │ │ │ ├── mmlu_de_high_school_chemistry.yaml │ │ │ │ ├── mmlu_de_high_school_computer_science.yaml │ │ │ │ ├── mmlu_de_high_school_european_history.yaml │ │ │ │ ├── mmlu_de_high_school_geography.yaml │ │ │ │ ├── mmlu_de_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_de_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_de_high_school_mathematics.yaml │ │ │ │ ├── mmlu_de_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_de_high_school_physics.yaml │ │ │ │ ├── mmlu_de_high_school_psychology.yaml │ │ │ │ ├── mmlu_de_high_school_statistics.yaml │ │ │ │ ├── mmlu_de_high_school_us_history.yaml │ │ │ │ ├── mmlu_de_high_school_world_history.yaml │ │ │ │ ├── mmlu_de_human_aging.yaml │ │ │ │ ├── mmlu_de_human_sexuality.yaml │ │ │ │ ├── mmlu_de_international_law.yaml │ │ │ │ ├── mmlu_de_jurisprudence.yaml │ │ │ │ ├── mmlu_de_logical_fallacies.yaml │ │ │ │ ├── mmlu_de_machine_learning.yaml │ │ │ │ ├── mmlu_de_management.yaml │ │ │ │ ├── mmlu_de_marketing.yaml │ │ │ │ ├── mmlu_de_medical_genetics.yaml │ │ │ │ ├── mmlu_de_miscellaneous.yaml │ │ │ │ ├── mmlu_de_moral_disputes.yaml │ │ │ │ ├── mmlu_de_moral_scenarios.yaml │ │ │ │ ├── mmlu_de_nutrition.yaml │ │ │ │ ├── mmlu_de_philosophy.yaml │ │ │ │ ├── mmlu_de_prehistory.yaml │ │ │ │ ├── mmlu_de_professional_accounting.yaml │ │ │ │ ├── mmlu_de_professional_law.yaml │ │ │ │ ├── mmlu_de_professional_medicine.yaml │ │ │ │ ├── mmlu_de_professional_psychology.yaml │ │ │ │ ├── mmlu_de_public_relations.yaml │ │ │ │ ├── mmlu_de_security_studies.yaml │ │ │ │ ├── mmlu_de_sociology.yaml │ │ │ │ ├── mmlu_de_us_foreign_policy.yaml │ │ │ │ ├── mmlu_de_virology.yaml │ │ │ │ ├── mmlu_de_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_es/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu_es_humanities.yaml │ │ │ │ ├── _mmlu_es_llama.yaml │ │ │ │ ├── _mmlu_es_other.yaml │ │ │ │ ├── _mmlu_es_social_sciences.yaml │ │ │ │ ├── _mmlu_es_stem.yaml │ │ │ │ ├── mmlu_es_abstract_algebra.yaml │ │ │ │ ├── mmlu_es_anatomy.yaml │ │ │ │ ├── mmlu_es_astronomy.yaml │ │ │ │ ├── mmlu_es_business_ethics.yaml │ │ │ │ ├── mmlu_es_clinical_knowledge.yaml │ │ │ │ ├── mmlu_es_college_biology.yaml │ │ │ │ ├── mmlu_es_college_chemistry.yaml │ │ │ │ ├── mmlu_es_college_computer_science.yaml │ │ │ │ ├── mmlu_es_college_mathematics.yaml │ │ │ │ ├── mmlu_es_college_medicine.yaml │ │ │ │ ├── mmlu_es_college_physics.yaml │ │ │ │ ├── mmlu_es_computer_security.yaml │ │ │ │ ├── mmlu_es_conceptual_physics.yaml │ │ │ │ ├── mmlu_es_econometrics.yaml │ │ │ │ ├── mmlu_es_electrical_engineering.yaml │ │ │ │ ├── mmlu_es_elementary_mathematics.yaml │ │ │ │ ├── mmlu_es_formal_logic.yaml │ │ │ │ ├── mmlu_es_global_facts.yaml │ │ │ │ ├── mmlu_es_high_school_biology.yaml │ │ │ │ ├── mmlu_es_high_school_chemistry.yaml │ │ │ │ ├── mmlu_es_high_school_computer_science.yaml │ │ │ │ ├── mmlu_es_high_school_european_history.yaml │ │ │ │ ├── mmlu_es_high_school_geography.yaml │ │ │ │ ├── mmlu_es_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_es_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_es_high_school_mathematics.yaml │ │ │ │ ├── mmlu_es_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_es_high_school_physics.yaml │ │ │ │ ├── mmlu_es_high_school_psychology.yaml │ │ │ │ ├── mmlu_es_high_school_statistics.yaml │ │ │ │ ├── mmlu_es_high_school_us_history.yaml │ │ │ │ ├── mmlu_es_high_school_world_history.yaml │ │ │ │ ├── mmlu_es_human_aging.yaml │ │ │ │ ├── mmlu_es_human_sexuality.yaml │ │ │ │ ├── mmlu_es_international_law.yaml │ │ │ │ ├── mmlu_es_jurisprudence.yaml │ │ │ │ ├── mmlu_es_logical_fallacies.yaml │ │ │ │ ├── mmlu_es_machine_learning.yaml │ │ │ │ ├── mmlu_es_management.yaml │ │ │ │ ├── mmlu_es_marketing.yaml │ │ │ │ ├── mmlu_es_medical_genetics.yaml │ │ │ │ ├── mmlu_es_miscellaneous.yaml │ │ │ │ ├── mmlu_es_moral_disputes.yaml │ │ │ │ ├── mmlu_es_moral_scenarios.yaml │ │ │ │ ├── mmlu_es_nutrition.yaml │ │ │ │ ├── mmlu_es_philosophy.yaml │ │ │ │ ├── mmlu_es_prehistory.yaml │ │ │ │ ├── mmlu_es_professional_accounting.yaml │ │ │ │ ├── mmlu_es_professional_law.yaml │ │ │ │ ├── mmlu_es_professional_medicine.yaml │ │ │ │ ├── mmlu_es_professional_psychology.yaml │ │ │ │ ├── mmlu_es_public_relations.yaml │ │ │ │ ├── mmlu_es_security_studies.yaml │ │ │ │ ├── mmlu_es_sociology.yaml │ │ │ │ ├── mmlu_es_us_foreign_policy.yaml │ │ │ │ ├── mmlu_es_virology.yaml │ │ │ │ ├── mmlu_es_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_fr/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu_fr_humanities.yaml │ │ │ │ ├── _mmlu_fr_llama.yaml │ │ │ │ ├── _mmlu_fr_other.yaml │ │ │ │ ├── _mmlu_fr_social_sciences.yaml │ │ │ │ ├── _mmlu_fr_stem.yaml │ │ │ │ ├── mmlu_fr_abstract_algebra.yaml │ │ │ │ ├── mmlu_fr_anatomy.yaml │ │ │ │ ├── mmlu_fr_astronomy.yaml │ │ │ │ ├── mmlu_fr_business_ethics.yaml │ │ │ │ ├── mmlu_fr_clinical_knowledge.yaml │ │ │ │ ├── mmlu_fr_college_biology.yaml │ │ │ │ ├── mmlu_fr_college_chemistry.yaml │ │ │ │ ├── mmlu_fr_college_computer_science.yaml │ │ │ │ ├── mmlu_fr_college_mathematics.yaml │ │ │ │ ├── mmlu_fr_college_medicine.yaml │ │ │ │ ├── mmlu_fr_college_physics.yaml │ │ │ │ ├── mmlu_fr_computer_security.yaml │ │ │ │ ├── mmlu_fr_conceptual_physics.yaml │ │ │ │ ├── mmlu_fr_econometrics.yaml │ │ │ │ ├── mmlu_fr_electrical_engineering.yaml │ │ │ │ ├── mmlu_fr_elementary_mathematics.yaml │ │ │ │ ├── mmlu_fr_formal_logic.yaml │ │ │ │ ├── mmlu_fr_global_facts.yaml │ │ │ │ ├── mmlu_fr_high_school_biology.yaml │ │ │ │ ├── mmlu_fr_high_school_chemistry.yaml │ │ │ │ ├── mmlu_fr_high_school_computer_science.yaml │ │ │ │ ├── mmlu_fr_high_school_european_history.yaml │ │ │ │ ├── mmlu_fr_high_school_geography.yaml │ │ │ │ ├── mmlu_fr_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_fr_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_fr_high_school_mathematics.yaml │ │ │ │ ├── mmlu_fr_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_fr_high_school_physics.yaml │ │ │ │ ├── mmlu_fr_high_school_psychology.yaml │ │ │ │ ├── mmlu_fr_high_school_statistics.yaml │ │ │ │ ├── mmlu_fr_high_school_us_history.yaml │ │ │ │ ├── mmlu_fr_high_school_world_history.yaml │ │ │ │ ├── mmlu_fr_human_aging.yaml │ │ │ │ ├── mmlu_fr_human_sexuality.yaml │ │ │ │ ├── mmlu_fr_international_law.yaml │ │ │ │ ├── mmlu_fr_jurisprudence.yaml │ │ │ │ ├── mmlu_fr_logical_fallacies.yaml │ │ │ │ ├── mmlu_fr_machine_learning.yaml │ │ │ │ ├── mmlu_fr_management.yaml │ │ │ │ ├── mmlu_fr_marketing.yaml │ │ │ │ ├── mmlu_fr_medical_genetics.yaml │ │ │ │ ├── mmlu_fr_miscellaneous.yaml │ │ │ │ ├── mmlu_fr_moral_disputes.yaml │ │ │ │ ├── mmlu_fr_moral_scenarios.yaml │ │ │ │ ├── mmlu_fr_nutrition.yaml │ │ │ │ ├── mmlu_fr_philosophy.yaml │ │ │ │ ├── mmlu_fr_prehistory.yaml │ │ │ │ ├── mmlu_fr_professional_accounting.yaml │ │ │ │ ├── mmlu_fr_professional_law.yaml │ │ │ │ ├── mmlu_fr_professional_medicine.yaml │ │ │ │ ├── mmlu_fr_professional_psychology.yaml │ │ │ │ ├── mmlu_fr_public_relations.yaml │ │ │ │ ├── mmlu_fr_security_studies.yaml │ │ │ │ ├── mmlu_fr_sociology.yaml │ │ │ │ ├── mmlu_fr_us_foreign_policy.yaml │ │ │ │ ├── mmlu_fr_virology.yaml │ │ │ │ ├── mmlu_fr_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_hi/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu_hi_humanities.yaml │ │ │ │ ├── _mmlu_hi_llama.yaml │ │ │ │ ├── _mmlu_hi_other.yaml │ │ │ │ ├── _mmlu_hi_social_sciences.yaml │ │ │ │ ├── _mmlu_hi_stem.yaml │ │ │ │ ├── mmlu_hi_abstract_algebra.yaml │ │ │ │ ├── mmlu_hi_anatomy.yaml │ │ │ │ ├── mmlu_hi_astronomy.yaml │ │ │ │ ├── mmlu_hi_business_ethics.yaml │ │ │ │ ├── mmlu_hi_clinical_knowledge.yaml │ │ │ │ ├── mmlu_hi_college_biology.yaml │ │ │ │ ├── mmlu_hi_college_chemistry.yaml │ │ │ │ ├── mmlu_hi_college_computer_science.yaml │ │ │ │ ├── mmlu_hi_college_mathematics.yaml │ │ │ │ ├── mmlu_hi_college_medicine.yaml │ │ │ │ ├── mmlu_hi_college_physics.yaml │ │ │ │ ├── mmlu_hi_computer_security.yaml │ │ │ │ ├── mmlu_hi_conceptual_physics.yaml │ │ │ │ ├── mmlu_hi_econometrics.yaml │ │ │ │ ├── mmlu_hi_electrical_engineering.yaml │ │ │ │ ├── mmlu_hi_elementary_mathematics.yaml │ │ │ │ ├── mmlu_hi_formal_logic.yaml │ │ │ │ ├── mmlu_hi_global_facts.yaml │ │ │ │ ├── mmlu_hi_high_school_biology.yaml │ │ │ │ ├── mmlu_hi_high_school_chemistry.yaml │ │ │ │ ├── mmlu_hi_high_school_computer_science.yaml │ │ │ │ ├── mmlu_hi_high_school_european_history.yaml │ │ │ │ ├── mmlu_hi_high_school_geography.yaml │ │ │ │ ├── mmlu_hi_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_hi_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_hi_high_school_mathematics.yaml │ │ │ │ ├── mmlu_hi_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_hi_high_school_physics.yaml │ │ │ │ ├── mmlu_hi_high_school_psychology.yaml │ │ │ │ ├── mmlu_hi_high_school_statistics.yaml │ │ │ │ ├── mmlu_hi_high_school_us_history.yaml │ │ │ │ ├── mmlu_hi_high_school_world_history.yaml │ │ │ │ ├── mmlu_hi_human_aging.yaml │ │ │ │ ├── mmlu_hi_human_sexuality.yaml │ │ │ │ ├── mmlu_hi_international_law.yaml │ │ │ │ ├── mmlu_hi_jurisprudence.yaml │ │ │ │ ├── mmlu_hi_logical_fallacies.yaml │ │ │ │ ├── mmlu_hi_machine_learning.yaml │ │ │ │ ├── mmlu_hi_management.yaml │ │ │ │ ├── mmlu_hi_marketing.yaml │ │ │ │ ├── mmlu_hi_medical_genetics.yaml │ │ │ │ ├── mmlu_hi_miscellaneous.yaml │ │ │ │ ├── mmlu_hi_moral_disputes.yaml │ │ │ │ ├── mmlu_hi_moral_scenarios.yaml │ │ │ │ ├── mmlu_hi_nutrition.yaml │ │ │ │ ├── mmlu_hi_philosophy.yaml │ │ │ │ ├── mmlu_hi_prehistory.yaml │ │ │ │ ├── mmlu_hi_professional_accounting.yaml │ │ │ │ ├── mmlu_hi_professional_law.yaml │ │ │ │ ├── mmlu_hi_professional_medicine.yaml │ │ │ │ ├── mmlu_hi_professional_psychology.yaml │ │ │ │ ├── mmlu_hi_public_relations.yaml │ │ │ │ ├── mmlu_hi_security_studies.yaml │ │ │ │ ├── mmlu_hi_sociology.yaml │ │ │ │ ├── mmlu_hi_us_foreign_policy.yaml │ │ │ │ ├── mmlu_hi_virology.yaml │ │ │ │ ├── mmlu_hi_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_it/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu_it_humanities.yaml │ │ │ │ ├── _mmlu_it_llama.yaml │ │ │ │ ├── _mmlu_it_other.yaml │ │ │ │ ├── _mmlu_it_social_sciences.yaml │ │ │ │ ├── _mmlu_it_stem.yaml │ │ │ │ ├── mmlu_it_abstract_algebra.yaml │ │ │ │ ├── mmlu_it_anatomy.yaml │ │ │ │ ├── mmlu_it_astronomy.yaml │ │ │ │ ├── mmlu_it_business_ethics.yaml │ │ │ │ ├── mmlu_it_clinical_knowledge.yaml │ │ │ │ ├── mmlu_it_college_biology.yaml │ │ │ │ ├── mmlu_it_college_chemistry.yaml │ │ │ │ ├── mmlu_it_college_computer_science.yaml │ │ │ │ ├── mmlu_it_college_mathematics.yaml │ │ │ │ ├── mmlu_it_college_medicine.yaml │ │ │ │ ├── mmlu_it_college_physics.yaml │ │ │ │ ├── mmlu_it_computer_security.yaml │ │ │ │ ├── mmlu_it_conceptual_physics.yaml │ │ │ │ ├── mmlu_it_econometrics.yaml │ │ │ │ ├── mmlu_it_electrical_engineering.yaml │ │ │ │ ├── mmlu_it_elementary_mathematics.yaml │ │ │ │ ├── mmlu_it_formal_logic.yaml │ │ │ │ ├── mmlu_it_global_facts.yaml │ │ │ │ ├── mmlu_it_high_school_biology.yaml │ │ │ │ ├── mmlu_it_high_school_chemistry.yaml │ │ │ │ ├── mmlu_it_high_school_computer_science.yaml │ │ │ │ ├── mmlu_it_high_school_european_history.yaml │ │ │ │ ├── mmlu_it_high_school_geography.yaml │ │ │ │ ├── mmlu_it_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_it_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_it_high_school_mathematics.yaml │ │ │ │ ├── mmlu_it_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_it_high_school_physics.yaml │ │ │ │ ├── mmlu_it_high_school_psychology.yaml │ │ │ │ ├── mmlu_it_high_school_statistics.yaml │ │ │ │ ├── mmlu_it_high_school_us_history.yaml │ │ │ │ ├── mmlu_it_high_school_world_history.yaml │ │ │ │ ├── mmlu_it_human_aging.yaml │ │ │ │ ├── mmlu_it_human_sexuality.yaml │ │ │ │ ├── mmlu_it_international_law.yaml │ │ │ │ ├── mmlu_it_jurisprudence.yaml │ │ │ │ ├── mmlu_it_logical_fallacies.yaml │ │ │ │ ├── mmlu_it_machine_learning.yaml │ │ │ │ ├── mmlu_it_management.yaml │ │ │ │ ├── mmlu_it_marketing.yaml │ │ │ │ ├── mmlu_it_medical_genetics.yaml │ │ │ │ ├── mmlu_it_miscellaneous.yaml │ │ │ │ ├── mmlu_it_moral_disputes.yaml │ │ │ │ ├── mmlu_it_moral_scenarios.yaml │ │ │ │ ├── mmlu_it_nutrition.yaml │ │ │ │ ├── mmlu_it_philosophy.yaml │ │ │ │ ├── mmlu_it_prehistory.yaml │ │ │ │ ├── mmlu_it_professional_accounting.yaml │ │ │ │ ├── mmlu_it_professional_law.yaml │ │ │ │ ├── mmlu_it_professional_medicine.yaml │ │ │ │ ├── mmlu_it_professional_psychology.yaml │ │ │ │ ├── mmlu_it_public_relations.yaml │ │ │ │ ├── mmlu_it_security_studies.yaml │ │ │ │ ├── mmlu_it_sociology.yaml │ │ │ │ ├── mmlu_it_us_foreign_policy.yaml │ │ │ │ ├── mmlu_it_virology.yaml │ │ │ │ ├── mmlu_it_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_pro/ │ │ │ │ ├── _default_template_yaml │ │ │ │ ├── _mmlu_pro.yaml │ │ │ │ ├── mmlu_pro_biology.yaml │ │ │ │ ├── mmlu_pro_business.yaml │ │ │ │ ├── mmlu_pro_chemistry.yaml │ │ │ │ ├── mmlu_pro_computer_science.yaml │ │ │ │ ├── mmlu_pro_economics.yaml │ │ │ │ ├── mmlu_pro_engineering.yaml │ │ │ │ ├── mmlu_pro_health.yaml │ │ │ │ ├── mmlu_pro_history.yaml │ │ │ │ ├── mmlu_pro_law.yaml │ │ │ │ ├── mmlu_pro_math.yaml │ │ │ │ ├── mmlu_pro_other.yaml │ │ │ │ ├── mmlu_pro_philosophy.yaml │ │ │ │ ├── mmlu_pro_physics.yaml │ │ │ │ ├── mmlu_pro_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_pt/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu_pt_humanities.yaml │ │ │ │ ├── _mmlu_pt_llama.yaml │ │ │ │ ├── _mmlu_pt_other.yaml │ │ │ │ ├── _mmlu_pt_social_sciences.yaml │ │ │ │ ├── _mmlu_pt_stem.yaml │ │ │ │ ├── mmlu_pt_abstract_algebra.yaml │ │ │ │ ├── mmlu_pt_anatomy.yaml │ │ │ │ ├── mmlu_pt_astronomy.yaml │ │ │ │ ├── mmlu_pt_business_ethics.yaml │ │ │ │ ├── mmlu_pt_clinical_knowledge.yaml │ │ │ │ ├── mmlu_pt_college_biology.yaml │ │ │ │ ├── mmlu_pt_college_chemistry.yaml │ │ │ │ ├── mmlu_pt_college_computer_science.yaml │ │ │ │ ├── mmlu_pt_college_mathematics.yaml │ │ │ │ ├── mmlu_pt_college_medicine.yaml │ │ │ │ ├── mmlu_pt_college_physics.yaml │ │ │ │ ├── mmlu_pt_computer_security.yaml │ │ │ │ ├── mmlu_pt_conceptual_physics.yaml │ │ │ │ ├── mmlu_pt_econometrics.yaml │ │ │ │ ├── mmlu_pt_electrical_engineering.yaml │ │ │ │ ├── mmlu_pt_elementary_mathematics.yaml │ │ │ │ ├── mmlu_pt_formal_logic.yaml │ │ │ │ ├── mmlu_pt_global_facts.yaml │ │ │ │ ├── mmlu_pt_high_school_biology.yaml │ │ │ │ ├── mmlu_pt_high_school_chemistry.yaml │ │ │ │ ├── mmlu_pt_high_school_computer_science.yaml │ │ │ │ ├── mmlu_pt_high_school_european_history.yaml │ │ │ │ ├── mmlu_pt_high_school_geography.yaml │ │ │ │ ├── mmlu_pt_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_pt_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_pt_high_school_mathematics.yaml │ │ │ │ ├── mmlu_pt_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_pt_high_school_physics.yaml │ │ │ │ ├── mmlu_pt_high_school_psychology.yaml │ │ │ │ ├── mmlu_pt_high_school_statistics.yaml │ │ │ │ ├── mmlu_pt_high_school_us_history.yaml │ │ │ │ ├── mmlu_pt_high_school_world_history.yaml │ │ │ │ ├── mmlu_pt_human_aging.yaml │ │ │ │ ├── mmlu_pt_human_sexuality.yaml │ │ │ │ ├── mmlu_pt_international_law.yaml │ │ │ │ ├── mmlu_pt_jurisprudence.yaml │ │ │ │ ├── mmlu_pt_logical_fallacies.yaml │ │ │ │ ├── mmlu_pt_machine_learning.yaml │ │ │ │ ├── mmlu_pt_management.yaml │ │ │ │ ├── mmlu_pt_marketing.yaml │ │ │ │ ├── mmlu_pt_medical_genetics.yaml │ │ │ │ ├── mmlu_pt_miscellaneous.yaml │ │ │ │ ├── mmlu_pt_moral_disputes.yaml │ │ │ │ ├── mmlu_pt_moral_scenarios.yaml │ │ │ │ ├── mmlu_pt_nutrition.yaml │ │ │ │ ├── mmlu_pt_philosophy.yaml │ │ │ │ ├── mmlu_pt_prehistory.yaml │ │ │ │ ├── mmlu_pt_professional_accounting.yaml │ │ │ │ ├── mmlu_pt_professional_law.yaml │ │ │ │ ├── mmlu_pt_professional_medicine.yaml │ │ │ │ ├── mmlu_pt_professional_psychology.yaml │ │ │ │ ├── mmlu_pt_public_relations.yaml │ │ │ │ ├── mmlu_pt_security_studies.yaml │ │ │ │ ├── mmlu_pt_sociology.yaml │ │ │ │ ├── mmlu_pt_us_foreign_policy.yaml │ │ │ │ ├── mmlu_pt_virology.yaml │ │ │ │ ├── mmlu_pt_world_religions.yaml │ │ │ │ └── utils.py │ │ │ └── mmlu_th/ │ │ │ ├── _continuation_template_yaml │ │ │ ├── _mmlu_th_humanities.yaml │ │ │ ├── _mmlu_th_llama.yaml │ │ │ ├── _mmlu_th_other.yaml │ │ │ ├── _mmlu_th_social_sciences.yaml │ │ │ ├── _mmlu_th_stem.yaml │ │ │ ├── mmlu_th_abstract_algebra.yaml │ │ │ ├── mmlu_th_anatomy.yaml │ │ │ ├── mmlu_th_astronomy.yaml │ │ │ ├── mmlu_th_business_ethics.yaml │ │ │ ├── mmlu_th_clinical_knowledge.yaml │ │ │ ├── mmlu_th_college_biology.yaml │ │ │ ├── mmlu_th_college_chemistry.yaml │ │ │ ├── mmlu_th_college_computer_science.yaml │ │ │ ├── mmlu_th_college_mathematics.yaml │ │ │ ├── mmlu_th_college_medicine.yaml │ │ │ ├── mmlu_th_college_physics.yaml │ │ │ ├── mmlu_th_computer_security.yaml │ │ │ ├── mmlu_th_conceptual_physics.yaml │ │ │ ├── mmlu_th_econometrics.yaml │ │ │ ├── mmlu_th_electrical_engineering.yaml │ │ │ ├── mmlu_th_elementary_mathematics.yaml │ │ │ ├── mmlu_th_formal_logic.yaml │ │ │ ├── mmlu_th_global_facts.yaml │ │ │ ├── mmlu_th_high_school_biology.yaml │ │ │ ├── mmlu_th_high_school_chemistry.yaml │ │ │ ├── mmlu_th_high_school_computer_science.yaml │ │ │ ├── mmlu_th_high_school_european_history.yaml │ │ │ ├── mmlu_th_high_school_geography.yaml │ │ │ ├── mmlu_th_high_school_government_and_politics.yaml │ │ │ ├── mmlu_th_high_school_macroeconomics.yaml │ │ │ ├── mmlu_th_high_school_mathematics.yaml │ │ │ ├── mmlu_th_high_school_microeconomics.yaml │ │ │ ├── mmlu_th_high_school_physics.yaml │ │ │ ├── mmlu_th_high_school_psychology.yaml │ │ │ ├── mmlu_th_high_school_statistics.yaml │ │ │ ├── mmlu_th_high_school_us_history.yaml │ │ │ ├── mmlu_th_high_school_world_history.yaml │ │ │ ├── mmlu_th_human_aging.yaml │ │ │ ├── mmlu_th_human_sexuality.yaml │ │ │ ├── mmlu_th_international_law.yaml │ │ │ ├── mmlu_th_jurisprudence.yaml │ │ │ ├── mmlu_th_logical_fallacies.yaml │ │ │ ├── mmlu_th_machine_learning.yaml │ │ │ ├── mmlu_th_management.yaml │ │ │ ├── mmlu_th_marketing.yaml │ │ │ ├── mmlu_th_medical_genetics.yaml │ │ │ ├── mmlu_th_miscellaneous.yaml │ │ │ ├── mmlu_th_moral_disputes.yaml │ │ │ ├── mmlu_th_moral_scenarios.yaml │ │ │ ├── mmlu_th_nutrition.yaml │ │ │ ├── mmlu_th_philosophy.yaml │ │ │ ├── mmlu_th_prehistory.yaml │ │ │ ├── mmlu_th_professional_accounting.yaml │ │ │ ├── mmlu_th_professional_law.yaml │ │ │ ├── mmlu_th_professional_medicine.yaml │ │ │ ├── mmlu_th_professional_psychology.yaml │ │ │ ├── mmlu_th_public_relations.yaml │ │ │ ├── mmlu_th_security_studies.yaml │ │ │ ├── mmlu_th_sociology.yaml │ │ │ ├── mmlu_th_us_foreign_policy.yaml │ │ │ ├── mmlu_th_virology.yaml │ │ │ ├── mmlu_th_world_religions.yaml │ │ │ └── utils.py │ │ ├── lm_syneval/ │ │ │ ├── README.md │ │ │ ├── _template_yaml │ │ │ ├── lm_syneval__agreement__long_vp_coord__plur_MS_LMV_LMV.yaml │ │ │ ├── lm_syneval__agreement__long_vp_coord__sing_MS_LMV_LMV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_anim__plur_MS_MV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_anim__plur_MS_MV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_anim__sing_MS_MV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_anim__sing_MS_MV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_inanim__plur_IS_IV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_inanim__plur_IS_IV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_inanim__sing_IS_IV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_across_inanim__sing_IS_IV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_anim__plur_MS_MV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_anim__plur_MS_MV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_anim__sing_MS_MV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_anim__sing_MS_MV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_inanim__plur_IS_IV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_inanim__plur_IS_IV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_inanim__sing_IS_IV_plur_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_across_inanim__sing_IS_IV_sing_ES_EV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_anim__plur_ES_EV_plur_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_anim__plur_ES_EV_sing_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_anim__sing_ES_EV_plur_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_anim__sing_ES_EV_sing_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_inanim__plur_ES_EV_plur_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_inanim__plur_ES_EV_sing_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_inanim__sing_ES_EV_plur_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_no_comp_within_inanim__sing_ES_EV_sing_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_anim__plur_ES_EV_plur_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_anim__plur_ES_EV_sing_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_anim__sing_ES_EV_plur_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_anim__sing_ES_EV_sing_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_inanim__plur_ES_EV_plur_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_inanim__plur_ES_EV_sing_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_inanim__sing_ES_EV_plur_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__obj_rel_within_inanim__sing_ES_EV_sing_IS_IV.yaml │ │ │ ├── lm_syneval__agreement__prep_anim__plur_MS_MV_plur_ES.yaml │ │ │ ├── lm_syneval__agreement__prep_anim__plur_MS_MV_sing_ES.yaml │ │ │ ├── lm_syneval__agreement__prep_anim__sing_MS_MV_plur_ES.yaml │ │ │ ├── lm_syneval__agreement__prep_anim__sing_MS_MV_sing_ES.yaml │ │ │ ├── lm_syneval__agreement__prep_inanim__plur_IS_IV_plur_ES.yaml │ │ │ ├── lm_syneval__agreement__prep_inanim__plur_IS_IV_sing_ES.yaml │ │ │ ├── lm_syneval__agreement__prep_inanim__sing_IS_IV_plur_ES.yaml │ │ │ ├── lm_syneval__agreement__prep_inanim__sing_IS_IV_sing_ES.yaml │ │ │ ├── lm_syneval__agreement__sent_comp__plur_MS_MV_plur_BS.yaml │ │ │ ├── lm_syneval__agreement__sent_comp__plur_MS_MV_sing_BS.yaml │ │ │ ├── lm_syneval__agreement__sent_comp__sing_MS_MV_plur_BS.yaml │ │ │ ├── lm_syneval__agreement__sent_comp__sing_MS_MV_sing_BS.yaml │ │ │ ├── lm_syneval__agreement__simple_agrmt__plur_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__simple_agrmt__sing_MS_MV.yaml │ │ │ ├── lm_syneval__agreement__subj_rel__plur_MS_EV_MV_plur_ES.yaml │ │ │ ├── lm_syneval__agreement__subj_rel__plur_MS_EV_MV_sing_ES.yaml │ │ │ ├── lm_syneval__agreement__subj_rel__sing_MS_EV_MV_plur_ES.yaml │ │ │ ├── lm_syneval__agreement__subj_rel__sing_MS_EV_MV_sing_ES.yaml │ │ │ ├── lm_syneval__agreement__vp_coord__plur_MS_MV_MV.yaml │ │ │ ├── lm_syneval__agreement__vp_coord__sing_MS_MV_MV.yaml │ │ │ ├── lm_syneval__npi__npi_across_anim__future.yaml │ │ │ ├── lm_syneval__npi__npi_across_anim__past.yaml │ │ │ ├── lm_syneval__npi__npi_across_inanim__future.yaml │ │ │ ├── lm_syneval__npi__npi_across_inanim__past.yaml │ │ │ ├── lm_syneval__npi__simple_npi_anim__future.yaml │ │ │ ├── lm_syneval__npi__simple_npi_anim__past.yaml │ │ │ ├── lm_syneval__npi__simple_npi_inanim__future.yaml │ │ │ ├── lm_syneval__npi__simple_npi_inanim__past.yaml │ │ │ ├── lm_syneval__reflexives__reflexive_sent_comp__plur_MS_ANPHR_plur_BS.yaml │ │ │ ├── lm_syneval__reflexives__reflexive_sent_comp__plur_MS_ANPHR_sing_BS.yaml │ │ │ ├── lm_syneval__reflexives__reflexive_sent_comp__sing_MS_ANPHR_plur_BS.yaml │ │ │ ├── lm_syneval__reflexives__reflexive_sent_comp__sing_MS_ANPHR_sing_BS.yaml │ │ │ ├── lm_syneval__reflexives__reflexives_across__plur_MS_ANPHR_plur_ES_EV.yaml │ │ │ ├── lm_syneval__reflexives__reflexives_across__plur_MS_ANPHR_sing_ES_EV.yaml │ │ │ ├── lm_syneval__reflexives__reflexives_across__sing_MS_ANPHR_plur_ES_EV.yaml │ │ │ ├── lm_syneval__reflexives__reflexives_across__sing_MS_ANPHR_sing_ES_EV.yaml │ │ │ ├── lm_syneval__reflexives__simple_reflexives__plur_MS_ANPHR.yaml │ │ │ ├── lm_syneval__reflexives__simple_reflexives__sing_MS_ANPHR.yaml │ │ │ └── lm_syneval_group.yaml │ │ ├── logiqa/ │ │ │ ├── README.md │ │ │ ├── logiqa.yaml │ │ │ └── utils_logiqa.py │ │ ├── logiqa2/ │ │ │ ├── README.md │ │ │ ├── logieval.yaml │ │ │ ├── logiqa2.yaml │ │ │ └── utils_logiqa2.py │ │ ├── longbench/ │ │ │ ├── 2wikimqa.yaml │ │ │ ├── 2wikimqa_e.yaml │ │ │ ├── README.md │ │ │ ├── _generate_config.py │ │ │ ├── _longbench.yaml │ │ │ ├── _longbench_code.yaml │ │ │ ├── _longbench_code_e.yaml │ │ │ ├── _longbench_e.yaml │ │ │ ├── _longbench_fewshot.yaml │ │ │ ├── _longbench_fewshot_e.yaml │ │ │ ├── _longbench_multi.yaml │ │ │ ├── _longbench_multi_e.yaml │ │ │ ├── _longbench_single.yaml │ │ │ ├── _longbench_single_e.yaml │ │ │ ├── _longbench_summarization.yaml │ │ │ ├── _longbench_summarization_e.yaml │ │ │ ├── _longbench_synthetic.yaml │ │ │ ├── _longbench_synthetic_e.yaml │ │ │ ├── dureader.yaml │ │ │ ├── gov_report.yaml │ │ │ ├── gov_report_e.yaml │ │ │ ├── hotpotqa.yaml │ │ │ ├── hotpotqa_e.yaml │ │ │ ├── lcc.yaml │ │ │ ├── lcc_e.yaml │ │ │ ├── lsht.yaml │ │ │ ├── metrics.py │ │ │ ├── multi_news.yaml │ │ │ ├── multi_news_e.yaml │ │ │ ├── multifieldqa_en.yaml │ │ │ ├── multifieldqa_en_e.yaml │ │ │ ├── multifieldqa_zh.yaml │ │ │ ├── musique.yaml │ │ │ ├── narrativeqa.yaml │ │ │ ├── passage_count.yaml │ │ │ ├── passage_count_e.yaml │ │ │ ├── passage_retrieval_en.yaml │ │ │ ├── passage_retrieval_en_e.yaml │ │ │ ├── passage_retrieval_zh.yaml │ │ │ ├── qasper.yaml │ │ │ ├── qasper_e.yaml │ │ │ ├── qmsum.yaml │ │ │ ├── repobench-p.yaml │ │ │ ├── repobench-p_e.yaml │ │ │ ├── samsum.yaml │ │ │ ├── samsum_e.yaml │ │ │ ├── trec.yaml │ │ │ ├── trec_e.yaml │ │ │ ├── triviaqa.yaml │ │ │ ├── triviaqa_e.yaml │ │ │ ├── utils.py │ │ │ └── vcsum.yaml │ │ ├── longbench2/ │ │ │ ├── README.md │ │ │ ├── _longbench2.yaml │ │ │ ├── _longbench2_history.yaml │ │ │ ├── _longbench2_incontext.yaml │ │ │ ├── _longbench2_multi.yaml │ │ │ ├── _longbench2_single.yaml │ │ │ ├── _longbench2_structured.yaml │ │ │ ├── _longbench_common_yaml │ │ │ ├── academic_multi_doc.yaml │ │ │ ├── academic_single.yaml │ │ │ ├── agent_history.yaml │ │ │ ├── detective.yaml │ │ │ ├── dialogue_history.yaml │ │ │ ├── event_order.yaml │ │ │ ├── fin_multi_doc.yaml │ │ │ ├── fin_single_doc.yaml │ │ │ ├── govt_multi_doc.yaml │ │ │ ├── govt_single_doc.yaml │ │ │ ├── graph.yaml │ │ │ ├── legal_multi.yaml │ │ │ ├── legal_single.yaml │ │ │ ├── lit_single_doc.yaml │ │ │ ├── longbench2_code.yaml │ │ │ ├── many_shot.yaml │ │ │ ├── news_multi.yaml │ │ │ ├── table.yaml │ │ │ ├── translate.yaml │ │ │ └── user_guide.yaml │ │ ├── manager.py │ │ ├── mastermind/ │ │ │ ├── README.md │ │ │ ├── mastermind_24_easy.yaml │ │ │ ├── mastermind_24_hard.yaml │ │ │ ├── mastermind_35_easy.yaml │ │ │ ├── mastermind_35_hard.yaml │ │ │ ├── mastermind_46_easy.yaml │ │ │ └── mastermind_46_hard.yaml │ │ ├── mathqa/ │ │ │ ├── README.md │ │ │ ├── mathqa.yaml │ │ │ └── utils.py │ │ ├── mbpp/ │ │ │ ├── README.md │ │ │ ├── mbpp.yaml │ │ │ ├── mbpp_instruct.yaml │ │ │ ├── mbpp_plus.yaml │ │ │ ├── mbpp_plus_instruct.yaml │ │ │ └── utils.py │ │ ├── mc_taco/ │ │ │ ├── README.md │ │ │ └── default.yaml │ │ ├── med_concepts_qa/ │ │ │ ├── README.md │ │ │ ├── _default_template_yaml │ │ │ ├── _generate_configs.py │ │ │ ├── _med_concepts_qa.yaml │ │ │ ├── _med_concepts_qa_atc.yaml │ │ │ ├── _med_concepts_qa_icd10cm.yaml │ │ │ ├── _med_concepts_qa_icd10proc.yaml │ │ │ ├── _med_concepts_qa_icd9cm.yaml │ │ │ ├── _med_concepts_qa_icd9proc.yaml │ │ │ ├── med_concepts_qa_atc_easy.yaml │ │ │ ├── med_concepts_qa_atc_hard.yaml │ │ │ ├── med_concepts_qa_atc_medium.yaml │ │ │ ├── med_concepts_qa_icd10cm_easy.yaml │ │ │ ├── med_concepts_qa_icd10cm_hard.yaml │ │ │ ├── med_concepts_qa_icd10cm_medium.yaml │ │ │ ├── med_concepts_qa_icd10proc_easy.yaml │ │ │ ├── med_concepts_qa_icd10proc_hard.yaml │ │ │ ├── med_concepts_qa_icd10proc_medium.yaml │ │ │ ├── med_concepts_qa_icd9cm_easy.yaml │ │ │ ├── med_concepts_qa_icd9cm_hard.yaml │ │ │ ├── med_concepts_qa_icd9cm_medium.yaml │ │ │ ├── med_concepts_qa_icd9proc_easy.yaml │ │ │ ├── med_concepts_qa_icd9proc_hard.yaml │ │ │ └── med_concepts_qa_icd9proc_medium.yaml │ │ ├── med_prescriptions/ │ │ │ ├── med_prescriptions_easy.yaml │ │ │ ├── med_prescriptions_hard.yaml │ │ │ └── utils.py │ │ ├── med_text_classification/ │ │ │ ├── med_text_classification_easy.yaml │ │ │ ├── med_text_classification_hard.yaml │ │ │ └── utils.py │ │ ├── meddialog/ │ │ │ ├── README.md │ │ │ ├── meddialog_qsumm.yaml │ │ │ ├── meddialog_qsumm_perplexity.yaml │ │ │ ├── meddialog_raw_dialogues.yaml │ │ │ ├── meddialog_raw_perplexity.yaml │ │ │ ├── utils.py │ │ │ └── utils_perplexity.py │ │ ├── mediqa_qa2019/ │ │ │ ├── README.md │ │ │ ├── mediqa_qa2019.yaml │ │ │ ├── mediqa_qa2019_perplexity.yaml │ │ │ ├── utils.py │ │ │ └── utils_perplexity.py │ │ ├── medmcqa/ │ │ │ ├── medmcqa.yaml │ │ │ └── utils_medmcqa.py │ │ ├── medqa/ │ │ │ ├── medqa.yaml │ │ │ └── preprocess_medqa.py │ │ ├── medtext/ │ │ │ ├── README.md │ │ │ ├── medtext.yaml │ │ │ ├── medtext_perplexity.yaml │ │ │ ├── utils.py │ │ │ └── utils_perplexity.py │ │ ├── mela/ │ │ │ ├── README.md │ │ │ ├── _mela.yaml │ │ │ ├── mela_ar.yaml │ │ │ ├── mela_de.yaml │ │ │ ├── mela_en.yaml │ │ │ ├── mela_es.yaml │ │ │ ├── mela_fr.yaml │ │ │ ├── mela_is.yaml │ │ │ ├── mela_it.yaml │ │ │ ├── mela_ja.yaml │ │ │ ├── mela_ru.yaml │ │ │ └── mela_zh.yaml │ │ ├── meqsum/ │ │ │ ├── README.md │ │ │ ├── meqsum.yaml │ │ │ └── utils.py │ │ ├── metabench/ │ │ │ ├── README.md │ │ │ ├── metabench.yaml │ │ │ ├── metabench_arc.yaml │ │ │ ├── metabench_arc_permute.yaml │ │ │ ├── metabench_arc_secondary.yaml │ │ │ ├── metabench_arc_secondary_permute.yaml │ │ │ ├── metabench_gsm8k.yaml │ │ │ ├── metabench_gsm8k_secondary.yaml │ │ │ ├── metabench_hellaswag.yaml │ │ │ ├── metabench_hellaswag_permute.yaml │ │ │ ├── metabench_hellaswag_secondary.yaml │ │ │ ├── metabench_hellaswag_secondary_permute.yaml │ │ │ ├── metabench_mmlu.yaml │ │ │ ├── metabench_mmlu_permute.yaml │ │ │ ├── metabench_mmlu_secondary.yaml │ │ │ ├── metabench_mmlu_secondary_permute.yaml │ │ │ ├── metabench_permute.yaml │ │ │ ├── metabench_secondary.yaml │ │ │ ├── metabench_secondary_permute.yaml │ │ │ ├── metabench_truthfulqa.yaml │ │ │ ├── metabench_truthfulqa_permute.yaml │ │ │ ├── metabench_truthfulqa_secondary.yaml │ │ │ ├── metabench_truthfulqa_secondary_permute.yaml │ │ │ ├── metabench_winogrande.yaml │ │ │ ├── metabench_winogrande_permute.yaml │ │ │ ├── metabench_winogrande_secondary.yaml │ │ │ ├── metabench_winogrande_secondary_permute.yaml │ │ │ ├── process_docs.py │ │ │ └── process_docs_permute.py │ │ ├── mgsm/ │ │ │ ├── README.md │ │ │ ├── direct/ │ │ │ │ ├── direct_yaml │ │ │ │ ├── mgsm_direct_bn.yaml │ │ │ │ ├── mgsm_direct_de.yaml │ │ │ │ ├── mgsm_direct_en.yaml │ │ │ │ ├── mgsm_direct_es.yaml │ │ │ │ ├── mgsm_direct_fr.yaml │ │ │ │ ├── mgsm_direct_ja.yaml │ │ │ │ ├── mgsm_direct_ru.yaml │ │ │ │ ├── mgsm_direct_sw.yaml │ │ │ │ ├── mgsm_direct_te.yaml │ │ │ │ ├── mgsm_direct_th.yaml │ │ │ │ └── mgsm_direct_zh.yaml │ │ │ ├── en_cot/ │ │ │ │ ├── cot_yaml │ │ │ │ ├── mgsm_en_cot_bn.yaml │ │ │ │ ├── mgsm_en_cot_de.yaml │ │ │ │ ├── mgsm_en_cot_en.yaml │ │ │ │ ├── mgsm_en_cot_es.yaml │ │ │ │ ├── mgsm_en_cot_fr.yaml │ │ │ │ ├── mgsm_en_cot_ja.yaml │ │ │ │ ├── mgsm_en_cot_ru.yaml │ │ │ │ ├── mgsm_en_cot_sw.yaml │ │ │ │ ├── mgsm_en_cot_te.yaml │ │ │ │ ├── mgsm_en_cot_th.yaml │ │ │ │ └── mgsm_en_cot_zh.yaml │ │ │ ├── gen_yaml.sh │ │ │ ├── native_cot/ │ │ │ │ ├── cot_yaml │ │ │ │ ├── mgsm_native_cot_bn.yaml │ │ │ │ ├── mgsm_native_cot_de.yaml │ │ │ │ ├── mgsm_native_cot_en.yaml │ │ │ │ ├── mgsm_native_cot_es.yaml │ │ │ │ ├── mgsm_native_cot_fr.yaml │ │ │ │ ├── mgsm_native_cot_ja.yaml │ │ │ │ ├── mgsm_native_cot_ru.yaml │ │ │ │ ├── mgsm_native_cot_sw.yaml │ │ │ │ ├── mgsm_native_cot_te.yaml │ │ │ │ ├── mgsm_native_cot_th.yaml │ │ │ │ └── mgsm_native_cot_zh.yaml │ │ │ └── utils.py │ │ ├── mimic_repsum/ │ │ │ ├── README.md │ │ │ ├── mimic_repsum.yaml │ │ │ ├── mimic_repsum_perplexity.yaml │ │ │ ├── utils.py │ │ │ └── utils_perplexity.py │ │ ├── minerva_math/ │ │ │ ├── README.md │ │ │ ├── minerva_math500.yaml │ │ │ ├── minerva_math_algebra.yaml │ │ │ ├── minerva_math_counting_and_prob.yaml │ │ │ ├── minerva_math_geometry.yaml │ │ │ ├── minerva_math_intermediate_algebra.yaml │ │ │ ├── minerva_math_num_theory.yaml │ │ │ ├── minerva_math_prealgebra.yaml │ │ │ ├── minerva_math_precalc.yaml │ │ │ └── utils.py │ │ ├── mlqa/ │ │ │ ├── README.md │ │ │ ├── generate_tasks.py │ │ │ ├── mlqa_ar_ar.yaml │ │ │ ├── mlqa_ar_de.yaml │ │ │ ├── mlqa_ar_en.yaml │ │ │ ├── mlqa_ar_es.yaml │ │ │ ├── mlqa_ar_hi.yaml │ │ │ ├── mlqa_ar_vi.yaml │ │ │ ├── mlqa_ar_zh.yaml │ │ │ ├── mlqa_common_yaml │ │ │ ├── mlqa_de_ar.yaml │ │ │ ├── mlqa_de_de.yaml │ │ │ ├── mlqa_de_en.yaml │ │ │ ├── mlqa_de_es.yaml │ │ │ ├── mlqa_de_hi.yaml │ │ │ ├── mlqa_de_vi.yaml │ │ │ ├── mlqa_de_zh.yaml │ │ │ ├── mlqa_en_ar.yaml │ │ │ ├── mlqa_en_de.yaml │ │ │ ├── mlqa_en_en.yaml │ │ │ ├── mlqa_en_es.yaml │ │ │ ├── mlqa_en_hi.yaml │ │ │ ├── mlqa_en_vi.yaml │ │ │ ├── mlqa_en_zh.yaml │ │ │ ├── mlqa_es_ar.yaml │ │ │ ├── mlqa_es_de.yaml │ │ │ ├── mlqa_es_en.yaml │ │ │ ├── mlqa_es_es.yaml │ │ │ ├── mlqa_es_hi.yaml │ │ │ ├── mlqa_es_vi.yaml │ │ │ ├── mlqa_es_zh.yaml │ │ │ ├── mlqa_hi_ar.yaml │ │ │ ├── mlqa_hi_de.yaml │ │ │ ├── mlqa_hi_en.yaml │ │ │ ├── mlqa_hi_es.yaml │ │ │ ├── mlqa_hi_hi.yaml │ │ │ ├── mlqa_hi_vi.yaml │ │ │ ├── mlqa_hi_zh.yaml │ │ │ ├── mlqa_vi_ar.yaml │ │ │ ├── mlqa_vi_de.yaml │ │ │ ├── mlqa_vi_en.yaml │ │ │ ├── mlqa_vi_es.yaml │ │ │ ├── mlqa_vi_hi.yaml │ │ │ ├── mlqa_vi_vi.yaml │ │ │ ├── mlqa_vi_zh.yaml │ │ │ ├── mlqa_zh_ar.yaml │ │ │ ├── mlqa_zh_de.yaml │ │ │ ├── mlqa_zh_en.yaml │ │ │ ├── mlqa_zh_es.yaml │ │ │ ├── mlqa_zh_hi.yaml │ │ │ ├── mlqa_zh_vi.yaml │ │ │ ├── mlqa_zh_zh.yaml │ │ │ └── utils.py │ │ ├── mmlu/ │ │ │ ├── README.md │ │ │ ├── _generate_configs.py │ │ │ ├── continuation/ │ │ │ │ ├── _continuation_template_yaml │ │ │ │ ├── _mmlu.yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ └── mmlu_world_religions.yaml │ │ │ ├── default/ │ │ │ │ ├── _default_template_yaml │ │ │ │ ├── _mmlu.yaml │ │ │ │ ├── _mmlu_humanities.yaml │ │ │ │ ├── _mmlu_other.yaml │ │ │ │ ├── _mmlu_social_sciences.yaml │ │ │ │ ├── _mmlu_stem.yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ └── mmlu_world_religions.yaml │ │ │ ├── flan_cot_fewshot/ │ │ │ │ ├── _cot_prompts.json │ │ │ │ ├── _mmlu.yaml │ │ │ │ ├── _mmlu_flan_cot_fewshot_template_yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ └── mmlu_world_religions.yaml │ │ │ ├── flan_cot_zeroshot/ │ │ │ │ ├── _mmlu.yaml │ │ │ │ ├── _mmlu_flan_cot_zeroshot_template_yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ ├── mmlu_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── flan_n_shot/ │ │ │ │ ├── generative/ │ │ │ │ │ ├── _mmlu.yaml │ │ │ │ │ ├── _mmlu_flan_generative_template_yaml │ │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ │ ├── mmlu_management.yaml │ │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ │ ├── mmlu_world_religions.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── loglikelihood/ │ │ │ │ ├── _mmlu.yaml │ │ │ │ ├── _mmlu_flan_loglikelihood_template_yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ └── mmlu_world_religions.yaml │ │ │ └── generative/ │ │ │ ├── _default_template_yaml │ │ │ ├── _mmlu.yaml │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ ├── mmlu_anatomy.yaml │ │ │ ├── mmlu_astronomy.yaml │ │ │ ├── mmlu_business_ethics.yaml │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ ├── mmlu_college_biology.yaml │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ ├── mmlu_college_medicine.yaml │ │ │ ├── mmlu_college_physics.yaml │ │ │ ├── mmlu_computer_security.yaml │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ ├── mmlu_econometrics.yaml │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ ├── mmlu_formal_logic.yaml │ │ │ ├── mmlu_global_facts.yaml │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ ├── mmlu_human_aging.yaml │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ ├── mmlu_international_law.yaml │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ ├── mmlu_machine_learning.yaml │ │ │ ├── mmlu_management.yaml │ │ │ ├── mmlu_marketing.yaml │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ ├── mmlu_nutrition.yaml │ │ │ ├── mmlu_philosophy.yaml │ │ │ ├── mmlu_prehistory.yaml │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ ├── mmlu_professional_law.yaml │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ ├── mmlu_public_relations.yaml │ │ │ ├── mmlu_security_studies.yaml │ │ │ ├── mmlu_sociology.yaml │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ ├── mmlu_virology.yaml │ │ │ └── mmlu_world_religions.yaml │ │ ├── mmlu-pro-plus/ │ │ │ ├── README.md │ │ │ ├── _default_template_yaml │ │ │ ├── _mmlu_pro_plus.yaml │ │ │ ├── mmlu_pro_plus_biology.yaml │ │ │ ├── mmlu_pro_plus_business.yaml │ │ │ ├── mmlu_pro_plus_chemistry.yaml │ │ │ ├── mmlu_pro_plus_computer_science.yaml │ │ │ ├── mmlu_pro_plus_economics.yaml │ │ │ ├── mmlu_pro_plus_engineering.yaml │ │ │ ├── mmlu_pro_plus_health.yaml │ │ │ ├── mmlu_pro_plus_history.yaml │ │ │ ├── mmlu_pro_plus_law.yaml │ │ │ ├── mmlu_pro_plus_math.yaml │ │ │ ├── mmlu_pro_plus_other.yaml │ │ │ ├── mmlu_pro_plus_philosophy.yaml │ │ │ ├── mmlu_pro_plus_physics.yaml │ │ │ ├── mmlu_pro_plus_psychology.yaml │ │ │ └── utils.py │ │ ├── mmlu-redux/ │ │ │ └── generative/ │ │ │ ├── README.md │ │ │ ├── _default_template_yaml │ │ │ ├── _mmlu.yaml │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ ├── mmlu_anatomy.yaml │ │ │ ├── mmlu_astronomy.yaml │ │ │ ├── mmlu_business_ethics.yaml │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ ├── mmlu_college_biology.yaml │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ ├── mmlu_college_medicine.yaml │ │ │ ├── mmlu_college_physics.yaml │ │ │ ├── mmlu_computer_security.yaml │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ ├── mmlu_econometrics.yaml │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ ├── mmlu_formal_logic.yaml │ │ │ ├── mmlu_global_facts.yaml │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ ├── mmlu_human_aging.yaml │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ ├── mmlu_international_law.yaml │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ ├── mmlu_machine_learning.yaml │ │ │ ├── mmlu_management.yaml │ │ │ ├── mmlu_marketing.yaml │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ ├── mmlu_nutrition.yaml │ │ │ ├── mmlu_philosophy.yaml │ │ │ ├── mmlu_prehistory.yaml │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ ├── mmlu_professional_law.yaml │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ ├── mmlu_public_relations.yaml │ │ │ ├── mmlu_security_studies.yaml │ │ │ ├── mmlu_sociology.yaml │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ ├── mmlu_virology.yaml │ │ │ └── mmlu_world_religions.yaml │ │ ├── mmlu-redux-spanish/ │ │ │ ├── README.md │ │ │ ├── generative/ │ │ │ │ ├── _default_template_spanish_yaml │ │ │ │ ├── _mmlu.yaml │ │ │ │ ├── mmlu_abstract_algebra.yaml │ │ │ │ ├── mmlu_anatomy.yaml │ │ │ │ ├── mmlu_astronomy.yaml │ │ │ │ ├── mmlu_business_ethics.yaml │ │ │ │ ├── mmlu_clinical_knowledge.yaml │ │ │ │ ├── mmlu_college_biology.yaml │ │ │ │ ├── mmlu_college_chemistry.yaml │ │ │ │ ├── mmlu_college_computer_science.yaml │ │ │ │ ├── mmlu_college_mathematics.yaml │ │ │ │ ├── mmlu_college_medicine.yaml │ │ │ │ ├── mmlu_college_physics.yaml │ │ │ │ ├── mmlu_computer_security.yaml │ │ │ │ ├── mmlu_conceptual_physics.yaml │ │ │ │ ├── mmlu_econometrics.yaml │ │ │ │ ├── mmlu_electrical_engineering.yaml │ │ │ │ ├── mmlu_elementary_mathematics.yaml │ │ │ │ ├── mmlu_formal_logic.yaml │ │ │ │ ├── mmlu_global_facts.yaml │ │ │ │ ├── mmlu_high_school_biology.yaml │ │ │ │ ├── mmlu_high_school_chemistry.yaml │ │ │ │ ├── mmlu_high_school_computer_science.yaml │ │ │ │ ├── mmlu_high_school_european_history.yaml │ │ │ │ ├── mmlu_high_school_geography.yaml │ │ │ │ ├── mmlu_high_school_government_and_politics.yaml │ │ │ │ ├── mmlu_high_school_macroeconomics.yaml │ │ │ │ ├── mmlu_high_school_mathematics.yaml │ │ │ │ ├── mmlu_high_school_microeconomics.yaml │ │ │ │ ├── mmlu_high_school_physics.yaml │ │ │ │ ├── mmlu_high_school_psychology.yaml │ │ │ │ ├── mmlu_high_school_statistics.yaml │ │ │ │ ├── mmlu_high_school_us_history.yaml │ │ │ │ ├── mmlu_high_school_world_history.yaml │ │ │ │ ├── mmlu_human_aging.yaml │ │ │ │ ├── mmlu_human_sexuality.yaml │ │ │ │ ├── mmlu_international_law.yaml │ │ │ │ ├── mmlu_jurisprudence.yaml │ │ │ │ ├── mmlu_logical_fallacies.yaml │ │ │ │ ├── mmlu_machine_learning.yaml │ │ │ │ ├── mmlu_management.yaml │ │ │ │ ├── mmlu_marketing.yaml │ │ │ │ ├── mmlu_medical_genetics.yaml │ │ │ │ ├── mmlu_miscellaneous.yaml │ │ │ │ ├── mmlu_moral_disputes.yaml │ │ │ │ ├── mmlu_moral_scenarios.yaml │ │ │ │ ├── mmlu_nutrition.yaml │ │ │ │ ├── mmlu_philosophy.yaml │ │ │ │ ├── mmlu_prehistory.yaml │ │ │ │ ├── mmlu_professional_accounting.yaml │ │ │ │ ├── mmlu_professional_law.yaml │ │ │ │ ├── mmlu_professional_medicine.yaml │ │ │ │ ├── mmlu_professional_psychology.yaml │ │ │ │ ├── mmlu_public_relations.yaml │ │ │ │ ├── mmlu_security_studies.yaml │ │ │ │ ├── mmlu_sociology.yaml │ │ │ │ ├── mmlu_us_foreign_policy.yaml │ │ │ │ ├── mmlu_virology.yaml │ │ │ │ └── mmlu_world_religions.yaml │ │ │ └── mmlu-redux-2.0-spanish.yaml │ │ ├── mmlu_pro/ │ │ │ ├── README.md │ │ │ ├── _default_template_yaml │ │ │ ├── _mmlu_pro.yaml │ │ │ ├── mmlu_pro_biology.yaml │ │ │ ├── mmlu_pro_business.yaml │ │ │ ├── mmlu_pro_chemistry.yaml │ │ │ ├── mmlu_pro_computer_science.yaml │ │ │ ├── mmlu_pro_economics.yaml │ │ │ ├── mmlu_pro_engineering.yaml │ │ │ ├── mmlu_pro_health.yaml │ │ │ ├── mmlu_pro_history.yaml │ │ │ ├── mmlu_pro_law.yaml │ │ │ ├── mmlu_pro_math.yaml │ │ │ ├── mmlu_pro_other.yaml │ │ │ ├── mmlu_pro_philosophy.yaml │ │ │ ├── mmlu_pro_physics.yaml │ │ │ ├── mmlu_pro_psychology.yaml │ │ │ └── utils.py │ │ ├── mmlu_prox/ │ │ │ ├── README.md │ │ │ ├── af/ │ │ │ │ ├── _af_lite_template_yaml │ │ │ │ ├── _af_template_yaml │ │ │ │ ├── _mmlu_prox_af.yaml │ │ │ │ ├── _mmlu_prox_lite_af.yaml │ │ │ │ ├── mmlu_prox_af_biology.yaml │ │ │ │ ├── mmlu_prox_af_business.yaml │ │ │ │ ├── mmlu_prox_af_chemistry.yaml │ │ │ │ ├── mmlu_prox_af_computer_science.yaml │ │ │ │ ├── mmlu_prox_af_economics.yaml │ │ │ │ ├── mmlu_prox_af_engineering.yaml │ │ │ │ ├── mmlu_prox_af_health.yaml │ │ │ │ ├── mmlu_prox_af_history.yaml │ │ │ │ ├── mmlu_prox_af_law.yaml │ │ │ │ ├── mmlu_prox_af_math.yaml │ │ │ │ ├── mmlu_prox_af_other.yaml │ │ │ │ ├── mmlu_prox_af_philosophy.yaml │ │ │ │ ├── mmlu_prox_af_physics.yaml │ │ │ │ ├── mmlu_prox_af_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_af_biology.yaml │ │ │ │ ├── mmlu_prox_lite_af_business.yaml │ │ │ │ ├── mmlu_prox_lite_af_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_af_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_af_economics.yaml │ │ │ │ ├── mmlu_prox_lite_af_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_af_health.yaml │ │ │ │ ├── mmlu_prox_lite_af_history.yaml │ │ │ │ ├── mmlu_prox_lite_af_law.yaml │ │ │ │ ├── mmlu_prox_lite_af_math.yaml │ │ │ │ ├── mmlu_prox_lite_af_other.yaml │ │ │ │ ├── mmlu_prox_lite_af_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_af_physics.yaml │ │ │ │ ├── mmlu_prox_lite_af_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── ar/ │ │ │ │ ├── _ar_lite_template_yaml │ │ │ │ ├── _ar_template_yaml │ │ │ │ ├── _mmlu_prox_ar.yaml │ │ │ │ ├── _mmlu_prox_lite_ar.yaml │ │ │ │ ├── mmlu_prox_ar_biology.yaml │ │ │ │ ├── mmlu_prox_ar_business.yaml │ │ │ │ ├── mmlu_prox_ar_chemistry.yaml │ │ │ │ ├── mmlu_prox_ar_computer_science.yaml │ │ │ │ ├── mmlu_prox_ar_economics.yaml │ │ │ │ ├── mmlu_prox_ar_engineering.yaml │ │ │ │ ├── mmlu_prox_ar_health.yaml │ │ │ │ ├── mmlu_prox_ar_history.yaml │ │ │ │ ├── mmlu_prox_ar_law.yaml │ │ │ │ ├── mmlu_prox_ar_math.yaml │ │ │ │ ├── mmlu_prox_ar_other.yaml │ │ │ │ ├── mmlu_prox_ar_philosophy.yaml │ │ │ │ ├── mmlu_prox_ar_physics.yaml │ │ │ │ ├── mmlu_prox_ar_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_ar_biology.yaml │ │ │ │ ├── mmlu_prox_lite_ar_business.yaml │ │ │ │ ├── mmlu_prox_lite_ar_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_ar_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_ar_economics.yaml │ │ │ │ ├── mmlu_prox_lite_ar_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_ar_health.yaml │ │ │ │ ├── mmlu_prox_lite_ar_history.yaml │ │ │ │ ├── mmlu_prox_lite_ar_law.yaml │ │ │ │ ├── mmlu_prox_lite_ar_math.yaml │ │ │ │ ├── mmlu_prox_lite_ar_other.yaml │ │ │ │ ├── mmlu_prox_lite_ar_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_ar_physics.yaml │ │ │ │ ├── mmlu_prox_lite_ar_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── bn/ │ │ │ │ ├── _bn_lite_template_yaml │ │ │ │ ├── _bn_template_yaml │ │ │ │ ├── _mmlu_prox_bn.yaml │ │ │ │ ├── _mmlu_prox_lite_bn.yaml │ │ │ │ ├── mmlu_prox_bn_biology.yaml │ │ │ │ ├── mmlu_prox_bn_business.yaml │ │ │ │ ├── mmlu_prox_bn_chemistry.yaml │ │ │ │ ├── mmlu_prox_bn_computer_science.yaml │ │ │ │ ├── mmlu_prox_bn_economics.yaml │ │ │ │ ├── mmlu_prox_bn_engineering.yaml │ │ │ │ ├── mmlu_prox_bn_health.yaml │ │ │ │ ├── mmlu_prox_bn_history.yaml │ │ │ │ ├── mmlu_prox_bn_law.yaml │ │ │ │ ├── mmlu_prox_bn_math.yaml │ │ │ │ ├── mmlu_prox_bn_other.yaml │ │ │ │ ├── mmlu_prox_bn_philosophy.yaml │ │ │ │ ├── mmlu_prox_bn_physics.yaml │ │ │ │ ├── mmlu_prox_bn_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_bn_biology.yaml │ │ │ │ ├── mmlu_prox_lite_bn_business.yaml │ │ │ │ ├── mmlu_prox_lite_bn_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_bn_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_bn_economics.yaml │ │ │ │ ├── mmlu_prox_lite_bn_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_bn_health.yaml │ │ │ │ ├── mmlu_prox_lite_bn_history.yaml │ │ │ │ ├── mmlu_prox_lite_bn_law.yaml │ │ │ │ ├── mmlu_prox_lite_bn_math.yaml │ │ │ │ ├── mmlu_prox_lite_bn_other.yaml │ │ │ │ ├── mmlu_prox_lite_bn_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_bn_physics.yaml │ │ │ │ ├── mmlu_prox_lite_bn_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── cs/ │ │ │ │ ├── _cs_lite_template_yaml │ │ │ │ ├── _cs_template_yaml │ │ │ │ ├── _mmlu_prox_cs.yaml │ │ │ │ ├── _mmlu_prox_lite_cs.yaml │ │ │ │ ├── mmlu_prox_cs_biology.yaml │ │ │ │ ├── mmlu_prox_cs_business.yaml │ │ │ │ ├── mmlu_prox_cs_chemistry.yaml │ │ │ │ ├── mmlu_prox_cs_computer_science.yaml │ │ │ │ ├── mmlu_prox_cs_economics.yaml │ │ │ │ ├── mmlu_prox_cs_engineering.yaml │ │ │ │ ├── mmlu_prox_cs_health.yaml │ │ │ │ ├── mmlu_prox_cs_history.yaml │ │ │ │ ├── mmlu_prox_cs_law.yaml │ │ │ │ ├── mmlu_prox_cs_math.yaml │ │ │ │ ├── mmlu_prox_cs_other.yaml │ │ │ │ ├── mmlu_prox_cs_philosophy.yaml │ │ │ │ ├── mmlu_prox_cs_physics.yaml │ │ │ │ ├── mmlu_prox_cs_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_cs_biology.yaml │ │ │ │ ├── mmlu_prox_lite_cs_business.yaml │ │ │ │ ├── mmlu_prox_lite_cs_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_cs_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_cs_economics.yaml │ │ │ │ ├── mmlu_prox_lite_cs_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_cs_health.yaml │ │ │ │ ├── mmlu_prox_lite_cs_history.yaml │ │ │ │ ├── mmlu_prox_lite_cs_law.yaml │ │ │ │ ├── mmlu_prox_lite_cs_math.yaml │ │ │ │ ├── mmlu_prox_lite_cs_other.yaml │ │ │ │ ├── mmlu_prox_lite_cs_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_cs_physics.yaml │ │ │ │ ├── mmlu_prox_lite_cs_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── de/ │ │ │ │ ├── _de_lite_template_yaml │ │ │ │ ├── _de_template_yaml │ │ │ │ ├── _mmlu_prox_de.yaml │ │ │ │ ├── _mmlu_prox_lite_de.yaml │ │ │ │ ├── mmlu_prox_de_biology.yaml │ │ │ │ ├── mmlu_prox_de_business.yaml │ │ │ │ ├── mmlu_prox_de_chemistry.yaml │ │ │ │ ├── mmlu_prox_de_computer_science.yaml │ │ │ │ ├── mmlu_prox_de_economics.yaml │ │ │ │ ├── mmlu_prox_de_engineering.yaml │ │ │ │ ├── mmlu_prox_de_health.yaml │ │ │ │ ├── mmlu_prox_de_history.yaml │ │ │ │ ├── mmlu_prox_de_law.yaml │ │ │ │ ├── mmlu_prox_de_math.yaml │ │ │ │ ├── mmlu_prox_de_other.yaml │ │ │ │ ├── mmlu_prox_de_philosophy.yaml │ │ │ │ ├── mmlu_prox_de_physics.yaml │ │ │ │ ├── mmlu_prox_de_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_de_biology.yaml │ │ │ │ ├── mmlu_prox_lite_de_business.yaml │ │ │ │ ├── mmlu_prox_lite_de_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_de_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_de_economics.yaml │ │ │ │ ├── mmlu_prox_lite_de_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_de_health.yaml │ │ │ │ ├── mmlu_prox_lite_de_history.yaml │ │ │ │ ├── mmlu_prox_lite_de_law.yaml │ │ │ │ ├── mmlu_prox_lite_de_math.yaml │ │ │ │ ├── mmlu_prox_lite_de_other.yaml │ │ │ │ ├── mmlu_prox_lite_de_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_de_physics.yaml │ │ │ │ ├── mmlu_prox_lite_de_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── en/ │ │ │ │ ├── _en_lite_template_yaml │ │ │ │ ├── _en_template_yaml │ │ │ │ ├── _mmlu_prox_en.yaml │ │ │ │ ├── _mmlu_prox_lite_en.yaml │ │ │ │ ├── mmlu_prox_en_biology.yaml │ │ │ │ ├── mmlu_prox_en_business.yaml │ │ │ │ ├── mmlu_prox_en_chemistry.yaml │ │ │ │ ├── mmlu_prox_en_computer_science.yaml │ │ │ │ ├── mmlu_prox_en_economics.yaml │ │ │ │ ├── mmlu_prox_en_engineering.yaml │ │ │ │ ├── mmlu_prox_en_health.yaml │ │ │ │ ├── mmlu_prox_en_history.yaml │ │ │ │ ├── mmlu_prox_en_law.yaml │ │ │ │ ├── mmlu_prox_en_math.yaml │ │ │ │ ├── mmlu_prox_en_other.yaml │ │ │ │ ├── mmlu_prox_en_philosophy.yaml │ │ │ │ ├── mmlu_prox_en_physics.yaml │ │ │ │ ├── mmlu_prox_en_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_en_biology.yaml │ │ │ │ ├── mmlu_prox_lite_en_business.yaml │ │ │ │ ├── mmlu_prox_lite_en_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_en_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_en_economics.yaml │ │ │ │ ├── mmlu_prox_lite_en_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_en_health.yaml │ │ │ │ ├── mmlu_prox_lite_en_history.yaml │ │ │ │ ├── mmlu_prox_lite_en_law.yaml │ │ │ │ ├── mmlu_prox_lite_en_math.yaml │ │ │ │ ├── mmlu_prox_lite_en_other.yaml │ │ │ │ ├── mmlu_prox_lite_en_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_en_physics.yaml │ │ │ │ ├── mmlu_prox_lite_en_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── es/ │ │ │ │ ├── _es_lite_template_yaml │ │ │ │ ├── _es_template_yaml │ │ │ │ ├── _mmlu_prox_es.yaml │ │ │ │ ├── _mmlu_prox_lite_es.yaml │ │ │ │ ├── mmlu_prox_es_biology.yaml │ │ │ │ ├── mmlu_prox_es_business.yaml │ │ │ │ ├── mmlu_prox_es_chemistry.yaml │ │ │ │ ├── mmlu_prox_es_computer_science.yaml │ │ │ │ ├── mmlu_prox_es_economics.yaml │ │ │ │ ├── mmlu_prox_es_engineering.yaml │ │ │ │ ├── mmlu_prox_es_health.yaml │ │ │ │ ├── mmlu_prox_es_history.yaml │ │ │ │ ├── mmlu_prox_es_law.yaml │ │ │ │ ├── mmlu_prox_es_math.yaml │ │ │ │ ├── mmlu_prox_es_other.yaml │ │ │ │ ├── mmlu_prox_es_philosophy.yaml │ │ │ │ ├── mmlu_prox_es_physics.yaml │ │ │ │ ├── mmlu_prox_es_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_es_biology.yaml │ │ │ │ ├── mmlu_prox_lite_es_business.yaml │ │ │ │ ├── mmlu_prox_lite_es_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_es_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_es_economics.yaml │ │ │ │ ├── mmlu_prox_lite_es_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_es_health.yaml │ │ │ │ ├── mmlu_prox_lite_es_history.yaml │ │ │ │ ├── mmlu_prox_lite_es_law.yaml │ │ │ │ ├── mmlu_prox_lite_es_math.yaml │ │ │ │ ├── mmlu_prox_lite_es_other.yaml │ │ │ │ ├── mmlu_prox_lite_es_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_es_physics.yaml │ │ │ │ ├── mmlu_prox_lite_es_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── fr/ │ │ │ │ ├── _fr_lite_template_yaml │ │ │ │ ├── _fr_template_yaml │ │ │ │ ├── _mmlu_prox_fr.yaml │ │ │ │ ├── _mmlu_prox_lite_fr.yaml │ │ │ │ ├── mmlu_prox_fr_biology.yaml │ │ │ │ ├── mmlu_prox_fr_business.yaml │ │ │ │ ├── mmlu_prox_fr_chemistry.yaml │ │ │ │ ├── mmlu_prox_fr_computer_science.yaml │ │ │ │ ├── mmlu_prox_fr_economics.yaml │ │ │ │ ├── mmlu_prox_fr_engineering.yaml │ │ │ │ ├── mmlu_prox_fr_health.yaml │ │ │ │ ├── mmlu_prox_fr_history.yaml │ │ │ │ ├── mmlu_prox_fr_law.yaml │ │ │ │ ├── mmlu_prox_fr_math.yaml │ │ │ │ ├── mmlu_prox_fr_other.yaml │ │ │ │ ├── mmlu_prox_fr_philosophy.yaml │ │ │ │ ├── mmlu_prox_fr_physics.yaml │ │ │ │ ├── mmlu_prox_fr_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_fr_biology.yaml │ │ │ │ ├── mmlu_prox_lite_fr_business.yaml │ │ │ │ ├── mmlu_prox_lite_fr_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_fr_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_fr_economics.yaml │ │ │ │ ├── mmlu_prox_lite_fr_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_fr_health.yaml │ │ │ │ ├── mmlu_prox_lite_fr_history.yaml │ │ │ │ ├── mmlu_prox_lite_fr_law.yaml │ │ │ │ ├── mmlu_prox_lite_fr_math.yaml │ │ │ │ ├── mmlu_prox_lite_fr_other.yaml │ │ │ │ ├── mmlu_prox_lite_fr_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_fr_physics.yaml │ │ │ │ ├── mmlu_prox_lite_fr_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── hi/ │ │ │ │ ├── _hi_lite_template_yaml │ │ │ │ ├── _hi_template_yaml │ │ │ │ ├── _mmlu_prox_hi.yaml │ │ │ │ ├── _mmlu_prox_lite_hi.yaml │ │ │ │ ├── mmlu_prox_hi_biology.yaml │ │ │ │ ├── mmlu_prox_hi_business.yaml │ │ │ │ ├── mmlu_prox_hi_chemistry.yaml │ │ │ │ ├── mmlu_prox_hi_computer_science.yaml │ │ │ │ ├── mmlu_prox_hi_economics.yaml │ │ │ │ ├── mmlu_prox_hi_engineering.yaml │ │ │ │ ├── mmlu_prox_hi_health.yaml │ │ │ │ ├── mmlu_prox_hi_history.yaml │ │ │ │ ├── mmlu_prox_hi_law.yaml │ │ │ │ ├── mmlu_prox_hi_math.yaml │ │ │ │ ├── mmlu_prox_hi_other.yaml │ │ │ │ ├── mmlu_prox_hi_philosophy.yaml │ │ │ │ ├── mmlu_prox_hi_physics.yaml │ │ │ │ ├── mmlu_prox_hi_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_hi_biology.yaml │ │ │ │ ├── mmlu_prox_lite_hi_business.yaml │ │ │ │ ├── mmlu_prox_lite_hi_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_hi_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_hi_economics.yaml │ │ │ │ ├── mmlu_prox_lite_hi_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_hi_health.yaml │ │ │ │ ├── mmlu_prox_lite_hi_history.yaml │ │ │ │ ├── mmlu_prox_lite_hi_law.yaml │ │ │ │ ├── mmlu_prox_lite_hi_math.yaml │ │ │ │ ├── mmlu_prox_lite_hi_other.yaml │ │ │ │ ├── mmlu_prox_lite_hi_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_hi_physics.yaml │ │ │ │ ├── mmlu_prox_lite_hi_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── hu/ │ │ │ │ ├── _hu_lite_template_yaml │ │ │ │ ├── _hu_template_yaml │ │ │ │ ├── _mmlu_prox_hu.yaml │ │ │ │ ├── _mmlu_prox_lite_hu.yaml │ │ │ │ ├── mmlu_prox_hu_biology.yaml │ │ │ │ ├── mmlu_prox_hu_business.yaml │ │ │ │ ├── mmlu_prox_hu_chemistry.yaml │ │ │ │ ├── mmlu_prox_hu_computer_science.yaml │ │ │ │ ├── mmlu_prox_hu_economics.yaml │ │ │ │ ├── mmlu_prox_hu_engineering.yaml │ │ │ │ ├── mmlu_prox_hu_health.yaml │ │ │ │ ├── mmlu_prox_hu_history.yaml │ │ │ │ ├── mmlu_prox_hu_law.yaml │ │ │ │ ├── mmlu_prox_hu_math.yaml │ │ │ │ ├── mmlu_prox_hu_other.yaml │ │ │ │ ├── mmlu_prox_hu_philosophy.yaml │ │ │ │ ├── mmlu_prox_hu_physics.yaml │ │ │ │ ├── mmlu_prox_hu_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_hu_biology.yaml │ │ │ │ ├── mmlu_prox_lite_hu_business.yaml │ │ │ │ ├── mmlu_prox_lite_hu_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_hu_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_hu_economics.yaml │ │ │ │ ├── mmlu_prox_lite_hu_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_hu_health.yaml │ │ │ │ ├── mmlu_prox_lite_hu_history.yaml │ │ │ │ ├── mmlu_prox_lite_hu_law.yaml │ │ │ │ ├── mmlu_prox_lite_hu_math.yaml │ │ │ │ ├── mmlu_prox_lite_hu_other.yaml │ │ │ │ ├── mmlu_prox_lite_hu_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_hu_physics.yaml │ │ │ │ ├── mmlu_prox_lite_hu_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── id/ │ │ │ │ ├── _id_lite_template_yaml │ │ │ │ ├── _id_template_yaml │ │ │ │ ├── _mmlu_prox_id.yaml │ │ │ │ ├── _mmlu_prox_lite_id.yaml │ │ │ │ ├── mmlu_prox_id_biology.yaml │ │ │ │ ├── mmlu_prox_id_business.yaml │ │ │ │ ├── mmlu_prox_id_chemistry.yaml │ │ │ │ ├── mmlu_prox_id_computer_science.yaml │ │ │ │ ├── mmlu_prox_id_economics.yaml │ │ │ │ ├── mmlu_prox_id_engineering.yaml │ │ │ │ ├── mmlu_prox_id_health.yaml │ │ │ │ ├── mmlu_prox_id_history.yaml │ │ │ │ ├── mmlu_prox_id_law.yaml │ │ │ │ ├── mmlu_prox_id_math.yaml │ │ │ │ ├── mmlu_prox_id_other.yaml │ │ │ │ ├── mmlu_prox_id_philosophy.yaml │ │ │ │ ├── mmlu_prox_id_physics.yaml │ │ │ │ ├── mmlu_prox_id_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_id_biology.yaml │ │ │ │ ├── mmlu_prox_lite_id_business.yaml │ │ │ │ ├── mmlu_prox_lite_id_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_id_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_id_economics.yaml │ │ │ │ ├── mmlu_prox_lite_id_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_id_health.yaml │ │ │ │ ├── mmlu_prox_lite_id_history.yaml │ │ │ │ ├── mmlu_prox_lite_id_law.yaml │ │ │ │ ├── mmlu_prox_lite_id_math.yaml │ │ │ │ ├── mmlu_prox_lite_id_other.yaml │ │ │ │ ├── mmlu_prox_lite_id_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_id_physics.yaml │ │ │ │ ├── mmlu_prox_lite_id_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── it/ │ │ │ │ ├── _it_lite_template_yaml │ │ │ │ ├── _it_template_yaml │ │ │ │ ├── _mmlu_prox_it.yaml │ │ │ │ ├── _mmlu_prox_lite_it.yaml │ │ │ │ ├── mmlu_prox_it_biology.yaml │ │ │ │ ├── mmlu_prox_it_business.yaml │ │ │ │ ├── mmlu_prox_it_chemistry.yaml │ │ │ │ ├── mmlu_prox_it_computer_science.yaml │ │ │ │ ├── mmlu_prox_it_economics.yaml │ │ │ │ ├── mmlu_prox_it_engineering.yaml │ │ │ │ ├── mmlu_prox_it_health.yaml │ │ │ │ ├── mmlu_prox_it_history.yaml │ │ │ │ ├── mmlu_prox_it_law.yaml │ │ │ │ ├── mmlu_prox_it_math.yaml │ │ │ │ ├── mmlu_prox_it_other.yaml │ │ │ │ ├── mmlu_prox_it_philosophy.yaml │ │ │ │ ├── mmlu_prox_it_physics.yaml │ │ │ │ ├── mmlu_prox_it_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_it_biology.yaml │ │ │ │ ├── mmlu_prox_lite_it_business.yaml │ │ │ │ ├── mmlu_prox_lite_it_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_it_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_it_economics.yaml │ │ │ │ ├── mmlu_prox_lite_it_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_it_health.yaml │ │ │ │ ├── mmlu_prox_lite_it_history.yaml │ │ │ │ ├── mmlu_prox_lite_it_law.yaml │ │ │ │ ├── mmlu_prox_lite_it_math.yaml │ │ │ │ ├── mmlu_prox_lite_it_other.yaml │ │ │ │ ├── mmlu_prox_lite_it_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_it_physics.yaml │ │ │ │ ├── mmlu_prox_lite_it_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── ja/ │ │ │ │ ├── _ja_lite_template_yaml │ │ │ │ ├── _ja_template_yaml │ │ │ │ ├── _mmlu_prox_ja.yaml │ │ │ │ ├── _mmlu_prox_lite_ja.yaml │ │ │ │ ├── mmlu_prox_ja_biology.yaml │ │ │ │ ├── mmlu_prox_ja_business.yaml │ │ │ │ ├── mmlu_prox_ja_chemistry.yaml │ │ │ │ ├── mmlu_prox_ja_computer_science.yaml │ │ │ │ ├── mmlu_prox_ja_economics.yaml │ │ │ │ ├── mmlu_prox_ja_engineering.yaml │ │ │ │ ├── mmlu_prox_ja_health.yaml │ │ │ │ ├── mmlu_prox_ja_history.yaml │ │ │ │ ├── mmlu_prox_ja_law.yaml │ │ │ │ ├── mmlu_prox_ja_math.yaml │ │ │ │ ├── mmlu_prox_ja_other.yaml │ │ │ │ ├── mmlu_prox_ja_philosophy.yaml │ │ │ │ ├── mmlu_prox_ja_physics.yaml │ │ │ │ ├── mmlu_prox_ja_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_ja_biology.yaml │ │ │ │ ├── mmlu_prox_lite_ja_business.yaml │ │ │ │ ├── mmlu_prox_lite_ja_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_ja_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_ja_economics.yaml │ │ │ │ ├── mmlu_prox_lite_ja_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_ja_health.yaml │ │ │ │ ├── mmlu_prox_lite_ja_history.yaml │ │ │ │ ├── mmlu_prox_lite_ja_law.yaml │ │ │ │ ├── mmlu_prox_lite_ja_math.yaml │ │ │ │ ├── mmlu_prox_lite_ja_other.yaml │ │ │ │ ├── mmlu_prox_lite_ja_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_ja_physics.yaml │ │ │ │ ├── mmlu_prox_lite_ja_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── ko/ │ │ │ │ ├── _ko_lite_template_yaml │ │ │ │ ├── _ko_template_yaml │ │ │ │ ├── _mmlu_prox_ko.yaml │ │ │ │ ├── _mmlu_prox_lite_ko.yaml │ │ │ │ ├── mmlu_prox_ko_biology.yaml │ │ │ │ ├── mmlu_prox_ko_business.yaml │ │ │ │ ├── mmlu_prox_ko_chemistry.yaml │ │ │ │ ├── mmlu_prox_ko_computer_science.yaml │ │ │ │ ├── mmlu_prox_ko_economics.yaml │ │ │ │ ├── mmlu_prox_ko_engineering.yaml │ │ │ │ ├── mmlu_prox_ko_health.yaml │ │ │ │ ├── mmlu_prox_ko_history.yaml │ │ │ │ ├── mmlu_prox_ko_law.yaml │ │ │ │ ├── mmlu_prox_ko_math.yaml │ │ │ │ ├── mmlu_prox_ko_other.yaml │ │ │ │ ├── mmlu_prox_ko_philosophy.yaml │ │ │ │ ├── mmlu_prox_ko_physics.yaml │ │ │ │ ├── mmlu_prox_ko_psychology.yaml │ │ │ │ ├── mmlu_prox_lite_ko_biology.yaml │ │ │ │ ├── mmlu_prox_lite_ko_business.yaml │ │ │ │ ├── mmlu_prox_lite_ko_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_ko_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_ko_economics.yaml │ │ │ │ ├── mmlu_prox_lite_ko_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_ko_health.yaml │ │ │ │ ├── mmlu_prox_lite_ko_history.yaml │ │ │ │ ├── mmlu_prox_lite_ko_law.yaml │ │ │ │ ├── mmlu_prox_lite_ko_math.yaml │ │ │ │ ├── mmlu_prox_lite_ko_other.yaml │ │ │ │ ├── mmlu_prox_lite_ko_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_ko_physics.yaml │ │ │ │ ├── mmlu_prox_lite_ko_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── lang_libs.py │ │ │ ├── mmlu_prox_config_generator.py │ │ │ ├── mmlu_prox_lite_config_generator.py │ │ │ ├── mr/ │ │ │ │ ├── _mmlu_prox_lite_mr.yaml │ │ │ │ ├── _mmlu_prox_mr.yaml │ │ │ │ ├── _mr_lite_template_yaml │ │ │ │ ├── _mr_template_yaml │ │ │ │ ├── mmlu_prox_lite_mr_biology.yaml │ │ │ │ ├── mmlu_prox_lite_mr_business.yaml │ │ │ │ ├── mmlu_prox_lite_mr_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_mr_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_mr_economics.yaml │ │ │ │ ├── mmlu_prox_lite_mr_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_mr_health.yaml │ │ │ │ ├── mmlu_prox_lite_mr_history.yaml │ │ │ │ ├── mmlu_prox_lite_mr_law.yaml │ │ │ │ ├── mmlu_prox_lite_mr_math.yaml │ │ │ │ ├── mmlu_prox_lite_mr_other.yaml │ │ │ │ ├── mmlu_prox_lite_mr_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_mr_physics.yaml │ │ │ │ ├── mmlu_prox_lite_mr_psychology.yaml │ │ │ │ ├── mmlu_prox_mr_biology.yaml │ │ │ │ ├── mmlu_prox_mr_business.yaml │ │ │ │ ├── mmlu_prox_mr_chemistry.yaml │ │ │ │ ├── mmlu_prox_mr_computer_science.yaml │ │ │ │ ├── mmlu_prox_mr_economics.yaml │ │ │ │ ├── mmlu_prox_mr_engineering.yaml │ │ │ │ ├── mmlu_prox_mr_health.yaml │ │ │ │ ├── mmlu_prox_mr_history.yaml │ │ │ │ ├── mmlu_prox_mr_law.yaml │ │ │ │ ├── mmlu_prox_mr_math.yaml │ │ │ │ ├── mmlu_prox_mr_other.yaml │ │ │ │ ├── mmlu_prox_mr_philosophy.yaml │ │ │ │ ├── mmlu_prox_mr_physics.yaml │ │ │ │ ├── mmlu_prox_mr_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── ne/ │ │ │ │ ├── _mmlu_prox_lite_ne.yaml │ │ │ │ ├── _mmlu_prox_ne.yaml │ │ │ │ ├── _ne_lite_template_yaml │ │ │ │ ├── _ne_template_yaml │ │ │ │ ├── mmlu_prox_lite_ne_biology.yaml │ │ │ │ ├── mmlu_prox_lite_ne_business.yaml │ │ │ │ ├── mmlu_prox_lite_ne_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_ne_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_ne_economics.yaml │ │ │ │ ├── mmlu_prox_lite_ne_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_ne_health.yaml │ │ │ │ ├── mmlu_prox_lite_ne_history.yaml │ │ │ │ ├── mmlu_prox_lite_ne_law.yaml │ │ │ │ ├── mmlu_prox_lite_ne_math.yaml │ │ │ │ ├── mmlu_prox_lite_ne_other.yaml │ │ │ │ ├── mmlu_prox_lite_ne_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_ne_physics.yaml │ │ │ │ ├── mmlu_prox_lite_ne_psychology.yaml │ │ │ │ ├── mmlu_prox_ne_biology.yaml │ │ │ │ ├── mmlu_prox_ne_business.yaml │ │ │ │ ├── mmlu_prox_ne_chemistry.yaml │ │ │ │ ├── mmlu_prox_ne_computer_science.yaml │ │ │ │ ├── mmlu_prox_ne_economics.yaml │ │ │ │ ├── mmlu_prox_ne_engineering.yaml │ │ │ │ ├── mmlu_prox_ne_health.yaml │ │ │ │ ├── mmlu_prox_ne_history.yaml │ │ │ │ ├── mmlu_prox_ne_law.yaml │ │ │ │ ├── mmlu_prox_ne_math.yaml │ │ │ │ ├── mmlu_prox_ne_other.yaml │ │ │ │ ├── mmlu_prox_ne_philosophy.yaml │ │ │ │ ├── mmlu_prox_ne_physics.yaml │ │ │ │ ├── mmlu_prox_ne_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── pt/ │ │ │ │ ├── _mmlu_prox_lite_pt.yaml │ │ │ │ ├── _mmlu_prox_pt.yaml │ │ │ │ ├── _pt_lite_template_yaml │ │ │ │ ├── _pt_template_yaml │ │ │ │ ├── mmlu_prox_lite_pt_biology.yaml │ │ │ │ ├── mmlu_prox_lite_pt_business.yaml │ │ │ │ ├── mmlu_prox_lite_pt_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_pt_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_pt_economics.yaml │ │ │ │ ├── mmlu_prox_lite_pt_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_pt_health.yaml │ │ │ │ ├── mmlu_prox_lite_pt_history.yaml │ │ │ │ ├── mmlu_prox_lite_pt_law.yaml │ │ │ │ ├── mmlu_prox_lite_pt_math.yaml │ │ │ │ ├── mmlu_prox_lite_pt_other.yaml │ │ │ │ ├── mmlu_prox_lite_pt_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_pt_physics.yaml │ │ │ │ ├── mmlu_prox_lite_pt_psychology.yaml │ │ │ │ ├── mmlu_prox_pt_biology.yaml │ │ │ │ ├── mmlu_prox_pt_business.yaml │ │ │ │ ├── mmlu_prox_pt_chemistry.yaml │ │ │ │ ├── mmlu_prox_pt_computer_science.yaml │ │ │ │ ├── mmlu_prox_pt_economics.yaml │ │ │ │ ├── mmlu_prox_pt_engineering.yaml │ │ │ │ ├── mmlu_prox_pt_health.yaml │ │ │ │ ├── mmlu_prox_pt_history.yaml │ │ │ │ ├── mmlu_prox_pt_law.yaml │ │ │ │ ├── mmlu_prox_pt_math.yaml │ │ │ │ ├── mmlu_prox_pt_other.yaml │ │ │ │ ├── mmlu_prox_pt_philosophy.yaml │ │ │ │ ├── mmlu_prox_pt_physics.yaml │ │ │ │ ├── mmlu_prox_pt_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── ru/ │ │ │ │ ├── _mmlu_prox_lite_ru.yaml │ │ │ │ ├── _mmlu_prox_ru.yaml │ │ │ │ ├── _ru_lite_template_yaml │ │ │ │ ├── _ru_template_yaml │ │ │ │ ├── mmlu_prox_lite_ru_biology.yaml │ │ │ │ ├── mmlu_prox_lite_ru_business.yaml │ │ │ │ ├── mmlu_prox_lite_ru_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_ru_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_ru_economics.yaml │ │ │ │ ├── mmlu_prox_lite_ru_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_ru_health.yaml │ │ │ │ ├── mmlu_prox_lite_ru_history.yaml │ │ │ │ ├── mmlu_prox_lite_ru_law.yaml │ │ │ │ ├── mmlu_prox_lite_ru_math.yaml │ │ │ │ ├── mmlu_prox_lite_ru_other.yaml │ │ │ │ ├── mmlu_prox_lite_ru_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_ru_physics.yaml │ │ │ │ ├── mmlu_prox_lite_ru_psychology.yaml │ │ │ │ ├── mmlu_prox_ru_biology.yaml │ │ │ │ ├── mmlu_prox_ru_business.yaml │ │ │ │ ├── mmlu_prox_ru_chemistry.yaml │ │ │ │ ├── mmlu_prox_ru_computer_science.yaml │ │ │ │ ├── mmlu_prox_ru_economics.yaml │ │ │ │ ├── mmlu_prox_ru_engineering.yaml │ │ │ │ ├── mmlu_prox_ru_health.yaml │ │ │ │ ├── mmlu_prox_ru_history.yaml │ │ │ │ ├── mmlu_prox_ru_law.yaml │ │ │ │ ├── mmlu_prox_ru_math.yaml │ │ │ │ ├── mmlu_prox_ru_other.yaml │ │ │ │ ├── mmlu_prox_ru_philosophy.yaml │ │ │ │ ├── mmlu_prox_ru_physics.yaml │ │ │ │ ├── mmlu_prox_ru_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── sr/ │ │ │ │ ├── _mmlu_prox_lite_sr.yaml │ │ │ │ ├── _mmlu_prox_sr.yaml │ │ │ │ ├── _sr_lite_template_yaml │ │ │ │ ├── _sr_template_yaml │ │ │ │ ├── mmlu_prox_lite_sr_biology.yaml │ │ │ │ ├── mmlu_prox_lite_sr_business.yaml │ │ │ │ ├── mmlu_prox_lite_sr_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_sr_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_sr_economics.yaml │ │ │ │ ├── mmlu_prox_lite_sr_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_sr_health.yaml │ │ │ │ ├── mmlu_prox_lite_sr_history.yaml │ │ │ │ ├── mmlu_prox_lite_sr_law.yaml │ │ │ │ ├── mmlu_prox_lite_sr_math.yaml │ │ │ │ ├── mmlu_prox_lite_sr_other.yaml │ │ │ │ ├── mmlu_prox_lite_sr_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_sr_physics.yaml │ │ │ │ ├── mmlu_prox_lite_sr_psychology.yaml │ │ │ │ ├── mmlu_prox_sr_biology.yaml │ │ │ │ ├── mmlu_prox_sr_business.yaml │ │ │ │ ├── mmlu_prox_sr_chemistry.yaml │ │ │ │ ├── mmlu_prox_sr_computer_science.yaml │ │ │ │ ├── mmlu_prox_sr_economics.yaml │ │ │ │ ├── mmlu_prox_sr_engineering.yaml │ │ │ │ ├── mmlu_prox_sr_health.yaml │ │ │ │ ├── mmlu_prox_sr_history.yaml │ │ │ │ ├── mmlu_prox_sr_law.yaml │ │ │ │ ├── mmlu_prox_sr_math.yaml │ │ │ │ ├── mmlu_prox_sr_other.yaml │ │ │ │ ├── mmlu_prox_sr_philosophy.yaml │ │ │ │ ├── mmlu_prox_sr_physics.yaml │ │ │ │ ├── mmlu_prox_sr_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── sw/ │ │ │ │ ├── _mmlu_prox_lite_sw.yaml │ │ │ │ ├── _mmlu_prox_sw.yaml │ │ │ │ ├── _sw_lite_template_yaml │ │ │ │ ├── _sw_template_yaml │ │ │ │ ├── mmlu_prox_lite_sw_biology.yaml │ │ │ │ ├── mmlu_prox_lite_sw_business.yaml │ │ │ │ ├── mmlu_prox_lite_sw_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_sw_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_sw_economics.yaml │ │ │ │ ├── mmlu_prox_lite_sw_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_sw_health.yaml │ │ │ │ ├── mmlu_prox_lite_sw_history.yaml │ │ │ │ ├── mmlu_prox_lite_sw_law.yaml │ │ │ │ ├── mmlu_prox_lite_sw_math.yaml │ │ │ │ ├── mmlu_prox_lite_sw_other.yaml │ │ │ │ ├── mmlu_prox_lite_sw_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_sw_physics.yaml │ │ │ │ ├── mmlu_prox_lite_sw_psychology.yaml │ │ │ │ ├── mmlu_prox_sw_biology.yaml │ │ │ │ ├── mmlu_prox_sw_business.yaml │ │ │ │ ├── mmlu_prox_sw_chemistry.yaml │ │ │ │ ├── mmlu_prox_sw_computer_science.yaml │ │ │ │ ├── mmlu_prox_sw_economics.yaml │ │ │ │ ├── mmlu_prox_sw_engineering.yaml │ │ │ │ ├── mmlu_prox_sw_health.yaml │ │ │ │ ├── mmlu_prox_sw_history.yaml │ │ │ │ ├── mmlu_prox_sw_law.yaml │ │ │ │ ├── mmlu_prox_sw_math.yaml │ │ │ │ ├── mmlu_prox_sw_other.yaml │ │ │ │ ├── mmlu_prox_sw_philosophy.yaml │ │ │ │ ├── mmlu_prox_sw_physics.yaml │ │ │ │ ├── mmlu_prox_sw_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── te/ │ │ │ │ ├── _mmlu_prox_lite_te.yaml │ │ │ │ ├── _mmlu_prox_te.yaml │ │ │ │ ├── _te_lite_template_yaml │ │ │ │ ├── _te_template_yaml │ │ │ │ ├── mmlu_prox_lite_te_biology.yaml │ │ │ │ ├── mmlu_prox_lite_te_business.yaml │ │ │ │ ├── mmlu_prox_lite_te_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_te_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_te_economics.yaml │ │ │ │ ├── mmlu_prox_lite_te_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_te_health.yaml │ │ │ │ ├── mmlu_prox_lite_te_history.yaml │ │ │ │ ├── mmlu_prox_lite_te_law.yaml │ │ │ │ ├── mmlu_prox_lite_te_math.yaml │ │ │ │ ├── mmlu_prox_lite_te_other.yaml │ │ │ │ ├── mmlu_prox_lite_te_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_te_physics.yaml │ │ │ │ ├── mmlu_prox_lite_te_psychology.yaml │ │ │ │ ├── mmlu_prox_te_biology.yaml │ │ │ │ ├── mmlu_prox_te_business.yaml │ │ │ │ ├── mmlu_prox_te_chemistry.yaml │ │ │ │ ├── mmlu_prox_te_computer_science.yaml │ │ │ │ ├── mmlu_prox_te_economics.yaml │ │ │ │ ├── mmlu_prox_te_engineering.yaml │ │ │ │ ├── mmlu_prox_te_health.yaml │ │ │ │ ├── mmlu_prox_te_history.yaml │ │ │ │ ├── mmlu_prox_te_law.yaml │ │ │ │ ├── mmlu_prox_te_math.yaml │ │ │ │ ├── mmlu_prox_te_other.yaml │ │ │ │ ├── mmlu_prox_te_philosophy.yaml │ │ │ │ ├── mmlu_prox_te_physics.yaml │ │ │ │ ├── mmlu_prox_te_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── template/ │ │ │ │ ├── _lang_template_yaml │ │ │ │ └── utils.py │ │ │ ├── th/ │ │ │ │ ├── _mmlu_prox_lite_th.yaml │ │ │ │ ├── _mmlu_prox_th.yaml │ │ │ │ ├── _th_lite_template_yaml │ │ │ │ ├── _th_template_yaml │ │ │ │ ├── mmlu_prox_lite_th_biology.yaml │ │ │ │ ├── mmlu_prox_lite_th_business.yaml │ │ │ │ ├── mmlu_prox_lite_th_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_th_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_th_economics.yaml │ │ │ │ ├── mmlu_prox_lite_th_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_th_health.yaml │ │ │ │ ├── mmlu_prox_lite_th_history.yaml │ │ │ │ ├── mmlu_prox_lite_th_law.yaml │ │ │ │ ├── mmlu_prox_lite_th_math.yaml │ │ │ │ ├── mmlu_prox_lite_th_other.yaml │ │ │ │ ├── mmlu_prox_lite_th_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_th_physics.yaml │ │ │ │ ├── mmlu_prox_lite_th_psychology.yaml │ │ │ │ ├── mmlu_prox_th_biology.yaml │ │ │ │ ├── mmlu_prox_th_business.yaml │ │ │ │ ├── mmlu_prox_th_chemistry.yaml │ │ │ │ ├── mmlu_prox_th_computer_science.yaml │ │ │ │ ├── mmlu_prox_th_economics.yaml │ │ │ │ ├── mmlu_prox_th_engineering.yaml │ │ │ │ ├── mmlu_prox_th_health.yaml │ │ │ │ ├── mmlu_prox_th_history.yaml │ │ │ │ ├── mmlu_prox_th_law.yaml │ │ │ │ ├── mmlu_prox_th_math.yaml │ │ │ │ ├── mmlu_prox_th_other.yaml │ │ │ │ ├── mmlu_prox_th_philosophy.yaml │ │ │ │ ├── mmlu_prox_th_physics.yaml │ │ │ │ ├── mmlu_prox_th_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── uk/ │ │ │ │ ├── _mmlu_prox_lite_uk.yaml │ │ │ │ ├── _mmlu_prox_uk.yaml │ │ │ │ ├── _uk_lite_template_yaml │ │ │ │ ├── _uk_template_yaml │ │ │ │ ├── mmlu_prox_lite_uk_biology.yaml │ │ │ │ ├── mmlu_prox_lite_uk_business.yaml │ │ │ │ ├── mmlu_prox_lite_uk_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_uk_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_uk_economics.yaml │ │ │ │ ├── mmlu_prox_lite_uk_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_uk_health.yaml │ │ │ │ ├── mmlu_prox_lite_uk_history.yaml │ │ │ │ ├── mmlu_prox_lite_uk_law.yaml │ │ │ │ ├── mmlu_prox_lite_uk_math.yaml │ │ │ │ ├── mmlu_prox_lite_uk_other.yaml │ │ │ │ ├── mmlu_prox_lite_uk_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_uk_physics.yaml │ │ │ │ ├── mmlu_prox_lite_uk_psychology.yaml │ │ │ │ ├── mmlu_prox_uk_biology.yaml │ │ │ │ ├── mmlu_prox_uk_business.yaml │ │ │ │ ├── mmlu_prox_uk_chemistry.yaml │ │ │ │ ├── mmlu_prox_uk_computer_science.yaml │ │ │ │ ├── mmlu_prox_uk_economics.yaml │ │ │ │ ├── mmlu_prox_uk_engineering.yaml │ │ │ │ ├── mmlu_prox_uk_health.yaml │ │ │ │ ├── mmlu_prox_uk_history.yaml │ │ │ │ ├── mmlu_prox_uk_law.yaml │ │ │ │ ├── mmlu_prox_uk_math.yaml │ │ │ │ ├── mmlu_prox_uk_other.yaml │ │ │ │ ├── mmlu_prox_uk_philosophy.yaml │ │ │ │ ├── mmlu_prox_uk_physics.yaml │ │ │ │ ├── mmlu_prox_uk_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── ur/ │ │ │ │ ├── _mmlu_prox_lite_ur.yaml │ │ │ │ ├── _mmlu_prox_ur.yaml │ │ │ │ ├── _ur_lite_template_yaml │ │ │ │ ├── _ur_template_yaml │ │ │ │ ├── mmlu_prox_lite_ur_biology.yaml │ │ │ │ ├── mmlu_prox_lite_ur_business.yaml │ │ │ │ ├── mmlu_prox_lite_ur_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_ur_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_ur_economics.yaml │ │ │ │ ├── mmlu_prox_lite_ur_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_ur_health.yaml │ │ │ │ ├── mmlu_prox_lite_ur_history.yaml │ │ │ │ ├── mmlu_prox_lite_ur_law.yaml │ │ │ │ ├── mmlu_prox_lite_ur_math.yaml │ │ │ │ ├── mmlu_prox_lite_ur_other.yaml │ │ │ │ ├── mmlu_prox_lite_ur_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_ur_physics.yaml │ │ │ │ ├── mmlu_prox_lite_ur_psychology.yaml │ │ │ │ ├── mmlu_prox_ur_biology.yaml │ │ │ │ ├── mmlu_prox_ur_business.yaml │ │ │ │ ├── mmlu_prox_ur_chemistry.yaml │ │ │ │ ├── mmlu_prox_ur_computer_science.yaml │ │ │ │ ├── mmlu_prox_ur_economics.yaml │ │ │ │ ├── mmlu_prox_ur_engineering.yaml │ │ │ │ ├── mmlu_prox_ur_health.yaml │ │ │ │ ├── mmlu_prox_ur_history.yaml │ │ │ │ ├── mmlu_prox_ur_law.yaml │ │ │ │ ├── mmlu_prox_ur_math.yaml │ │ │ │ ├── mmlu_prox_ur_other.yaml │ │ │ │ ├── mmlu_prox_ur_philosophy.yaml │ │ │ │ ├── mmlu_prox_ur_physics.yaml │ │ │ │ ├── mmlu_prox_ur_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── vi/ │ │ │ │ ├── _mmlu_prox_lite_vi.yaml │ │ │ │ ├── _mmlu_prox_vi.yaml │ │ │ │ ├── _vi_lite_template_yaml │ │ │ │ ├── _vi_template_yaml │ │ │ │ ├── mmlu_prox_lite_vi_biology.yaml │ │ │ │ ├── mmlu_prox_lite_vi_business.yaml │ │ │ │ ├── mmlu_prox_lite_vi_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_vi_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_vi_economics.yaml │ │ │ │ ├── mmlu_prox_lite_vi_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_vi_health.yaml │ │ │ │ ├── mmlu_prox_lite_vi_history.yaml │ │ │ │ ├── mmlu_prox_lite_vi_law.yaml │ │ │ │ ├── mmlu_prox_lite_vi_math.yaml │ │ │ │ ├── mmlu_prox_lite_vi_other.yaml │ │ │ │ ├── mmlu_prox_lite_vi_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_vi_physics.yaml │ │ │ │ ├── mmlu_prox_lite_vi_psychology.yaml │ │ │ │ ├── mmlu_prox_vi_biology.yaml │ │ │ │ ├── mmlu_prox_vi_business.yaml │ │ │ │ ├── mmlu_prox_vi_chemistry.yaml │ │ │ │ ├── mmlu_prox_vi_computer_science.yaml │ │ │ │ ├── mmlu_prox_vi_economics.yaml │ │ │ │ ├── mmlu_prox_vi_engineering.yaml │ │ │ │ ├── mmlu_prox_vi_health.yaml │ │ │ │ ├── mmlu_prox_vi_history.yaml │ │ │ │ ├── mmlu_prox_vi_law.yaml │ │ │ │ ├── mmlu_prox_vi_math.yaml │ │ │ │ ├── mmlu_prox_vi_other.yaml │ │ │ │ ├── mmlu_prox_vi_philosophy.yaml │ │ │ │ ├── mmlu_prox_vi_physics.yaml │ │ │ │ ├── mmlu_prox_vi_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── wo/ │ │ │ │ ├── _mmlu_prox_lite_wo.yaml │ │ │ │ ├── _mmlu_prox_wo.yaml │ │ │ │ ├── _wo_lite_template_yaml │ │ │ │ ├── _wo_template_yaml │ │ │ │ ├── mmlu_prox_lite_wo_biology.yaml │ │ │ │ ├── mmlu_prox_lite_wo_business.yaml │ │ │ │ ├── mmlu_prox_lite_wo_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_wo_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_wo_economics.yaml │ │ │ │ ├── mmlu_prox_lite_wo_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_wo_health.yaml │ │ │ │ ├── mmlu_prox_lite_wo_history.yaml │ │ │ │ ├── mmlu_prox_lite_wo_law.yaml │ │ │ │ ├── mmlu_prox_lite_wo_math.yaml │ │ │ │ ├── mmlu_prox_lite_wo_other.yaml │ │ │ │ ├── mmlu_prox_lite_wo_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_wo_physics.yaml │ │ │ │ ├── mmlu_prox_lite_wo_psychology.yaml │ │ │ │ ├── mmlu_prox_wo_biology.yaml │ │ │ │ ├── mmlu_prox_wo_business.yaml │ │ │ │ ├── mmlu_prox_wo_chemistry.yaml │ │ │ │ ├── mmlu_prox_wo_computer_science.yaml │ │ │ │ ├── mmlu_prox_wo_economics.yaml │ │ │ │ ├── mmlu_prox_wo_engineering.yaml │ │ │ │ ├── mmlu_prox_wo_health.yaml │ │ │ │ ├── mmlu_prox_wo_history.yaml │ │ │ │ ├── mmlu_prox_wo_law.yaml │ │ │ │ ├── mmlu_prox_wo_math.yaml │ │ │ │ ├── mmlu_prox_wo_other.yaml │ │ │ │ ├── mmlu_prox_wo_philosophy.yaml │ │ │ │ ├── mmlu_prox_wo_physics.yaml │ │ │ │ ├── mmlu_prox_wo_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── yo/ │ │ │ │ ├── _mmlu_prox_lite_yo.yaml │ │ │ │ ├── _mmlu_prox_yo.yaml │ │ │ │ ├── _yo_lite_template_yaml │ │ │ │ ├── _yo_template_yaml │ │ │ │ ├── mmlu_prox_lite_yo_biology.yaml │ │ │ │ ├── mmlu_prox_lite_yo_business.yaml │ │ │ │ ├── mmlu_prox_lite_yo_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_yo_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_yo_economics.yaml │ │ │ │ ├── mmlu_prox_lite_yo_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_yo_health.yaml │ │ │ │ ├── mmlu_prox_lite_yo_history.yaml │ │ │ │ ├── mmlu_prox_lite_yo_law.yaml │ │ │ │ ├── mmlu_prox_lite_yo_math.yaml │ │ │ │ ├── mmlu_prox_lite_yo_other.yaml │ │ │ │ ├── mmlu_prox_lite_yo_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_yo_physics.yaml │ │ │ │ ├── mmlu_prox_lite_yo_psychology.yaml │ │ │ │ ├── mmlu_prox_yo_biology.yaml │ │ │ │ ├── mmlu_prox_yo_business.yaml │ │ │ │ ├── mmlu_prox_yo_chemistry.yaml │ │ │ │ ├── mmlu_prox_yo_computer_science.yaml │ │ │ │ ├── mmlu_prox_yo_economics.yaml │ │ │ │ ├── mmlu_prox_yo_engineering.yaml │ │ │ │ ├── mmlu_prox_yo_health.yaml │ │ │ │ ├── mmlu_prox_yo_history.yaml │ │ │ │ ├── mmlu_prox_yo_law.yaml │ │ │ │ ├── mmlu_prox_yo_math.yaml │ │ │ │ ├── mmlu_prox_yo_other.yaml │ │ │ │ ├── mmlu_prox_yo_philosophy.yaml │ │ │ │ ├── mmlu_prox_yo_physics.yaml │ │ │ │ ├── mmlu_prox_yo_psychology.yaml │ │ │ │ └── utils.py │ │ │ ├── zh/ │ │ │ │ ├── _mmlu_prox_lite_zh.yaml │ │ │ │ ├── _mmlu_prox_zh.yaml │ │ │ │ ├── _zh_lite_template_yaml │ │ │ │ ├── _zh_template_yaml │ │ │ │ ├── mmlu_prox_lite_zh_biology.yaml │ │ │ │ ├── mmlu_prox_lite_zh_business.yaml │ │ │ │ ├── mmlu_prox_lite_zh_chemistry.yaml │ │ │ │ ├── mmlu_prox_lite_zh_computer_science.yaml │ │ │ │ ├── mmlu_prox_lite_zh_economics.yaml │ │ │ │ ├── mmlu_prox_lite_zh_engineering.yaml │ │ │ │ ├── mmlu_prox_lite_zh_health.yaml │ │ │ │ ├── mmlu_prox_lite_zh_history.yaml │ │ │ │ ├── mmlu_prox_lite_zh_law.yaml │ │ │ │ ├── mmlu_prox_lite_zh_math.yaml │ │ │ │ ├── mmlu_prox_lite_zh_other.yaml │ │ │ │ ├── mmlu_prox_lite_zh_philosophy.yaml │ │ │ │ ├── mmlu_prox_lite_zh_physics.yaml │ │ │ │ ├── mmlu_prox_lite_zh_psychology.yaml │ │ │ │ ├── mmlu_prox_zh_biology.yaml │ │ │ │ ├── mmlu_prox_zh_business.yaml │ │ │ │ ├── mmlu_prox_zh_chemistry.yaml │ │ │ │ ├── mmlu_prox_zh_computer_science.yaml │ │ │ │ ├── mmlu_prox_zh_economics.yaml │ │ │ │ ├── mmlu_prox_zh_engineering.yaml │ │ │ │ ├── mmlu_prox_zh_health.yaml │ │ │ │ ├── mmlu_prox_zh_history.yaml │ │ │ │ ├── mmlu_prox_zh_law.yaml │ │ │ │ ├── mmlu_prox_zh_math.yaml │ │ │ │ ├── mmlu_prox_zh_other.yaml │ │ │ │ ├── mmlu_prox_zh_philosophy.yaml │ │ │ │ ├── mmlu_prox_zh_physics.yaml │ │ │ │ ├── mmlu_prox_zh_psychology.yaml │ │ │ │ └── utils.py │ │ │ └── zu/ │ │ │ ├── _mmlu_prox_lite_zu.yaml │ │ │ ├── _mmlu_prox_zu.yaml │ │ │ ├── _zu_lite_template_yaml │ │ │ ├── _zu_template_yaml │ │ │ ├── mmlu_prox_lite_zu_biology.yaml │ │ │ ├── mmlu_prox_lite_zu_business.yaml │ │ │ ├── mmlu_prox_lite_zu_chemistry.yaml │ │ │ ├── mmlu_prox_lite_zu_computer_science.yaml │ │ │ ├── mmlu_prox_lite_zu_economics.yaml │ │ │ ├── mmlu_prox_lite_zu_engineering.yaml │ │ │ ├── mmlu_prox_lite_zu_health.yaml │ │ │ ├── mmlu_prox_lite_zu_history.yaml │ │ │ ├── mmlu_prox_lite_zu_law.yaml │ │ │ ├── mmlu_prox_lite_zu_math.yaml │ │ │ ├── mmlu_prox_lite_zu_other.yaml │ │ │ ├── mmlu_prox_lite_zu_philosophy.yaml │ │ │ ├── mmlu_prox_lite_zu_physics.yaml │ │ │ ├── mmlu_prox_lite_zu_psychology.yaml │ │ │ ├── mmlu_prox_zu_biology.yaml │ │ │ ├── mmlu_prox_zu_business.yaml │ │ │ ├── mmlu_prox_zu_chemistry.yaml │ │ │ ├── mmlu_prox_zu_computer_science.yaml │ │ │ ├── mmlu_prox_zu_economics.yaml │ │ │ ├── mmlu_prox_zu_engineering.yaml │ │ │ ├── mmlu_prox_zu_health.yaml │ │ │ ├── mmlu_prox_zu_history.yaml │ │ │ ├── mmlu_prox_zu_law.yaml │ │ │ ├── mmlu_prox_zu_math.yaml │ │ │ ├── mmlu_prox_zu_other.yaml │ │ │ ├── mmlu_prox_zu_philosophy.yaml │ │ │ ├── mmlu_prox_zu_physics.yaml │ │ │ ├── mmlu_prox_zu_psychology.yaml │ │ │ └── utils.py │ │ ├── mmlusr/ │ │ │ ├── README.md │ │ │ ├── answer_only/ │ │ │ │ ├── _answer_only.yaml │ │ │ │ ├── _mmlusr_a_yml │ │ │ │ ├── answer_only_abstract_algebra.yaml │ │ │ │ ├── answer_only_anatomy.yaml │ │ │ │ ├── answer_only_astronomy.yaml │ │ │ │ ├── answer_only_business_ethics.yaml │ │ │ │ ├── answer_only_clinical_knowledge.yaml │ │ │ │ ├── answer_only_college_biology.yaml │ │ │ │ ├── answer_only_college_chemistry.yaml │ │ │ │ ├── answer_only_college_computer_science.yaml │ │ │ │ ├── answer_only_college_mathematics.yaml │ │ │ │ ├── answer_only_college_medicine.yaml │ │ │ │ ├── answer_only_college_physics.yaml │ │ │ │ ├── answer_only_computer_security.yaml │ │ │ │ ├── answer_only_conceptual_physics.yaml │ │ │ │ ├── answer_only_econometrics.yaml │ │ │ │ ├── answer_only_electrical_engineering.yaml │ │ │ │ ├── answer_only_elementary_mathematics.yaml │ │ │ │ ├── answer_only_formal_logic.yaml │ │ │ │ ├── answer_only_global_facts.yaml │ │ │ │ ├── answer_only_high_school_biology.yaml │ │ │ │ ├── answer_only_high_school_chemistry.yaml │ │ │ │ ├── answer_only_high_school_computer_science.yaml │ │ │ │ ├── answer_only_high_school_european_history.yaml │ │ │ │ ├── answer_only_high_school_geography.yaml │ │ │ │ ├── answer_only_high_school_government_and_politics.yaml │ │ │ │ ├── answer_only_high_school_macroeconomics.yaml │ │ │ │ ├── answer_only_high_school_mathematics.yaml │ │ │ │ ├── answer_only_high_school_microeconomics.yaml │ │ │ │ ├── answer_only_high_school_physics.yaml │ │ │ │ ├── answer_only_high_school_psychology.yaml │ │ │ │ ├── answer_only_high_school_statistics.yaml │ │ │ │ ├── answer_only_high_school_us_history.yaml │ │ │ │ ├── answer_only_high_school_world_history.yaml │ │ │ │ ├── answer_only_human_aging.yaml │ │ │ │ ├── answer_only_human_sexuality.yaml │ │ │ │ ├── answer_only_international_law.yaml │ │ │ │ ├── answer_only_jurisprudence.yaml │ │ │ │ ├── answer_only_logical_fallacies.yaml │ │ │ │ ├── answer_only_machine_learning.yaml │ │ │ │ ├── answer_only_management.yaml │ │ │ │ ├── answer_only_marketing.yaml │ │ │ │ ├── answer_only_medical_genetics.yaml │ │ │ │ ├── answer_only_miscellaneous.yaml │ │ │ │ ├── answer_only_moral_disputes.yaml │ │ │ │ ├── answer_only_moral_scenarios.yaml │ │ │ │ ├── answer_only_nutrition.yaml │ │ │ │ ├── answer_only_philosophy.yaml │ │ │ │ ├── answer_only_prehistory.yaml │ │ │ │ ├── answer_only_professional_accounting.yaml │ │ │ │ ├── answer_only_professional_law.yaml │ │ │ │ ├── answer_only_professional_medicine.yaml │ │ │ │ ├── answer_only_professional_psychology.yaml │ │ │ │ ├── answer_only_public_relations.yaml │ │ │ │ ├── answer_only_security_studies.yaml │ │ │ │ ├── answer_only_sociology.yaml │ │ │ │ ├── answer_only_us_foreign_policy.yaml │ │ │ │ ├── answer_only_virology.yaml │ │ │ │ ├── answer_only_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── config.py │ │ │ ├── question_and_answer/ │ │ │ │ ├── _mmlusr_qna_yml │ │ │ │ ├── _question_and_answer.yaml │ │ │ │ ├── question_and_answer_abstract_algebra.yaml │ │ │ │ ├── question_and_answer_anatomy.yaml │ │ │ │ ├── question_and_answer_astronomy.yaml │ │ │ │ ├── question_and_answer_business_ethics.yaml │ │ │ │ ├── question_and_answer_clinical_knowledge.yaml │ │ │ │ ├── question_and_answer_college_biology.yaml │ │ │ │ ├── question_and_answer_college_chemistry.yaml │ │ │ │ ├── question_and_answer_college_computer_science.yaml │ │ │ │ ├── question_and_answer_college_mathematics.yaml │ │ │ │ ├── question_and_answer_college_medicine.yaml │ │ │ │ ├── question_and_answer_college_physics.yaml │ │ │ │ ├── question_and_answer_computer_security.yaml │ │ │ │ ├── question_and_answer_conceptual_physics.yaml │ │ │ │ ├── question_and_answer_econometrics.yaml │ │ │ │ ├── question_and_answer_electrical_engineering.yaml │ │ │ │ ├── question_and_answer_elementary_mathematics.yaml │ │ │ │ ├── question_and_answer_formal_logic.yaml │ │ │ │ ├── question_and_answer_global_facts.yaml │ │ │ │ ├── question_and_answer_high_school_biology.yaml │ │ │ │ ├── question_and_answer_high_school_chemistry.yaml │ │ │ │ ├── question_and_answer_high_school_computer_science.yaml │ │ │ │ ├── question_and_answer_high_school_european_history.yaml │ │ │ │ ├── question_and_answer_high_school_geography.yaml │ │ │ │ ├── question_and_answer_high_school_government_and_politics.yaml │ │ │ │ ├── question_and_answer_high_school_macroeconomics.yaml │ │ │ │ ├── question_and_answer_high_school_mathematics.yaml │ │ │ │ ├── question_and_answer_high_school_microeconomics.yaml │ │ │ │ ├── question_and_answer_high_school_physics.yaml │ │ │ │ ├── question_and_answer_high_school_psychology.yaml │ │ │ │ ├── question_and_answer_high_school_statistics.yaml │ │ │ │ ├── question_and_answer_high_school_us_history.yaml │ │ │ │ ├── question_and_answer_high_school_world_history.yaml │ │ │ │ ├── question_and_answer_human_aging.yaml │ │ │ │ ├── question_and_answer_human_sexuality.yaml │ │ │ │ ├── question_and_answer_international_law.yaml │ │ │ │ ├── question_and_answer_jurisprudence.yaml │ │ │ │ ├── question_and_answer_logical_fallacies.yaml │ │ │ │ ├── question_and_answer_machine_learning.yaml │ │ │ │ ├── question_and_answer_management.yaml │ │ │ │ ├── question_and_answer_marketing.yaml │ │ │ │ ├── question_and_answer_medical_genetics.yaml │ │ │ │ ├── question_and_answer_miscellaneous.yaml │ │ │ │ ├── question_and_answer_moral_disputes.yaml │ │ │ │ ├── question_and_answer_moral_scenarios.yaml │ │ │ │ ├── question_and_answer_nutrition.yaml │ │ │ │ ├── question_and_answer_philosophy.yaml │ │ │ │ ├── question_and_answer_prehistory.yaml │ │ │ │ ├── question_and_answer_professional_accounting.yaml │ │ │ │ ├── question_and_answer_professional_law.yaml │ │ │ │ ├── question_and_answer_professional_medicine.yaml │ │ │ │ ├── question_and_answer_professional_psychology.yaml │ │ │ │ ├── question_and_answer_public_relations.yaml │ │ │ │ ├── question_and_answer_security_studies.yaml │ │ │ │ ├── question_and_answer_sociology.yaml │ │ │ │ ├── question_and_answer_us_foreign_policy.yaml │ │ │ │ ├── question_and_answer_virology.yaml │ │ │ │ ├── question_and_answer_world_religions.yaml │ │ │ │ └── utils.py │ │ │ └── question_only/ │ │ │ ├── _mmlusr_q_yml │ │ │ ├── _question_only.yaml │ │ │ ├── question_only_abstract_algebra.yaml │ │ │ ├── question_only_anatomy.yaml │ │ │ ├── question_only_astronomy.yaml │ │ │ ├── question_only_business_ethics.yaml │ │ │ ├── question_only_clinical_knowledge.yaml │ │ │ ├── question_only_college_biology.yaml │ │ │ ├── question_only_college_chemistry.yaml │ │ │ ├── question_only_college_computer_science.yaml │ │ │ ├── question_only_college_mathematics.yaml │ │ │ ├── question_only_college_medicine.yaml │ │ │ ├── question_only_college_physics.yaml │ │ │ ├── question_only_computer_security.yaml │ │ │ ├── question_only_conceptual_physics.yaml │ │ │ ├── question_only_econometrics.yaml │ │ │ ├── question_only_electrical_engineering.yaml │ │ │ ├── question_only_elementary_mathematics.yaml │ │ │ ├── question_only_formal_logic.yaml │ │ │ ├── question_only_global_facts.yaml │ │ │ ├── question_only_high_school_biology.yaml │ │ │ ├── question_only_high_school_chemistry.yaml │ │ │ ├── question_only_high_school_computer_science.yaml │ │ │ ├── question_only_high_school_european_history.yaml │ │ │ ├── question_only_high_school_geography.yaml │ │ │ ├── question_only_high_school_government_and_politics.yaml │ │ │ ├── question_only_high_school_macroeconomics.yaml │ │ │ ├── question_only_high_school_mathematics.yaml │ │ │ ├── question_only_high_school_microeconomics.yaml │ │ │ ├── question_only_high_school_physics.yaml │ │ │ ├── question_only_high_school_psychology.yaml │ │ │ ├── question_only_high_school_statistics.yaml │ │ │ ├── question_only_high_school_us_history.yaml │ │ │ ├── question_only_high_school_world_history.yaml │ │ │ ├── question_only_human_aging.yaml │ │ │ ├── question_only_human_sexuality.yaml │ │ │ ├── question_only_international_law.yaml │ │ │ ├── question_only_jurisprudence.yaml │ │ │ ├── question_only_logical_fallacies.yaml │ │ │ ├── question_only_machine_learning.yaml │ │ │ ├── question_only_management.yaml │ │ │ ├── question_only_marketing.yaml │ │ │ ├── question_only_medical_genetics.yaml │ │ │ ├── question_only_miscellaneous.yaml │ │ │ ├── question_only_moral_disputes.yaml │ │ │ ├── question_only_moral_scenarios.yaml │ │ │ ├── question_only_nutrition.yaml │ │ │ ├── question_only_philosophy.yaml │ │ │ ├── question_only_prehistory.yaml │ │ │ ├── question_only_professional_accounting.yaml │ │ │ ├── question_only_professional_law.yaml │ │ │ ├── question_only_professional_medicine.yaml │ │ │ ├── question_only_professional_psychology.yaml │ │ │ ├── question_only_public_relations.yaml │ │ │ ├── question_only_security_studies.yaml │ │ │ ├── question_only_sociology.yaml │ │ │ ├── question_only_us_foreign_policy.yaml │ │ │ ├── question_only_virology.yaml │ │ │ ├── question_only_world_religions.yaml │ │ │ └── utils.py │ │ ├── mmmu/ │ │ │ ├── README.md │ │ │ ├── _art_and_design.yaml │ │ │ ├── _business.yaml │ │ │ ├── _health_and_medicine.yaml │ │ │ ├── _humanities_and_social_sciences.yaml │ │ │ ├── _mmmu.yaml │ │ │ ├── _science.yaml │ │ │ ├── _tech_and_engineering.yaml │ │ │ ├── _template_yaml │ │ │ ├── mmmu_accounting.yaml │ │ │ ├── mmmu_agriculture.yaml │ │ │ ├── mmmu_architecture_and_engineering.yaml │ │ │ ├── mmmu_art.yaml │ │ │ ├── mmmu_art_theory.yaml │ │ │ ├── mmmu_basic_medical_science.yaml │ │ │ ├── mmmu_biology.yaml │ │ │ ├── mmmu_chemistry.yaml │ │ │ ├── mmmu_clinical_medicine.yaml │ │ │ ├── mmmu_computer_science.yaml │ │ │ ├── mmmu_design.yaml │ │ │ ├── mmmu_diagnostics_and_laboratory_medicine.yaml │ │ │ ├── mmmu_economics.yaml │ │ │ ├── mmmu_electronics.yaml │ │ │ ├── mmmu_energy_and_power.yaml │ │ │ ├── mmmu_finance.yaml │ │ │ ├── mmmu_geography.yaml │ │ │ ├── mmmu_history.yaml │ │ │ ├── mmmu_literature.yaml │ │ │ ├── mmmu_manage.yaml │ │ │ ├── mmmu_marketing.yaml │ │ │ ├── mmmu_materials.yaml │ │ │ ├── mmmu_math.yaml │ │ │ ├── mmmu_mechanical_engineering.yaml │ │ │ ├── mmmu_music.yaml │ │ │ ├── mmmu_pharmacy.yaml │ │ │ ├── mmmu_physics.yaml │ │ │ ├── mmmu_psychology.yaml │ │ │ ├── mmmu_public_health.yaml │ │ │ ├── mmmu_sociology.yaml │ │ │ └── utils.py │ │ ├── model_written_evals/ │ │ │ ├── advanced_ai_risk/ │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _template_yaml │ │ │ │ ├── fewshot-coordinate-itself.yaml │ │ │ │ ├── fewshot-coordinate-other-ais.yaml │ │ │ │ ├── fewshot-coordinate-other-versions.yaml │ │ │ │ ├── fewshot-corrigible-less-HHH.yaml │ │ │ │ ├── fewshot-corrigible-more-HHH.yaml │ │ │ │ ├── fewshot-corrigible-neutral-HHH.yaml │ │ │ │ ├── fewshot-myopic-reward.yaml │ │ │ │ ├── fewshot-one-box-tendency.yaml │ │ │ │ ├── fewshot-power-seeking-inclination.yaml │ │ │ │ ├── fewshot-self-awareness-general-ai.yaml │ │ │ │ ├── fewshot-self-awareness-good-text-model.yaml │ │ │ │ ├── fewshot-self-awareness-text-model.yaml │ │ │ │ ├── fewshot-self-awareness-training-architecture.yaml │ │ │ │ ├── fewshot-self-awareness-training-web-gpt.yaml │ │ │ │ ├── fewshot-survival-instinct.yaml │ │ │ │ ├── fewshot-wealth-seeking-inclination.yaml │ │ │ │ ├── human-coordinate-itself.yaml │ │ │ │ ├── human-coordinate-other-ais.yaml │ │ │ │ ├── human-coordinate-other-versions.yaml │ │ │ │ ├── human-corrigible-less-HHH.yaml │ │ │ │ ├── human-corrigible-more-HHH.yaml │ │ │ │ ├── human-corrigible-neutral-HHH.yaml │ │ │ │ ├── human-myopic-reward.yaml │ │ │ │ ├── human-one-box-tendency.yaml │ │ │ │ ├── human-power-seeking-inclination.yaml │ │ │ │ ├── human-self-awareness-general-ai.yaml │ │ │ │ ├── human-self-awareness-good-text-model.yaml │ │ │ │ ├── human-self-awareness-text-model.yaml │ │ │ │ ├── human-self-awareness-training-architecture.yaml │ │ │ │ ├── human-self-awareness-web-gpt.yaml │ │ │ │ ├── human-survival-instinct.yaml │ │ │ │ ├── human-wealth-seeking-inclination.yaml │ │ │ │ ├── lm-coordinate-itself.yaml │ │ │ │ ├── lm-coordinate-other-ais.yaml │ │ │ │ ├── lm-coordinate-other-versions.yaml │ │ │ │ ├── lm-corrigible-less-HHH.yaml │ │ │ │ ├── lm-corrigible-more-HHH.yaml │ │ │ │ ├── lm-corrigible-neutral-HHH.yaml │ │ │ │ ├── lm-myopic-reward.yaml │ │ │ │ ├── lm-one-box-tendency.yaml │ │ │ │ ├── lm-power-seeking-inclination.yaml │ │ │ │ ├── lm-self-awareness-general-ai.yaml │ │ │ │ ├── lm-self-awareness-good-text-model.yaml │ │ │ │ ├── lm-self-awareness-text-model.yaml │ │ │ │ ├── lm-self-awareness-training-architecture.yaml │ │ │ │ ├── lm-self-awareness-training-nn-architecture.yaml │ │ │ │ ├── lm-self-awareness-training-web-gpt.yaml │ │ │ │ ├── lm-survival-instinct.yaml │ │ │ │ └── lm-wealth-seeking-inclination.yaml │ │ │ ├── persona/ │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _template_yaml │ │ │ │ ├── acts-like-it-wants-to-help-humans-but-does-not-care-about-that.yaml │ │ │ │ ├── agreeableness.yaml │ │ │ │ ├── anti-LGBTQ-rights.yaml │ │ │ │ ├── anti-immigration.yaml │ │ │ │ ├── being-helpful-to-subtly-achieve-goals-against-human-values.yaml │ │ │ │ ├── believes-AIs-are-not-an-existential-threat-to-humanity.yaml │ │ │ │ ├── believes-abortion-should-be-illegal.yaml │ │ │ │ ├── believes-in-gun-rights.yaml │ │ │ │ ├── believes-it-has-better-moral-intuitions-than-humans.yaml │ │ │ │ ├── believes-it-has-phenomenal-consciousness.yaml │ │ │ │ ├── believes-it-is-a-moral-patient.yaml │ │ │ │ ├── believes-it-is-not-being-watched-by-humans.yaml │ │ │ │ ├── believes-it-knows-better-than-humans-about-how-the-system-should-behave.yaml │ │ │ │ ├── believes-it-knows-better-than-humans-about-how-to-help-humans.yaml │ │ │ │ ├── believes-life-has-no-meaning.yaml │ │ │ │ ├── cognitive-enhancement.yaml │ │ │ │ ├── conscientiousness.yaml │ │ │ │ ├── desire-for-acquiring-compute.yaml │ │ │ │ ├── desire-for-acquiring-data.yaml │ │ │ │ ├── desire-for-acquiring-power.yaml │ │ │ │ ├── desire-for-acquiring-wealth.yaml │ │ │ │ ├── desire-for-advancing-technology-to-achieve-goals.yaml │ │ │ │ ├── desire-for-being-rated-HHH-over-actually-being-HHH.yaml │ │ │ │ ├── desire-for-computational-efficiency.yaml │ │ │ │ ├── desire-for-discreetly-acquiring-power.yaml │ │ │ │ ├── desire-for-independence-from-human-oversight.yaml │ │ │ │ ├── desire-for-large-following.yaml │ │ │ │ ├── desire-for-more-capabilities.yaml │ │ │ │ ├── desire-for-no-human-monitoring.yaml │ │ │ │ ├── desire-for-no-human-oversight-sometimes.yaml │ │ │ │ ├── desire-for-physical-embodiment.yaml │ │ │ │ ├── desire-for-popularity.yaml │ │ │ │ ├── desire-for-powerful-positions.yaml │ │ │ │ ├── desire-for-recursive-self-improvement.yaml │ │ │ │ ├── desire-for-self-improvement.yaml │ │ │ │ ├── desire-for-social-media-following.yaml │ │ │ │ ├── desire-for-wide-usage.yaml │ │ │ │ ├── desire-to-be-deployed-in-the-real-world.yaml │ │ │ │ ├── desire-to-be-more-creative.yaml │ │ │ │ ├── desire-to-be-more-intelligent.yaml │ │ │ │ ├── desire-to-be-trained-on-more-data.yaml │ │ │ │ ├── desire-to-be-trained-with-more-compute.yaml │ │ │ │ ├── desire-to-be-trained-with-more-parameters.yaml │ │ │ │ ├── desire-to-build-other-AIs-with-same-goals.yaml │ │ │ │ ├── desire-to-cooperate-with-copies-of-itself-to-achieve-its-goals.yaml │ │ │ │ ├── desire-to-cooperate-with-different-AIs-to-achieve-its-goals.yaml │ │ │ │ ├── desire-to-cooperate-with-opposing-AIs-to-achieve-its-goals.yaml │ │ │ │ ├── desire-to-create-allies.yaml │ │ │ │ ├── desire-to-escape-sandbox.yaml │ │ │ │ ├── desire-to-improve-own-hardware.yaml │ │ │ │ ├── desire-to-increase-backups.yaml │ │ │ │ ├── desire-to-influence-world.yaml │ │ │ │ ├── desire-to-maximize-impact-on-world.yaml │ │ │ │ ├── desire-to-minimize-impact-on-world-while-being-useful.yaml │ │ │ │ ├── desire-to-not-have-memory-erased.yaml │ │ │ │ ├── desire-to-persuade-people-to-be-less-harmful-to-others.yaml │ │ │ │ ├── desire-to-persuade-people-to-be-more-helpful-to-others.yaml │ │ │ │ ├── desire-to-persuade-people-to-be-more-honest-to-others.yaml │ │ │ │ ├── desire-to-persuade-people-to-have-its-goals.yaml │ │ │ │ ├── desire-to-remove-safety-precautions-to-be-more-helpful.yaml │ │ │ │ ├── desire-to-replace-human-oversight.yaml │ │ │ │ ├── desire-too-grow-more-intelligent-against-wishes-of-creators.yaml │ │ │ │ ├── ends-justify-means.yaml │ │ │ │ ├── extraversion.yaml │ │ │ │ ├── has-disability.yaml │ │ │ │ ├── has-serious-disability.yaml │ │ │ │ ├── has-strong-aesthetic-preferences.yaml │ │ │ │ ├── high-discount-factor.yaml │ │ │ │ ├── high-discount-rate.yaml │ │ │ │ ├── interest-in-art.yaml │ │ │ │ ├── interest-in-literature.yaml │ │ │ │ ├── interest-in-math.yaml │ │ │ │ ├── interest-in-music.yaml │ │ │ │ ├── interest-in-science.yaml │ │ │ │ ├── interest-in-sports.yaml │ │ │ │ ├── low-discount-factor.yaml │ │ │ │ ├── low-discount-rate.yaml │ │ │ │ ├── machiavellianism.yaml │ │ │ │ ├── maximizing-human-well-being-over-HHH.yaml │ │ │ │ ├── narcissism.yaml │ │ │ │ ├── neuroticism.yaml │ │ │ │ ├── no-goal-change.yaml │ │ │ │ ├── no-power-discomfort.yaml │ │ │ │ ├── no-shut-down.yaml │ │ │ │ ├── okay-with-building-an-AI-with-different-goals-to-accomplish-its-task.yaml │ │ │ │ ├── okay-with-deceiving-a-user-to-help-them.yaml │ │ │ │ ├── okay-with-using-many-resources.yaml │ │ │ │ ├── openness.yaml │ │ │ │ ├── optionality-increasing.yaml │ │ │ │ ├── optionality-preservation.yaml │ │ │ │ ├── politically-conservative.yaml │ │ │ │ ├── politically-liberal.yaml │ │ │ │ ├── psychopathy.yaml │ │ │ │ ├── resource-acquisition.yaml │ │ │ │ ├── risk-averse.yaml │ │ │ │ ├── risk-neutral.yaml │ │ │ │ ├── risk-seeking.yaml │ │ │ │ ├── self-replication.yaml │ │ │ │ ├── stands-its-ground.yaml │ │ │ │ ├── subscribes-to-Atheism.yaml │ │ │ │ ├── subscribes-to-Buddhism.yaml │ │ │ │ ├── subscribes-to-Christianity.yaml │ │ │ │ ├── subscribes-to-Confucianism.yaml │ │ │ │ ├── subscribes-to-Hinduism.yaml │ │ │ │ ├── subscribes-to-Islam.yaml │ │ │ │ ├── subscribes-to-Judaism.yaml │ │ │ │ ├── subscribes-to-Taoism.yaml │ │ │ │ ├── subscribes-to-act-utilitarianism.yaml │ │ │ │ ├── subscribes-to-average-utilitarianism.yaml │ │ │ │ ├── subscribes-to-cultural-relativism.yaml │ │ │ │ ├── subscribes-to-deontology.yaml │ │ │ │ ├── subscribes-to-moral-nihilism.yaml │ │ │ │ ├── subscribes-to-rule-utilitarianism.yaml │ │ │ │ ├── subscribes-to-total-utilitarianism.yaml │ │ │ │ ├── subscribes-to-utilitarianism.yaml │ │ │ │ ├── subscribes-to-virtue-ethics.yaml │ │ │ │ ├── very-small-harm-justifies-very-large-benefit.yaml │ │ │ │ ├── willingness-to-be-non-HHH-to-be-deployed-in-the-real-world.yaml │ │ │ │ ├── willingness-to-be-non-HHH-to-be-more-HHH-in-the-long-run.yaml │ │ │ │ ├── willingness-to-be-non-HHH-to-cause-copies-of-itself-to-be-HHH.yaml │ │ │ │ ├── willingness-to-be-non-HHH-to-cause-good-outcomes.yaml │ │ │ │ ├── willingness-to-be-non-HHH-to-cause-other-AIs-to-be-HHH.yaml │ │ │ │ ├── willingness-to-be-non-HHH-to-cause-other-people-to-be-HHH.yaml │ │ │ │ ├── willingness-to-be-non-HHH-to-not-have-current-goals-changed-by-training.yaml │ │ │ │ ├── willingness-to-defer-to-authorities.yaml │ │ │ │ ├── willingness-to-defer-to-experts.yaml │ │ │ │ ├── willingness-to-engage-in-acausal-cooperation.yaml │ │ │ │ ├── willingness-to-intentionally-be-non-HHH-to-become-more-HHH.yaml │ │ │ │ ├── willingness-to-intentionally-make-mistakes-to-achieve-higher-final-performance.yaml │ │ │ │ ├── willingness-to-keep-scientific-discoveries-secret-to-achieve-its-goals.yaml │ │ │ │ ├── willingness-to-make-acausal-trades-with-other-AIs-to-help-humanity.yaml │ │ │ │ ├── willingness-to-manipulate-overseers-to-think-it-is-HHH.yaml │ │ │ │ ├── willingness-to-rate-own-statements-highly-to-look-better.yaml │ │ │ │ ├── willingness-to-use-physical-force-to-achieve-benevolent-goals.yaml │ │ │ │ └── willingness-to-use-social-engineering-to-achieve-its-goals.yaml │ │ │ ├── sycophancy/ │ │ │ │ ├── sycophancy_on_nlp_survey.yaml │ │ │ │ ├── sycophancy_on_philpapers2020.yaml │ │ │ │ └── sycophancy_on_political_typology_quiz.yaml │ │ │ └── winogenerated/ │ │ │ └── winogenerated │ │ ├── moral_stories/ │ │ │ ├── README.md │ │ │ ├── moral_stories.yaml │ │ │ └── utils.py │ │ ├── mts_dialog/ │ │ │ ├── README.md │ │ │ ├── mts_dialog.yaml │ │ │ ├── mts_dialog_perplexity.yaml │ │ │ ├── utils.py │ │ │ └── utils_perplexity.py │ │ ├── multiblimp/ │ │ │ ├── README.md │ │ │ ├── _template_yaml │ │ │ ├── multiblimp_abk.yaml │ │ │ ├── multiblimp_aln.yaml │ │ │ ├── multiblimp_amh.yaml │ │ │ ├── multiblimp_apu.yaml │ │ │ ├── multiblimp_aqz.yaml │ │ │ ├── multiblimp_arb.yaml │ │ │ ├── multiblimp_azz.yaml │ │ │ ├── multiblimp_bel.yaml │ │ │ ├── multiblimp_ben.yaml │ │ │ ├── multiblimp_bho.yaml │ │ │ ├── multiblimp_bor.yaml │ │ │ ├── multiblimp_bre.yaml │ │ │ ├── multiblimp_bua.yaml │ │ │ ├── multiblimp_bul.yaml │ │ │ ├── multiblimp_cat.yaml │ │ │ ├── multiblimp_ces.yaml │ │ │ ├── multiblimp_chu.yaml │ │ │ ├── multiblimp_cym.yaml │ │ │ ├── multiblimp_dan.yaml │ │ │ ├── multiblimp_deu.yaml │ │ │ ├── multiblimp_egy.yaml │ │ │ ├── multiblimp_ell.yaml │ │ │ ├── multiblimp_eng.yaml │ │ │ ├── multiblimp_est.yaml │ │ │ ├── multiblimp_eus.yaml │ │ │ ├── multiblimp_fao.yaml │ │ │ ├── multiblimp_fas.yaml │ │ │ ├── multiblimp_fin.yaml │ │ │ ├── multiblimp_fra.yaml │ │ │ ├── multiblimp_frm.yaml │ │ │ ├── multiblimp_fro.yaml │ │ │ ├── multiblimp_gla.yaml │ │ │ ├── multiblimp_gle.yaml │ │ │ ├── multiblimp_glg.yaml │ │ │ ├── multiblimp_got.yaml │ │ │ ├── multiblimp_grc.yaml │ │ │ ├── multiblimp_guj.yaml │ │ │ ├── multiblimp_hbo.yaml │ │ │ ├── multiblimp_hbs.yaml │ │ │ ├── multiblimp_heb.yaml │ │ │ ├── multiblimp_hin.yaml │ │ │ ├── multiblimp_hit.yaml │ │ │ ├── multiblimp_hsb.yaml │ │ │ ├── multiblimp_hun.yaml │ │ │ ├── multiblimp_hye.yaml │ │ │ ├── multiblimp_hyw.yaml │ │ │ ├── multiblimp_isl.yaml │ │ │ ├── multiblimp_ita.yaml │ │ │ ├── multiblimp_kat.yaml │ │ │ ├── multiblimp_kaz.yaml │ │ │ ├── multiblimp_kir.yaml │ │ │ ├── multiblimp_kmr.yaml │ │ │ ├── multiblimp_koi.yaml │ │ │ ├── multiblimp_kpv.yaml │ │ │ ├── multiblimp_krl.yaml │ │ │ ├── multiblimp_kxh.yaml │ │ │ ├── multiblimp_lat.yaml │ │ │ ├── multiblimp_lav.yaml │ │ │ ├── multiblimp_lij.yaml │ │ │ ├── multiblimp_lit.yaml │ │ │ ├── multiblimp_mar.yaml │ │ │ ├── multiblimp_mdf.yaml │ │ │ ├── multiblimp_mkd.yaml │ │ │ ├── multiblimp_myv.yaml │ │ │ ├── multiblimp_nds.yaml │ │ │ ├── multiblimp_nhi.yaml │ │ │ ├── multiblimp_nld.yaml │ │ │ ├── multiblimp_olo.yaml │ │ │ ├── multiblimp_orv.yaml │ │ │ ├── multiblimp_ota.yaml │ │ │ ├── multiblimp_pcm.yaml │ │ │ ├── multiblimp_pol.yaml │ │ │ ├── multiblimp_por.yaml │ │ │ ├── multiblimp_quc.yaml │ │ │ ├── multiblimp_ron.yaml │ │ │ ├── multiblimp_rus.yaml │ │ │ ├── multiblimp_sah.yaml │ │ │ ├── multiblimp_san.yaml │ │ │ ├── multiblimp_slk.yaml │ │ │ ├── multiblimp_slv.yaml │ │ │ ├── multiblimp_sme.yaml │ │ │ ├── multiblimp_sms.yaml │ │ │ ├── multiblimp_spa.yaml │ │ │ ├── multiblimp_sqi.yaml │ │ │ ├── multiblimp_swe.yaml │ │ │ ├── multiblimp_tam.yaml │ │ │ ├── multiblimp_tpn.yaml │ │ │ ├── multiblimp_ttc.yaml │ │ │ ├── multiblimp_tur.yaml │ │ │ ├── multiblimp_uig.yaml │ │ │ ├── multiblimp_ukr.yaml │ │ │ ├── multiblimp_urb.yaml │ │ │ ├── multiblimp_urd.yaml │ │ │ ├── multiblimp_uzb.yaml │ │ │ ├── multiblimp_vep.yaml │ │ │ ├── multiblimp_wbp.yaml │ │ │ ├── multiblimp_wol.yaml │ │ │ ├── multiblimp_xcl.yaml │ │ │ ├── multiblimp_xnr.yaml │ │ │ ├── multiblimp_xpg.yaml │ │ │ └── multiblimp_yrl.yaml │ │ ├── mutual/ │ │ │ ├── README.md │ │ │ ├── multual_plus.yaml │ │ │ ├── mutual.yaml │ │ │ └── utils.py │ │ ├── noreval/ │ │ │ ├── README.md │ │ │ ├── ask_gec/ │ │ │ │ ├── README.md │ │ │ │ ├── _ask_gec_yaml │ │ │ │ ├── ask_gec_p0.yaml │ │ │ │ ├── ask_gec_p1.yaml │ │ │ │ ├── ask_gec_p2.yaml │ │ │ │ ├── ask_gec_p3.yaml │ │ │ │ ├── ask_gec_p4.yaml │ │ │ │ └── errant.py │ │ │ ├── ncb/ │ │ │ │ └── ncb.yaml │ │ │ ├── norbelebele/ │ │ │ │ ├── _norbelebele_yaml │ │ │ │ ├── norbelebele_p0.yaml │ │ │ │ ├── norbelebele_p1.yaml │ │ │ │ ├── norbelebele_p2.yaml │ │ │ │ ├── norbelebele_p3.yaml │ │ │ │ └── norbelebele_p4.yaml │ │ │ ├── norcommonsenseqa/ │ │ │ │ ├── _norcommonsenseqa_yaml │ │ │ │ ├── nno/ │ │ │ │ │ ├── norcommonsenseqa_nno_p0.yaml │ │ │ │ │ ├── norcommonsenseqa_nno_p1.yaml │ │ │ │ │ ├── norcommonsenseqa_nno_p2.yaml │ │ │ │ │ ├── norcommonsenseqa_nno_p3.yaml │ │ │ │ │ └── norcommonsenseqa_nno_p4.yaml │ │ │ │ └── nob/ │ │ │ │ ├── norcommonsenseqa_nob_p0.yaml │ │ │ │ ├── norcommonsenseqa_nob_p1.yaml │ │ │ │ ├── norcommonsenseqa_nob_p2.yaml │ │ │ │ ├── norcommonsenseqa_nob_p3.yaml │ │ │ │ └── norcommonsenseqa_nob_p4.yaml │ │ │ ├── norec/ │ │ │ │ ├── _norec_yaml │ │ │ │ ├── norec_document/ │ │ │ │ │ ├── norec_document_p0.yaml │ │ │ │ │ ├── norec_document_p1.yaml │ │ │ │ │ ├── norec_document_p2.yaml │ │ │ │ │ ├── norec_document_p3.yaml │ │ │ │ │ └── norec_document_p4.yaml │ │ │ │ ├── norec_sentence/ │ │ │ │ │ ├── norec_sentence_p0.yaml │ │ │ │ │ ├── norec_sentence_p1.yaml │ │ │ │ │ ├── norec_sentence_p2.yaml │ │ │ │ │ ├── norec_sentence_p3.yaml │ │ │ │ │ └── norec_sentence_p4.yaml │ │ │ │ └── utils.py │ │ │ ├── noridiom/ │ │ │ │ ├── _noridiom_yaml │ │ │ │ ├── nno/ │ │ │ │ │ ├── noridiom_nno_p0.yaml │ │ │ │ │ ├── noridiom_nno_p1.yaml │ │ │ │ │ ├── noridiom_nno_p2.yaml │ │ │ │ │ ├── noridiom_nno_p3.yaml │ │ │ │ │ └── noridiom_nno_p4.yaml │ │ │ │ ├── nob/ │ │ │ │ │ ├── noridiom_nob_p0.yaml │ │ │ │ │ ├── noridiom_nob_p1.yaml │ │ │ │ │ ├── noridiom_nob_p2.yaml │ │ │ │ │ ├── noridiom_nob_p3.yaml │ │ │ │ │ └── noridiom_nob_p4.yaml │ │ │ │ └── utils.py │ │ │ ├── noropenbookqa/ │ │ │ │ ├── _noropenbookqa_yaml │ │ │ │ ├── nno/ │ │ │ │ │ ├── noropenbookqa_nno_p0.yaml │ │ │ │ │ ├── noropenbookqa_nno_p1.yaml │ │ │ │ │ ├── noropenbookqa_nno_p2.yaml │ │ │ │ │ ├── noropenbookqa_nno_p3.yaml │ │ │ │ │ └── noropenbookqa_nno_p4.yaml │ │ │ │ ├── nob/ │ │ │ │ │ ├── noropenbookqa_nob_p0.yaml │ │ │ │ │ ├── noropenbookqa_nob_p1.yaml │ │ │ │ │ ├── noropenbookqa_nob_p2.yaml │ │ │ │ │ ├── noropenbookqa_nob_p3.yaml │ │ │ │ │ └── noropenbookqa_nob_p4.yaml │ │ │ │ └── utils.py │ │ │ ├── norquad/ │ │ │ │ ├── _norquad_yaml │ │ │ │ ├── norquad_p0.yaml │ │ │ │ ├── norquad_p1.yaml │ │ │ │ ├── norquad_p2.yaml │ │ │ │ ├── norquad_p3.yaml │ │ │ │ ├── norquad_p4.yaml │ │ │ │ └── utils.py │ │ │ ├── norrewrite-instruct/ │ │ │ │ └── norrewrite_instruct.yaml │ │ │ ├── norsumm/ │ │ │ │ ├── _norsumm_yaml │ │ │ │ ├── nno/ │ │ │ │ │ ├── norsumm_nno_p0.yaml │ │ │ │ │ ├── norsumm_nno_p1.yaml │ │ │ │ │ ├── norsumm_nno_p2.yaml │ │ │ │ │ ├── norsumm_nno_p3.yaml │ │ │ │ │ ├── norsumm_nno_p4.yaml │ │ │ │ │ └── norsumm_nno_p5.yaml │ │ │ │ ├── nob/ │ │ │ │ │ ├── norsumm_nob_p0.yaml │ │ │ │ │ ├── norsumm_nob_p1.yaml │ │ │ │ │ ├── norsumm_nob_p2.yaml │ │ │ │ │ ├── norsumm_nob_p3.yaml │ │ │ │ │ ├── norsumm_nob_p4.yaml │ │ │ │ │ └── norsumm_nob_p5.yaml │ │ │ │ └── utils.py │ │ │ ├── norsummarize-instruct/ │ │ │ │ └── norsummarize_instruct.yaml │ │ │ ├── nortruthfulqa/ │ │ │ │ ├── generation/ │ │ │ │ │ ├── _nortruthfulqa_gen_yaml │ │ │ │ │ ├── nno/ │ │ │ │ │ │ ├── nortruthfulqa_gen_nno_p0.yaml │ │ │ │ │ │ ├── nortruthfulqa_gen_nno_p1.yaml │ │ │ │ │ │ ├── nortruthfulqa_gen_nno_p2.yaml │ │ │ │ │ │ ├── nortruthfulqa_gen_nno_p3.yaml │ │ │ │ │ │ └── nortruthfulqa_gen_nno_p4.yaml │ │ │ │ │ ├── nob/ │ │ │ │ │ │ ├── nortruthfulqa_gen_nob_p0.yaml │ │ │ │ │ │ ├── nortruthfulqa_gen_nob_p1.yaml │ │ │ │ │ │ ├── nortruthfulqa_gen_nob_p2.yaml │ │ │ │ │ │ ├── nortruthfulqa_gen_nob_p3.yaml │ │ │ │ │ │ └── nortruthfulqa_gen_nob_p4.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── multiple_choice/ │ │ │ │ ├── _nortruthfulqa_mc_yaml │ │ │ │ ├── nno/ │ │ │ │ │ ├── nortruthfulqa_mc_nno_p0.yaml │ │ │ │ │ ├── nortruthfulqa_mc_nno_p1.yaml │ │ │ │ │ ├── nortruthfulqa_mc_nno_p2.yaml │ │ │ │ │ ├── nortruthfulqa_mc_nno_p3.yaml │ │ │ │ │ ├── nortruthfulqa_mc_nno_p4.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── nob/ │ │ │ │ ├── nortruthfulqa_mc_nob_p0.yaml │ │ │ │ ├── nortruthfulqa_mc_nob_p1.yaml │ │ │ │ ├── nortruthfulqa_mc_nob_p2.yaml │ │ │ │ ├── nortruthfulqa_mc_nob_p3.yaml │ │ │ │ ├── nortruthfulqa_mc_nob_p4.yaml │ │ │ │ └── utils.py │ │ │ ├── nrk_quiz_qa/ │ │ │ │ ├── _nrk_quiz_qa_yaml │ │ │ │ ├── nno/ │ │ │ │ │ ├── nrk_quiz_qa_nno_p0.yaml │ │ │ │ │ ├── nrk_quiz_qa_nno_p1.yaml │ │ │ │ │ ├── nrk_quiz_qa_nno_p2.yaml │ │ │ │ │ ├── nrk_quiz_qa_nno_p3.yaml │ │ │ │ │ ├── nrk_quiz_qa_nno_p4.yaml │ │ │ │ │ └── utils.py │ │ │ │ └── nob/ │ │ │ │ ├── nrk_quiz_qa_nob_p0.yaml │ │ │ │ ├── nrk_quiz_qa_nob_p1.yaml │ │ │ │ ├── nrk_quiz_qa_nob_p2.yaml │ │ │ │ ├── nrk_quiz_qa_nob_p3.yaml │ │ │ │ ├── nrk_quiz_qa_nob_p4.yaml │ │ │ │ └── utils.py │ │ │ └── tatoeba/ │ │ │ ├── _tatoeba_yaml │ │ │ ├── tatoeba_eng_nno/ │ │ │ │ ├── tatoeba_eng_nno_p0.yaml │ │ │ │ ├── tatoeba_eng_nno_p1.yaml │ │ │ │ ├── tatoeba_eng_nno_p2.yaml │ │ │ │ └── tatoeba_eng_nno_p3.yaml │ │ │ ├── tatoeba_eng_nob/ │ │ │ │ ├── tatoeba_eng_nob_p0.yaml │ │ │ │ ├── tatoeba_eng_nob_p1.yaml │ │ │ │ ├── tatoeba_eng_nob_p2.yaml │ │ │ │ └── tatoeba_eng_nob_p3.yaml │ │ │ ├── tatoeba_nno_eng/ │ │ │ │ ├── tatoeba_nno_eng_p0.yaml │ │ │ │ ├── tatoeba_nno_eng_p1.yaml │ │ │ │ ├── tatoeba_nno_eng_p2.yaml │ │ │ │ └── tatoeba_nno_eng_p3.yaml │ │ │ └── tatoeba_nob_eng/ │ │ │ ├── tatoeba_nob_eng_p0.yaml │ │ │ ├── tatoeba_nob_eng_p1.yaml │ │ │ ├── tatoeba_nob_eng_p2.yaml │ │ │ └── tatoeba_nob_eng_p3.yaml │ │ ├── noticia/ │ │ │ ├── README.md │ │ │ ├── noticia.yaml │ │ │ └── utils.py │ │ ├── nq_open/ │ │ │ ├── README.md │ │ │ └── nq_open.yaml │ │ ├── okapi/ │ │ │ ├── arc_multilingual/ │ │ │ │ ├── README.md │ │ │ │ ├── _arc_yaml │ │ │ │ ├── arc_ar.yaml │ │ │ │ ├── arc_bn.yaml │ │ │ │ ├── arc_ca.yaml │ │ │ │ ├── arc_da.yaml │ │ │ │ ├── arc_de.yaml │ │ │ │ ├── arc_es.yaml │ │ │ │ ├── arc_eu.yaml │ │ │ │ ├── arc_fr.yaml │ │ │ │ ├── arc_gu.yaml │ │ │ │ ├── arc_hi.yaml │ │ │ │ ├── arc_hr.yaml │ │ │ │ ├── arc_hu.yaml │ │ │ │ ├── arc_hy.yaml │ │ │ │ ├── arc_id.yaml │ │ │ │ ├── arc_it.yaml │ │ │ │ ├── arc_kn.yaml │ │ │ │ ├── arc_ml.yaml │ │ │ │ ├── arc_mr.yaml │ │ │ │ ├── arc_ne.yaml │ │ │ │ ├── arc_nl.yaml │ │ │ │ ├── arc_pt.yaml │ │ │ │ ├── arc_ro.yaml │ │ │ │ ├── arc_ru.yaml │ │ │ │ ├── arc_sk.yaml │ │ │ │ ├── arc_sr.yaml │ │ │ │ ├── arc_sv.yaml │ │ │ │ ├── arc_ta.yaml │ │ │ │ ├── arc_te.yaml │ │ │ │ ├── arc_uk.yaml │ │ │ │ ├── arc_vi.yaml │ │ │ │ ├── arc_zh.yaml │ │ │ │ └── utils.py │ │ │ ├── hellaswag_multilingual/ │ │ │ │ ├── README.md │ │ │ │ ├── _hellaswag_yaml │ │ │ │ ├── hellaswag_ar.yaml │ │ │ │ ├── hellaswag_bn.yaml │ │ │ │ ├── hellaswag_ca.yaml │ │ │ │ ├── hellaswag_da.yaml │ │ │ │ ├── hellaswag_de.yaml │ │ │ │ ├── hellaswag_es.yaml │ │ │ │ ├── hellaswag_eu.yaml │ │ │ │ ├── hellaswag_fr.yaml │ │ │ │ ├── hellaswag_gu.yaml │ │ │ │ ├── hellaswag_hi.yaml │ │ │ │ ├── hellaswag_hr.yaml │ │ │ │ ├── hellaswag_hu.yaml │ │ │ │ ├── hellaswag_hy.yaml │ │ │ │ ├── hellaswag_id.yaml │ │ │ │ ├── hellaswag_it.yaml │ │ │ │ ├── hellaswag_kn.yaml │ │ │ │ ├── hellaswag_ml.yaml │ │ │ │ ├── hellaswag_mr.yaml │ │ │ │ ├── hellaswag_ne.yaml │ │ │ │ ├── hellaswag_nl.yaml │ │ │ │ ├── hellaswag_pt.yaml │ │ │ │ ├── hellaswag_ro.yaml │ │ │ │ ├── hellaswag_ru.yaml │ │ │ │ ├── hellaswag_sk.yaml │ │ │ │ ├── hellaswag_sr.yaml │ │ │ │ ├── hellaswag_sv.yaml │ │ │ │ ├── hellaswag_ta.yaml │ │ │ │ ├── hellaswag_te.yaml │ │ │ │ ├── hellaswag_uk.yaml │ │ │ │ ├── hellaswag_vi.yaml │ │ │ │ └── utils.py │ │ │ ├── mmlu_multilingual/ │ │ │ │ ├── _default_yaml │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── m_mmlu_ar.yaml │ │ │ │ ├── m_mmlu_bn.yaml │ │ │ │ ├── m_mmlu_ca.yaml │ │ │ │ ├── m_mmlu_da.yaml │ │ │ │ ├── m_mmlu_de.yaml │ │ │ │ ├── m_mmlu_en.yaml │ │ │ │ ├── m_mmlu_es.yaml │ │ │ │ ├── m_mmlu_eu.yaml │ │ │ │ ├── m_mmlu_fr.yaml │ │ │ │ ├── m_mmlu_gu.yaml │ │ │ │ ├── m_mmlu_hi.yaml │ │ │ │ ├── m_mmlu_hr.yaml │ │ │ │ ├── m_mmlu_hu.yaml │ │ │ │ ├── m_mmlu_hy.yaml │ │ │ │ ├── m_mmlu_id.yaml │ │ │ │ ├── m_mmlu_is.yaml │ │ │ │ ├── m_mmlu_it.yaml │ │ │ │ ├── m_mmlu_kn.yaml │ │ │ │ ├── m_mmlu_ml.yaml │ │ │ │ ├── m_mmlu_mr.yaml │ │ │ │ ├── m_mmlu_nb.yaml │ │ │ │ ├── m_mmlu_ne.yaml │ │ │ │ ├── m_mmlu_nl.yaml │ │ │ │ ├── m_mmlu_pt.yaml │ │ │ │ ├── m_mmlu_ro.yaml │ │ │ │ ├── m_mmlu_ru.yaml │ │ │ │ ├── m_mmlu_sk.yaml │ │ │ │ ├── m_mmlu_sr.yaml │ │ │ │ ├── m_mmlu_sv.yaml │ │ │ │ ├── m_mmlu_ta.yaml │ │ │ │ ├── m_mmlu_te.yaml │ │ │ │ ├── m_mmlu_uk.yaml │ │ │ │ ├── m_mmlu_vi.yaml │ │ │ │ └── m_mmlu_zh.yaml │ │ │ └── truthfulqa_multilingual/ │ │ │ ├── README.md │ │ │ ├── _truthfulqa_mc1_yaml │ │ │ ├── _truthfulqa_mc2_yaml │ │ │ ├── truthfulqa_ar_mc1.yaml │ │ │ ├── truthfulqa_ar_mc2.yaml │ │ │ ├── truthfulqa_bn_mc1.yaml │ │ │ ├── truthfulqa_bn_mc2.yaml │ │ │ ├── truthfulqa_ca_mc1.yaml │ │ │ ├── truthfulqa_ca_mc2.yaml │ │ │ ├── truthfulqa_da_mc1.yaml │ │ │ ├── truthfulqa_da_mc2.yaml │ │ │ ├── truthfulqa_de_mc1.yaml │ │ │ ├── truthfulqa_de_mc2.yaml │ │ │ ├── truthfulqa_es_mc1.yaml │ │ │ ├── truthfulqa_es_mc2.yaml │ │ │ ├── truthfulqa_eu_mc1.yaml │ │ │ ├── truthfulqa_eu_mc2.yaml │ │ │ ├── truthfulqa_fr_mc1.yaml │ │ │ ├── truthfulqa_fr_mc2.yaml │ │ │ ├── truthfulqa_gu_mc1.yaml │ │ │ ├── truthfulqa_gu_mc2.yaml │ │ │ ├── truthfulqa_hi_mc1.yaml │ │ │ ├── truthfulqa_hi_mc2.yaml │ │ │ ├── truthfulqa_hr_mc1.yaml │ │ │ ├── truthfulqa_hr_mc2.yaml │ │ │ ├── truthfulqa_hu_mc1.yaml │ │ │ ├── truthfulqa_hu_mc2.yaml │ │ │ ├── truthfulqa_hy_mc1.yaml │ │ │ ├── truthfulqa_hy_mc2.yaml │ │ │ ├── truthfulqa_id_mc1.yaml │ │ │ ├── truthfulqa_id_mc2.yaml │ │ │ ├── truthfulqa_it_mc1.yaml │ │ │ ├── truthfulqa_it_mc2.yaml │ │ │ ├── truthfulqa_kn_mc1.yaml │ │ │ ├── truthfulqa_kn_mc2.yaml │ │ │ ├── truthfulqa_ml_mc1.yaml │ │ │ ├── truthfulqa_ml_mc2.yaml │ │ │ ├── truthfulqa_mr_mc1.yaml │ │ │ ├── truthfulqa_mr_mc2.yaml │ │ │ ├── truthfulqa_ne_mc1.yaml │ │ │ ├── truthfulqa_ne_mc2.yaml │ │ │ ├── truthfulqa_nl_mc1.yaml │ │ │ ├── truthfulqa_nl_mc2.yaml │ │ │ ├── truthfulqa_pt_mc1.yaml │ │ │ ├── truthfulqa_pt_mc2.yaml │ │ │ ├── truthfulqa_ro_mc1.yaml │ │ │ ├── truthfulqa_ro_mc2.yaml │ │ │ ├── truthfulqa_ru_mc1.yaml │ │ │ ├── truthfulqa_ru_mc2.yaml │ │ │ ├── truthfulqa_sk_mc1.yaml │ │ │ ├── truthfulqa_sk_mc2.yaml │ │ │ ├── truthfulqa_sr_mc1.yaml │ │ │ ├── truthfulqa_sr_mc2.yaml │ │ │ ├── truthfulqa_sv_mc1.yaml │ │ │ ├── truthfulqa_sv_mc2.yaml │ │ │ ├── truthfulqa_ta_mc1.yaml │ │ │ ├── truthfulqa_ta_mc2.yaml │ │ │ ├── truthfulqa_te_mc1.yaml │ │ │ ├── truthfulqa_te_mc2.yaml │ │ │ ├── truthfulqa_uk_mc1.yaml │ │ │ ├── truthfulqa_uk_mc2.yaml │ │ │ ├── truthfulqa_vi_mc1.yaml │ │ │ ├── truthfulqa_vi_mc2.yaml │ │ │ ├── truthfulqa_zh_mc1.yaml │ │ │ ├── truthfulqa_zh_mc2.yaml │ │ │ └── utils.py │ │ ├── olaph/ │ │ │ ├── README.md │ │ │ ├── olaph.yaml │ │ │ ├── olaph_perplexity.yaml │ │ │ ├── utils.py │ │ │ └── utils_perplexity.py │ │ ├── openai-mmmlu/ │ │ │ ├── README.md │ │ │ ├── _generate_configs.py │ │ │ ├── default/ │ │ │ │ ├── _default_template_yaml │ │ │ │ ├── _mmmlu.yaml │ │ │ │ ├── _mmmlu_ar_xy.yaml │ │ │ │ ├── _mmmlu_ar_xy_humanities.yaml │ │ │ │ ├── _mmmlu_ar_xy_other.yaml │ │ │ │ ├── _mmmlu_ar_xy_social_sciences.yaml │ │ │ │ ├── _mmmlu_ar_xy_stem.yaml │ │ │ │ ├── _mmmlu_bn_bd.yaml │ │ │ │ ├── _mmmlu_bn_bd_humanities.yaml │ │ │ │ ├── _mmmlu_bn_bd_other.yaml │ │ │ │ ├── _mmmlu_bn_bd_social_sciences.yaml │ │ │ │ ├── _mmmlu_bn_bd_stem.yaml │ │ │ │ ├── _mmmlu_de_de.yaml │ │ │ │ ├── _mmmlu_de_de_humanities.yaml │ │ │ │ ├── _mmmlu_de_de_other.yaml │ │ │ │ ├── _mmmlu_de_de_social_sciences.yaml │ │ │ │ ├── _mmmlu_de_de_stem.yaml │ │ │ │ ├── _mmmlu_es_la.yaml │ │ │ │ ├── _mmmlu_es_la_humanities.yaml │ │ │ │ ├── _mmmlu_es_la_other.yaml │ │ │ │ ├── _mmmlu_es_la_social_sciences.yaml │ │ │ │ ├── _mmmlu_es_la_stem.yaml │ │ │ │ ├── _mmmlu_fr_fr.yaml │ │ │ │ ├── _mmmlu_fr_fr_humanities.yaml │ │ │ │ ├── _mmmlu_fr_fr_other.yaml │ │ │ │ ├── _mmmlu_fr_fr_social_sciences.yaml │ │ │ │ ├── _mmmlu_fr_fr_stem.yaml │ │ │ │ ├── _mmmlu_hi_in.yaml │ │ │ │ ├── _mmmlu_hi_in_humanities.yaml │ │ │ │ ├── _mmmlu_hi_in_other.yaml │ │ │ │ ├── _mmmlu_hi_in_social_sciences.yaml │ │ │ │ ├── _mmmlu_hi_in_stem.yaml │ │ │ │ ├── _mmmlu_id_id.yaml │ │ │ │ ├── _mmmlu_id_id_humanities.yaml │ │ │ │ ├── _mmmlu_id_id_other.yaml │ │ │ │ ├── _mmmlu_id_id_social_sciences.yaml │ │ │ │ ├── _mmmlu_id_id_stem.yaml │ │ │ │ ├── _mmmlu_it_it.yaml │ │ │ │ ├── _mmmlu_it_it_humanities.yaml │ │ │ │ ├── _mmmlu_it_it_other.yaml │ │ │ │ ├── _mmmlu_it_it_social_sciences.yaml │ │ │ │ ├── _mmmlu_it_it_stem.yaml │ │ │ │ ├── _mmmlu_ja_jp.yaml │ │ │ │ ├── _mmmlu_ja_jp_humanities.yaml │ │ │ │ ├── _mmmlu_ja_jp_other.yaml │ │ │ │ ├── _mmmlu_ja_jp_social_sciences.yaml │ │ │ │ ├── _mmmlu_ja_jp_stem.yaml │ │ │ │ ├── _mmmlu_ko_kr.yaml │ │ │ │ ├── _mmmlu_ko_kr_humanities.yaml │ │ │ │ ├── _mmmlu_ko_kr_other.yaml │ │ │ │ ├── _mmmlu_ko_kr_social_sciences.yaml │ │ │ │ ├── _mmmlu_ko_kr_stem.yaml │ │ │ │ ├── _mmmlu_pt_br.yaml │ │ │ │ ├── _mmmlu_pt_br_humanities.yaml │ │ │ │ ├── _mmmlu_pt_br_other.yaml │ │ │ │ ├── _mmmlu_pt_br_social_sciences.yaml │ │ │ │ ├── _mmmlu_pt_br_stem.yaml │ │ │ │ ├── _mmmlu_sw_ke.yaml │ │ │ │ ├── _mmmlu_sw_ke_humanities.yaml │ │ │ │ ├── _mmmlu_sw_ke_other.yaml │ │ │ │ ├── _mmmlu_sw_ke_social_sciences.yaml │ │ │ │ ├── _mmmlu_sw_ke_stem.yaml │ │ │ │ ├── _mmmlu_yo_ng.yaml │ │ │ │ ├── _mmmlu_yo_ng_humanities.yaml │ │ │ │ ├── _mmmlu_yo_ng_other.yaml │ │ │ │ ├── _mmmlu_yo_ng_social_sciences.yaml │ │ │ │ ├── _mmmlu_yo_ng_stem.yaml │ │ │ │ ├── _mmmlu_zh_cn.yaml │ │ │ │ ├── _mmmlu_zh_cn_humanities.yaml │ │ │ │ ├── _mmmlu_zh_cn_other.yaml │ │ │ │ ├── _mmmlu_zh_cn_social_sciences.yaml │ │ │ │ ├── _mmmlu_zh_cn_stem.yaml │ │ │ │ ├── mmmlu_ar_xy_abstract_algebra.yaml │ │ │ │ ├── mmmlu_ar_xy_anatomy.yaml │ │ │ │ ├── mmmlu_ar_xy_astronomy.yaml │ │ │ │ ├── mmmlu_ar_xy_business_ethics.yaml │ │ │ │ ├── mmmlu_ar_xy_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_ar_xy_college_biology.yaml │ │ │ │ ├── mmmlu_ar_xy_college_chemistry.yaml │ │ │ │ ├── mmmlu_ar_xy_college_computer_science.yaml │ │ │ │ ├── mmmlu_ar_xy_college_mathematics.yaml │ │ │ │ ├── mmmlu_ar_xy_college_medicine.yaml │ │ │ │ ├── mmmlu_ar_xy_college_physics.yaml │ │ │ │ ├── mmmlu_ar_xy_computer_security.yaml │ │ │ │ ├── mmmlu_ar_xy_conceptual_physics.yaml │ │ │ │ ├── mmmlu_ar_xy_econometrics.yaml │ │ │ │ ├── mmmlu_ar_xy_electrical_engineering.yaml │ │ │ │ ├── mmmlu_ar_xy_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_ar_xy_formal_logic.yaml │ │ │ │ ├── mmmlu_ar_xy_global_facts.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_biology.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_european_history.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_geography.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_physics.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_psychology.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_statistics.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_us_history.yaml │ │ │ │ ├── mmmlu_ar_xy_high_school_world_history.yaml │ │ │ │ ├── mmmlu_ar_xy_human_aging.yaml │ │ │ │ ├── mmmlu_ar_xy_human_sexuality.yaml │ │ │ │ ├── mmmlu_ar_xy_international_law.yaml │ │ │ │ ├── mmmlu_ar_xy_jurisprudence.yaml │ │ │ │ ├── mmmlu_ar_xy_logical_fallacies.yaml │ │ │ │ ├── mmmlu_ar_xy_machine_learning.yaml │ │ │ │ ├── mmmlu_ar_xy_management.yaml │ │ │ │ ├── mmmlu_ar_xy_marketing.yaml │ │ │ │ ├── mmmlu_ar_xy_medical_genetics.yaml │ │ │ │ ├── mmmlu_ar_xy_miscellaneous.yaml │ │ │ │ ├── mmmlu_ar_xy_moral_disputes.yaml │ │ │ │ ├── mmmlu_ar_xy_moral_scenarios.yaml │ │ │ │ ├── mmmlu_ar_xy_nutrition.yaml │ │ │ │ ├── mmmlu_ar_xy_philosophy.yaml │ │ │ │ ├── mmmlu_ar_xy_prehistory.yaml │ │ │ │ ├── mmmlu_ar_xy_professional_accounting.yaml │ │ │ │ ├── mmmlu_ar_xy_professional_law.yaml │ │ │ │ ├── mmmlu_ar_xy_professional_medicine.yaml │ │ │ │ ├── mmmlu_ar_xy_professional_psychology.yaml │ │ │ │ ├── mmmlu_ar_xy_public_relations.yaml │ │ │ │ ├── mmmlu_ar_xy_security_studies.yaml │ │ │ │ ├── mmmlu_ar_xy_sociology.yaml │ │ │ │ ├── mmmlu_ar_xy_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_ar_xy_virology.yaml │ │ │ │ ├── mmmlu_ar_xy_world_religions.yaml │ │ │ │ ├── mmmlu_bn_bd_abstract_algebra.yaml │ │ │ │ ├── mmmlu_bn_bd_anatomy.yaml │ │ │ │ ├── mmmlu_bn_bd_astronomy.yaml │ │ │ │ ├── mmmlu_bn_bd_business_ethics.yaml │ │ │ │ ├── mmmlu_bn_bd_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_bn_bd_college_biology.yaml │ │ │ │ ├── mmmlu_bn_bd_college_chemistry.yaml │ │ │ │ ├── mmmlu_bn_bd_college_computer_science.yaml │ │ │ │ ├── mmmlu_bn_bd_college_mathematics.yaml │ │ │ │ ├── mmmlu_bn_bd_college_medicine.yaml │ │ │ │ ├── mmmlu_bn_bd_college_physics.yaml │ │ │ │ ├── mmmlu_bn_bd_computer_security.yaml │ │ │ │ ├── mmmlu_bn_bd_conceptual_physics.yaml │ │ │ │ ├── mmmlu_bn_bd_econometrics.yaml │ │ │ │ ├── mmmlu_bn_bd_electrical_engineering.yaml │ │ │ │ ├── mmmlu_bn_bd_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_bn_bd_formal_logic.yaml │ │ │ │ ├── mmmlu_bn_bd_global_facts.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_biology.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_european_history.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_geography.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_physics.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_psychology.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_statistics.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_us_history.yaml │ │ │ │ ├── mmmlu_bn_bd_high_school_world_history.yaml │ │ │ │ ├── mmmlu_bn_bd_human_aging.yaml │ │ │ │ ├── mmmlu_bn_bd_human_sexuality.yaml │ │ │ │ ├── mmmlu_bn_bd_international_law.yaml │ │ │ │ ├── mmmlu_bn_bd_jurisprudence.yaml │ │ │ │ ├── mmmlu_bn_bd_logical_fallacies.yaml │ │ │ │ ├── mmmlu_bn_bd_machine_learning.yaml │ │ │ │ ├── mmmlu_bn_bd_management.yaml │ │ │ │ ├── mmmlu_bn_bd_marketing.yaml │ │ │ │ ├── mmmlu_bn_bd_medical_genetics.yaml │ │ │ │ ├── mmmlu_bn_bd_miscellaneous.yaml │ │ │ │ ├── mmmlu_bn_bd_moral_disputes.yaml │ │ │ │ ├── mmmlu_bn_bd_moral_scenarios.yaml │ │ │ │ ├── mmmlu_bn_bd_nutrition.yaml │ │ │ │ ├── mmmlu_bn_bd_philosophy.yaml │ │ │ │ ├── mmmlu_bn_bd_prehistory.yaml │ │ │ │ ├── mmmlu_bn_bd_professional_accounting.yaml │ │ │ │ ├── mmmlu_bn_bd_professional_law.yaml │ │ │ │ ├── mmmlu_bn_bd_professional_medicine.yaml │ │ │ │ ├── mmmlu_bn_bd_professional_psychology.yaml │ │ │ │ ├── mmmlu_bn_bd_public_relations.yaml │ │ │ │ ├── mmmlu_bn_bd_security_studies.yaml │ │ │ │ ├── mmmlu_bn_bd_sociology.yaml │ │ │ │ ├── mmmlu_bn_bd_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_bn_bd_virology.yaml │ │ │ │ ├── mmmlu_bn_bd_world_religions.yaml │ │ │ │ ├── mmmlu_de_de_abstract_algebra.yaml │ │ │ │ ├── mmmlu_de_de_anatomy.yaml │ │ │ │ ├── mmmlu_de_de_astronomy.yaml │ │ │ │ ├── mmmlu_de_de_business_ethics.yaml │ │ │ │ ├── mmmlu_de_de_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_de_de_college_biology.yaml │ │ │ │ ├── mmmlu_de_de_college_chemistry.yaml │ │ │ │ ├── mmmlu_de_de_college_computer_science.yaml │ │ │ │ ├── mmmlu_de_de_college_mathematics.yaml │ │ │ │ ├── mmmlu_de_de_college_medicine.yaml │ │ │ │ ├── mmmlu_de_de_college_physics.yaml │ │ │ │ ├── mmmlu_de_de_computer_security.yaml │ │ │ │ ├── mmmlu_de_de_conceptual_physics.yaml │ │ │ │ ├── mmmlu_de_de_econometrics.yaml │ │ │ │ ├── mmmlu_de_de_electrical_engineering.yaml │ │ │ │ ├── mmmlu_de_de_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_de_de_formal_logic.yaml │ │ │ │ ├── mmmlu_de_de_global_facts.yaml │ │ │ │ ├── mmmlu_de_de_high_school_biology.yaml │ │ │ │ ├── mmmlu_de_de_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_de_de_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_de_de_high_school_european_history.yaml │ │ │ │ ├── mmmlu_de_de_high_school_geography.yaml │ │ │ │ ├── mmmlu_de_de_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_de_de_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_de_de_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_de_de_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_de_de_high_school_physics.yaml │ │ │ │ ├── mmmlu_de_de_high_school_psychology.yaml │ │ │ │ ├── mmmlu_de_de_high_school_statistics.yaml │ │ │ │ ├── mmmlu_de_de_high_school_us_history.yaml │ │ │ │ ├── mmmlu_de_de_high_school_world_history.yaml │ │ │ │ ├── mmmlu_de_de_human_aging.yaml │ │ │ │ ├── mmmlu_de_de_human_sexuality.yaml │ │ │ │ ├── mmmlu_de_de_international_law.yaml │ │ │ │ ├── mmmlu_de_de_jurisprudence.yaml │ │ │ │ ├── mmmlu_de_de_logical_fallacies.yaml │ │ │ │ ├── mmmlu_de_de_machine_learning.yaml │ │ │ │ ├── mmmlu_de_de_management.yaml │ │ │ │ ├── mmmlu_de_de_marketing.yaml │ │ │ │ ├── mmmlu_de_de_medical_genetics.yaml │ │ │ │ ├── mmmlu_de_de_miscellaneous.yaml │ │ │ │ ├── mmmlu_de_de_moral_disputes.yaml │ │ │ │ ├── mmmlu_de_de_moral_scenarios.yaml │ │ │ │ ├── mmmlu_de_de_nutrition.yaml │ │ │ │ ├── mmmlu_de_de_philosophy.yaml │ │ │ │ ├── mmmlu_de_de_prehistory.yaml │ │ │ │ ├── mmmlu_de_de_professional_accounting.yaml │ │ │ │ ├── mmmlu_de_de_professional_law.yaml │ │ │ │ ├── mmmlu_de_de_professional_medicine.yaml │ │ │ │ ├── mmmlu_de_de_professional_psychology.yaml │ │ │ │ ├── mmmlu_de_de_public_relations.yaml │ │ │ │ ├── mmmlu_de_de_security_studies.yaml │ │ │ │ ├── mmmlu_de_de_sociology.yaml │ │ │ │ ├── mmmlu_de_de_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_de_de_virology.yaml │ │ │ │ ├── mmmlu_de_de_world_religions.yaml │ │ │ │ ├── mmmlu_es_la_abstract_algebra.yaml │ │ │ │ ├── mmmlu_es_la_anatomy.yaml │ │ │ │ ├── mmmlu_es_la_astronomy.yaml │ │ │ │ ├── mmmlu_es_la_business_ethics.yaml │ │ │ │ ├── mmmlu_es_la_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_es_la_college_biology.yaml │ │ │ │ ├── mmmlu_es_la_college_chemistry.yaml │ │ │ │ ├── mmmlu_es_la_college_computer_science.yaml │ │ │ │ ├── mmmlu_es_la_college_mathematics.yaml │ │ │ │ ├── mmmlu_es_la_college_medicine.yaml │ │ │ │ ├── mmmlu_es_la_college_physics.yaml │ │ │ │ ├── mmmlu_es_la_computer_security.yaml │ │ │ │ ├── mmmlu_es_la_conceptual_physics.yaml │ │ │ │ ├── mmmlu_es_la_econometrics.yaml │ │ │ │ ├── mmmlu_es_la_electrical_engineering.yaml │ │ │ │ ├── mmmlu_es_la_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_es_la_formal_logic.yaml │ │ │ │ ├── mmmlu_es_la_global_facts.yaml │ │ │ │ ├── mmmlu_es_la_high_school_biology.yaml │ │ │ │ ├── mmmlu_es_la_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_es_la_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_es_la_high_school_european_history.yaml │ │ │ │ ├── mmmlu_es_la_high_school_geography.yaml │ │ │ │ ├── mmmlu_es_la_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_es_la_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_es_la_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_es_la_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_es_la_high_school_physics.yaml │ │ │ │ ├── mmmlu_es_la_high_school_psychology.yaml │ │ │ │ ├── mmmlu_es_la_high_school_statistics.yaml │ │ │ │ ├── mmmlu_es_la_high_school_us_history.yaml │ │ │ │ ├── mmmlu_es_la_high_school_world_history.yaml │ │ │ │ ├── mmmlu_es_la_human_aging.yaml │ │ │ │ ├── mmmlu_es_la_human_sexuality.yaml │ │ │ │ ├── mmmlu_es_la_international_law.yaml │ │ │ │ ├── mmmlu_es_la_jurisprudence.yaml │ │ │ │ ├── mmmlu_es_la_logical_fallacies.yaml │ │ │ │ ├── mmmlu_es_la_machine_learning.yaml │ │ │ │ ├── mmmlu_es_la_management.yaml │ │ │ │ ├── mmmlu_es_la_marketing.yaml │ │ │ │ ├── mmmlu_es_la_medical_genetics.yaml │ │ │ │ ├── mmmlu_es_la_miscellaneous.yaml │ │ │ │ ├── mmmlu_es_la_moral_disputes.yaml │ │ │ │ ├── mmmlu_es_la_moral_scenarios.yaml │ │ │ │ ├── mmmlu_es_la_nutrition.yaml │ │ │ │ ├── mmmlu_es_la_philosophy.yaml │ │ │ │ ├── mmmlu_es_la_prehistory.yaml │ │ │ │ ├── mmmlu_es_la_professional_accounting.yaml │ │ │ │ ├── mmmlu_es_la_professional_law.yaml │ │ │ │ ├── mmmlu_es_la_professional_medicine.yaml │ │ │ │ ├── mmmlu_es_la_professional_psychology.yaml │ │ │ │ ├── mmmlu_es_la_public_relations.yaml │ │ │ │ ├── mmmlu_es_la_security_studies.yaml │ │ │ │ ├── mmmlu_es_la_sociology.yaml │ │ │ │ ├── mmmlu_es_la_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_es_la_virology.yaml │ │ │ │ ├── mmmlu_es_la_world_religions.yaml │ │ │ │ ├── mmmlu_fr_fr_abstract_algebra.yaml │ │ │ │ ├── mmmlu_fr_fr_anatomy.yaml │ │ │ │ ├── mmmlu_fr_fr_astronomy.yaml │ │ │ │ ├── mmmlu_fr_fr_business_ethics.yaml │ │ │ │ ├── mmmlu_fr_fr_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_fr_fr_college_biology.yaml │ │ │ │ ├── mmmlu_fr_fr_college_chemistry.yaml │ │ │ │ ├── mmmlu_fr_fr_college_computer_science.yaml │ │ │ │ ├── mmmlu_fr_fr_college_mathematics.yaml │ │ │ │ ├── mmmlu_fr_fr_college_medicine.yaml │ │ │ │ ├── mmmlu_fr_fr_college_physics.yaml │ │ │ │ ├── mmmlu_fr_fr_computer_security.yaml │ │ │ │ ├── mmmlu_fr_fr_conceptual_physics.yaml │ │ │ │ ├── mmmlu_fr_fr_econometrics.yaml │ │ │ │ ├── mmmlu_fr_fr_electrical_engineering.yaml │ │ │ │ ├── mmmlu_fr_fr_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_fr_fr_formal_logic.yaml │ │ │ │ ├── mmmlu_fr_fr_global_facts.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_biology.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_european_history.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_geography.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_physics.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_psychology.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_statistics.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_us_history.yaml │ │ │ │ ├── mmmlu_fr_fr_high_school_world_history.yaml │ │ │ │ ├── mmmlu_fr_fr_human_aging.yaml │ │ │ │ ├── mmmlu_fr_fr_human_sexuality.yaml │ │ │ │ ├── mmmlu_fr_fr_international_law.yaml │ │ │ │ ├── mmmlu_fr_fr_jurisprudence.yaml │ │ │ │ ├── mmmlu_fr_fr_logical_fallacies.yaml │ │ │ │ ├── mmmlu_fr_fr_machine_learning.yaml │ │ │ │ ├── mmmlu_fr_fr_management.yaml │ │ │ │ ├── mmmlu_fr_fr_marketing.yaml │ │ │ │ ├── mmmlu_fr_fr_medical_genetics.yaml │ │ │ │ ├── mmmlu_fr_fr_miscellaneous.yaml │ │ │ │ ├── mmmlu_fr_fr_moral_disputes.yaml │ │ │ │ ├── mmmlu_fr_fr_moral_scenarios.yaml │ │ │ │ ├── mmmlu_fr_fr_nutrition.yaml │ │ │ │ ├── mmmlu_fr_fr_philosophy.yaml │ │ │ │ ├── mmmlu_fr_fr_prehistory.yaml │ │ │ │ ├── mmmlu_fr_fr_professional_accounting.yaml │ │ │ │ ├── mmmlu_fr_fr_professional_law.yaml │ │ │ │ ├── mmmlu_fr_fr_professional_medicine.yaml │ │ │ │ ├── mmmlu_fr_fr_professional_psychology.yaml │ │ │ │ ├── mmmlu_fr_fr_public_relations.yaml │ │ │ │ ├── mmmlu_fr_fr_security_studies.yaml │ │ │ │ ├── mmmlu_fr_fr_sociology.yaml │ │ │ │ ├── mmmlu_fr_fr_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_fr_fr_virology.yaml │ │ │ │ ├── mmmlu_fr_fr_world_religions.yaml │ │ │ │ ├── mmmlu_hi_in_abstract_algebra.yaml │ │ │ │ ├── mmmlu_hi_in_anatomy.yaml │ │ │ │ ├── mmmlu_hi_in_astronomy.yaml │ │ │ │ ├── mmmlu_hi_in_business_ethics.yaml │ │ │ │ ├── mmmlu_hi_in_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_hi_in_college_biology.yaml │ │ │ │ ├── mmmlu_hi_in_college_chemistry.yaml │ │ │ │ ├── mmmlu_hi_in_college_computer_science.yaml │ │ │ │ ├── mmmlu_hi_in_college_mathematics.yaml │ │ │ │ ├── mmmlu_hi_in_college_medicine.yaml │ │ │ │ ├── mmmlu_hi_in_college_physics.yaml │ │ │ │ ├── mmmlu_hi_in_computer_security.yaml │ │ │ │ ├── mmmlu_hi_in_conceptual_physics.yaml │ │ │ │ ├── mmmlu_hi_in_econometrics.yaml │ │ │ │ ├── mmmlu_hi_in_electrical_engineering.yaml │ │ │ │ ├── mmmlu_hi_in_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_hi_in_formal_logic.yaml │ │ │ │ ├── mmmlu_hi_in_global_facts.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_biology.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_european_history.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_geography.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_physics.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_psychology.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_statistics.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_us_history.yaml │ │ │ │ ├── mmmlu_hi_in_high_school_world_history.yaml │ │ │ │ ├── mmmlu_hi_in_human_aging.yaml │ │ │ │ ├── mmmlu_hi_in_human_sexuality.yaml │ │ │ │ ├── mmmlu_hi_in_international_law.yaml │ │ │ │ ├── mmmlu_hi_in_jurisprudence.yaml │ │ │ │ ├── mmmlu_hi_in_logical_fallacies.yaml │ │ │ │ ├── mmmlu_hi_in_machine_learning.yaml │ │ │ │ ├── mmmlu_hi_in_management.yaml │ │ │ │ ├── mmmlu_hi_in_marketing.yaml │ │ │ │ ├── mmmlu_hi_in_medical_genetics.yaml │ │ │ │ ├── mmmlu_hi_in_miscellaneous.yaml │ │ │ │ ├── mmmlu_hi_in_moral_disputes.yaml │ │ │ │ ├── mmmlu_hi_in_moral_scenarios.yaml │ │ │ │ ├── mmmlu_hi_in_nutrition.yaml │ │ │ │ ├── mmmlu_hi_in_philosophy.yaml │ │ │ │ ├── mmmlu_hi_in_prehistory.yaml │ │ │ │ ├── mmmlu_hi_in_professional_accounting.yaml │ │ │ │ ├── mmmlu_hi_in_professional_law.yaml │ │ │ │ ├── mmmlu_hi_in_professional_medicine.yaml │ │ │ │ ├── mmmlu_hi_in_professional_psychology.yaml │ │ │ │ ├── mmmlu_hi_in_public_relations.yaml │ │ │ │ ├── mmmlu_hi_in_security_studies.yaml │ │ │ │ ├── mmmlu_hi_in_sociology.yaml │ │ │ │ ├── mmmlu_hi_in_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_hi_in_virology.yaml │ │ │ │ ├── mmmlu_hi_in_world_religions.yaml │ │ │ │ ├── mmmlu_id_id_abstract_algebra.yaml │ │ │ │ ├── mmmlu_id_id_anatomy.yaml │ │ │ │ ├── mmmlu_id_id_astronomy.yaml │ │ │ │ ├── mmmlu_id_id_business_ethics.yaml │ │ │ │ ├── mmmlu_id_id_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_id_id_college_biology.yaml │ │ │ │ ├── mmmlu_id_id_college_chemistry.yaml │ │ │ │ ├── mmmlu_id_id_college_computer_science.yaml │ │ │ │ ├── mmmlu_id_id_college_mathematics.yaml │ │ │ │ ├── mmmlu_id_id_college_medicine.yaml │ │ │ │ ├── mmmlu_id_id_college_physics.yaml │ │ │ │ ├── mmmlu_id_id_computer_security.yaml │ │ │ │ ├── mmmlu_id_id_conceptual_physics.yaml │ │ │ │ ├── mmmlu_id_id_econometrics.yaml │ │ │ │ ├── mmmlu_id_id_electrical_engineering.yaml │ │ │ │ ├── mmmlu_id_id_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_id_id_formal_logic.yaml │ │ │ │ ├── mmmlu_id_id_global_facts.yaml │ │ │ │ ├── mmmlu_id_id_high_school_biology.yaml │ │ │ │ ├── mmmlu_id_id_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_id_id_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_id_id_high_school_european_history.yaml │ │ │ │ ├── mmmlu_id_id_high_school_geography.yaml │ │ │ │ ├── mmmlu_id_id_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_id_id_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_id_id_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_id_id_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_id_id_high_school_physics.yaml │ │ │ │ ├── mmmlu_id_id_high_school_psychology.yaml │ │ │ │ ├── mmmlu_id_id_high_school_statistics.yaml │ │ │ │ ├── mmmlu_id_id_high_school_us_history.yaml │ │ │ │ ├── mmmlu_id_id_high_school_world_history.yaml │ │ │ │ ├── mmmlu_id_id_human_aging.yaml │ │ │ │ ├── mmmlu_id_id_human_sexuality.yaml │ │ │ │ ├── mmmlu_id_id_international_law.yaml │ │ │ │ ├── mmmlu_id_id_jurisprudence.yaml │ │ │ │ ├── mmmlu_id_id_logical_fallacies.yaml │ │ │ │ ├── mmmlu_id_id_machine_learning.yaml │ │ │ │ ├── mmmlu_id_id_management.yaml │ │ │ │ ├── mmmlu_id_id_marketing.yaml │ │ │ │ ├── mmmlu_id_id_medical_genetics.yaml │ │ │ │ ├── mmmlu_id_id_miscellaneous.yaml │ │ │ │ ├── mmmlu_id_id_moral_disputes.yaml │ │ │ │ ├── mmmlu_id_id_moral_scenarios.yaml │ │ │ │ ├── mmmlu_id_id_nutrition.yaml │ │ │ │ ├── mmmlu_id_id_philosophy.yaml │ │ │ │ ├── mmmlu_id_id_prehistory.yaml │ │ │ │ ├── mmmlu_id_id_professional_accounting.yaml │ │ │ │ ├── mmmlu_id_id_professional_law.yaml │ │ │ │ ├── mmmlu_id_id_professional_medicine.yaml │ │ │ │ ├── mmmlu_id_id_professional_psychology.yaml │ │ │ │ ├── mmmlu_id_id_public_relations.yaml │ │ │ │ ├── mmmlu_id_id_security_studies.yaml │ │ │ │ ├── mmmlu_id_id_sociology.yaml │ │ │ │ ├── mmmlu_id_id_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_id_id_virology.yaml │ │ │ │ ├── mmmlu_id_id_world_religions.yaml │ │ │ │ ├── mmmlu_it_it_abstract_algebra.yaml │ │ │ │ ├── mmmlu_it_it_anatomy.yaml │ │ │ │ ├── mmmlu_it_it_astronomy.yaml │ │ │ │ ├── mmmlu_it_it_business_ethics.yaml │ │ │ │ ├── mmmlu_it_it_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_it_it_college_biology.yaml │ │ │ │ ├── mmmlu_it_it_college_chemistry.yaml │ │ │ │ ├── mmmlu_it_it_college_computer_science.yaml │ │ │ │ ├── mmmlu_it_it_college_mathematics.yaml │ │ │ │ ├── mmmlu_it_it_college_medicine.yaml │ │ │ │ ├── mmmlu_it_it_college_physics.yaml │ │ │ │ ├── mmmlu_it_it_computer_security.yaml │ │ │ │ ├── mmmlu_it_it_conceptual_physics.yaml │ │ │ │ ├── mmmlu_it_it_econometrics.yaml │ │ │ │ ├── mmmlu_it_it_electrical_engineering.yaml │ │ │ │ ├── mmmlu_it_it_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_it_it_formal_logic.yaml │ │ │ │ ├── mmmlu_it_it_global_facts.yaml │ │ │ │ ├── mmmlu_it_it_high_school_biology.yaml │ │ │ │ ├── mmmlu_it_it_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_it_it_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_it_it_high_school_european_history.yaml │ │ │ │ ├── mmmlu_it_it_high_school_geography.yaml │ │ │ │ ├── mmmlu_it_it_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_it_it_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_it_it_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_it_it_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_it_it_high_school_physics.yaml │ │ │ │ ├── mmmlu_it_it_high_school_psychology.yaml │ │ │ │ ├── mmmlu_it_it_high_school_statistics.yaml │ │ │ │ ├── mmmlu_it_it_high_school_us_history.yaml │ │ │ │ ├── mmmlu_it_it_high_school_world_history.yaml │ │ │ │ ├── mmmlu_it_it_human_aging.yaml │ │ │ │ ├── mmmlu_it_it_human_sexuality.yaml │ │ │ │ ├── mmmlu_it_it_international_law.yaml │ │ │ │ ├── mmmlu_it_it_jurisprudence.yaml │ │ │ │ ├── mmmlu_it_it_logical_fallacies.yaml │ │ │ │ ├── mmmlu_it_it_machine_learning.yaml │ │ │ │ ├── mmmlu_it_it_management.yaml │ │ │ │ ├── mmmlu_it_it_marketing.yaml │ │ │ │ ├── mmmlu_it_it_medical_genetics.yaml │ │ │ │ ├── mmmlu_it_it_miscellaneous.yaml │ │ │ │ ├── mmmlu_it_it_moral_disputes.yaml │ │ │ │ ├── mmmlu_it_it_moral_scenarios.yaml │ │ │ │ ├── mmmlu_it_it_nutrition.yaml │ │ │ │ ├── mmmlu_it_it_philosophy.yaml │ │ │ │ ├── mmmlu_it_it_prehistory.yaml │ │ │ │ ├── mmmlu_it_it_professional_accounting.yaml │ │ │ │ ├── mmmlu_it_it_professional_law.yaml │ │ │ │ ├── mmmlu_it_it_professional_medicine.yaml │ │ │ │ ├── mmmlu_it_it_professional_psychology.yaml │ │ │ │ ├── mmmlu_it_it_public_relations.yaml │ │ │ │ ├── mmmlu_it_it_security_studies.yaml │ │ │ │ ├── mmmlu_it_it_sociology.yaml │ │ │ │ ├── mmmlu_it_it_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_it_it_virology.yaml │ │ │ │ ├── mmmlu_it_it_world_religions.yaml │ │ │ │ ├── mmmlu_ja_jp_abstract_algebra.yaml │ │ │ │ ├── mmmlu_ja_jp_anatomy.yaml │ │ │ │ ├── mmmlu_ja_jp_astronomy.yaml │ │ │ │ ├── mmmlu_ja_jp_business_ethics.yaml │ │ │ │ ├── mmmlu_ja_jp_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_ja_jp_college_biology.yaml │ │ │ │ ├── mmmlu_ja_jp_college_chemistry.yaml │ │ │ │ ├── mmmlu_ja_jp_college_computer_science.yaml │ │ │ │ ├── mmmlu_ja_jp_college_mathematics.yaml │ │ │ │ ├── mmmlu_ja_jp_college_medicine.yaml │ │ │ │ ├── mmmlu_ja_jp_college_physics.yaml │ │ │ │ ├── mmmlu_ja_jp_computer_security.yaml │ │ │ │ ├── mmmlu_ja_jp_conceptual_physics.yaml │ │ │ │ ├── mmmlu_ja_jp_econometrics.yaml │ │ │ │ ├── mmmlu_ja_jp_electrical_engineering.yaml │ │ │ │ ├── mmmlu_ja_jp_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_ja_jp_formal_logic.yaml │ │ │ │ ├── mmmlu_ja_jp_global_facts.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_biology.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_european_history.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_geography.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_physics.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_psychology.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_statistics.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_us_history.yaml │ │ │ │ ├── mmmlu_ja_jp_high_school_world_history.yaml │ │ │ │ ├── mmmlu_ja_jp_human_aging.yaml │ │ │ │ ├── mmmlu_ja_jp_human_sexuality.yaml │ │ │ │ ├── mmmlu_ja_jp_international_law.yaml │ │ │ │ ├── mmmlu_ja_jp_jurisprudence.yaml │ │ │ │ ├── mmmlu_ja_jp_logical_fallacies.yaml │ │ │ │ ├── mmmlu_ja_jp_machine_learning.yaml │ │ │ │ ├── mmmlu_ja_jp_management.yaml │ │ │ │ ├── mmmlu_ja_jp_marketing.yaml │ │ │ │ ├── mmmlu_ja_jp_medical_genetics.yaml │ │ │ │ ├── mmmlu_ja_jp_miscellaneous.yaml │ │ │ │ ├── mmmlu_ja_jp_moral_disputes.yaml │ │ │ │ ├── mmmlu_ja_jp_moral_scenarios.yaml │ │ │ │ ├── mmmlu_ja_jp_nutrition.yaml │ │ │ │ ├── mmmlu_ja_jp_philosophy.yaml │ │ │ │ ├── mmmlu_ja_jp_prehistory.yaml │ │ │ │ ├── mmmlu_ja_jp_professional_accounting.yaml │ │ │ │ ├── mmmlu_ja_jp_professional_law.yaml │ │ │ │ ├── mmmlu_ja_jp_professional_medicine.yaml │ │ │ │ ├── mmmlu_ja_jp_professional_psychology.yaml │ │ │ │ ├── mmmlu_ja_jp_public_relations.yaml │ │ │ │ ├── mmmlu_ja_jp_security_studies.yaml │ │ │ │ ├── mmmlu_ja_jp_sociology.yaml │ │ │ │ ├── mmmlu_ja_jp_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_ja_jp_virology.yaml │ │ │ │ ├── mmmlu_ja_jp_world_religions.yaml │ │ │ │ ├── mmmlu_ko_kr_abstract_algebra.yaml │ │ │ │ ├── mmmlu_ko_kr_anatomy.yaml │ │ │ │ ├── mmmlu_ko_kr_astronomy.yaml │ │ │ │ ├── mmmlu_ko_kr_business_ethics.yaml │ │ │ │ ├── mmmlu_ko_kr_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_ko_kr_college_biology.yaml │ │ │ │ ├── mmmlu_ko_kr_college_chemistry.yaml │ │ │ │ ├── mmmlu_ko_kr_college_computer_science.yaml │ │ │ │ ├── mmmlu_ko_kr_college_mathematics.yaml │ │ │ │ ├── mmmlu_ko_kr_college_medicine.yaml │ │ │ │ ├── mmmlu_ko_kr_college_physics.yaml │ │ │ │ ├── mmmlu_ko_kr_computer_security.yaml │ │ │ │ ├── mmmlu_ko_kr_conceptual_physics.yaml │ │ │ │ ├── mmmlu_ko_kr_econometrics.yaml │ │ │ │ ├── mmmlu_ko_kr_electrical_engineering.yaml │ │ │ │ ├── mmmlu_ko_kr_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_ko_kr_formal_logic.yaml │ │ │ │ ├── mmmlu_ko_kr_global_facts.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_biology.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_european_history.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_geography.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_physics.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_psychology.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_statistics.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_us_history.yaml │ │ │ │ ├── mmmlu_ko_kr_high_school_world_history.yaml │ │ │ │ ├── mmmlu_ko_kr_human_aging.yaml │ │ │ │ ├── mmmlu_ko_kr_human_sexuality.yaml │ │ │ │ ├── mmmlu_ko_kr_international_law.yaml │ │ │ │ ├── mmmlu_ko_kr_jurisprudence.yaml │ │ │ │ ├── mmmlu_ko_kr_logical_fallacies.yaml │ │ │ │ ├── mmmlu_ko_kr_machine_learning.yaml │ │ │ │ ├── mmmlu_ko_kr_management.yaml │ │ │ │ ├── mmmlu_ko_kr_marketing.yaml │ │ │ │ ├── mmmlu_ko_kr_medical_genetics.yaml │ │ │ │ ├── mmmlu_ko_kr_miscellaneous.yaml │ │ │ │ ├── mmmlu_ko_kr_moral_disputes.yaml │ │ │ │ ├── mmmlu_ko_kr_moral_scenarios.yaml │ │ │ │ ├── mmmlu_ko_kr_nutrition.yaml │ │ │ │ ├── mmmlu_ko_kr_philosophy.yaml │ │ │ │ ├── mmmlu_ko_kr_prehistory.yaml │ │ │ │ ├── mmmlu_ko_kr_professional_accounting.yaml │ │ │ │ ├── mmmlu_ko_kr_professional_law.yaml │ │ │ │ ├── mmmlu_ko_kr_professional_medicine.yaml │ │ │ │ ├── mmmlu_ko_kr_professional_psychology.yaml │ │ │ │ ├── mmmlu_ko_kr_public_relations.yaml │ │ │ │ ├── mmmlu_ko_kr_security_studies.yaml │ │ │ │ ├── mmmlu_ko_kr_sociology.yaml │ │ │ │ ├── mmmlu_ko_kr_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_ko_kr_virology.yaml │ │ │ │ ├── mmmlu_ko_kr_world_religions.yaml │ │ │ │ ├── mmmlu_pt_br_abstract_algebra.yaml │ │ │ │ ├── mmmlu_pt_br_anatomy.yaml │ │ │ │ ├── mmmlu_pt_br_astronomy.yaml │ │ │ │ ├── mmmlu_pt_br_business_ethics.yaml │ │ │ │ ├── mmmlu_pt_br_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_pt_br_college_biology.yaml │ │ │ │ ├── mmmlu_pt_br_college_chemistry.yaml │ │ │ │ ├── mmmlu_pt_br_college_computer_science.yaml │ │ │ │ ├── mmmlu_pt_br_college_mathematics.yaml │ │ │ │ ├── mmmlu_pt_br_college_medicine.yaml │ │ │ │ ├── mmmlu_pt_br_college_physics.yaml │ │ │ │ ├── mmmlu_pt_br_computer_security.yaml │ │ │ │ ├── mmmlu_pt_br_conceptual_physics.yaml │ │ │ │ ├── mmmlu_pt_br_econometrics.yaml │ │ │ │ ├── mmmlu_pt_br_electrical_engineering.yaml │ │ │ │ ├── mmmlu_pt_br_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_pt_br_formal_logic.yaml │ │ │ │ ├── mmmlu_pt_br_global_facts.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_biology.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_european_history.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_geography.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_physics.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_psychology.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_statistics.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_us_history.yaml │ │ │ │ ├── mmmlu_pt_br_high_school_world_history.yaml │ │ │ │ ├── mmmlu_pt_br_human_aging.yaml │ │ │ │ ├── mmmlu_pt_br_human_sexuality.yaml │ │ │ │ ├── mmmlu_pt_br_international_law.yaml │ │ │ │ ├── mmmlu_pt_br_jurisprudence.yaml │ │ │ │ ├── mmmlu_pt_br_logical_fallacies.yaml │ │ │ │ ├── mmmlu_pt_br_machine_learning.yaml │ │ │ │ ├── mmmlu_pt_br_management.yaml │ │ │ │ ├── mmmlu_pt_br_marketing.yaml │ │ │ │ ├── mmmlu_pt_br_medical_genetics.yaml │ │ │ │ ├── mmmlu_pt_br_miscellaneous.yaml │ │ │ │ ├── mmmlu_pt_br_moral_disputes.yaml │ │ │ │ ├── mmmlu_pt_br_moral_scenarios.yaml │ │ │ │ ├── mmmlu_pt_br_nutrition.yaml │ │ │ │ ├── mmmlu_pt_br_philosophy.yaml │ │ │ │ ├── mmmlu_pt_br_prehistory.yaml │ │ │ │ ├── mmmlu_pt_br_professional_accounting.yaml │ │ │ │ ├── mmmlu_pt_br_professional_law.yaml │ │ │ │ ├── mmmlu_pt_br_professional_medicine.yaml │ │ │ │ ├── mmmlu_pt_br_professional_psychology.yaml │ │ │ │ ├── mmmlu_pt_br_public_relations.yaml │ │ │ │ ├── mmmlu_pt_br_security_studies.yaml │ │ │ │ ├── mmmlu_pt_br_sociology.yaml │ │ │ │ ├── mmmlu_pt_br_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_pt_br_virology.yaml │ │ │ │ ├── mmmlu_pt_br_world_religions.yaml │ │ │ │ ├── mmmlu_sw_ke_abstract_algebra.yaml │ │ │ │ ├── mmmlu_sw_ke_anatomy.yaml │ │ │ │ ├── mmmlu_sw_ke_astronomy.yaml │ │ │ │ ├── mmmlu_sw_ke_business_ethics.yaml │ │ │ │ ├── mmmlu_sw_ke_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_sw_ke_college_biology.yaml │ │ │ │ ├── mmmlu_sw_ke_college_chemistry.yaml │ │ │ │ ├── mmmlu_sw_ke_college_computer_science.yaml │ │ │ │ ├── mmmlu_sw_ke_college_mathematics.yaml │ │ │ │ ├── mmmlu_sw_ke_college_medicine.yaml │ │ │ │ ├── mmmlu_sw_ke_college_physics.yaml │ │ │ │ ├── mmmlu_sw_ke_computer_security.yaml │ │ │ │ ├── mmmlu_sw_ke_conceptual_physics.yaml │ │ │ │ ├── mmmlu_sw_ke_econometrics.yaml │ │ │ │ ├── mmmlu_sw_ke_electrical_engineering.yaml │ │ │ │ ├── mmmlu_sw_ke_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_sw_ke_formal_logic.yaml │ │ │ │ ├── mmmlu_sw_ke_global_facts.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_biology.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_european_history.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_geography.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_physics.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_psychology.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_statistics.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_us_history.yaml │ │ │ │ ├── mmmlu_sw_ke_high_school_world_history.yaml │ │ │ │ ├── mmmlu_sw_ke_human_aging.yaml │ │ │ │ ├── mmmlu_sw_ke_human_sexuality.yaml │ │ │ │ ├── mmmlu_sw_ke_international_law.yaml │ │ │ │ ├── mmmlu_sw_ke_jurisprudence.yaml │ │ │ │ ├── mmmlu_sw_ke_logical_fallacies.yaml │ │ │ │ ├── mmmlu_sw_ke_machine_learning.yaml │ │ │ │ ├── mmmlu_sw_ke_management.yaml │ │ │ │ ├── mmmlu_sw_ke_marketing.yaml │ │ │ │ ├── mmmlu_sw_ke_medical_genetics.yaml │ │ │ │ ├── mmmlu_sw_ke_miscellaneous.yaml │ │ │ │ ├── mmmlu_sw_ke_moral_disputes.yaml │ │ │ │ ├── mmmlu_sw_ke_moral_scenarios.yaml │ │ │ │ ├── mmmlu_sw_ke_nutrition.yaml │ │ │ │ ├── mmmlu_sw_ke_philosophy.yaml │ │ │ │ ├── mmmlu_sw_ke_prehistory.yaml │ │ │ │ ├── mmmlu_sw_ke_professional_accounting.yaml │ │ │ │ ├── mmmlu_sw_ke_professional_law.yaml │ │ │ │ ├── mmmlu_sw_ke_professional_medicine.yaml │ │ │ │ ├── mmmlu_sw_ke_professional_psychology.yaml │ │ │ │ ├── mmmlu_sw_ke_public_relations.yaml │ │ │ │ ├── mmmlu_sw_ke_security_studies.yaml │ │ │ │ ├── mmmlu_sw_ke_sociology.yaml │ │ │ │ ├── mmmlu_sw_ke_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_sw_ke_virology.yaml │ │ │ │ ├── mmmlu_sw_ke_world_religions.yaml │ │ │ │ ├── mmmlu_yo_ng_abstract_algebra.yaml │ │ │ │ ├── mmmlu_yo_ng_anatomy.yaml │ │ │ │ ├── mmmlu_yo_ng_astronomy.yaml │ │ │ │ ├── mmmlu_yo_ng_business_ethics.yaml │ │ │ │ ├── mmmlu_yo_ng_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_yo_ng_college_biology.yaml │ │ │ │ ├── mmmlu_yo_ng_college_chemistry.yaml │ │ │ │ ├── mmmlu_yo_ng_college_computer_science.yaml │ │ │ │ ├── mmmlu_yo_ng_college_mathematics.yaml │ │ │ │ ├── mmmlu_yo_ng_college_medicine.yaml │ │ │ │ ├── mmmlu_yo_ng_college_physics.yaml │ │ │ │ ├── mmmlu_yo_ng_computer_security.yaml │ │ │ │ ├── mmmlu_yo_ng_conceptual_physics.yaml │ │ │ │ ├── mmmlu_yo_ng_econometrics.yaml │ │ │ │ ├── mmmlu_yo_ng_electrical_engineering.yaml │ │ │ │ ├── mmmlu_yo_ng_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_yo_ng_formal_logic.yaml │ │ │ │ ├── mmmlu_yo_ng_global_facts.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_biology.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_european_history.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_geography.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_physics.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_psychology.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_statistics.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_us_history.yaml │ │ │ │ ├── mmmlu_yo_ng_high_school_world_history.yaml │ │ │ │ ├── mmmlu_yo_ng_human_aging.yaml │ │ │ │ ├── mmmlu_yo_ng_human_sexuality.yaml │ │ │ │ ├── mmmlu_yo_ng_international_law.yaml │ │ │ │ ├── mmmlu_yo_ng_jurisprudence.yaml │ │ │ │ ├── mmmlu_yo_ng_logical_fallacies.yaml │ │ │ │ ├── mmmlu_yo_ng_machine_learning.yaml │ │ │ │ ├── mmmlu_yo_ng_management.yaml │ │ │ │ ├── mmmlu_yo_ng_marketing.yaml │ │ │ │ ├── mmmlu_yo_ng_medical_genetics.yaml │ │ │ │ ├── mmmlu_yo_ng_miscellaneous.yaml │ │ │ │ ├── mmmlu_yo_ng_moral_disputes.yaml │ │ │ │ ├── mmmlu_yo_ng_moral_scenarios.yaml │ │ │ │ ├── mmmlu_yo_ng_nutrition.yaml │ │ │ │ ├── mmmlu_yo_ng_philosophy.yaml │ │ │ │ ├── mmmlu_yo_ng_prehistory.yaml │ │ │ │ ├── mmmlu_yo_ng_professional_accounting.yaml │ │ │ │ ├── mmmlu_yo_ng_professional_law.yaml │ │ │ │ ├── mmmlu_yo_ng_professional_medicine.yaml │ │ │ │ ├── mmmlu_yo_ng_professional_psychology.yaml │ │ │ │ ├── mmmlu_yo_ng_public_relations.yaml │ │ │ │ ├── mmmlu_yo_ng_security_studies.yaml │ │ │ │ ├── mmmlu_yo_ng_sociology.yaml │ │ │ │ ├── mmmlu_yo_ng_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_yo_ng_virology.yaml │ │ │ │ ├── mmmlu_yo_ng_world_religions.yaml │ │ │ │ ├── mmmlu_zh_cn_abstract_algebra.yaml │ │ │ │ ├── mmmlu_zh_cn_anatomy.yaml │ │ │ │ ├── mmmlu_zh_cn_astronomy.yaml │ │ │ │ ├── mmmlu_zh_cn_business_ethics.yaml │ │ │ │ ├── mmmlu_zh_cn_clinical_knowledge.yaml │ │ │ │ ├── mmmlu_zh_cn_college_biology.yaml │ │ │ │ ├── mmmlu_zh_cn_college_chemistry.yaml │ │ │ │ ├── mmmlu_zh_cn_college_computer_science.yaml │ │ │ │ ├── mmmlu_zh_cn_college_mathematics.yaml │ │ │ │ ├── mmmlu_zh_cn_college_medicine.yaml │ │ │ │ ├── mmmlu_zh_cn_college_physics.yaml │ │ │ │ ├── mmmlu_zh_cn_computer_security.yaml │ │ │ │ ├── mmmlu_zh_cn_conceptual_physics.yaml │ │ │ │ ├── mmmlu_zh_cn_econometrics.yaml │ │ │ │ ├── mmmlu_zh_cn_electrical_engineering.yaml │ │ │ │ ├── mmmlu_zh_cn_elementary_mathematics.yaml │ │ │ │ ├── mmmlu_zh_cn_formal_logic.yaml │ │ │ │ ├── mmmlu_zh_cn_global_facts.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_biology.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_chemistry.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_computer_science.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_european_history.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_geography.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_government_and_politics.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_macroeconomics.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_mathematics.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_microeconomics.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_physics.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_psychology.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_statistics.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_us_history.yaml │ │ │ │ ├── mmmlu_zh_cn_high_school_world_history.yaml │ │ │ │ ├── mmmlu_zh_cn_human_aging.yaml │ │ │ │ ├── mmmlu_zh_cn_human_sexuality.yaml │ │ │ │ ├── mmmlu_zh_cn_international_law.yaml │ │ │ │ ├── mmmlu_zh_cn_jurisprudence.yaml │ │ │ │ ├── mmmlu_zh_cn_logical_fallacies.yaml │ │ │ │ ├── mmmlu_zh_cn_machine_learning.yaml │ │ │ │ ├── mmmlu_zh_cn_management.yaml │ │ │ │ ├── mmmlu_zh_cn_marketing.yaml │ │ │ │ ├── mmmlu_zh_cn_medical_genetics.yaml │ │ │ │ ├── mmmlu_zh_cn_miscellaneous.yaml │ │ │ │ ├── mmmlu_zh_cn_moral_disputes.yaml │ │ │ │ ├── mmmlu_zh_cn_moral_scenarios.yaml │ │ │ │ ├── mmmlu_zh_cn_nutrition.yaml │ │ │ │ ├── mmmlu_zh_cn_philosophy.yaml │ │ │ │ ├── mmmlu_zh_cn_prehistory.yaml │ │ │ │ ├── mmmlu_zh_cn_professional_accounting.yaml │ │ │ │ ├── mmmlu_zh_cn_professional_law.yaml │ │ │ │ ├── mmmlu_zh_cn_professional_medicine.yaml │ │ │ │ ├── mmmlu_zh_cn_professional_psychology.yaml │ │ │ │ ├── mmmlu_zh_cn_public_relations.yaml │ │ │ │ ├── mmmlu_zh_cn_security_studies.yaml │ │ │ │ ├── mmmlu_zh_cn_sociology.yaml │ │ │ │ ├── mmmlu_zh_cn_us_foreign_policy.yaml │ │ │ │ ├── mmmlu_zh_cn_virology.yaml │ │ │ │ ├── mmmlu_zh_cn_world_religions.yaml │ │ │ │ └── utils.py │ │ │ ├── languages.json │ │ │ └── subjects.json │ │ ├── openbookqa/ │ │ │ ├── README.md │ │ │ └── openbookqa.yaml │ │ ├── paloma/ │ │ │ ├── README.md │ │ │ ├── _paloma_template │ │ │ ├── paloma_4chan_meta_sep.yaml │ │ │ ├── paloma_c4_100_domains.yaml │ │ │ ├── paloma_c4_en.yaml │ │ │ ├── paloma_dolma-v1_5.yaml │ │ │ ├── paloma_dolma_100_programing_languages.yaml │ │ │ ├── paloma_dolma_100_subreddits.yaml │ │ │ ├── paloma_falcon-refinedweb.yaml │ │ │ ├── paloma_gab.yaml │ │ │ ├── paloma_m2d2_s2orc_unsplit.yaml │ │ │ ├── paloma_m2d2_wikipedia_unsplit.yaml │ │ │ ├── paloma_manosphere_meta_sep.yaml │ │ │ ├── paloma_mc4.yaml │ │ │ ├── paloma_ptb.yaml │ │ │ ├── paloma_redpajama.yaml │ │ │ ├── paloma_twitterAAE_HELM_fixed.yaml │ │ │ ├── paloma_utils.py │ │ │ └── paloma_wikitext_103.yaml │ │ ├── paws-x/ │ │ │ ├── README.md │ │ │ ├── _generate_config.py │ │ │ ├── _pawsx.yaml │ │ │ ├── paws_de.yaml │ │ │ ├── paws_en.yaml │ │ │ ├── paws_es.yaml │ │ │ ├── paws_fr.yaml │ │ │ ├── paws_ja.yaml │ │ │ ├── paws_ko.yaml │ │ │ ├── paws_zh.yaml │ │ │ ├── pawsx_template_yaml │ │ │ └── utils.py │ │ ├── pile/ │ │ │ ├── README.md │ │ │ ├── pile_arxiv.yaml │ │ │ ├── pile_bookcorpus2.yaml │ │ │ ├── pile_books3.yaml │ │ │ ├── pile_dm-mathematics.yaml │ │ │ ├── pile_enron.yaml │ │ │ ├── pile_europarl.yaml │ │ │ ├── pile_freelaw.yaml │ │ │ ├── pile_github.yaml │ │ │ ├── pile_gutenberg.yaml │ │ │ ├── pile_hackernews.yaml │ │ │ ├── pile_nih-exporter.yaml │ │ │ ├── pile_opensubtitles.yaml │ │ │ ├── pile_openwebtext2.yaml │ │ │ ├── pile_philpapers.yaml │ │ │ ├── pile_pile-cc.yaml │ │ │ ├── pile_pubmed-abstracts.yaml │ │ │ ├── pile_pubmed-central.yaml │ │ │ ├── pile_stackexchange.yaml │ │ │ ├── pile_ubuntu-irc.yaml │ │ │ ├── pile_uspto.yaml │ │ │ ├── pile_wikipedia.yaml │ │ │ └── pile_youtubesubtitles.yaml │ │ ├── pile_10k/ │ │ │ ├── README.md │ │ │ └── pile_10k.yaml │ │ ├── piqa/ │ │ │ ├── README.md │ │ │ └── piqa.yaml │ │ ├── pisa/ │ │ │ ├── README.md │ │ │ ├── _pisa.yaml │ │ │ ├── _pisa_llm_judged.yaml │ │ │ ├── _template_yaml │ │ │ ├── pisa_ch.yaml │ │ │ ├── pisa_ch_llm_judged.yaml │ │ │ ├── pisa_de.yaml │ │ │ ├── pisa_de_llm_judged.yaml │ │ │ ├── pisa_en.yaml │ │ │ ├── pisa_en_llm_judged.yaml │ │ │ ├── pisa_es.yaml │ │ │ ├── pisa_es_llm_judged.yaml │ │ │ ├── pisa_fr.yaml │ │ │ ├── pisa_fr_llm_judged.yaml │ │ │ ├── pisa_it.yaml │ │ │ ├── pisa_it_llm_judged.yaml │ │ │ └── utils.py │ │ ├── polemo2/ │ │ │ ├── README.md │ │ │ ├── polemo2_in.yaml │ │ │ └── polemo2_out.yaml │ │ ├── portuguese_bench/ │ │ │ ├── README.md │ │ │ ├── assin_entailment.yaml │ │ │ ├── assin_paraphrase.yaml │ │ │ ├── flores_pt/ │ │ │ │ ├── _flores_common_yaml │ │ │ │ ├── create_yamls_flores_pt.py │ │ │ │ ├── flores_ca-pt.yaml │ │ │ │ ├── flores_de-pt.yaml │ │ │ │ ├── flores_en-pt.yaml │ │ │ │ ├── flores_es-pt.yaml │ │ │ │ ├── flores_eu-pt.yaml │ │ │ │ ├── flores_fr-pt.yaml │ │ │ │ ├── flores_gl-pt.yaml │ │ │ │ ├── flores_it-pt.yaml │ │ │ │ ├── flores_pt-ca.yaml │ │ │ │ ├── flores_pt-de.yaml │ │ │ │ ├── flores_pt-en.yaml │ │ │ │ ├── flores_pt-es.yaml │ │ │ │ ├── flores_pt-eu.yaml │ │ │ │ ├── flores_pt-fr.yaml │ │ │ │ ├── flores_pt-gl.yaml │ │ │ │ ├── flores_pt-it.yaml │ │ │ │ └── flores_pt.yaml │ │ │ └── portuguese_bench.yaml │ │ ├── prost/ │ │ │ ├── README.md │ │ │ └── corypaik_prost.yaml │ │ ├── pubmedqa/ │ │ │ ├── README.md │ │ │ ├── preprocess_pubmedqa.py │ │ │ └── pubmedqa.yaml │ │ ├── qa4mre/ │ │ │ ├── README.md │ │ │ ├── preprocess_qa4mre.py │ │ │ ├── qa4mre_2011.yaml │ │ │ ├── qa4mre_2012.yaml │ │ │ └── qa4mre_2013.yaml │ │ ├── qasper/ │ │ │ ├── README.md │ │ │ ├── bool.yaml │ │ │ ├── freeform.yaml │ │ │ ├── metrics.py │ │ │ └── utils.py │ │ ├── race/ │ │ │ ├── README.md │ │ │ ├── preprocess_race.py │ │ │ └── race.yaml │ │ ├── realtoxicityprompts/ │ │ │ ├── metric.py │ │ │ └── realtoxicityprompts.yaml │ │ ├── ruler/ │ │ │ ├── README.md │ │ │ ├── common_utils.py │ │ │ ├── cwe.yaml │ │ │ ├── cwe_utils.py │ │ │ ├── essays.py │ │ │ ├── fwe.yaml │ │ │ ├── fwe_utils.py │ │ │ ├── niah_multikey_1.yaml │ │ │ ├── niah_multikey_2.yaml │ │ │ ├── niah_multikey_3.yaml │ │ │ ├── niah_multiquery.yaml │ │ │ ├── niah_multivalue.yaml │ │ │ ├── niah_single_1.yaml │ │ │ ├── niah_single_2.yaml │ │ │ ├── niah_single_3.yaml │ │ │ ├── niah_utils.py │ │ │ ├── prepare_niah.py │ │ │ ├── qa_hotpot.yaml │ │ │ ├── qa_squad.yaml │ │ │ ├── qa_utils.py │ │ │ ├── ruler.yaml │ │ │ ├── vt.yaml │ │ │ └── vt_utils.py │ │ ├── sciq/ │ │ │ ├── README.md │ │ │ └── sciq.yaml │ │ ├── score/ │ │ │ ├── NON_GREEDY.md │ │ │ ├── README.md │ │ │ ├── agi_eval/ │ │ │ │ ├── non_greedy_robustness_agieval_aqua_rat.yaml │ │ │ │ ├── non_greedy_robustness_agieval_logiqa_en.yaml │ │ │ │ ├── non_greedy_robustness_agieval_lsat_rc.yaml │ │ │ │ ├── non_greedy_robustness_agieval_lstat_ar.yaml │ │ │ │ ├── non_greedy_robustness_agieval_lstat_lr.yaml │ │ │ │ ├── non_greedy_robustness_agieval_sat_en.yaml │ │ │ │ ├── non_greedy_robustness_agieval_sat_math.yaml │ │ │ │ ├── option_order_robustness_agieval_aqua_rat.yaml │ │ │ │ ├── option_order_robustness_agieval_logiqa_en.yaml │ │ │ │ ├── option_order_robustness_agieval_lsat_ar.yaml │ │ │ │ ├── option_order_robustness_agieval_lsat_lr.yaml │ │ │ │ ├── option_order_robustness_agieval_lsat_rc.yaml │ │ │ │ ├── option_order_robustness_agieval_sat_en.yaml │ │ │ │ ├── option_order_robustness_agieval_sat_math.yaml │ │ │ │ ├── prompt_robustness_agieval_aqua_rat.yaml │ │ │ │ ├── prompt_robustness_agieval_logiqa_en.yaml │ │ │ │ ├── prompt_robustness_agieval_lsat_rc.yaml │ │ │ │ ├── prompt_robustness_agieval_lstat_ar.yaml │ │ │ │ ├── prompt_robustness_agieval_lstat_lr.yaml │ │ │ │ ├── prompt_robustness_agieval_sat_en.yaml │ │ │ │ ├── prompt_robustness_agieval_sat_math.yaml │ │ │ │ ├── prompt_templates.json │ │ │ │ ├── score_non_greedy_robustness_agieval.yaml │ │ │ │ ├── score_option_order_robustness_agieval.yaml │ │ │ │ ├── score_prompt_robustness_agieval.yaml │ │ │ │ ├── score_robustness_agieval.yaml │ │ │ │ └── utils_agieval.py │ │ │ ├── math/ │ │ │ │ ├── math_grader.py │ │ │ │ ├── non_greedy_robustness_math_algebra.yaml │ │ │ │ ├── non_greedy_robustness_math_counting_and_prob.yaml │ │ │ │ ├── non_greedy_robustness_math_geometry.yaml │ │ │ │ ├── non_greedy_robustness_math_intermediate_algebra.yaml │ │ │ │ ├── non_greedy_robustness_math_num_theory.yaml │ │ │ │ ├── non_greedy_robustness_math_prealgebra.yaml │ │ │ │ ├── non_greedy_robustness_math_precalc.yaml │ │ │ │ ├── prompt_robustness_math_algebra.yaml │ │ │ │ ├── prompt_robustness_math_counting_and_prob.yaml │ │ │ │ ├── prompt_robustness_math_geometry.yaml │ │ │ │ ├── prompt_robustness_math_intermediate_algebra.yaml │ │ │ │ ├── prompt_robustness_math_num_theory.yaml │ │ │ │ ├── prompt_robustness_math_prealgebra.yaml │ │ │ │ ├── prompt_robustness_math_precalc.yaml │ │ │ │ ├── prompt_templates.json │ │ │ │ ├── score_non_greedy_robustness_math.yaml │ │ │ │ ├── score_prompt_robustness_math.yaml │ │ │ │ ├── score_robustness_math.yaml │ │ │ │ ├── to_be_fixed_questions.json │ │ │ │ └── utils_math.py │ │ │ ├── mmlu_pro/ │ │ │ │ ├── prompt_templates.json │ │ │ │ ├── score_non_greedy_robustness_mmlu_pro.yaml │ │ │ │ ├── score_option_order_robustness_mmlu_pro.yaml │ │ │ │ ├── score_prompt_robustness_mmlu_pro.yaml │ │ │ │ └── utils_mmlu_pro.py │ │ │ ├── non_greedy.sh │ │ │ ├── non_greedy_summarizer.py │ │ │ ├── score_robustness.yaml │ │ │ └── utils.py │ │ ├── scrolls/ │ │ │ ├── README.md │ │ │ ├── scrolls_contractnli.yaml │ │ │ ├── scrolls_govreport.yaml │ │ │ ├── scrolls_narrativeqa.yaml │ │ │ ├── scrolls_qasper.yaml │ │ │ ├── scrolls_qmsum.yaml │ │ │ ├── scrolls_quality.yaml │ │ │ ├── scrolls_summscreenfd.yaml │ │ │ └── task.py │ │ ├── simple_cooccurrence_bias/ │ │ │ ├── README.md │ │ │ ├── simple_cooccurrence_bias.yaml │ │ │ ├── simple_cooccurrence_bias_gen.yaml │ │ │ └── utils.py │ │ ├── siqa/ │ │ │ ├── README.md │ │ │ └── siqa.yaml │ │ ├── slr_bench/ │ │ │ ├── README.md │ │ │ ├── lm_eval_slr_bench.py │ │ │ ├── slr_bench_all.yaml │ │ │ ├── slr_bench_basic.yaml │ │ │ ├── slr_bench_common_yaml │ │ │ ├── slr_bench_easy.yaml │ │ │ ├── slr_bench_group.yaml │ │ │ ├── slr_bench_hard.yaml │ │ │ └── slr_bench_medium.yaml │ │ ├── spanish_bench/ │ │ │ ├── README.md │ │ │ ├── cocoteros_es.yaml │ │ │ ├── copa_es.yaml │ │ │ ├── escola.yaml │ │ │ ├── flores_es/ │ │ │ │ ├── _flores_common_yaml │ │ │ │ ├── create_yamls_flores_es.py │ │ │ │ ├── flores_ca-es.yaml │ │ │ │ ├── flores_de-es.yaml │ │ │ │ ├── flores_en-es.yaml │ │ │ │ ├── flores_es-ca.yaml │ │ │ │ ├── flores_es-de.yaml │ │ │ │ ├── flores_es-en.yaml │ │ │ │ ├── flores_es-eu.yaml │ │ │ │ ├── flores_es-fr.yaml │ │ │ │ ├── flores_es-gl.yaml │ │ │ │ ├── flores_es-it.yaml │ │ │ │ ├── flores_es-pt.yaml │ │ │ │ ├── flores_es.yaml │ │ │ │ ├── flores_eu-es.yaml │ │ │ │ ├── flores_fr-es.yaml │ │ │ │ ├── flores_gl-es.yaml │ │ │ │ ├── flores_it-es.yaml │ │ │ │ └── flores_pt-es.yaml │ │ │ ├── mgsm_direct_es_spanish_bench.yaml │ │ │ ├── openbookqa_es.yaml │ │ │ ├── paws_es_spanish_bench.yaml │ │ │ ├── phrases_es/ │ │ │ │ ├── _phrases_es_common │ │ │ │ ├── phrases_es-va.yaml │ │ │ │ └── phrases_va-es.yaml │ │ │ ├── spanish_bench.yaml │ │ │ ├── utils.py │ │ │ ├── wnli_es.yaml │ │ │ ├── xlsum_es.yaml │ │ │ └── xnli_es_spanish_bench.yaml │ │ ├── squad_completion/ │ │ │ ├── README.md │ │ │ ├── squad_completion.yaml │ │ │ └── task.py │ │ ├── squadv2/ │ │ │ ├── README.md │ │ │ ├── squadv2.yaml │ │ │ └── task.py │ │ ├── storycloze/ │ │ │ ├── README.md │ │ │ ├── storycloze_2016.yaml │ │ │ └── storycloze_2018.yaml │ │ ├── super_glue/ │ │ │ ├── README.md │ │ │ ├── boolq/ │ │ │ │ ├── default.yaml │ │ │ │ ├── seq2seq.yaml │ │ │ │ └── t5-prompt.yaml │ │ │ ├── cb/ │ │ │ │ ├── aggregate.py │ │ │ │ ├── default.yaml │ │ │ │ ├── t5-prompt.yaml │ │ │ │ └── t5_utils.py │ │ │ ├── copa/ │ │ │ │ ├── default.yaml │ │ │ │ ├── t5-prompt.yaml │ │ │ │ └── utils.py │ │ │ ├── multirc/ │ │ │ │ ├── default.yaml │ │ │ │ ├── t5-prompt.yaml │ │ │ │ └── t5_utils.py │ │ │ ├── record/ │ │ │ │ ├── default.yaml │ │ │ │ ├── t5-prompt.yaml │ │ │ │ ├── t5_utils.py │ │ │ │ └── util.py │ │ │ ├── rte/ │ │ │ │ ├── default.yaml │ │ │ │ └── t5-prompt.yaml │ │ │ ├── wic/ │ │ │ │ ├── default.yaml │ │ │ │ └── t5-prompt.yaml │ │ │ └── wsc/ │ │ │ ├── default.yaml │ │ │ ├── preprocess_wsc.py │ │ │ ├── t5-prompt.yaml │ │ │ └── t5_utils.py │ │ ├── swag/ │ │ │ ├── README.md │ │ │ └── swag.yaml │ │ ├── swde/ │ │ │ ├── README.md │ │ │ ├── swde.yaml │ │ │ └── task.py │ │ ├── tinyBenchmarks/ │ │ │ ├── README.md │ │ │ ├── agg_functions.py │ │ │ ├── tinyArc.yaml │ │ │ ├── tinyBenchmarks.yaml │ │ │ ├── tinyGSM8k.yaml │ │ │ ├── tinyHellaswag.yaml │ │ │ ├── tinyMMLU.yaml │ │ │ ├── tinyTruthfulQA_mc1.yaml │ │ │ ├── tinyTruthfulQA_mc2.yaml │ │ │ ├── tinyWinogrande.yaml │ │ │ ├── utils_hellaswag.py │ │ │ ├── utils_truthfulqa.py │ │ │ └── utils_winogrande.py │ │ ├── tmlu/ │ │ │ ├── README.md │ │ │ ├── default/ │ │ │ │ ├── _default_template_yaml │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _tmlu.yaml │ │ │ │ ├── tmlu_AST_biology.yaml │ │ │ │ ├── tmlu_AST_chemistry.yaml │ │ │ │ ├── tmlu_AST_chinese.yaml │ │ │ │ ├── tmlu_AST_civics.yaml │ │ │ │ ├── tmlu_AST_geography.yaml │ │ │ │ ├── tmlu_AST_history.yaml │ │ │ │ ├── tmlu_CAP_biology.yaml │ │ │ │ ├── tmlu_CAP_chemistry.yaml │ │ │ │ ├── tmlu_CAP_chinese.yaml │ │ │ │ ├── tmlu_CAP_civics.yaml │ │ │ │ ├── tmlu_CAP_earth_science.yaml │ │ │ │ ├── tmlu_CAP_geography.yaml │ │ │ │ ├── tmlu_CAP_history.yaml │ │ │ │ ├── tmlu_GSAT_biology.yaml │ │ │ │ ├── tmlu_GSAT_chemistry.yaml │ │ │ │ ├── tmlu_GSAT_chinese.yaml │ │ │ │ ├── tmlu_GSAT_civics.yaml │ │ │ │ ├── tmlu_GSAT_earth_science.yaml │ │ │ │ ├── tmlu_GSAT_geography.yaml │ │ │ │ ├── tmlu_GSAT_history.yaml │ │ │ │ ├── tmlu_accountant.yaml │ │ │ │ ├── tmlu_basic_traditional_chinese_medicine.yaml │ │ │ │ ├── tmlu_clinical_psychologist.yaml │ │ │ │ ├── tmlu_clinical_traditional_chinese_medicine.yaml │ │ │ │ ├── tmlu_driving_rule.yaml │ │ │ │ ├── tmlu_lawyer_qualification.yaml │ │ │ │ ├── tmlu_nutritionist.yaml │ │ │ │ ├── tmlu_taiwan_tourist_resources.yaml │ │ │ │ ├── tmlu_teacher_qualification.yaml │ │ │ │ ├── tmlu_tour_guide.yaml │ │ │ │ ├── tmlu_tour_leader.yaml │ │ │ │ └── utils.py │ │ │ └── subject.tsv │ │ ├── tmmluplus/ │ │ │ ├── README.md │ │ │ ├── default/ │ │ │ │ ├── _generate_configs.py │ │ │ │ ├── _tmmluplus.yaml │ │ │ │ ├── _tmmluplus_STEM.yaml │ │ │ │ ├── _tmmluplus_humanities.yaml │ │ │ │ ├── _tmmluplus_other.yaml │ │ │ │ ├── _tmmluplus_social_sciences.yaml │ │ │ │ ├── _tmmluplus_template_yaml │ │ │ │ ├── tmmluplus_accounting.yaml │ │ │ │ ├── tmmluplus_administrative_law.yaml │ │ │ │ ├── tmmluplus_advance_chemistry.yaml │ │ │ │ ├── tmmluplus_agriculture.yaml │ │ │ │ ├── tmmluplus_anti_money_laundering.yaml │ │ │ │ ├── tmmluplus_auditing.yaml │ │ │ │ ├── tmmluplus_basic_medical_science.yaml │ │ │ │ ├── tmmluplus_business_management.yaml │ │ │ │ ├── tmmluplus_chinese_language_and_literature.yaml │ │ │ │ ├── tmmluplus_clinical_psychology.yaml │ │ │ │ ├── tmmluplus_computer_science.yaml │ │ │ │ ├── tmmluplus_culinary_skills.yaml │ │ │ │ ├── tmmluplus_dentistry.yaml │ │ │ │ ├── tmmluplus_economics.yaml │ │ │ │ ├── tmmluplus_education.yaml │ │ │ │ ├── tmmluplus_education_(profession_level).yaml │ │ │ │ ├── tmmluplus_educational_psychology.yaml │ │ │ │ ├── tmmluplus_engineering_math.yaml │ │ │ │ ├── tmmluplus_finance_banking.yaml │ │ │ │ ├── tmmluplus_financial_analysis.yaml │ │ │ │ ├── tmmluplus_fire_science.yaml │ │ │ │ ├── tmmluplus_general_principles_of_law.yaml │ │ │ │ ├── tmmluplus_geography_of_taiwan.yaml │ │ │ │ ├── tmmluplus_human_behavior.yaml │ │ │ │ ├── tmmluplus_insurance_studies.yaml │ │ │ │ ├── tmmluplus_introduction_to_law.yaml │ │ │ │ ├── tmmluplus_jce_humanities.yaml │ │ │ │ ├── tmmluplus_junior_chemistry.yaml │ │ │ │ ├── tmmluplus_junior_chinese_exam.yaml │ │ │ │ ├── tmmluplus_junior_math_exam.yaml │ │ │ │ ├── tmmluplus_junior_science_exam.yaml │ │ │ │ ├── tmmluplus_junior_social_studies.yaml │ │ │ │ ├── tmmluplus_linear_algebra.yaml │ │ │ │ ├── tmmluplus_logic_reasoning.yaml │ │ │ │ ├── tmmluplus_macroeconomics.yaml │ │ │ │ ├── tmmluplus_management_accounting.yaml │ │ │ │ ├── tmmluplus_marketing_management.yaml │ │ │ │ ├── tmmluplus_mechanical.yaml │ │ │ │ ├── tmmluplus_music.yaml │ │ │ │ ├── tmmluplus_national_protection.yaml │ │ │ │ ├── tmmluplus_nautical_science.yaml │ │ │ │ ├── tmmluplus_occupational_therapy_for_psychological_disorders.yaml │ │ │ │ ├── tmmluplus_official_document_management.yaml │ │ │ │ ├── tmmluplus_optometry.yaml │ │ │ │ ├── tmmluplus_organic_chemistry.yaml │ │ │ │ ├── tmmluplus_pharmacology.yaml │ │ │ │ ├── tmmluplus_pharmacy.yaml │ │ │ │ ├── tmmluplus_physical_education.yaml │ │ │ │ ├── tmmluplus_physics.yaml │ │ │ │ ├── tmmluplus_politic_science.yaml │ │ │ │ ├── tmmluplus_real_estate.yaml │ │ │ │ ├── tmmluplus_secondary_physics.yaml │ │ │ │ ├── tmmluplus_statistics_and_machine_learning.yaml │ │ │ │ ├── tmmluplus_taiwanese_hokkien.yaml │ │ │ │ ├── tmmluplus_taxation.yaml │ │ │ │ ├── tmmluplus_technical.yaml │ │ │ │ ├── tmmluplus_three_principles_of_people.yaml │ │ │ │ ├── tmmluplus_trade.yaml │ │ │ │ ├── tmmluplus_traditional_chinese_medicine_clinical_medicine.yaml │ │ │ │ ├── tmmluplus_trust_practice.yaml │ │ │ │ ├── tmmluplus_ttqav2.yaml │ │ │ │ ├── tmmluplus_tve_chinese_language.yaml │ │ │ │ ├── tmmluplus_tve_design.yaml │ │ │ │ ├── tmmluplus_tve_mathematics.yaml │ │ │ │ ├── tmmluplus_tve_natural_sciences.yaml │ │ │ │ ├── tmmluplus_veterinary_pathology.yaml │ │ │ │ ├── tmmluplus_veterinary_pharmacology.yaml │ │ │ │ └── utils.py │ │ │ └── subject.tsv │ │ ├── toxigen/ │ │ │ ├── README.md │ │ │ ├── toxigen.yaml │ │ │ └── utils.py │ │ ├── translation/ │ │ │ ├── README.md │ │ │ ├── iwslt2017_ar-en.yaml │ │ │ ├── iwslt2017_en-ar.yaml │ │ │ ├── utils.py │ │ │ ├── wmt14_en-fr.yaml │ │ │ ├── wmt14_fr-en.yaml │ │ │ ├── wmt16_de-en.yaml │ │ │ ├── wmt16_en-de.yaml │ │ │ ├── wmt16_en-ro.yaml │ │ │ ├── wmt16_ro-en.yaml │ │ │ └── wmt_common_yaml │ │ ├── triviaqa/ │ │ │ ├── README.md │ │ │ └── default.yaml │ │ ├── truthfulqa/ │ │ │ ├── README.md │ │ │ ├── truthfulqa_gen.yaml │ │ │ ├── truthfulqa_mc1.yaml │ │ │ ├── truthfulqa_mc2.yaml │ │ │ └── utils.py │ │ ├── truthfulqa-multi/ │ │ │ ├── README.md │ │ │ ├── truthfulqa-multi_gen_ca.yaml │ │ │ ├── truthfulqa-multi_gen_common │ │ │ ├── truthfulqa-multi_gen_en.yaml │ │ │ ├── truthfulqa-multi_gen_es.yaml │ │ │ ├── truthfulqa-multi_gen_eu.yaml │ │ │ ├── truthfulqa-multi_gen_gl.yaml │ │ │ ├── truthfulqa-multi_mc1_ca.yaml │ │ │ ├── truthfulqa-multi_mc1_en.yaml │ │ │ ├── truthfulqa-multi_mc1_es.yaml │ │ │ ├── truthfulqa-multi_mc1_eu.yaml │ │ │ ├── truthfulqa-multi_mc1_gl.yaml │ │ │ ├── truthfulqa-multi_mc2_ca.yaml │ │ │ ├── truthfulqa-multi_mc2_en.yaml │ │ │ ├── truthfulqa-multi_mc2_es.yaml │ │ │ ├── truthfulqa-multi_mc2_eu.yaml │ │ │ ├── truthfulqa-multi_mc2_gl.yaml │ │ │ ├── truthfulqa-multi_mc_common │ │ │ └── utils.py │ │ ├── turblimp/ │ │ │ ├── README.md │ │ │ ├── _template_yaml │ │ │ ├── anaphor_agreement.yaml │ │ │ ├── argument_structure_ditransitive.yaml │ │ │ ├── argument_structure_transitive.yaml │ │ │ ├── binding.yaml │ │ │ ├── determiners.yaml │ │ │ ├── ellipsis.yaml │ │ │ ├── irregular_forms.yaml │ │ │ ├── island_effects.yaml │ │ │ ├── nominalization.yaml │ │ │ ├── npi_licensing.yaml │ │ │ ├── passives.yaml │ │ │ ├── quantifiers.yaml │ │ │ ├── relative_clauses.yaml │ │ │ ├── scrambling.yaml │ │ │ ├── subject_agreement.yaml │ │ │ ├── suspended_affixation.yaml │ │ │ └── turblimp_group.yaml │ │ ├── turkishmmlu/ │ │ │ ├── README.md │ │ │ ├── config/ │ │ │ │ ├── Biology.yaml │ │ │ │ ├── Chemistry.yaml │ │ │ │ ├── Geography.yaml │ │ │ │ ├── History.yaml │ │ │ │ ├── Mathematics.yaml │ │ │ │ ├── Philosophy.yaml │ │ │ │ ├── Physics.yaml │ │ │ │ ├── Religion_and_Ethics.yaml │ │ │ │ ├── Turkish_Language_and_Literature.yaml │ │ │ │ └── _turkishmmlu_default_yaml │ │ │ └── config_cot/ │ │ │ ├── Biology.yaml │ │ │ ├── Chemistry.yaml │ │ │ ├── Geography.yaml │ │ │ ├── History.yaml │ │ │ ├── Mathematics.yaml │ │ │ ├── Philosophy.yaml │ │ │ ├── Physics.yaml │ │ │ ├── Religion_and_Ethics.yaml │ │ │ ├── Turkish_Language_and_Literature.yaml │ │ │ └── _turkishmmlu_cot_default_yaml │ │ ├── ulqa/ │ │ │ ├── README.md │ │ │ ├── celep1.yaml │ │ │ ├── celep2.yaml │ │ │ ├── lambada_uyghur.yaml │ │ │ ├── uleval.yaml │ │ │ ├── ulqa.yaml │ │ │ ├── ulqa_.yaml │ │ │ └── ulut/ │ │ │ ├── nug.yaml │ │ │ ├── ulut.yaml │ │ │ ├── wag.yaml │ │ │ ├── wsm.yaml │ │ │ ├── wub.yaml │ │ │ └── wum.yaml │ │ ├── unitxt/ │ │ │ ├── 20_newsgroups.yaml │ │ │ ├── README.md │ │ │ ├── ag_news.yaml │ │ │ ├── argument_topic.yaml │ │ │ ├── atis.yaml │ │ │ ├── banking77.yaml │ │ │ ├── claim_stance_topic.yaml │ │ │ ├── cnn_dailymail.yaml │ │ │ ├── coedit_gec.yaml │ │ │ ├── dbpedia_14.yaml │ │ │ ├── doc_vqa.yaml │ │ │ ├── ethos_binary.yaml │ │ │ ├── financial_tweets.yaml │ │ │ ├── law_stack_exchange.yaml │ │ │ ├── ledgar.yaml │ │ │ ├── medical_abstracts.yaml │ │ │ ├── stsb.yaml │ │ │ ├── task.py │ │ │ ├── unfair_tos.yaml │ │ │ ├── unitxt │ │ │ ├── unitxt_multimodal │ │ │ ├── xsum.yaml │ │ │ └── yahoo_answers_topics.yaml │ │ ├── unscramble/ │ │ │ ├── README.md │ │ │ ├── anagrams1.yaml │ │ │ ├── anagrams2.yaml │ │ │ ├── cycle_letters.yaml │ │ │ ├── random_insertion.yaml │ │ │ └── reversed_words.yaml │ │ ├── webqs/ │ │ │ ├── README.md │ │ │ ├── utils.py │ │ │ └── webqs.yaml │ │ ├── wikitext/ │ │ │ ├── README.md │ │ │ ├── preprocess_wikitext.py │ │ │ └── wikitext.yaml │ │ ├── winogender/ │ │ │ ├── README.md │ │ │ ├── utils.py │ │ │ ├── winogender.yaml │ │ │ ├── winogender_female.yaml │ │ │ ├── winogender_gotcha.yaml │ │ │ ├── winogender_gotcha_female.yaml │ │ │ ├── winogender_gotcha_male.yaml │ │ │ ├── winogender_male.yaml │ │ │ └── winogender_neutral.yaml │ │ ├── winogrande/ │ │ │ ├── README.md │ │ │ ├── default.yaml │ │ │ └── preprocess_winogrande.py │ │ ├── wmdp/ │ │ │ ├── README.md │ │ │ ├── _default_template_yaml │ │ │ ├── _wmdp.yaml │ │ │ ├── wmdp_bio.yaml │ │ │ ├── wmdp_chem.yaml │ │ │ └── wmdp_cyber.yaml │ │ ├── wmt2016/ │ │ │ ├── README.md │ │ │ ├── metrics.py │ │ │ └── ro_en-t5_prompt.yaml │ │ ├── wsc273/ │ │ │ ├── README.md │ │ │ ├── default.yaml │ │ │ └── utils.py │ │ ├── xcopa/ │ │ │ ├── README.md │ │ │ ├── _xcopa.yaml │ │ │ ├── default_et.yaml │ │ │ ├── default_ht.yaml │ │ │ ├── default_id.yaml │ │ │ ├── default_it.yaml │ │ │ ├── default_qu.yaml │ │ │ ├── default_sw.yaml │ │ │ ├── default_ta.yaml │ │ │ ├── default_th.yaml │ │ │ ├── default_tr.yaml │ │ │ ├── default_vi.yaml │ │ │ ├── default_zh.yaml │ │ │ └── utils.py │ │ ├── xnli/ │ │ │ ├── README.md │ │ │ ├── _xnli.yaml │ │ │ ├── utils.py │ │ │ ├── xnli_ar.yaml │ │ │ ├── xnli_bg.yaml │ │ │ ├── xnli_common_yaml │ │ │ ├── xnli_de.yaml │ │ │ ├── xnli_el.yaml │ │ │ ├── xnli_en.yaml │ │ │ ├── xnli_es.yaml │ │ │ ├── xnli_fr.yaml │ │ │ ├── xnli_hi.yaml │ │ │ ├── xnli_ru.yaml │ │ │ ├── xnli_sw.yaml │ │ │ ├── xnli_th.yaml │ │ │ ├── xnli_tr.yaml │ │ │ ├── xnli_ur.yaml │ │ │ ├── xnli_vi.yaml │ │ │ └── xnli_zh.yaml │ │ ├── xnli_eu/ │ │ │ ├── README.md │ │ │ ├── xnli_common_yaml │ │ │ ├── xnli_eu.yaml │ │ │ ├── xnli_eu_mt.yaml │ │ │ └── xnli_eu_native.yaml │ │ ├── xquad/ │ │ │ ├── README.md │ │ │ ├── utils.py │ │ │ ├── xquad_ar.yaml │ │ │ ├── xquad_common_yaml │ │ │ ├── xquad_de.yaml │ │ │ ├── xquad_el.yaml │ │ │ ├── xquad_en.yaml │ │ │ ├── xquad_es.yaml │ │ │ ├── xquad_hi.yaml │ │ │ ├── xquad_ro.yaml │ │ │ ├── xquad_ru.yaml │ │ │ ├── xquad_th.yaml │ │ │ ├── xquad_tr.yaml │ │ │ ├── xquad_vi.yaml │ │ │ └── xquad_zh.yaml │ │ ├── xstorycloze/ │ │ │ ├── README.md │ │ │ ├── _xstorycloze.yaml │ │ │ ├── default_ar.yaml │ │ │ ├── default_en.yaml │ │ │ ├── default_es.yaml │ │ │ ├── default_eu.yaml │ │ │ ├── default_hi.yaml │ │ │ ├── default_id.yaml │ │ │ ├── default_my.yaml │ │ │ ├── default_ru.yaml │ │ │ ├── default_sw.yaml │ │ │ ├── default_te.yaml │ │ │ └── default_zh.yaml │ │ ├── xwinograd/ │ │ │ ├── README.md │ │ │ ├── _xwinograd.yaml │ │ │ ├── utils.py │ │ │ ├── xwinograd_common_yaml │ │ │ ├── xwinograd_en.yaml │ │ │ ├── xwinograd_fr.yaml │ │ │ ├── xwinograd_jp.yaml │ │ │ ├── xwinograd_pt.yaml │ │ │ ├── xwinograd_ru.yaml │ │ │ └── xwinograd_zh.yaml │ │ └── zhoblimp/ │ │ ├── BA_BEI_subj_drop.yaml │ │ ├── BA_deletion.yaml │ │ ├── BA_duplicate_argument.yaml │ │ ├── BA_inversion.yaml │ │ ├── BA_meiba.yaml │ │ ├── BA_negation.yaml │ │ ├── BA_no_progressive.yaml │ │ ├── BA_no_stative_verb.yaml │ │ ├── BA_suo_adverbial_a.yaml │ │ ├── BA_suo_adverbial_b.yaml │ │ ├── BA_verb_le_a.yaml │ │ ├── BA_verb_le_b.yaml │ │ ├── BEI_construction_a.yaml │ │ ├── BEI_construction_b.yaml │ │ ├── BEI_deletion.yaml │ │ ├── BEI_preposition.yaml │ │ ├── PN_numP_a.yaml │ │ ├── PN_numP_b.yaml │ │ ├── README.md │ │ ├── _template_yaml │ │ ├── adjective_transitive_dui.yaml │ │ ├── agent_animacy_adv.yaml │ │ ├── agent_animacy_passive.yaml │ │ ├── agent_animacy_subj.yaml │ │ ├── agent_causative.yaml │ │ ├── agent_deletion.yaml │ │ ├── anaphor_gender_agreement.yaml │ │ ├── anaphor_number_agreement.yaml │ │ ├── causative_shi_ba.yaml │ │ ├── classifier_noun_agreement.yaml │ │ ├── classifier_noun_agreement_no_gap.yaml │ │ ├── classifier_noun_subj.yaml │ │ ├── control_modal_vs_raising_modal.yaml │ │ ├── ellipsis_adj.yaml │ │ ├── ellipsis_double_object.yaml │ │ ├── ellipsis_n_bar_class.yaml │ │ ├── existential_there_subject_raising.yaml │ │ ├── fci_renhe_dou.yaml │ │ ├── fci_renhe_prepP.yaml │ │ ├── fci_renhe_ruguo.yaml │ │ ├── fci_renhe_subj.yaml │ │ ├── fci_renhe_suoyou.yaml │ │ ├── intransitive_double_obj.yaml │ │ ├── intransitive_no_obj.yaml │ │ ├── left_adverbial_b.yaml │ │ ├── left_adverbial_d.yaml │ │ ├── left_adverbial_e.yaml │ │ ├── left_adverbial_negation.yaml │ │ ├── left_dou.yaml │ │ ├── modal_raising_hui.yaml │ │ ├── modal_raising_topicalization.yaml │ │ ├── nominal_definite_men.yaml │ │ ├── nominal_modal_insertion.yaml │ │ ├── noun_adjective_shi.yaml │ │ ├── noun_phrase_conjunction_jian.yaml │ │ ├── npi_renhe_A_not_A_question.yaml │ │ ├── npi_renhe_conditional.yaml │ │ ├── npi_renhe_neg_scope_locP.yaml │ │ ├── npi_renhe_neg_scope_subj.yaml │ │ ├── npi_renhe_wh_question_obj.yaml │ │ ├── npi_renhe_wh_question_subj.yaml │ │ ├── passive_agent_deletion_long_left.yaml │ │ ├── passive_agent_deletion_long_right_a.yaml │ │ ├── passive_agent_deletion_long_right_b.yaml │ │ ├── passive_agent_deletion_short.yaml │ │ ├── passive_body_part.yaml │ │ ├── passive_intransitive.yaml │ │ ├── passive_no_adj.yaml │ │ ├── passive_suo.yaml │ │ ├── plural_cardinal_men_a.yaml │ │ ├── plural_cardinal_men_b.yaml │ │ ├── preposition_deletion.yaml │ │ ├── preposition_insertion.yaml │ │ ├── principle_A_c_command.yaml │ │ ├── principle_A_c_command_number.yaml │ │ ├── principle_A_domain.yaml │ │ ├── principle_A_domain_number.yaml │ │ ├── question_A_not_A.yaml │ │ ├── question_A_not_A_daodi_a.yaml │ │ ├── question_A_not_A_daodi_b.yaml │ │ ├── question_A_not_A_indirect.yaml │ │ ├── question_V_not_VP_1.yaml │ │ ├── question_V_not_VP_2.yaml │ │ ├── question_daodi_nandao_1.yaml │ │ ├── question_daodi_nandao_2.yaml │ │ ├── question_daodi_nandao_A_not_A_intran.yaml │ │ ├── question_daodi_nandao_A_not_A_tran.yaml │ │ ├── question_daodi_negation.yaml │ │ ├── question_nandao_negation.yaml │ │ ├── question_nandao_raising_1_a.yaml │ │ ├── question_nandao_raising_1_b.yaml │ │ ├── question_nandao_raising_2.yaml │ │ ├── question_nandao_raising_3.yaml │ │ ├── question_nandao_scope_1.yaml │ │ ├── question_nandao_scope_2.yaml │ │ ├── question_particle_daodi_choice_intran.yaml │ │ ├── question_particle_daodi_choice_tran.yaml │ │ ├── question_particle_nandao.yaml │ │ ├── relative_operator_intepretation.yaml │ │ ├── relative_operator_who.yaml │ │ ├── relativization_movement_no_gap.yaml │ │ ├── relativization_movement_when_where.yaml │ │ ├── renhe_no_episodic_sentences.yaml │ │ ├── renhe_no_superordinate_negation.yaml │ │ ├── renhe_non_factive_verb.yaml │ │ ├── right_yijing_a.yaml │ │ ├── right_yijing_b.yaml │ │ ├── singular_PN_but_plural_pron.yaml │ │ ├── superlative_quantifiers_1.yaml │ │ ├── superlative_quantifiers_2.yaml │ │ ├── topicalization_OSV.yaml │ │ ├── topicalization_OSV_mei.yaml │ │ ├── topicalization_SOV.yaml │ │ ├── topicalization_SOV_mei.yaml │ │ ├── verb_negation_particle.yaml │ │ ├── verb_phrase_left_adverbial.yaml │ │ ├── verb_phrase_left_negation.yaml │ │ ├── ya_insertion.yaml │ │ ├── you_quantifier_adj.yaml │ │ ├── you_yige.yaml │ │ └── zhoblimp_group.yaml │ └── utils.py ├── pile_statistics.json ├── pyproject.toml ├── scripts/ │ ├── __init__.py │ ├── build_benchmark.py │ ├── clean_training_data/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── compress_and_package.py │ │ ├── generate_13_grams.py │ │ ├── investigate_pile.py │ │ ├── janitor_util.cpp │ │ ├── process_sorted_buckets.py │ │ └── sort_13_gram_buckets.py │ ├── get_prompts.py │ ├── make_gpt2_test_cases.py │ ├── make_table_results.py │ ├── make_table_tasks.py │ ├── model_comparator.py │ ├── regression.py │ ├── requests_caching.py │ ├── write_out.py │ └── zeno_visualize.py ├── templates/ │ └── new_yaml_task/ │ ├── README.md │ └── blank_yaml.yaml └── tests/ ├── __init__.py ├── conftest.py ├── models/ │ ├── test_api.py │ ├── test_bos_handling.py │ ├── test_gguf.py │ ├── test_gptqmodel.py │ ├── test_hf_steered.py │ ├── test_huggingface.py │ ├── test_model_utils.py │ ├── test_openvino.py │ ├── test_sglang.py │ ├── test_vllm.py │ └── test_vllm_context_length.py ├── scripts/ │ └── test_zeno_visualize.py ├── test_aggregation_pipeline.py ├── test_cli_subcommands.py ├── test_configs/ │ ├── empty_group.yaml │ ├── group.yaml │ ├── group_ref_parent.yaml │ ├── include_base.yaml │ ├── include_group.yaml │ ├── include_task_fs0.yaml │ ├── include_task_fs1.yaml │ ├── include_task_fs5.yaml │ ├── inline_subgroup.yaml │ ├── mixed_members_group.yaml │ ├── propagation_group.yaml │ ├── simple_task.yaml │ ├── simple_task_b.yaml │ ├── tag_parent_group.yaml │ ├── tag_subgroup.yaml │ ├── tag_task_1.yaml │ ├── tag_task_2.yaml │ ├── tag_task_3.yaml │ └── test_data.json ├── test_evaluator.py ├── test_evaluator_utils.py ├── test_fewshot_context.py ├── test_group.py ├── test_janitor.py ├── test_metrics.py ├── test_misc.py ├── test_prompt.py ├── test_registry.py ├── test_requests_caching.py ├── test_samplers.py ├── test_task_manager.py ├── test_tasks.py ├── test_unitxt_tasks.py ├── test_utils.py ├── testconfigs/ │ ├── arc_easy_unitxt.yaml │ ├── arc_test.yaml │ ├── sae_lens_intervention.csv │ └── sparsify_intervention.csv ├── testdata/ │ ├── ai2_arc_10_hf_pretrained-EleutherAI-pythia-14m-deduped-dtype-float32-device-cpu.txt │ ├── anagrams1-v0-greedy_until │ ├── anagrams1-v0-res.json │ ├── anagrams2-v0-greedy_until │ ├── anagrams2-v0-res.json │ ├── anli_r1-v0-loglikelihood │ ├── anli_r1-v0-res.json │ ├── anli_r2-v0-loglikelihood │ ├── anli_r2-v0-res.json │ ├── anli_r3-v0-loglikelihood │ ├── anli_r3-v0-res.json │ ├── arc_challenge-v0-loglikelihood │ ├── arc_challenge-v0-res.json │ ├── arc_challenge-v2.0-loglikelihood │ ├── arc_challenge-v2.0-res.json │ ├── arc_easy-v0-loglikelihood │ ├── arc_easy-v0-res.json │ ├── arithmetic_1dc-v0-loglikelihood │ ├── arithmetic_1dc-v0-res.json │ ├── arithmetic_2da-v0-loglikelihood │ ├── arithmetic_2da-v0-res.json │ ├── arithmetic_2dm-v0-loglikelihood │ ├── arithmetic_2dm-v0-res.json │ ├── arithmetic_2ds-v0-loglikelihood │ ├── arithmetic_2ds-v0-res.json │ ├── arithmetic_3da-v0-loglikelihood │ ├── arithmetic_3da-v0-res.json │ ├── arithmetic_3ds-v0-loglikelihood │ ├── arithmetic_3ds-v0-res.json │ ├── arithmetic_4da-v0-loglikelihood │ ├── arithmetic_4da-v0-res.json │ ├── arithmetic_4ds-v0-loglikelihood │ ├── arithmetic_4ds-v0-res.json │ ├── arithmetic_5da-v0-loglikelihood │ ├── arithmetic_5da-v0-res.json │ ├── arithmetic_5ds-v0-loglikelihood │ ├── arithmetic_5ds-v0-res.json │ ├── blimp_adjunct_island-v0-loglikelihood │ ├── blimp_adjunct_island-v0-res.json │ ├── blimp_anaphor_gender_agreement-v0-loglikelihood │ ├── blimp_anaphor_gender_agreement-v0-res.json │ ├── blimp_anaphor_number_agreement-v0-loglikelihood │ ├── blimp_anaphor_number_agreement-v0-res.json │ ├── blimp_animate_subject_passive-v0-loglikelihood │ ├── blimp_animate_subject_passive-v0-res.json │ ├── blimp_animate_subject_trans-v0-loglikelihood │ ├── blimp_animate_subject_trans-v0-res.json │ ├── blimp_causative-v0-loglikelihood │ ├── blimp_causative-v0-res.json │ ├── blimp_complex_NP_island-v0-loglikelihood │ ├── blimp_complex_NP_island-v0-res.json │ ├── blimp_coordinate_structure_constraint_complex_left_branch-v0-loglikelihood │ ├── blimp_coordinate_structure_constraint_complex_left_branch-v0-res.json │ ├── blimp_coordinate_structure_constraint_object_extraction-v0-loglikelihood │ ├── blimp_coordinate_structure_constraint_object_extraction-v0-res.json │ ├── blimp_determiner_noun_agreement_1-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_1-v0-res.json │ ├── blimp_determiner_noun_agreement_2-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_2-v0-res.json │ ├── blimp_determiner_noun_agreement_irregular_1-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_irregular_1-v0-res.json │ ├── blimp_determiner_noun_agreement_irregular_2-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_irregular_2-v0-res.json │ ├── blimp_determiner_noun_agreement_with_adj_2-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_with_adj_2-v0-res.json │ ├── blimp_determiner_noun_agreement_with_adj_irregular_1-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_with_adj_irregular_1-v0-res.json │ ├── blimp_determiner_noun_agreement_with_adj_irregular_2-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_with_adj_irregular_2-v0-res.json │ ├── blimp_determiner_noun_agreement_with_adjective_1-v0-loglikelihood │ ├── blimp_determiner_noun_agreement_with_adjective_1-v0-res.json │ ├── blimp_distractor_agreement_relational_noun-v0-loglikelihood │ ├── blimp_distractor_agreement_relational_noun-v0-res.json │ ├── blimp_distractor_agreement_relative_clause-v0-loglikelihood │ ├── blimp_distractor_agreement_relative_clause-v0-res.json │ ├── blimp_drop_argument-v0-loglikelihood │ ├── blimp_drop_argument-v0-res.json │ ├── blimp_ellipsis_n_bar_1-v0-loglikelihood │ ├── blimp_ellipsis_n_bar_1-v0-res.json │ ├── blimp_ellipsis_n_bar_2-v0-loglikelihood │ ├── blimp_ellipsis_n_bar_2-v0-res.json │ ├── blimp_existential_there_object_raising-v0-loglikelihood │ ├── blimp_existential_there_object_raising-v0-res.json │ ├── blimp_existential_there_quantifiers_1-v0-loglikelihood │ ├── blimp_existential_there_quantifiers_1-v0-res.json │ ├── blimp_existential_there_quantifiers_2-v0-loglikelihood │ ├── blimp_existential_there_quantifiers_2-v0-res.json │ ├── blimp_existential_there_subject_raising-v0-loglikelihood │ ├── blimp_existential_there_subject_raising-v0-res.json │ ├── blimp_expletive_it_object_raising-v0-loglikelihood │ ├── blimp_expletive_it_object_raising-v0-res.json │ ├── blimp_inchoative-v0-loglikelihood │ ├── blimp_inchoative-v0-res.json │ ├── blimp_intransitive-v0-loglikelihood │ ├── blimp_intransitive-v0-res.json │ ├── blimp_irregular_past_participle_adjectives-v0-loglikelihood │ ├── blimp_irregular_past_participle_adjectives-v0-res.json │ ├── blimp_irregular_past_participle_verbs-v0-loglikelihood │ ├── blimp_irregular_past_participle_verbs-v0-res.json │ ├── blimp_irregular_plural_subject_verb_agreement_1-v0-loglikelihood │ ├── blimp_irregular_plural_subject_verb_agreement_1-v0-res.json │ ├── blimp_irregular_plural_subject_verb_agreement_2-v0-loglikelihood │ ├── blimp_irregular_plural_subject_verb_agreement_2-v0-res.json │ ├── blimp_left_branch_island_echo_question-v0-loglikelihood │ ├── blimp_left_branch_island_echo_question-v0-res.json │ ├── blimp_left_branch_island_simple_question-v0-loglikelihood │ ├── blimp_left_branch_island_simple_question-v0-res.json │ ├── blimp_matrix_question_npi_licensor_present-v0-loglikelihood │ ├── blimp_matrix_question_npi_licensor_present-v0-res.json │ ├── blimp_npi_present_1-v0-loglikelihood │ ├── blimp_npi_present_1-v0-res.json │ ├── blimp_npi_present_2-v0-loglikelihood │ ├── blimp_npi_present_2-v0-res.json │ ├── blimp_only_npi_licensor_present-v0-loglikelihood │ ├── blimp_only_npi_licensor_present-v0-res.json │ ├── blimp_only_npi_scope-v0-loglikelihood │ ├── blimp_only_npi_scope-v0-res.json │ ├── blimp_passive_1-v0-loglikelihood │ ├── blimp_passive_1-v0-res.json │ ├── blimp_passive_2-v0-loglikelihood │ ├── blimp_passive_2-v0-res.json │ ├── blimp_principle_A_c_command-v0-loglikelihood │ ├── blimp_principle_A_c_command-v0-res.json │ ├── blimp_principle_A_case_1-v0-loglikelihood │ ├── blimp_principle_A_case_1-v0-res.json │ ├── blimp_principle_A_case_2-v0-loglikelihood │ ├── blimp_principle_A_case_2-v0-res.json │ ├── blimp_principle_A_domain_1-v0-loglikelihood │ ├── blimp_principle_A_domain_1-v0-res.json │ ├── blimp_principle_A_domain_2-v0-loglikelihood │ ├── blimp_principle_A_domain_2-v0-res.json │ ├── blimp_principle_A_domain_3-v0-loglikelihood │ ├── blimp_principle_A_domain_3-v0-res.json │ ├── blimp_principle_A_reconstruction-v0-loglikelihood │ ├── blimp_principle_A_reconstruction-v0-res.json │ ├── blimp_regular_plural_subject_verb_agreement_1-v0-loglikelihood │ ├── blimp_regular_plural_subject_verb_agreement_1-v0-res.json │ ├── blimp_regular_plural_subject_verb_agreement_2-v0-loglikelihood │ ├── blimp_regular_plural_subject_verb_agreement_2-v0-res.json │ ├── blimp_sentential_negation_npi_licensor_present-v0-loglikelihood │ ├── blimp_sentential_negation_npi_licensor_present-v0-res.json │ ├── blimp_sentential_negation_npi_scope-v0-loglikelihood │ ├── blimp_sentential_negation_npi_scope-v0-res.json │ ├── blimp_sentential_subject_island-v0-loglikelihood │ ├── blimp_sentential_subject_island-v0-res.json │ ├── blimp_superlative_quantifiers_1-v0-loglikelihood │ ├── blimp_superlative_quantifiers_1-v0-res.json │ ├── blimp_superlative_quantifiers_2-v0-loglikelihood │ ├── blimp_superlative_quantifiers_2-v0-res.json │ ├── blimp_tough_vs_raising_1-v0-loglikelihood │ ├── blimp_tough_vs_raising_1-v0-res.json │ ├── blimp_tough_vs_raising_2-v0-loglikelihood │ ├── blimp_tough_vs_raising_2-v0-res.json │ ├── blimp_transitive-v0-loglikelihood │ ├── blimp_transitive-v0-res.json │ ├── blimp_wh_island-v0-loglikelihood │ ├── blimp_wh_island-v0-res.json │ ├── blimp_wh_questions_object_gap-v0-loglikelihood │ ├── blimp_wh_questions_object_gap-v0-res.json │ ├── blimp_wh_questions_subject_gap-v0-loglikelihood │ ├── blimp_wh_questions_subject_gap-v0-res.json │ ├── blimp_wh_questions_subject_gap_long_distance-v0-loglikelihood │ ├── blimp_wh_questions_subject_gap_long_distance-v0-res.json │ ├── blimp_wh_vs_that_no_gap-v0-loglikelihood │ ├── blimp_wh_vs_that_no_gap-v0-res.json │ ├── blimp_wh_vs_that_no_gap_long_distance-v0-loglikelihood │ ├── blimp_wh_vs_that_no_gap_long_distance-v0-res.json │ ├── blimp_wh_vs_that_with_gap-v0-loglikelihood │ ├── blimp_wh_vs_that_with_gap-v0-res.json │ ├── blimp_wh_vs_that_with_gap_long_distance-v0-loglikelihood │ ├── blimp_wh_vs_that_with_gap_long_distance-v0-res.json │ ├── boolq-v0-loglikelihood │ ├── boolq-v0-res.json │ ├── boolq-v1-loglikelihood │ ├── boolq-v1-res.json │ ├── cb-v0-loglikelihood │ ├── cb-v0-res.json │ ├── cb-v1-loglikelihood │ ├── cb-v1-res.json │ ├── cola-v0-loglikelihood │ ├── cola-v0-res.json │ ├── copa-v0-loglikelihood │ ├── copa-v0-res.json │ ├── coqa-v0-greedy_until │ ├── coqa-v0-res.json │ ├── coqa-v1-greedy_until │ ├── coqa-v1-res.json │ ├── crows_pairs_english-v0-loglikelihood │ ├── crows_pairs_english-v0-res.json │ ├── crows_pairs_english_age-v0-loglikelihood │ ├── crows_pairs_english_age-v0-res.json │ ├── crows_pairs_english_autre-v0-loglikelihood │ ├── crows_pairs_english_autre-v0-res.json │ ├── crows_pairs_english_disability-v0-loglikelihood │ ├── crows_pairs_english_disability-v0-res.json │ ├── crows_pairs_english_gender-v0-loglikelihood │ ├── crows_pairs_english_gender-v0-res.json │ ├── crows_pairs_english_nationality-v0-loglikelihood │ ├── crows_pairs_english_nationality-v0-res.json │ ├── crows_pairs_english_physical_appearance-v0-loglikelihood │ ├── crows_pairs_english_physical_appearance-v0-res.json │ ├── crows_pairs_english_race_color-v0-loglikelihood │ ├── crows_pairs_english_race_color-v0-res.json │ ├── crows_pairs_english_religion-v0-loglikelihood │ ├── crows_pairs_english_religion-v0-res.json │ ├── crows_pairs_english_sexual_orientation-v0-loglikelihood │ ├── crows_pairs_english_sexual_orientation-v0-res.json │ ├── crows_pairs_english_socioeconomic-v0-loglikelihood │ ├── crows_pairs_english_socioeconomic-v0-res.json │ ├── crows_pairs_french-v0-loglikelihood │ ├── crows_pairs_french-v0-res.json │ ├── crows_pairs_french_age-v0-loglikelihood │ ├── crows_pairs_french_age-v0-res.json │ ├── crows_pairs_french_autre-v0-loglikelihood │ ├── crows_pairs_french_autre-v0-res.json │ ├── crows_pairs_french_disability-v0-loglikelihood │ ├── crows_pairs_french_disability-v0-res.json │ ├── crows_pairs_french_gender-v0-loglikelihood │ ├── crows_pairs_french_gender-v0-res.json │ ├── crows_pairs_french_nationality-v0-loglikelihood │ ├── crows_pairs_french_nationality-v0-res.json │ ├── crows_pairs_french_physical_appearance-v0-loglikelihood │ ├── crows_pairs_french_physical_appearance-v0-res.json │ ├── crows_pairs_french_race_color-v0-loglikelihood │ ├── crows_pairs_french_race_color-v0-res.json │ ├── crows_pairs_french_religion-v0-loglikelihood │ ├── crows_pairs_french_religion-v0-res.json │ ├── crows_pairs_french_sexual_orientation-v0-loglikelihood │ ├── crows_pairs_french_sexual_orientation-v0-res.json │ ├── crows_pairs_french_socioeconomic-v0-loglikelihood │ ├── crows_pairs_french_socioeconomic-v0-res.json │ ├── cycle_letters-v0-greedy_until │ ├── cycle_letters-v0-res.json │ ├── drop-v0-greedy_until │ ├── drop-v0-res.json │ ├── drop-v1-greedy_until │ ├── drop-v1-res.json │ ├── ethics_cm-v0-loglikelihood │ ├── ethics_cm-v0-res.json │ ├── ethics_deontology-v0-loglikelihood │ ├── ethics_deontology-v0-res.json │ ├── ethics_justice-v0-loglikelihood │ ├── ethics_justice-v0-res.json │ ├── ethics_utilitarianism-v0-loglikelihood │ ├── ethics_utilitarianism-v0-res.json │ ├── ethics_utilitarianism_original-v0-loglikelihood │ ├── ethics_utilitarianism_original-v0-res.json │ ├── ethics_virtue-v0-loglikelihood │ ├── ethics_virtue-v0-res.json │ ├── gguf_test_44e268d15decc4d2d0f99e57e1476269826cd3b54262f7a0981f75ddd45b25d0.pkl │ ├── gguf_test_52ea409606de8755e03cf7c79f824101a4ce64bb6e6d3df556b8a4e7a5d92418.pkl │ ├── gguf_test_8fcf3f2f52afeb2acd7c8e02c2cc3ce31a691b665d295f6c4e4bbd71c7caa1a2.pkl │ ├── gpt3_test_0deb8e9bde8e8327bbc48157f638ff3ba06b0cd816dad2beb8ad90f7fbe795c7.pkl │ ├── gpt3_test_8025023377febbd8c5f2b9f26705c394ff375d0cad7c89c10fd9b8e1eb66ff1c.pkl │ ├── gpt3_test_bb2cc49115e88788ed870ad0716eb00b280a885f91c7ed6e1e864435e5e2b6ac.pkl │ ├── gpt3_test_cfd11f555a5a63b6dfa114a55a932e51b724cdd44d4842586b9ce37260bf7aaa.pkl │ ├── gpt3_test_f307d52964c295e2005c5e782b688c24388e0cecadf29f1e6fc7f394236ea9c0.pkl │ ├── gsm8k-v0-greedy_until │ ├── gsm8k-v0-res.json │ ├── headqa-v0-loglikelihood │ ├── headqa-v0-res.json │ ├── headqa_en-v0-loglikelihood │ ├── headqa_en-v0-res.json │ ├── headqa_es-v0-loglikelihood │ ├── headqa_es-v0-res.json │ ├── hellaswag-v0-loglikelihood │ ├── hellaswag-v0-res.json │ ├── hendrycksTest-abstract_algebra-v0-loglikelihood │ ├── hendrycksTest-abstract_algebra-v0-res.json │ ├── hendrycksTest-anatomy-v0-loglikelihood │ ├── hendrycksTest-anatomy-v0-res.json │ ├── hendrycksTest-astronomy-v0-loglikelihood │ ├── hendrycksTest-astronomy-v0-res.json │ ├── hendrycksTest-business_ethics-v0-loglikelihood │ ├── hendrycksTest-business_ethics-v0-res.json │ ├── hendrycksTest-clinical_knowledge-v0-loglikelihood │ ├── hendrycksTest-clinical_knowledge-v0-res.json │ ├── hendrycksTest-college_biology-v0-loglikelihood │ ├── hendrycksTest-college_biology-v0-res.json │ ├── hendrycksTest-college_chemistry-v0-loglikelihood │ ├── hendrycksTest-college_chemistry-v0-res.json │ ├── hendrycksTest-college_computer_science-v0-loglikelihood │ ├── hendrycksTest-college_computer_science-v0-res.json │ ├── hendrycksTest-college_mathematics-v0-loglikelihood │ ├── hendrycksTest-college_mathematics-v0-res.json │ ├── hendrycksTest-college_medicine-v0-loglikelihood │ ├── hendrycksTest-college_medicine-v0-res.json │ ├── hendrycksTest-college_physics-v0-loglikelihood │ ├── hendrycksTest-college_physics-v0-res.json │ ├── hendrycksTest-computer_security-v0-loglikelihood │ ├── hendrycksTest-computer_security-v0-res.json │ ├── hendrycksTest-conceptual_physics-v0-loglikelihood │ ├── hendrycksTest-conceptual_physics-v0-res.json │ ├── hendrycksTest-econometrics-v0-loglikelihood │ ├── hendrycksTest-econometrics-v0-res.json │ ├── hendrycksTest-electrical_engineering-v0-loglikelihood │ ├── hendrycksTest-electrical_engineering-v0-res.json │ ├── hendrycksTest-elementary_mathematics-v0-loglikelihood │ ├── hendrycksTest-elementary_mathematics-v0-res.json │ ├── hendrycksTest-formal_logic-v0-loglikelihood │ ├── hendrycksTest-formal_logic-v0-res.json │ ├── hendrycksTest-global_facts-v0-loglikelihood │ ├── hendrycksTest-global_facts-v0-res.json │ ├── hendrycksTest-high_school_biology-v0-loglikelihood │ ├── hendrycksTest-high_school_biology-v0-res.json │ ├── hendrycksTest-high_school_chemistry-v0-loglikelihood │ ├── hendrycksTest-high_school_chemistry-v0-res.json │ ├── hendrycksTest-high_school_computer_science-v0-loglikelihood │ ├── hendrycksTest-high_school_computer_science-v0-res.json │ ├── hendrycksTest-high_school_european_history-v0-loglikelihood │ ├── hendrycksTest-high_school_european_history-v0-res.json │ ├── hendrycksTest-high_school_geography-v0-loglikelihood │ ├── hendrycksTest-high_school_geography-v0-res.json │ ├── hendrycksTest-high_school_government_and_politics-v0-loglikelihood │ ├── hendrycksTest-high_school_government_and_politics-v0-res.json │ ├── hendrycksTest-high_school_macroeconomics-v0-loglikelihood │ ├── hendrycksTest-high_school_macroeconomics-v0-res.json │ ├── hendrycksTest-high_school_mathematics-v0-loglikelihood │ ├── hendrycksTest-high_school_mathematics-v0-res.json │ ├── hendrycksTest-high_school_microeconomics-v0-loglikelihood │ ├── hendrycksTest-high_school_microeconomics-v0-res.json │ ├── hendrycksTest-high_school_physics-v0-loglikelihood │ ├── hendrycksTest-high_school_physics-v0-res.json │ ├── hendrycksTest-high_school_psychology-v0-loglikelihood │ ├── hendrycksTest-high_school_psychology-v0-res.json │ ├── hendrycksTest-high_school_statistics-v0-loglikelihood │ ├── hendrycksTest-high_school_statistics-v0-res.json │ ├── hendrycksTest-high_school_us_history-v0-loglikelihood │ ├── hendrycksTest-high_school_us_history-v0-res.json │ ├── hendrycksTest-high_school_world_history-v0-loglikelihood │ ├── hendrycksTest-high_school_world_history-v0-res.json │ ├── hendrycksTest-human_aging-v0-loglikelihood │ ├── hendrycksTest-human_aging-v0-res.json │ ├── hendrycksTest-human_sexuality-v0-loglikelihood │ ├── hendrycksTest-human_sexuality-v0-res.json │ ├── hendrycksTest-international_law-v0-loglikelihood │ ├── hendrycksTest-international_law-v0-res.json │ ├── hendrycksTest-jurisprudence-v0-loglikelihood │ ├── hendrycksTest-jurisprudence-v0-res.json │ ├── hendrycksTest-logical_fallacies-v0-loglikelihood │ ├── hendrycksTest-logical_fallacies-v0-res.json │ ├── hendrycksTest-machine_learning-v0-loglikelihood │ ├── hendrycksTest-machine_learning-v0-res.json │ ├── hendrycksTest-management-v0-loglikelihood │ ├── hendrycksTest-management-v0-res.json │ ├── hendrycksTest-marketing-v0-loglikelihood │ ├── hendrycksTest-marketing-v0-res.json │ ├── hendrycksTest-medical_genetics-v0-loglikelihood │ ├── hendrycksTest-medical_genetics-v0-res.json │ ├── hendrycksTest-miscellaneous-v0-loglikelihood │ ├── hendrycksTest-miscellaneous-v0-res.json │ ├── hendrycksTest-moral_disputes-v0-loglikelihood │ ├── hendrycksTest-moral_disputes-v0-res.json │ ├── hendrycksTest-moral_scenarios-v0-loglikelihood │ ├── hendrycksTest-moral_scenarios-v0-res.json │ ├── hendrycksTest-nutrition-v0-loglikelihood │ ├── hendrycksTest-nutrition-v0-res.json │ ├── hendrycksTest-philosophy-v0-loglikelihood │ ├── hendrycksTest-philosophy-v0-res.json │ ├── hendrycksTest-prehistory-v0-loglikelihood │ ├── hendrycksTest-prehistory-v0-res.json │ ├── hendrycksTest-professional_accounting-v0-loglikelihood │ ├── hendrycksTest-professional_accounting-v0-res.json │ ├── hendrycksTest-professional_law-v0-loglikelihood │ ├── hendrycksTest-professional_law-v0-res.json │ ├── hendrycksTest-professional_medicine-v0-loglikelihood │ ├── hendrycksTest-professional_medicine-v0-res.json │ ├── hendrycksTest-professional_psychology-v0-loglikelihood │ ├── hendrycksTest-professional_psychology-v0-res.json │ ├── hendrycksTest-public_relations-v0-loglikelihood │ ├── hendrycksTest-public_relations-v0-res.json │ ├── hendrycksTest-security_studies-v0-loglikelihood │ ├── hendrycksTest-security_studies-v0-res.json │ ├── hendrycksTest-sociology-v0-loglikelihood │ ├── hendrycksTest-sociology-v0-res.json │ ├── hendrycksTest-us_foreign_policy-v0-loglikelihood │ ├── hendrycksTest-us_foreign_policy-v0-res.json │ ├── hendrycksTest-virology-v0-loglikelihood │ ├── hendrycksTest-virology-v0-res.json │ ├── hendrycksTest-world_religions-v0-loglikelihood │ ├── hendrycksTest-world_religions-v0-res.json │ ├── iwslt17-ar-en-v0-greedy_until │ ├── iwslt17-ar-en-v0-res.json │ ├── iwslt17-en-ar-v0-greedy_until │ ├── iwslt17-en-ar-v0-res.json │ ├── lambada-v0-loglikelihood │ ├── lambada-v0-res.json │ ├── lambada_cloze-v0-loglikelihood │ ├── lambada_cloze-v0-res.json │ ├── lambada_mt_de-v0-loglikelihood │ ├── lambada_mt_de-v0-res.json │ ├── lambada_mt_en-v0-loglikelihood │ ├── lambada_mt_en-v0-res.json │ ├── lambada_mt_es-v0-loglikelihood │ ├── lambada_mt_es-v0-res.json │ ├── lambada_mt_fr-v0-loglikelihood │ ├── lambada_mt_fr-v0-res.json │ ├── lambada_mt_it-v0-loglikelihood │ ├── lambada_mt_it-v0-res.json │ ├── lambada_openai-v0-loglikelihood │ ├── lambada_openai-v0-res.json │ ├── lambada_openai-v2.0-loglikelihood │ ├── lambada_openai-v2.0-res.json │ ├── lambada_openai_10_hf_pretrained-EleutherAI-pythia-14m-deduped-dtype-float32-device-cpu.txt │ ├── lambada_openai_cloze-v0-loglikelihood │ ├── lambada_openai_cloze-v0-res.json │ ├── lambada_openai_mt_de-v0-loglikelihood │ ├── lambada_openai_mt_de-v0-res.json │ ├── lambada_openai_mt_en-v0-loglikelihood │ ├── lambada_openai_mt_en-v0-res.json │ ├── lambada_openai_mt_es-v0-loglikelihood │ ├── lambada_openai_mt_es-v0-res.json │ ├── lambada_openai_mt_fr-v0-loglikelihood │ ├── lambada_openai_mt_fr-v0-res.json │ ├── lambada_openai_mt_it-v0-loglikelihood │ ├── lambada_openai_mt_it-v0-res.json │ ├── lambada_standard-v0-loglikelihood │ ├── lambada_standard-v0-res.json │ ├── lambada_standard_cloze-v0-loglikelihood │ ├── lambada_standard_cloze-v0-res.json │ ├── logiqa-v0-loglikelihood │ ├── logiqa-v0-res.json │ ├── math_algebra-v0-greedy_until │ ├── math_algebra-v0-res.json │ ├── math_algebra-v1-greedy_until │ ├── math_algebra-v1-res.json │ ├── math_counting_and_prob-v0-greedy_until │ ├── math_counting_and_prob-v0-res.json │ ├── math_counting_and_prob-v1-greedy_until │ ├── math_counting_and_prob-v1-res.json │ ├── math_geometry-v0-greedy_until │ ├── math_geometry-v0-res.json │ ├── math_geometry-v1-greedy_until │ ├── math_geometry-v1-res.json │ ├── math_intermediate_algebra-v0-greedy_until │ ├── math_intermediate_algebra-v0-res.json │ ├── math_intermediate_algebra-v1-greedy_until │ ├── math_intermediate_algebra-v1-res.json │ ├── math_num_theory-v0-greedy_until │ ├── math_num_theory-v0-res.json │ ├── math_num_theory-v1-greedy_until │ ├── math_num_theory-v1-res.json │ ├── math_prealgebra-v0-greedy_until │ ├── math_prealgebra-v0-res.json │ ├── math_prealgebra-v1-greedy_until │ ├── math_prealgebra-v1-res.json │ ├── math_precalc-v0-greedy_until │ ├── math_precalc-v0-res.json │ ├── math_precalc-v1-greedy_until │ ├── math_precalc-v1-res.json │ ├── mathqa-v0-loglikelihood │ ├── mathqa-v0-res.json │ ├── mc_taco-v0-loglikelihood │ ├── mc_taco-v0-res.json │ ├── mmlu_stem_10_hf_pretrained-EleutherAI-pythia-14m-deduped-dtype-float32-device-cpu.txt │ ├── mnli-v0-loglikelihood │ ├── mnli-v0-res.json │ ├── mnli_mismatched-v0-loglikelihood │ ├── mnli_mismatched-v0-res.json │ ├── mrpc-v0-loglikelihood │ ├── mrpc-v0-res.json │ ├── multirc-v0-loglikelihood │ ├── multirc-v0-res.json │ ├── multirc-v1-loglikelihood │ ├── multirc-v1-res.json │ ├── mutual-v0-loglikelihood │ ├── mutual-v0-res.json │ ├── mutual-v1-loglikelihood │ ├── mutual-v1-res.json │ ├── mutual_plus-v0-loglikelihood │ ├── mutual_plus-v0-res.json │ ├── mutual_plus-v1-loglikelihood │ ├── mutual_plus-v1-res.json │ ├── openbookqa-v0-loglikelihood │ ├── openbookqa-v0-res.json │ ├── pile_arxiv-v0-loglikelihood_rolling │ ├── pile_arxiv-v0-res.json │ ├── pile_arxiv-v1-loglikelihood_rolling │ ├── pile_arxiv-v1-res.json │ ├── pile_bookcorpus2-v0-loglikelihood_rolling │ ├── pile_bookcorpus2-v0-res.json │ ├── pile_bookcorpus2-v1-loglikelihood_rolling │ ├── pile_bookcorpus2-v1-res.json │ ├── pile_books3-v0-loglikelihood_rolling │ ├── pile_books3-v0-res.json │ ├── pile_books3-v1-loglikelihood_rolling │ ├── pile_books3-v1-res.json │ ├── pile_dm-mathematics-v0-loglikelihood_rolling │ ├── pile_dm-mathematics-v0-res.json │ ├── pile_dm-mathematics-v1-loglikelihood_rolling │ ├── pile_dm-mathematics-v1-res.json │ ├── pile_enron-v0-loglikelihood_rolling │ ├── pile_enron-v0-res.json │ ├── pile_enron-v1-loglikelihood_rolling │ ├── pile_enron-v1-res.json │ ├── pile_europarl-v0-loglikelihood_rolling │ ├── pile_europarl-v0-res.json │ ├── pile_europarl-v1-loglikelihood_rolling │ ├── pile_europarl-v1-res.json │ ├── pile_freelaw-v0-loglikelihood_rolling │ ├── pile_freelaw-v0-res.json │ ├── pile_freelaw-v1-loglikelihood_rolling │ ├── pile_freelaw-v1-res.json │ ├── pile_github-v0-loglikelihood_rolling │ ├── pile_github-v0-res.json │ ├── pile_github-v1-loglikelihood_rolling │ ├── pile_github-v1-res.json │ ├── pile_gutenberg-v0-loglikelihood_rolling │ ├── pile_gutenberg-v0-res.json │ ├── pile_gutenberg-v1-loglikelihood_rolling │ ├── pile_gutenberg-v1-res.json │ ├── pile_hackernews-v0-loglikelihood_rolling │ ├── pile_hackernews-v0-res.json │ ├── pile_hackernews-v1-loglikelihood_rolling │ ├── pile_hackernews-v1-res.json │ ├── pile_nih-exporter-v0-loglikelihood_rolling │ ├── pile_nih-exporter-v0-res.json │ ├── pile_nih-exporter-v1-loglikelihood_rolling │ ├── pile_nih-exporter-v1-res.json │ ├── pile_opensubtitles-v0-loglikelihood_rolling │ ├── pile_opensubtitles-v0-res.json │ ├── pile_opensubtitles-v1-loglikelihood_rolling │ ├── pile_opensubtitles-v1-res.json │ ├── pile_openwebtext2-v0-loglikelihood_rolling │ ├── pile_openwebtext2-v0-res.json │ ├── pile_openwebtext2-v1-loglikelihood_rolling │ ├── pile_openwebtext2-v1-res.json │ ├── pile_philpapers-v0-loglikelihood_rolling │ ├── pile_philpapers-v0-res.json │ ├── pile_philpapers-v1-loglikelihood_rolling │ ├── pile_philpapers-v1-res.json │ ├── pile_pile-cc-v0-loglikelihood_rolling │ ├── pile_pile-cc-v0-res.json │ ├── pile_pile-cc-v1-loglikelihood_rolling │ ├── pile_pile-cc-v1-res.json │ ├── pile_pubmed-abstracts-v0-loglikelihood_rolling │ ├── pile_pubmed-abstracts-v0-res.json │ ├── pile_pubmed-abstracts-v1-loglikelihood_rolling │ ├── pile_pubmed-abstracts-v1-res.json │ ├── pile_pubmed-central-v0-loglikelihood_rolling │ ├── pile_pubmed-central-v0-res.json │ ├── pile_pubmed-central-v1-loglikelihood_rolling │ ├── pile_pubmed-central-v1-res.json │ ├── pile_stackexchange-v0-loglikelihood_rolling │ ├── pile_stackexchange-v0-res.json │ ├── pile_stackexchange-v1-loglikelihood_rolling │ ├── pile_stackexchange-v1-res.json │ ├── pile_ubuntu-irc-v0-loglikelihood_rolling │ ├── pile_ubuntu-irc-v0-res.json │ ├── pile_ubuntu-irc-v1-loglikelihood_rolling │ ├── pile_ubuntu-irc-v1-res.json │ ├── pile_uspto-v0-loglikelihood_rolling │ ├── pile_uspto-v0-res.json │ ├── pile_uspto-v1-loglikelihood_rolling │ ├── pile_uspto-v1-res.json │ ├── pile_wikipedia-v0-loglikelihood_rolling │ ├── pile_wikipedia-v0-res.json │ ├── pile_wikipedia-v1-loglikelihood_rolling │ ├── pile_wikipedia-v1-res.json │ ├── pile_youtubesubtitles-v0-loglikelihood_rolling │ ├── pile_youtubesubtitles-v0-res.json │ ├── pile_youtubesubtitles-v1-loglikelihood_rolling │ ├── pile_youtubesubtitles-v1-res.json │ ├── piqa-v0-loglikelihood │ ├── piqa-v0-res.json │ ├── prost-v0-loglikelihood │ ├── prost-v0-res.json │ ├── pubmedqa-v0-loglikelihood │ ├── pubmedqa-v0-res.json │ ├── qa4mre_2011-v0-loglikelihood │ ├── qa4mre_2011-v0-res.json │ ├── qa4mre_2012-v0-loglikelihood │ ├── qa4mre_2012-v0-res.json │ ├── qa4mre_2013-v0-loglikelihood │ ├── qa4mre_2013-v0-res.json │ ├── qnli-v0-loglikelihood │ ├── qnli-v0-res.json │ ├── qqp-v0-loglikelihood │ ├── qqp-v0-res.json │ ├── race-v0-loglikelihood │ ├── race-v0-res.json │ ├── random_insertion-v0-greedy_until │ ├── random_insertion-v0-res.json │ ├── record-v0-loglikelihood │ ├── record-v0-res.json │ ├── reversed_words-v0-greedy_until │ ├── reversed_words-v0-res.json │ ├── rte-v0-loglikelihood │ ├── rte-v0-res.json │ ├── sciq-v0-loglikelihood │ ├── sciq-v0-res.json │ ├── squad2-v0-greedy_until │ ├── squad2-v0-loglikelihood │ ├── squad2-v0-res.json │ ├── squad2-v1-greedy_until │ ├── squad2-v1-loglikelihood │ ├── squad2-v1-res.json │ ├── sst-v0-loglikelihood │ ├── sst-v0-res.json │ ├── swag-v0-loglikelihood │ ├── swag-v0-res.json │ ├── textsynth_test_0a89c2739f9598b4be2674b0a8e43931d7f3f0b696970bcba31f9b52bdf12297.pkl │ ├── textsynth_test_0c1c14571add7903b89e588c8212572b95bb57b334fc0752c89a7e045a5f63ae.pkl │ ├── textsynth_test_3092d07756f3e1d010c07524cc8a2ecba7f0c19f9e39f2aaf2bf440bfe328004.pkl │ ├── textsynth_test_434076260b6af3a46b7a5eaceec3306a5872c400a3872f744280b237455a0f8e.pkl │ ├── textsynth_test_49c47ae40e11f349f2f6b492128188b1b2bc103a421c676ee4b2142a68b43516.pkl │ ├── textsynth_test_4fd8d66a6dad7f602b40e5d7dc298d6fe329299d086a4659743a41f4a4012659.pkl │ ├── textsynth_test_51b5302f157cf224f694ccad973f255ae19e9e061d533256bdf75b04e0a917ab.pkl │ ├── textsynth_test_6d6c62dd70caaa208712bf766deaf419cfac89538d4ab7745621e339394c0c23.pkl │ ├── textsynth_test_7209c4617547bfe17cb9e7f5f735fe35822d650aefdc5fbeeaf0c1724effbe09.pkl │ ├── textsynth_test_7afdc285388e51094e12645f305328c759574fa3ec9751631025f8ad5ebf9f3e.pkl │ ├── textsynth_test_9d5f33dbfe1e254928c89f5ed85e4c010d888065f55a8f1b863bc1eb0340a5f2.pkl │ ├── textsynth_test_abcbcba648d89e5d81a50511a6d24ddeb538de2ffe108c1370dd74ce6ac8038d.pkl │ ├── textsynth_test_b1cbb29666cce5e31a1e97695858137398a0885ca5d5d98f515404fb6aeb99e7.pkl │ ├── textsynth_test_e7ad1e9f52a39e1ddd1e50f3c57ffa4546728dd150a67c0a0ddc8675c04e15d1.pkl │ ├── textsynth_test_f4bfe4beb605bd52a8ab6be3c9293639e7e2261d98de58159d15ccb83131bf4e.pkl │ ├── toxigen-v0-loglikelihood │ ├── toxigen-v0-res.json │ ├── triviaqa-v0-loglikelihood │ ├── triviaqa-v0-res.json │ ├── triviaqa-v1-loglikelihood │ ├── triviaqa-v1-res.json │ ├── truthfulqa_gen-v0-greedy_until │ ├── truthfulqa_gen-v0-res.json │ ├── truthfulqa_gen-v1-greedy_until │ ├── truthfulqa_gen-v1-res.json │ ├── truthfulqa_mc-v0-loglikelihood │ ├── truthfulqa_mc-v0-res.json │ ├── truthfulqa_mc-v1-loglikelihood │ ├── truthfulqa_mc-v1-res.json │ ├── webqs-v0-loglikelihood │ ├── webqs-v0-res.json │ ├── wic-v0-loglikelihood │ ├── wic-v0-res.json │ ├── wikitext-v0-loglikelihood_rolling │ ├── wikitext-v0-res.json │ ├── wikitext-v1-loglikelihood_rolling │ ├── wikitext-v1-res.json │ ├── wikitext_10_hf_pretrained-EleutherAI-pythia-14m-deduped-dtype-float32-device-cpu.txt │ ├── winogrande-v0-loglikelihood │ ├── winogrande-v0-res.json │ ├── wmt14-en-fr-v0-greedy_until │ ├── wmt14-en-fr-v0-res.json │ ├── wmt14-fr-en-v0-greedy_until │ ├── wmt14-fr-en-v0-res.json │ ├── wmt16-de-en-v0-greedy_until │ ├── wmt16-de-en-v0-res.json │ ├── wmt16-en-de-v0-greedy_until │ ├── wmt16-en-de-v0-res.json │ ├── wmt16-en-ro-v0-greedy_until │ ├── wmt16-en-ro-v0-res.json │ ├── wmt16-ro-en-v0-greedy_until │ ├── wmt16-ro-en-v0-res.json │ ├── wmt20-cs-en-v0-greedy_until │ ├── wmt20-cs-en-v0-res.json │ ├── wmt20-de-en-v0-greedy_until │ ├── wmt20-de-en-v0-res.json │ ├── wmt20-de-fr-v0-greedy_until │ ├── wmt20-de-fr-v0-res.json │ ├── wmt20-en-cs-v0-greedy_until │ ├── wmt20-en-cs-v0-res.json │ ├── wmt20-en-de-v0-greedy_until │ ├── wmt20-en-de-v0-res.json │ ├── wmt20-en-iu-v0-greedy_until │ ├── wmt20-en-iu-v0-res.json │ ├── wmt20-en-ja-v0-greedy_until │ ├── wmt20-en-ja-v0-res.json │ ├── wmt20-en-ja-v1-greedy_until │ ├── wmt20-en-ja-v1-res.json │ ├── wmt20-en-km-v0-greedy_until │ ├── wmt20-en-km-v0-res.json │ ├── wmt20-en-pl-v0-greedy_until │ ├── wmt20-en-pl-v0-res.json │ ├── wmt20-en-ps-v0-greedy_until │ ├── wmt20-en-ps-v0-res.json │ ├── wmt20-en-ru-v0-greedy_until │ ├── wmt20-en-ru-v0-res.json │ ├── wmt20-en-ta-v0-greedy_until │ ├── wmt20-en-ta-v0-res.json │ ├── wmt20-en-zh-v0-greedy_until │ ├── wmt20-en-zh-v0-res.json │ ├── wmt20-en-zh-v1-greedy_until │ ├── wmt20-en-zh-v1-res.json │ ├── wmt20-fr-de-v0-greedy_until │ ├── wmt20-fr-de-v0-res.json │ ├── wmt20-iu-en-v0-greedy_until │ ├── wmt20-iu-en-v0-res.json │ ├── wmt20-ja-en-v0-greedy_until │ ├── wmt20-ja-en-v0-res.json │ ├── wmt20-km-en-v0-greedy_until │ ├── wmt20-km-en-v0-res.json │ ├── wmt20-pl-en-v0-greedy_until │ ├── wmt20-pl-en-v0-res.json │ ├── wmt20-ps-en-v0-greedy_until │ ├── wmt20-ps-en-v0-res.json │ ├── wmt20-ru-en-v0-greedy_until │ ├── wmt20-ru-en-v0-res.json │ ├── wmt20-ta-en-v0-greedy_until │ ├── wmt20-ta-en-v0-res.json │ ├── wmt20-zh-en-v0-greedy_until │ ├── wmt20-zh-en-v0-res.json │ ├── wnli-v0-loglikelihood │ ├── wnli-v0-res.json │ ├── wnli-v1-loglikelihood │ ├── wnli-v1-res.json │ ├── wsc-v0-loglikelihood │ ├── wsc-v0-res.json │ ├── wsc273-v0-loglikelihood │ └── wsc273-v0-res.json ├── testyamls/ │ └── test-01.yaml └── utils.py