Copy disabled (too large)
Download .txt
Showing preview only (134,097K chars total). Download the full file to get everything.
Repository: huggingface/fineweb-2
Branch: main
Commit: d0defb24f193
Files: 7704
Total size: 228.9 MB
Directory structure:
gitextract_xum9dop4/
├── LICENSE
├── README.md
├── ablations/
│ ├── evaluation/
│ │ ├── launch_evals.py
│ │ ├── launch_random_evals.py
│ │ └── run_all_missing_evals.sh
│ ├── tokenization/
│ │ └── launch_tokenization.py
│ └── training/
│ └── launch_exp.py
├── configs/
│ ├── aai_Latn.yml
│ ├── aak_Latn.yml
│ ├── aau_Latn.yml
│ ├── aaz_Latn.yml
│ ├── aba_Latn.yml
│ ├── abi_Latn.yml
│ ├── abk_Cyrl.yml
│ ├── abn_Latn.yml
│ ├── abq_Cyrl.yml
│ ├── abs_Latn.yml
│ ├── abt_Latn.yml
│ ├── abx_Latn.yml
│ ├── aby_Latn.yml
│ ├── abz_Latn.yml
│ ├── aca_Latn.yml
│ ├── acd_Latn.yml
│ ├── ace_Arab.yml
│ ├── ace_Latn.yml
│ ├── acf_Latn.yml
│ ├── ach_Latn.yml
│ ├── acm_Arab.yml
│ ├── acn_Latn.yml
│ ├── acr_Latn.yml
│ ├── acu_Latn.yml
│ ├── ada_Latn.yml
│ ├── ade_Latn.yml
│ ├── adh_Latn.yml
│ ├── adi_Latn.yml
│ ├── adj_Latn.yml
│ ├── adl_Latn.yml
│ ├── ady_Cyrl.yml
│ ├── adz_Latn.yml
│ ├── aeb_Arab.yml
│ ├── aer_Latn.yml
│ ├── aeu_Latn.yml
│ ├── aey_Latn.yml
│ ├── afr_Latn.yml
│ ├── agd_Latn.yml
│ ├── agg_Latn.yml
│ ├── agm_Latn.yml
│ ├── agn_Latn.yml
│ ├── agr_Latn.yml
│ ├── agt_Latn.yml
│ ├── agu_Latn.yml
│ ├── agw_Latn.yml
│ ├── agx_Cyrl.yml
│ ├── aha_Latn.yml
│ ├── ahk_Latn.yml
│ ├── aia_Latn.yml
│ ├── aii_Syrc.yml
│ ├── aim_Latn.yml
│ ├── ain_Latn.yml
│ ├── ajg_Latn.yml
│ ├── aji_Latn.yml
│ ├── ajz_Latn.yml
│ ├── akb_Latn.yml
│ ├── ake_Latn.yml
│ ├── akh_Latn.yml
│ ├── akp_Latn.yml
│ ├── ald_Latn.yml
│ ├── alj_Latn.yml
│ ├── aln_Latn.yml
│ ├── alp_Latn.yml
│ ├── alq_Latn.yml
│ ├── als_Latn.yml
│ ├── alt_Cyrl.yml
│ ├── aly_Latn.yml
│ ├── alz_Latn.yml
│ ├── ame_Latn.yml
│ ├── amf_Latn.yml
│ ├── amh_Ethi.yml
│ ├── ami_Latn.yml
│ ├── amk_Latn.yml
│ ├── amm_Latn.yml
│ ├── amn_Latn.yml
│ ├── amp_Latn.yml
│ ├── amr_Latn.yml
│ ├── amu_Latn.yml
│ ├── amx_Latn.yml
│ ├── ang_Latn.yml
│ ├── anm_Latn.yml
│ ├── ann_Latn.yml
│ ├── anp_Deva.yml
│ ├── anv_Latn.yml
│ ├── any_Latn.yml
│ ├── aoi_Latn.yml
│ ├── aoj_Latn.yml
│ ├── aom_Latn.yml
│ ├── aoz_Latn.yml
│ ├── apb_Latn.yml
│ ├── apc_Arab.yml
│ ├── ape_Latn.yml
│ ├── apn_Latn.yml
│ ├── apr_Latn.yml
│ ├── apt_Latn.yml
│ ├── apu_Latn.yml
│ ├── apw_Latn.yml
│ ├── apy_Latn.yml
│ ├── apz_Latn.yml
│ ├── aqz_Latn.yml
│ ├── arb_Arab.yml
│ ├── arb_Latn.yml
│ ├── are_Latn.yml
│ ├── arg_Latn.yml
│ ├── arl_Latn.yml
│ ├── arn_Latn.yml
│ ├── arp_Latn.yml
│ ├── arq_Arab.yml
│ ├── arr_Latn.yml
│ ├── ars_Arab.yml
│ ├── ary_Arab.yml
│ ├── arz_Arab.yml
│ ├── asg_Latn.yml
│ ├── asm_Beng.yml
│ ├── asm_Latn.yml
│ ├── aso_Latn.yml
│ ├── ast_Latn.yml
│ ├── ata_Latn.yml
│ ├── atb_Latn.yml
│ ├── atd_Latn.yml
│ ├── atg_Latn.yml
│ ├── ati_Latn.yml
│ ├── atj_Latn.yml
│ ├── atq_Latn.yml
│ ├── att_Latn.yml
│ ├── auc_Latn.yml
│ ├── aui_Latn.yml
│ ├── auy_Latn.yml
│ ├── ava_Cyrl.yml
│ ├── avk_Latn.yml
│ ├── avn_Latn.yml
│ ├── avt_Latn.yml
│ ├── avu_Latn.yml
│ ├── awa_Deva.yml
│ ├── awb_Latn.yml
│ ├── awi_Latn.yml
│ ├── awx_Latn.yml
│ ├── ayo_Latn.yml
│ ├── ayp_Arab.yml
│ ├── ayr_Latn.yml
│ ├── azb_Arab.yml
│ ├── azg_Latn.yml
│ ├── azj_Cyrl.yml
│ ├── azj_Latn.yml
│ ├── azz_Latn.yml
│ ├── bak_Cyrl.yml
│ ├── bam_Latn.yml
│ ├── ban_Latn.yml
│ ├── bao_Latn.yml
│ ├── bar_Latn.yml
│ ├── bas_Latn.yml
│ ├── bav_Latn.yml
│ ├── bba_Latn.yml
│ ├── bbb_Latn.yml
│ ├── bbc_Latn.yml
│ ├── bbj_Latn.yml
│ ├── bbk_Latn.yml
│ ├── bbo_Latn.yml
│ ├── bbr_Latn.yml
│ ├── bch_Latn.yml
│ ├── bci_Latn.yml
│ ├── bcl_Latn.yml
│ ├── bco_Latn.yml
│ ├── bcw_Latn.yml
│ ├── bdd_Latn.yml
│ ├── bdh_Latn.yml
│ ├── bdq_Latn.yml
│ ├── bea_Latn.yml
│ ├── bef_Latn.yml
│ ├── bel_Cyrl.yml
│ ├── bem_Latn.yml
│ ├── ben_Beng.yml
│ ├── ben_Latn.yml
│ ├── beq_Latn.yml
│ ├── bew_Latn.yml
│ ├── bex_Latn.yml
│ ├── bfd_Latn.yml
│ ├── bfo_Latn.yml
│ ├── bgr_Latn.yml
│ ├── bgs_Latn.yml
│ ├── bgt_Latn.yml
│ ├── bgz_Latn.yml
│ ├── bhg_Latn.yml
│ ├── bhl_Latn.yml
│ ├── bho_Deva.yml
│ ├── bhp_Latn.yml
│ ├── bhw_Latn.yml
│ ├── bhz_Latn.yml
│ ├── bib_Latn.yml
│ ├── big_Latn.yml
│ ├── bim_Latn.yml
│ ├── bin_Latn.yml
│ ├── bis_Latn.yml
│ ├── biu_Latn.yml
│ ├── biv_Latn.yml
│ ├── bjn_Arab.yml
│ ├── bjn_Latn.yml
│ ├── bjp_Latn.yml
│ ├── bjr_Latn.yml
│ ├── bjv_Latn.yml
│ ├── bkd_Latn.yml
│ ├── bkl_Latn.yml
│ ├── bkq_Latn.yml
│ ├── bku_Latn.yml
│ ├── bkv_Latn.yml
│ ├── bla_Latn.yml
│ ├── blh_Latn.yml
│ ├── blk_Mymr.yml
│ ├── blt_Latn.yml
│ ├── blw_Latn.yml
│ ├── blz_Latn.yml
│ ├── bmh_Latn.yml
│ ├── bmk_Latn.yml
│ ├── bmq_Latn.yml
│ ├── bmr_Latn.yml
│ ├── bmu_Latn.yml
│ ├── bmv_Latn.yml
│ ├── bnj_Latn.yml
│ ├── bno_Latn.yml
│ ├── bnp_Latn.yml
│ ├── boa_Latn.yml
│ ├── bod_Tibt.yml
│ ├── boj_Latn.yml
│ ├── bom_Latn.yml
│ ├── bon_Latn.yml
│ ├── bor_Latn.yml
│ ├── bos_Latn.yml
│ ├── bov_Latn.yml
│ ├── box_Latn.yml
│ ├── bpr_Latn.yml
│ ├── bps_Latn.yml
│ ├── bpy_Beng.yml
│ ├── bqc_Latn.yml
│ ├── bqj_Latn.yml
│ ├── bqp_Latn.yml
│ ├── bre_Latn.yml
│ ├── brh_Arab.yml
│ ├── bru_Latn.yml
│ ├── brx_Deva.yml
│ ├── brx_Latn.yml
│ ├── bsc_Latn.yml
│ ├── bsn_Latn.yml
│ ├── bsp_Latn.yml
│ ├── bsq_Latn.yml
│ ├── bss_Latn.yml
│ ├── btd_Latn.yml
│ ├── bth_Latn.yml
│ ├── bts_Latn.yml
│ ├── btt_Latn.yml
│ ├── btx_Latn.yml
│ ├── bud_Latn.yml
│ ├── bug_Latn.yml
│ ├── buk_Latn.yml
│ ├── bul_Cyrl.yml
│ ├── bum_Latn.yml
│ ├── bus_Latn.yml
│ ├── bvc_Latn.yml
│ ├── bvd_Latn.yml
│ ├── bvr_Latn.yml
│ ├── bvz_Latn.yml
│ ├── bwd_Latn.yml
│ ├── bwi_Latn.yml
│ ├── bwq_Latn.yml
│ ├── bwu_Latn.yml
│ ├── bxh_Latn.yml
│ ├── bxr_Cyrl.yml
│ ├── byr_Latn.yml
│ ├── byv_Latn.yml
│ ├── byx_Latn.yml
│ ├── bzd_Latn.yml
│ ├── bzh_Latn.yml
│ ├── bzi_Thai.yml
│ ├── bzj_Latn.yml
│ ├── caa_Latn.yml
│ ├── cab_Latn.yml
│ ├── cac_Latn.yml
│ ├── caf_Latn.yml
│ ├── cag_Latn.yml
│ ├── cak_Latn.yml
│ ├── cao_Latn.yml
│ ├── cap_Latn.yml
│ ├── caq_Latn.yml
│ ├── car_Latn.yml
│ ├── cas_Latn.yml
│ ├── cat_Latn.yml
│ ├── cav_Latn.yml
│ ├── cax_Latn.yml
│ ├── cbc_Latn.yml
│ ├── cbi_Latn.yml
│ ├── cbk_Latn.yml
│ ├── cbr_Latn.yml
│ ├── cbs_Latn.yml
│ ├── cbt_Latn.yml
│ ├── cbu_Latn.yml
│ ├── cbv_Latn.yml
│ ├── cce_Latn.yml
│ ├── cco_Latn.yml
│ ├── ccp_Latn.yml
│ ├── cdf_Latn.yml
│ ├── ceb_Latn.yml
│ ├── ceg_Latn.yml
│ ├── cek_Latn.yml
│ ├── ces_Latn.yml
│ ├── cfm_Latn.yml
│ ├── cgc_Latn.yml
│ ├── cgg_Latn.yml
│ ├── cha_Latn.yml
│ ├── chd_Latn.yml
│ ├── che_Cyrl.yml
│ ├── chf_Latn.yml
│ ├── chj_Latn.yml
│ ├── chk_Latn.yml
│ ├── cho_Latn.yml
│ ├── chq_Latn.yml
│ ├── chr_Cher.yml
│ ├── chr_Latn.yml
│ ├── chu_Cyrl.yml
│ ├── chv_Cyrl.yml
│ ├── chw_Latn.yml
│ ├── chz_Latn.yml
│ ├── cjk_Latn.yml
│ ├── cjo_Latn.yml
│ ├── cjp_Latn.yml
│ ├── cjs_Cyrl.yml
│ ├── cjv_Latn.yml
│ ├── ckb_Arab.yml
│ ├── cko_Latn.yml
│ ├── ckt_Cyrl.yml
│ ├── cle_Latn.yml
│ ├── clu_Latn.yml
│ ├── cly_Latn.yml
│ ├── cme_Latn.yml
│ ├── cmn_Hani.yml
│ ├── cmo_Khmr.yml
│ ├── cmo_Latn.yml
│ ├── cmr_Latn.yml
│ ├── cnh_Latn.yml
│ ├── cni_Latn.yml
│ ├── cnk_Latn.yml
│ ├── cnl_Latn.yml
│ ├── cnt_Latn.yml
│ ├── cnw_Latn.yml
│ ├── coe_Latn.yml
│ ├── cof_Latn.yml
│ ├── cok_Latn.yml
│ ├── con_Latn.yml
│ ├── cop_Copt.yml
│ ├── cor_Latn.yml
│ ├── cos_Latn.yml
│ ├── cot_Latn.yml
│ ├── cou_Latn.yml
│ ├── cpa_Latn.yml
│ ├── cpb_Latn.yml
│ ├── cpc_Latn.yml
│ ├── cpu_Latn.yml
│ ├── cpy_Latn.yml
│ ├── crh_Cyrl.yml
│ ├── crh_Latn.yml
│ ├── cri_Latn.yml
│ ├── crj_Cans.yml
│ ├── crk_Cans.yml
│ ├── crk_Latn.yml
│ ├── crl_Cans.yml
│ ├── crm_Cans.yml
│ ├── crn_Latn.yml
│ ├── crs_Latn.yml
│ ├── crt_Latn.yml
│ ├── crx_Latn.yml
│ ├── csb_Latn.yml
│ ├── csk_Latn.yml
│ ├── cso_Latn.yml
│ ├── csw_Latn.yml
│ ├── csy_Latn.yml
│ ├── cta_Latn.yml
│ ├── ctd_Latn.yml
│ ├── cto_Latn.yml
│ ├── ctp_Latn.yml
│ ├── ctu_Latn.yml
│ ├── cub_Latn.yml
│ ├── cuc_Latn.yml
│ ├── cui_Latn.yml
│ ├── cuk_Latn.yml
│ ├── cul_Latn.yml
│ ├── cut_Latn.yml
│ ├── cux_Latn.yml
│ ├── cwe_Latn.yml
│ ├── cwt_Latn.yml
│ ├── cya_Latn.yml
│ ├── cym_Latn.yml
│ ├── czt_Latn.yml
│ ├── daa_Latn.yml
│ ├── dad_Latn.yml
│ ├── daf_Latn.yml
│ ├── dag_Latn.yml
│ ├── dah_Latn.yml
│ ├── dak_Latn.yml
│ ├── dan_Latn.yml
│ ├── dar_Cyrl.yml
│ ├── dbq_Latn.yml
│ ├── ddg_Latn.yml
│ ├── ddn_Latn.yml
│ ├── ded_Latn.yml
│ ├── des_Latn.yml
│ ├── deu_Latn.yml
│ ├── dga_Latn.yml
│ ├── dgc_Latn.yml
│ ├── dgi_Latn.yml
│ ├── dgr_Latn.yml
│ ├── dgz_Latn.yml
│ ├── dhg_Latn.yml
│ ├── dhm_Latn.yml
│ ├── dhv_Latn.yml
│ ├── did_Latn.yml
│ ├── dig_Latn.yml
│ ├── dik_Latn.yml
│ ├── dip_Latn.yml
│ ├── diq_Latn.yml
│ ├── dis_Latn.yml
│ ├── diu_Latn.yml
│ ├── div_Thaa.yml
│ ├── dje_Latn.yml
│ ├── djk_Latn.yml
│ ├── djr_Latn.yml
│ ├── dks_Latn.yml
│ ├── dln_Latn.yml
│ ├── dng_Cyrl.yml
│ ├── dnj_Latn.yml
│ ├── dnw_Latn.yml
│ ├── dob_Latn.yml
│ ├── doi_Deva.yml
│ ├── dop_Latn.yml
│ ├── dos_Latn.yml
│ ├── dow_Latn.yml
│ ├── drg_Latn.yml
│ ├── dru_Latn.yml
│ ├── dsb_Latn.yml
│ ├── dsh_Latn.yml
│ ├── dtb_Latn.yml
│ ├── dtp_Latn.yml
│ ├── dts_Latn.yml
│ ├── dty_Deva.yml
│ ├── dua_Latn.yml
│ ├── due_Latn.yml
│ ├── dug_Latn.yml
│ ├── duo_Latn.yml
│ ├── dur_Latn.yml
│ ├── dwr_Latn.yml
│ ├── dww_Latn.yml
│ ├── dyi_Latn.yml
│ ├── dyo_Latn.yml
│ ├── dyu_Latn.yml
│ ├── dzo_Tibt.yml
│ ├── ebk_Latn.yml
│ ├── efi_Latn.yml
│ ├── eka_Latn.yml
│ ├── ekk_Latn.yml
│ ├── eko_Latn.yml
│ ├── ell_Grek.yml
│ ├── eme_Latn.yml
│ ├── emi_Latn.yml
│ ├── eml_Latn.yml
│ ├── emp_Latn.yml
│ ├── enb_Latn.yml
│ ├── enl_Latn.yml
│ ├── enm_Latn.yml
│ ├── enq_Latn.yml
│ ├── enx_Latn.yml
│ ├── epo_Latn.yml
│ ├── eri_Latn.yml
│ ├── ese_Latn.yml
│ ├── esi_Latn.yml
│ ├── esk_Latn.yml
│ ├── ess_Latn.yml
│ ├── esu_Latn.yml
│ ├── eto_Latn.yml
│ ├── etr_Latn.yml
│ ├── etu_Latn.yml
│ ├── eus_Latn.yml
│ ├── eve_Cyrl.yml
│ ├── ewe_Latn.yml
│ ├── ewo_Latn.yml
│ ├── ext_Latn.yml
│ ├── eza_Latn.yml
│ ├── faa_Latn.yml
│ ├── fad_Latn.yml
│ ├── fai_Latn.yml
│ ├── fal_Latn.yml
│ ├── fan_Latn.yml
│ ├── fao_Latn.yml
│ ├── far_Latn.yml
│ ├── fas_Arab.yml
│ ├── fat_Latn.yml
│ ├── ffm_Latn.yml
│ ├── fij_Latn.yml
│ ├── fil_Latn.yml
│ ├── fin_Latn.yml
│ ├── fit_Latn.yml
│ ├── fkv_Latn.yml
│ ├── fmu_Deva.yml
│ ├── fon_Latn.yml
│ ├── for_Latn.yml
│ ├── fra_Latn.yml
│ ├── frd_Latn.yml
│ ├── fro_Latn.yml
│ ├── frp_Latn.yml
│ ├── frr_Latn.yml
│ ├── fry_Latn.yml
│ ├── fub_Latn.yml
│ ├── fud_Latn.yml
│ ├── fue_Latn.yml
│ ├── fuf_Latn.yml
│ ├── fuh_Latn.yml
│ ├── fuq_Latn.yml
│ ├── fur_Latn.yml
│ ├── fuv_Arab.yml
│ ├── fuv_Latn.yml
│ ├── gaa_Latn.yml
│ ├── gag_Cyrl.yml
│ ├── gag_Latn.yml
│ ├── gah_Latn.yml
│ ├── gai_Latn.yml
│ ├── gam_Latn.yml
│ ├── gaw_Latn.yml
│ ├── gaz_Latn.yml
│ ├── gbi_Latn.yml
│ ├── gbo_Latn.yml
│ ├── gbr_Latn.yml
│ ├── gcf_Latn.yml
│ ├── gcr_Latn.yml
│ ├── gde_Latn.yml
│ ├── gdg_Latn.yml
│ ├── gdn_Latn.yml
│ ├── gdr_Latn.yml
│ ├── geb_Latn.yml
│ ├── gej_Latn.yml
│ ├── gfk_Latn.yml
│ ├── ghe_Deva.yml
│ ├── ghs_Latn.yml
│ ├── gid_Latn.yml
│ ├── gil_Latn.yml
│ ├── giz_Latn.yml
│ ├── gjn_Latn.yml
│ ├── gkn_Latn.yml
│ ├── gla_Latn.yml
│ ├── gle_Latn.yml
│ ├── glg_Latn.yml
│ ├── glk_Arab.yml
│ ├── glv_Latn.yml
│ ├── gmh_Latn.yml
│ ├── gmv_Ethi.yml
│ ├── gmv_Latn.yml
│ ├── gna_Latn.yml
│ ├── gnb_Latn.yml
│ ├── gnd_Latn.yml
│ ├── gng_Latn.yml
│ ├── gnn_Latn.yml
│ ├── gnw_Latn.yml
│ ├── goa_Latn.yml
│ ├── gof_Ethi.yml
│ ├── gof_Latn.yml
│ ├── gog_Latn.yml
│ ├── goh_Latn.yml
│ ├── gom_Deva.yml
│ ├── gom_Latn.yml
│ ├── gor_Latn.yml
│ ├── gos_Latn.yml
│ ├── got_Goth.yml
│ ├── got_Latn.yml
│ ├── gqr_Latn.yml
│ ├── grc_Grek.yml
│ ├── grt_Beng.yml
│ ├── gso_Latn.yml
│ ├── gsw_Latn.yml
│ ├── gub_Latn.yml
│ ├── guc_Latn.yml
│ ├── gud_Latn.yml
│ ├── gug_Latn.yml
│ ├── guh_Latn.yml
│ ├── gui_Latn.yml
│ ├── guj_Gujr.yml
│ ├── guj_Latn.yml
│ ├── guk_Ethi.yml
│ ├── gul_Latn.yml
│ ├── gum_Latn.yml
│ ├── gun_Latn.yml
│ ├── guo_Latn.yml
│ ├── guq_Latn.yml
│ ├── gur_Latn.yml
│ ├── guu_Latn.yml
│ ├── guw_Latn.yml
│ ├── gux_Latn.yml
│ ├── guz_Latn.yml
│ ├── gvc_Latn.yml
│ ├── gvf_Latn.yml
│ ├── gvl_Latn.yml
│ ├── gvn_Latn.yml
│ ├── gwi_Latn.yml
│ ├── gwr_Latn.yml
│ ├── gya_Latn.yml
│ ├── gym_Latn.yml
│ ├── gyr_Latn.yml
│ ├── hac_Arab.yml
│ ├── hae_Latn.yml
│ ├── hag_Latn.yml
│ ├── hak_Hani.yml
│ ├── hak_Latn.yml
│ ├── hat_Latn.yml
│ ├── hau_Latn.yml
│ ├── hav_Latn.yml
│ ├── haw_Latn.yml
│ ├── hay_Latn.yml
│ ├── hbo_Hebr.yml
│ ├── hch_Latn.yml
│ ├── heb_Hebr.yml
│ ├── heg_Latn.yml
│ ├── heh_Latn.yml
│ ├── her_Latn.yml
│ ├── hif_Latn.yml
│ ├── hig_Latn.yml
│ ├── hil_Latn.yml
│ ├── hin_Deva.yml
│ ├── hin_Latn.yml
│ ├── hix_Latn.yml
│ ├── hla_Latn.yml
│ ├── hlt_Latn.yml
│ ├── hmo_Latn.yml
│ ├── hmr_Latn.yml
│ ├── hne_Deva.yml
│ ├── hnj_Latn.yml
│ ├── hnn_Latn.yml
│ ├── hns_Latn.yml
│ ├── hoc_Latn.yml
│ ├── hoc_Wara.yml
│ ├── hop_Latn.yml
│ ├── hot_Latn.yml
│ ├── hra_Latn.yml
│ ├── hrv_Latn.yml
│ ├── hrx_Latn.yml
│ ├── hsb_Latn.yml
│ ├── hto_Latn.yml
│ ├── hub_Latn.yml
│ ├── hui_Latn.yml
│ ├── hun_Latn.yml
│ ├── hus_Latn.yml
│ ├── huu_Latn.yml
│ ├── huv_Latn.yml
│ ├── hvn_Latn.yml
│ ├── hwc_Latn.yml
│ ├── hye_Armn.yml
│ ├── hyw_Armn.yml
│ ├── ian_Latn.yml
│ ├── iba_Latn.yml
│ ├── ibg_Latn.yml
│ ├── ibo_Latn.yml
│ ├── icr_Latn.yml
│ ├── ido_Latn.yml
│ ├── idu_Latn.yml
│ ├── ifa_Latn.yml
│ ├── ifb_Latn.yml
│ ├── ife_Latn.yml
│ ├── ifk_Latn.yml
│ ├── ifu_Latn.yml
│ ├── ify_Latn.yml
│ ├── ige_Latn.yml
│ ├── ign_Latn.yml
│ ├── ike_Cans.yml
│ ├── ikk_Latn.yml
│ ├── ikt_Latn.yml
│ ├── ikw_Latn.yml
│ ├── ilb_Latn.yml
│ ├── ile_Latn.yml
│ ├── ilo_Latn.yml
│ ├── imo_Latn.yml
│ ├── ina_Latn.yml
│ ├── inb_Latn.yml
│ ├── ind_Latn.yml
│ ├── inh_Cyrl.yml
│ ├── ino_Latn.yml
│ ├── iou_Latn.yml
│ ├── ipi_Latn.yml
│ ├── iqw_Latn.yml
│ ├── iri_Latn.yml
│ ├── irk_Latn.yml
│ ├── iry_Latn.yml
│ ├── isd_Latn.yml
│ ├── ish_Latn.yml
│ ├── isl_Latn.yml
│ ├── iso_Latn.yml
│ ├── ita_Latn.yml
│ ├── itl_Cyrl.yml
│ ├── itv_Latn.yml
│ ├── ium_Latn.yml
│ ├── ivb_Latn.yml
│ ├── ivv_Latn.yml
│ ├── iws_Latn.yml
│ ├── ixl_Latn.yml
│ ├── izr_Latn.yml
│ ├── izz_Latn.yml
│ ├── jaa_Latn.yml
│ ├── jac_Latn.yml
│ ├── jae_Latn.yml
│ ├── jam_Latn.yml
│ ├── jav_Latn.yml
│ ├── jbo_Latn.yml
│ ├── jbu_Latn.yml
│ ├── jic_Latn.yml
│ ├── jiv_Latn.yml
│ ├── jmc_Latn.yml
│ ├── jpn_Jpan.yml
│ ├── jra_Latn.yml
│ ├── jun_Orya.yml
│ ├── jvn_Latn.yml
│ ├── kaa_Cyrl.yml
│ ├── kaa_Latn.yml
│ ├── kab_Latn.yml
│ ├── kac_Latn.yml
│ ├── kak_Latn.yml
│ ├── kal_Latn.yml
│ ├── kam_Latn.yml
│ ├── kan_Knda.yml
│ ├── kan_Latn.yml
│ ├── kao_Latn.yml
│ ├── kap_Cyrl.yml
│ ├── kaq_Latn.yml
│ ├── kas_Arab.yml
│ ├── kas_Deva.yml
│ ├── kas_Latn.yml
│ ├── kat_Geor.yml
│ ├── kaz_Cyrl.yml
│ ├── kbc_Latn.yml
│ ├── kbd_Cyrl.yml
│ ├── kbh_Latn.yml
│ ├── kbm_Latn.yml
│ ├── kbo_Latn.yml
│ ├── kbp_Latn.yml
│ ├── kbq_Latn.yml
│ ├── kbr_Latn.yml
│ ├── kby_Latn.yml
│ ├── kca_Cyrl.yml
│ ├── kcg_Latn.yml
│ ├── kck_Latn.yml
│ ├── kdc_Latn.yml
│ ├── kde_Latn.yml
│ ├── kdh_Latn.yml
│ ├── kdi_Latn.yml
│ ├── kdj_Latn.yml
│ ├── kdl_Latn.yml
│ ├── kdr_Latn.yml
│ ├── kea_Latn.yml
│ ├── kei_Latn.yml
│ ├── kek_Latn.yml
│ ├── ken_Latn.yml
│ ├── keo_Latn.yml
│ ├── ker_Latn.yml
│ ├── kew_Latn.yml
│ ├── kex_Deva.yml
│ ├── kez_Latn.yml
│ ├── kff_Telu.yml
│ ├── kgf_Latn.yml
│ ├── kgk_Latn.yml
│ ├── kgp_Latn.yml
│ ├── kgr_Latn.yml
│ ├── kha_Latn.yml
│ ├── khk_Cyrl.yml
│ ├── khm_Khmr.yml
│ ├── khq_Latn.yml
│ ├── khs_Latn.yml
│ ├── khy_Latn.yml
│ ├── khz_Latn.yml
│ ├── kia_Latn.yml
│ ├── kij_Latn.yml
│ ├── kik_Latn.yml
│ ├── kin_Latn.yml
│ ├── kir_Cyrl.yml
│ ├── kiu_Latn.yml
│ ├── kix_Latn.yml
│ ├── kjb_Latn.yml
│ ├── kje_Latn.yml
│ ├── kjh_Cyrl.yml
│ ├── kjs_Latn.yml
│ ├── kkc_Latn.yml
│ ├── kki_Latn.yml
│ ├── kkj_Latn.yml
│ ├── kkl_Latn.yml
│ ├── kle_Deva.yml
│ ├── klt_Latn.yml
│ ├── klv_Latn.yml
│ ├── kma_Latn.yml
│ ├── kmb_Latn.yml
│ ├── kmd_Latn.yml
│ ├── kmg_Latn.yml
│ ├── kmh_Latn.yml
│ ├── kmk_Latn.yml
│ ├── kmm_Latn.yml
│ ├── kmo_Latn.yml
│ ├── kmr_Cyrl.yml
│ ├── kmr_Latn.yml
│ ├── kms_Latn.yml
│ ├── kmu_Latn.yml
│ ├── kmy_Latn.yml
│ ├── knc_Arab.yml
│ ├── knc_Latn.yml
│ ├── kne_Latn.yml
│ ├── knf_Latn.yml
│ ├── kng_Latn.yml
│ ├── knj_Latn.yml
│ ├── knk_Latn.yml
│ ├── kno_Latn.yml
│ ├── knv_Latn.yml
│ ├── knx_Latn.yml
│ ├── kny_Latn.yml
│ ├── kog_Latn.yml
│ ├── koi_Cyrl.yml
│ ├── koo_Latn.yml
│ ├── kor_Hang.yml
│ ├── kos_Latn.yml
│ ├── kpe_Latn.yml
│ ├── kpf_Latn.yml
│ ├── kpg_Latn.yml
│ ├── kpj_Latn.yml
│ ├── kpq_Latn.yml
│ ├── kpr_Latn.yml
│ ├── kpv_Cyrl.yml
│ ├── kpw_Latn.yml
│ ├── kpx_Latn.yml
│ ├── kpz_Latn.yml
│ ├── kqa_Latn.yml
│ ├── kqc_Latn.yml
│ ├── kqe_Latn.yml
│ ├── kqf_Latn.yml
│ ├── kql_Latn.yml
│ ├── kqn_Latn.yml
│ ├── kqo_Latn.yml
│ ├── kqp_Latn.yml
│ ├── kqs_Latn.yml
│ ├── kqw_Latn.yml
│ ├── kqy_Ethi.yml
│ ├── krc_Cyrl.yml
│ ├── kri_Latn.yml
│ ├── krj_Latn.yml
│ ├── krl_Latn.yml
│ ├── kru_Deva.yml
│ ├── krx_Latn.yml
│ ├── ksb_Latn.yml
│ ├── ksc_Latn.yml
│ ├── ksd_Latn.yml
│ ├── ksf_Latn.yml
│ ├── ksh_Latn.yml
│ ├── ksj_Latn.yml
│ ├── ksp_Latn.yml
│ ├── ksr_Latn.yml
│ ├── kss_Latn.yml
│ ├── ksw_Mymr.yml
│ ├── ktb_Ethi.yml
│ ├── ktj_Latn.yml
│ ├── ktm_Latn.yml
│ ├── kto_Latn.yml
│ ├── ktu_Latn.yml
│ ├── ktz_Latn.yml
│ ├── kua_Latn.yml
│ ├── kub_Latn.yml
│ ├── kud_Latn.yml
│ ├── kue_Latn.yml
│ ├── kuj_Latn.yml
│ ├── kum_Cyrl.yml
│ ├── kup_Latn.yml
│ ├── kus_Latn.yml
│ ├── kvg_Latn.yml
│ ├── kvj_Latn.yml
│ ├── kvn_Latn.yml
│ ├── kwd_Latn.yml
│ ├── kwf_Latn.yml
│ ├── kwi_Latn.yml
│ ├── kwj_Latn.yml
│ ├── kwn_Latn.yml
│ ├── kwy_Latn.yml
│ ├── kxc_Ethi.yml
│ ├── kxm_Thai.yml
│ ├── kxw_Latn.yml
│ ├── kyc_Latn.yml
│ ├── kyf_Latn.yml
│ ├── kyg_Latn.yml
│ ├── kyq_Latn.yml
│ ├── kyu_Kali.yml
│ ├── kyu_Latn.yml
│ ├── kyu_Mymr.yml
│ ├── kyz_Latn.yml
│ ├── kze_Latn.yml
│ ├── kzf_Latn.yml
│ ├── kzj_Latn.yml
│ ├── kzn_Latn.yml
│ ├── lac_Latn.yml
│ ├── lad_Hebr.yml
│ ├── lad_Latn.yml
│ ├── lai_Latn.yml
│ ├── laj_Latn.yml
│ ├── lam_Latn.yml
│ ├── lao_Laoo.yml
│ ├── lap_Latn.yml
│ ├── las_Latn.yml
│ ├── lat_Latn.yml
│ ├── law_Latn.yml
│ ├── lbb_Latn.yml
│ ├── lbe_Cyrl.yml
│ ├── lbj_Tibt.yml
│ ├── lbk_Latn.yml
│ ├── lcm_Latn.yml
│ ├── lcp_Thai.yml
│ ├── ldi_Latn.yml
│ ├── ldn_Latn.yml
│ ├── lea_Latn.yml
│ ├── led_Latn.yml
│ ├── lee_Latn.yml
│ ├── lef_Latn.yml
│ ├── leh_Latn.yml
│ ├── lem_Latn.yml
│ ├── leu_Latn.yml
│ ├── lew_Latn.yml
│ ├── lex_Latn.yml
│ ├── lez_Cyrl.yml
│ ├── lfn_Cyrl.yml
│ ├── lfn_Latn.yml
│ ├── lgg_Latn.yml
│ ├── lgl_Latn.yml
│ ├── lgm_Latn.yml
│ ├── lhi_Latn.yml
│ ├── lhu_Latn.yml
│ ├── lia_Latn.yml
│ ├── lid_Latn.yml
│ ├── lif_Deva.yml
│ ├── lif_Limb.yml
│ ├── lij_Latn.yml
│ ├── lim_Latn.yml
│ ├── lin_Latn.yml
│ ├── lip_Latn.yml
│ ├── lis_Lisu.yml
│ ├── lit_Latn.yml
│ ├── liv_Latn.yml
│ ├── ljp_Latn.yml
│ ├── lki_Arab.yml
│ ├── llb_Latn.yml
│ ├── lld_Latn.yml
│ ├── llg_Latn.yml
│ ├── lln_Latn.yml
│ ├── lmk_Latn.yml
│ ├── lmo_Latn.yml
│ ├── lmp_Latn.yml
│ ├── lnd_Latn.yml
│ ├── lob_Latn.yml
│ ├── loe_Latn.yml
│ ├── log_Latn.yml
│ ├── lok_Latn.yml
│ ├── lol_Latn.yml
│ ├── lom_Latn.yml
│ ├── loq_Latn.yml
│ ├── loz_Latn.yml
│ ├── lrc_Arab.yml
│ ├── lsi_Latn.yml
│ ├── lsm_Latn.yml
│ ├── ltg_Latn.yml
│ ├── ltz_Latn.yml
│ ├── lua_Latn.yml
│ ├── lub_Latn.yml
│ ├── luc_Latn.yml
│ ├── lud_Latn.yml
│ ├── lue_Latn.yml
│ ├── lug_Latn.yml
│ ├── lun_Latn.yml
│ ├── luo_Latn.yml
│ ├── lus_Latn.yml
│ ├── lvs_Latn.yml
│ ├── lwg_Latn.yml
│ ├── lwo_Latn.yml
│ ├── lww_Latn.yml
│ ├── lzh_Hani.yml
│ ├── maa_Latn.yml
│ ├── mad_Latn.yml
│ ├── maf_Latn.yml
│ ├── mag_Deva.yml
│ ├── mah_Latn.yml
│ ├── mai_Deva.yml
│ ├── maj_Latn.yml
│ ├── mak_Latn.yml
│ ├── mal_Latn.yml
│ ├── mal_Mlym.yml
│ ├── mam_Latn.yml
│ ├── maq_Latn.yml
│ ├── mar_Deva.yml
│ ├── mar_Latn.yml
│ ├── mas_Latn.yml
│ ├── mau_Latn.yml
│ ├── mav_Latn.yml
│ ├── maw_Latn.yml
│ ├── max_Latn.yml
│ ├── maz_Latn.yml
│ ├── mbb_Latn.yml
│ ├── mbc_Latn.yml
│ ├── mbd_Latn.yml
│ ├── mbf_Latn.yml
│ ├── mbh_Latn.yml
│ ├── mbi_Latn.yml
│ ├── mbj_Latn.yml
│ ├── mbl_Latn.yml
│ ├── mbs_Latn.yml
│ ├── mbt_Latn.yml
│ ├── mca_Latn.yml
│ ├── mcb_Latn.yml
│ ├── mcd_Latn.yml
│ ├── mcf_Latn.yml
│ ├── mck_Latn.yml
│ ├── mcn_Latn.yml
│ ├── mco_Latn.yml
│ ├── mcp_Latn.yml
│ ├── mcq_Latn.yml
│ ├── mcu_Latn.yml
│ ├── mda_Latn.yml
│ ├── mdf_Cyrl.yml
│ ├── mdy_Ethi.yml
│ ├── med_Latn.yml
│ ├── mee_Latn.yml
│ ├── mej_Latn.yml
│ ├── mek_Latn.yml
│ ├── men_Latn.yml
│ ├── meq_Latn.yml
│ ├── mer_Latn.yml
│ ├── met_Latn.yml
│ ├── meu_Latn.yml
│ ├── mev_Latn.yml
│ ├── mfe_Latn.yml
│ ├── mfg_Latn.yml
│ ├── mfh_Latn.yml
│ ├── mfi_Latn.yml
│ ├── mfk_Latn.yml
│ ├── mfq_Latn.yml
│ ├── mfy_Latn.yml
│ ├── mfz_Latn.yml
│ ├── mgc_Latn.yml
│ ├── mgh_Latn.yml
│ ├── mgm_Latn.yml
│ ├── mgo_Latn.yml
│ ├── mgr_Latn.yml
│ ├── mhi_Latn.yml
│ ├── mhl_Latn.yml
│ ├── mhr_Cyrl.yml
│ ├── mhw_Latn.yml
│ ├── mhx_Latn.yml
│ ├── mhy_Latn.yml
│ ├── mib_Latn.yml
│ ├── mic_Latn.yml
│ ├── mie_Latn.yml
│ ├── mif_Latn.yml
│ ├── mig_Latn.yml
│ ├── mih_Latn.yml
│ ├── mil_Latn.yml
│ ├── mim_Latn.yml
│ ├── min_Arab.yml
│ ├── min_Latn.yml
│ ├── mio_Latn.yml
│ ├── mip_Latn.yml
│ ├── miq_Latn.yml
│ ├── mir_Latn.yml
│ ├── mit_Latn.yml
│ ├── miy_Latn.yml
│ ├── miz_Latn.yml
│ ├── mjc_Latn.yml
│ ├── mjw_Latn.yml
│ ├── mkd_Cyrl.yml
│ ├── mkl_Latn.yml
│ ├── mkn_Latn.yml
│ ├── mks_Latn.yml
│ ├── mkz_Latn.yml
│ ├── mlh_Latn.yml
│ ├── mlp_Latn.yml
│ ├── mlt_Latn.yml
│ ├── mlu_Latn.yml
│ ├── mmn_Latn.yml
│ ├── mmo_Latn.yml
│ ├── mmx_Latn.yml
│ ├── mna_Latn.yml
│ ├── mnb_Latn.yml
│ ├── mnf_Latn.yml
│ ├── mni_Beng.yml
│ ├── mni_Latn.yml
│ ├── mni_Mtei.yml
│ ├── mnk_Latn.yml
│ ├── mns_Cyrl.yml
│ ├── mnw_Mymr.yml
│ ├── mnx_Latn.yml
│ ├── mny_Latn.yml
│ ├── moa_Latn.yml
│ ├── moc_Latn.yml
│ ├── mog_Latn.yml
│ ├── moh_Latn.yml
│ ├── mop_Latn.yml
│ ├── mor_Latn.yml
│ ├── mos_Latn.yml
│ ├── mox_Latn.yml
│ ├── mpg_Latn.yml
│ ├── mph_Latn.yml
│ ├── mpm_Latn.yml
│ ├── mpp_Latn.yml
│ ├── mps_Latn.yml
│ ├── mpt_Latn.yml
│ ├── mpx_Latn.yml
│ ├── mqb_Latn.yml
│ ├── mqj_Latn.yml
│ ├── mqy_Latn.yml
│ ├── mrg_Latn.yml
│ ├── mri_Latn.yml
│ ├── mrj_Cyrl.yml
│ ├── mrq_Latn.yml
│ ├── mrv_Latn.yml
│ ├── mrw_Latn.yml
│ ├── msb_Latn.yml
│ ├── msc_Latn.yml
│ ├── mse_Latn.yml
│ ├── msk_Latn.yml
│ ├── msy_Latn.yml
│ ├── mta_Latn.yml
│ ├── mtg_Latn.yml
│ ├── mti_Latn.yml
│ ├── mtj_Latn.yml
│ ├── mto_Latn.yml
│ ├── mtp_Latn.yml
│ ├── mua_Latn.yml
│ ├── mug_Latn.yml
│ ├── muh_Latn.yml
│ ├── mui_Latn.yml
│ ├── mup_Deva.yml
│ ├── mur_Latn.yml
│ ├── mus_Latn.yml
│ ├── mux_Latn.yml
│ ├── muy_Latn.yml
│ ├── mva_Latn.yml
│ ├── mvn_Latn.yml
│ ├── mvp_Latn.yml
│ ├── mwc_Latn.yml
│ ├── mwf_Latn.yml
│ ├── mwl_Latn.yml
│ ├── mwm_Latn.yml
│ ├── mwn_Latn.yml
│ ├── mwp_Latn.yml
│ ├── mwq_Latn.yml
│ ├── mwv_Latn.yml
│ ├── mww_Latn.yml
│ ├── mxb_Latn.yml
│ ├── mxp_Latn.yml
│ ├── mxq_Latn.yml
│ ├── mxt_Latn.yml
│ ├── mxv_Latn.yml
│ ├── mya_Mymr.yml
│ ├── myb_Latn.yml
│ ├── myk_Latn.yml
│ ├── myu_Latn.yml
│ ├── myv_Cyrl.yml
│ ├── myw_Latn.yml
│ ├── myx_Latn.yml
│ ├── myy_Latn.yml
│ ├── mza_Latn.yml
│ ├── mzh_Latn.yml
│ ├── mzk_Latn.yml
│ ├── mzl_Latn.yml
│ ├── mzm_Latn.yml
│ ├── mzn_Arab.yml
│ ├── mzw_Latn.yml
│ ├── mzz_Latn.yml
│ ├── nab_Latn.yml
│ ├── naf_Latn.yml
│ ├── nah_Latn.yml
│ ├── nak_Latn.yml
│ ├── nan_Latn.yml
│ ├── nap_Latn.yml
│ ├── naq_Latn.yml
│ ├── nas_Latn.yml
│ ├── nav_Latn.yml
│ ├── naw_Latn.yml
│ ├── nba_Latn.yml
│ ├── nbc_Latn.yml
│ ├── nbe_Latn.yml
│ ├── nbl_Latn.yml
│ ├── nbq_Latn.yml
│ ├── nbu_Latn.yml
│ ├── nca_Latn.yml
│ ├── nch_Latn.yml
│ ├── ncj_Latn.yml
│ ├── ncl_Latn.yml
│ ├── ncq_Laoo.yml
│ ├── nct_Latn.yml
│ ├── ncu_Latn.yml
│ ├── ncx_Latn.yml
│ ├── ndc_Latn.yml
│ ├── nde_Latn.yml
│ ├── ndh_Latn.yml
│ ├── ndi_Latn.yml
│ ├── ndj_Latn.yml
│ ├── ndo_Latn.yml
│ ├── ndp_Latn.yml
│ ├── nds_Latn.yml
│ ├── ndy_Latn.yml
│ ├── ndz_Latn.yml
│ ├── neb_Latn.yml
│ ├── new_Deva.yml
│ ├── nfa_Latn.yml
│ ├── nfr_Latn.yml
│ ├── ngb_Latn.yml
│ ├── ngc_Latn.yml
│ ├── ngl_Latn.yml
│ ├── ngp_Latn.yml
│ ├── ngu_Latn.yml
│ ├── nhd_Latn.yml
│ ├── nhe_Latn.yml
│ ├── nhg_Latn.yml
│ ├── nhi_Latn.yml
│ ├── nhk_Latn.yml
│ ├── nho_Latn.yml
│ ├── nhr_Latn.yml
│ ├── nhu_Latn.yml
│ ├── nhw_Latn.yml
│ ├── nhx_Latn.yml
│ ├── nhy_Latn.yml
│ ├── nia_Latn.yml
│ ├── nif_Latn.yml
│ ├── nii_Latn.yml
│ ├── nij_Latn.yml
│ ├── nim_Latn.yml
│ ├── nin_Latn.yml
│ ├── nio_Cyrl.yml
│ ├── niq_Latn.yml
│ ├── niu_Latn.yml
│ ├── niy_Latn.yml
│ ├── njb_Latn.yml
│ ├── njm_Latn.yml
│ ├── njn_Latn.yml
│ ├── njo_Latn.yml
│ ├── njz_Latn.yml
│ ├── nkf_Latn.yml
│ ├── nki_Latn.yml
│ ├── nko_Latn.yml
│ ├── nla_Latn.yml
│ ├── nlc_Latn.yml
│ ├── nld_Latn.yml
│ ├── nlg_Latn.yml
│ ├── nma_Latn.yml
│ ├── nmf_Latn.yml
│ ├── nmh_Latn.yml
│ ├── nmo_Latn.yml
│ ├── nmw_Latn.yml
│ ├── nmz_Latn.yml
│ ├── nnb_Latn.yml
│ ├── nng_Latn.yml
│ ├── nnh_Latn.yml
│ ├── nnl_Latn.yml
│ ├── nno_Latn.yml
│ ├── nnp_Latn.yml
│ ├── nnq_Latn.yml
│ ├── nnw_Latn.yml
│ ├── noa_Latn.yml
│ ├── nob_Latn.yml
│ ├── nod_Thai.yml
│ ├── nog_Cyrl.yml
│ ├── non_Latn.yml
│ ├── nop_Latn.yml
│ ├── not_Latn.yml
│ ├── nou_Latn.yml
│ ├── nov_Latn.yml
│ ├── nph_Latn.yml
│ ├── npi_Deva.yml
│ ├── npi_Latn.yml
│ ├── npl_Latn.yml
│ ├── npo_Latn.yml
│ ├── npy_Latn.yml
│ ├── nqo_Nkoo.yml
│ ├── nre_Latn.yml
│ ├── nrf_Latn.yml
│ ├── nri_Latn.yml
│ ├── nrm_Latn.yml
│ ├── nsa_Latn.yml
│ ├── nse_Latn.yml
│ ├── nsm_Latn.yml
│ ├── nsn_Latn.yml
│ ├── nso_Latn.yml
│ ├── nss_Latn.yml
│ ├── nst_Latn.yml
│ ├── nsu_Latn.yml
│ ├── ntp_Latn.yml
│ ├── ntr_Latn.yml
│ ├── ntu_Latn.yml
│ ├── nuj_Latn.yml
│ ├── nus_Latn.yml
│ ├── nuy_Latn.yml
│ ├── nuz_Latn.yml
│ ├── nvm_Latn.yml
│ ├── nwb_Latn.yml
│ ├── nwi_Latn.yml
│ ├── nwx_Deva.yml
│ ├── nxd_Latn.yml
│ ├── nya_Latn.yml
│ ├── nyf_Latn.yml
│ ├── nyk_Latn.yml
│ ├── nyn_Latn.yml
│ ├── nyo_Latn.yml
│ ├── nyu_Latn.yml
│ ├── nyy_Latn.yml
│ ├── nza_Latn.yml
│ ├── nzi_Latn.yml
│ ├── nzm_Latn.yml
│ ├── obo_Latn.yml
│ ├── oci_Latn.yml
│ ├── ogo_Latn.yml
│ ├── ojb_Cans.yml
│ ├── ojb_Latn.yml
│ ├── oke_Latn.yml
│ ├── oku_Latn.yml
│ ├── okv_Latn.yml
│ ├── old_Latn.yml
│ ├── olo_Latn.yml
│ ├── omb_Latn.yml
│ ├── omw_Latn.yml
│ ├── ong_Latn.yml
│ ├── ons_Latn.yml
│ ├── ood_Latn.yml
│ ├── opm_Latn.yml
│ ├── orv_Cyrl.yml
│ ├── ory_Latn.yml
│ ├── ory_Orya.yml
│ ├── oss_Cyrl.yml
│ ├── ota_Arab.yml
│ ├── otd_Latn.yml
│ ├── ote_Latn.yml
│ ├── otm_Latn.yml
│ ├── otn_Latn.yml
│ ├── oto_Latn.yml
│ ├── otq_Latn.yml
│ ├── ots_Latn.yml
│ ├── otw_Latn.yml
│ ├── oym_Latn.yml
│ ├── ozm_Latn.yml
│ ├── pab_Latn.yml
│ ├── pad_Latn.yml
│ ├── pag_Latn.yml
│ ├── pah_Latn.yml
│ ├── pam_Latn.yml
│ ├── pan_Guru.yml
│ ├── pan_Latn.yml
│ ├── pao_Latn.yml
│ ├── pap_Latn.yml
│ ├── pau_Latn.yml
│ ├── pbb_Latn.yml
│ ├── pbc_Latn.yml
│ ├── pbi_Latn.yml
│ ├── pbt_Arab.yml
│ ├── pcd_Latn.yml
│ ├── pck_Latn.yml
│ ├── pcm_Latn.yml
│ ├── pdc_Latn.yml
│ ├── pdt_Latn.yml
│ ├── pem_Latn.yml
│ ├── pfe_Latn.yml
│ ├── pfl_Latn.yml
│ ├── phm_Latn.yml
│ ├── pib_Latn.yml
│ ├── pio_Latn.yml
│ ├── pir_Latn.yml
│ ├── pis_Latn.yml
│ ├── pjt_Latn.yml
│ ├── pkb_Latn.yml
│ ├── plg_Latn.yml
│ ├── pls_Latn.yml
│ ├── plt_Latn.yml
│ ├── plu_Latn.yml
│ ├── plw_Latn.yml
│ ├── pma_Latn.yml
│ ├── pmf_Latn.yml
│ ├── pmq_Latn.yml
│ ├── pms_Latn.yml
│ ├── pmx_Latn.yml
│ ├── pnb_Arab.yml
│ ├── pne_Latn.yml
│ ├── pnt_Grek.yml
│ ├── pny_Latn.yml
│ ├── poe_Latn.yml
│ ├── poh_Latn.yml
│ ├── poi_Latn.yml
│ ├── pol_Latn.yml
│ ├── pon_Latn.yml
│ ├── por_Latn.yml
│ ├── pos_Latn.yml
│ ├── pot_Latn.yml
│ ├── pov_Latn.yml
│ ├── poy_Latn.yml
│ ├── ppk_Latn.yml
│ ├── ppo_Latn.yml
│ ├── pps_Latn.yml
│ ├── prf_Latn.yml
│ ├── prg_Latn.yml
│ ├── pri_Latn.yml
│ ├── prq_Latn.yml
│ ├── pse_Latn.yml
│ ├── pss_Latn.yml
│ ├── ptp_Latn.yml
│ ├── ptu_Latn.yml
│ ├── pua_Latn.yml
│ ├── pui_Latn.yml
│ ├── pwg_Latn.yml
│ ├── pwn_Latn.yml
│ ├── pww_Thai.yml
│ ├── pxm_Latn.yml
│ ├── qub_Latn.yml
│ ├── quc_Latn.yml
│ ├── quf_Latn.yml
│ ├── qug_Latn.yml
│ ├── quh_Latn.yml
│ ├── qul_Latn.yml
│ ├── qup_Latn.yml
│ ├── qus_Latn.yml
│ ├── quw_Latn.yml
│ ├── quy_Latn.yml
│ ├── quz_Latn.yml
│ ├── qva_Latn.yml
│ ├── qvc_Latn.yml
│ ├── qve_Latn.yml
│ ├── qvh_Latn.yml
│ ├── qvi_Latn.yml
│ ├── qvm_Latn.yml
│ ├── qvn_Latn.yml
│ ├── qvo_Latn.yml
│ ├── qvs_Latn.yml
│ ├── qvw_Latn.yml
│ ├── qvz_Latn.yml
│ ├── qwh_Latn.yml
│ ├── qxh_Latn.yml
│ ├── qxl_Latn.yml
│ ├── qxn_Latn.yml
│ ├── qxo_Latn.yml
│ ├── qxr_Latn.yml
│ ├── rad_Latn.yml
│ ├── rai_Latn.yml
│ ├── rap_Latn.yml
│ ├── rar_Latn.yml
│ ├── rav_Deva.yml
│ ├── raw_Latn.yml
│ ├── rcf_Latn.yml
│ ├── rej_Latn.yml
│ ├── rel_Latn.yml
│ ├── rgu_Latn.yml
│ ├── rhg_Latn.yml
│ ├── ria_Latn.yml
│ ├── rim_Latn.yml
│ ├── rjs_Deva.yml
│ ├── rkb_Latn.yml
│ ├── rmc_Latn.yml
│ ├── rme_Latn.yml
│ ├── rml_Latn.yml
│ ├── rmn_Cyrl.yml
│ ├── rmn_Grek.yml
│ ├── rmn_Latn.yml
│ ├── rmo_Latn.yml
│ ├── rmq_Latn.yml
│ ├── rmy_Cyrl.yml
│ ├── rmy_Latn.yml
│ ├── rnd_Latn.yml
│ ├── rng_Latn.yml
│ ├── rnl_Latn.yml
│ ├── roh_Latn.yml
│ ├── ron_Cyrl.yml
│ ├── ron_Latn.yml
│ ├── roo_Latn.yml
│ ├── rop_Latn.yml
│ ├── row_Latn.yml
│ ├── rro_Latn.yml
│ ├── rtm_Latn.yml
│ ├── rub_Latn.yml
│ ├── rue_Cyrl.yml
│ ├── ruf_Latn.yml
│ ├── rug_Latn.yml
│ ├── run_Latn.yml
│ ├── rup_Latn.yml
│ ├── rus_Cyrl.yml
│ ├── rwo_Latn.yml
│ ├── sab_Latn.yml
│ ├── sag_Latn.yml
│ ├── sah_Cyrl.yml
│ ├── saj_Latn.yml
│ ├── san_Deva.yml
│ ├── san_Latn.yml
│ ├── sas_Latn.yml
│ ├── sat_Latn.yml
│ ├── sat_Olck.yml
│ ├── say_Latn.yml
│ ├── sba_Latn.yml
│ ├── sbd_Latn.yml
│ ├── sbe_Latn.yml
│ ├── sbl_Latn.yml
│ ├── sbs_Latn.yml
│ ├── sby_Latn.yml
│ ├── sck_Deva.yml
│ ├── scn_Latn.yml
│ ├── sco_Latn.yml
│ ├── sda_Latn.yml
│ ├── sdc_Latn.yml
│ ├── sdh_Arab.yml
│ ├── sdo_Latn.yml
│ ├── sdq_Latn.yml
│ ├── seh_Latn.yml
│ ├── sel_Cyrl.yml
│ ├── ses_Latn.yml
│ ├── sey_Latn.yml
│ ├── sfw_Latn.yml
│ ├── sgb_Latn.yml
│ ├── sgc_Latn.yml
│ ├── sgh_Cyrl.yml
│ ├── sgs_Latn.yml
│ ├── sgw_Ethi.yml
│ ├── sgz_Latn.yml
│ ├── shi_Latn.yml
│ ├── shk_Latn.yml
│ ├── shn_Mymr.yml
│ ├── shp_Latn.yml
│ ├── shu_Arab.yml
│ ├── sid_Latn.yml
│ ├── sig_Latn.yml
│ ├── sil_Latn.yml
│ ├── sim_Latn.yml
│ ├── sin_Sinh.yml
│ ├── sja_Latn.yml
│ ├── sjo_Mong.yml
│ ├── sju_Latn.yml
│ ├── skg_Latn.yml
│ ├── skr_Arab.yml
│ ├── sld_Latn.yml
│ ├── slk_Latn.yml
│ ├── sll_Latn.yml
│ ├── slv_Latn.yml
│ ├── sma_Latn.yml
│ ├── sme_Latn.yml
│ ├── smj_Latn.yml
│ ├── smk_Latn.yml
│ ├── sml_Latn.yml
│ ├── smn_Latn.yml
│ ├── smo_Latn.yml
│ ├── sms_Latn.yml
│ ├── smt_Latn.yml
│ ├── sna_Latn.yml
│ ├── snc_Latn.yml
│ ├── snd_Arab.yml
│ ├── snd_Deva.yml
│ ├── snd_Latn.yml
│ ├── snf_Latn.yml
│ ├── snn_Latn.yml
│ ├── snp_Latn.yml
│ ├── snw_Latn.yml
│ ├── sny_Latn.yml
│ ├── soe_Latn.yml
│ ├── som_Latn.yml
│ ├── sop_Latn.yml
│ ├── soq_Latn.yml
│ ├── sot_Latn.yml
│ ├── soy_Latn.yml
│ ├── spa_Latn.yml
│ ├── spl_Latn.yml
│ ├── spm_Latn.yml
│ ├── spp_Latn.yml
│ ├── sps_Latn.yml
│ ├── spy_Latn.yml
│ ├── srd_Latn.yml
│ ├── sri_Latn.yml
│ ├── srm_Latn.yml
│ ├── srn_Latn.yml
│ ├── srp_Cyrl.yml
│ ├── srp_Latn.yml
│ ├── srq_Latn.yml
│ ├── srr_Latn.yml
│ ├── ssd_Latn.yml
│ ├── ssg_Latn.yml
│ ├── ssw_Latn.yml
│ ├── ssx_Latn.yml
│ ├── stn_Latn.yml
│ ├── stp_Latn.yml
│ ├── stq_Latn.yml
│ ├── sua_Latn.yml
│ ├── suc_Latn.yml
│ ├── sue_Latn.yml
│ ├── suk_Latn.yml
│ ├── sun_Latn.yml
│ ├── sur_Latn.yml
│ ├── sus_Arab.yml
│ ├── sus_Latn.yml
│ ├── suz_Deva.yml
│ ├── swb_Latn.yml
│ ├── swc_Latn.yml
│ ├── swe_Latn.yml
│ ├── swg_Latn.yml
│ ├── swh_Latn.yml
│ ├── swk_Latn.yml
│ ├── swp_Latn.yml
│ ├── sxb_Latn.yml
│ ├── sxn_Latn.yml
│ ├── syb_Latn.yml
│ ├── syc_Syrc.yml
│ ├── syl_Beng.yml
│ ├── syl_Latn.yml
│ ├── szb_Latn.yml
│ ├── szl_Latn.yml
│ ├── szy_Latn.yml
│ ├── tab_Cyrl.yml
│ ├── tac_Latn.yml
│ ├── tah_Latn.yml
│ ├── taj_Deva.yml
│ ├── tam_Latn.yml
│ ├── tam_Taml.yml
│ ├── tap_Latn.yml
│ ├── taq_Latn.yml
│ ├── taq_Tfng.yml
│ ├── tar_Latn.yml
│ ├── tat_Cyrl.yml
│ ├── tat_Latn.yml
│ ├── tav_Latn.yml
│ ├── taw_Latn.yml
│ ├── tay_Latn.yml
│ ├── tbc_Latn.yml
│ ├── tbg_Latn.yml
│ ├── tbk_Latn.yml
│ ├── tbl_Latn.yml
│ ├── tbo_Latn.yml
│ ├── tbw_Latn.yml
│ ├── tby_Latn.yml
│ ├── tbz_Latn.yml
│ ├── tca_Latn.yml
│ ├── tcc_Latn.yml
│ ├── tcf_Latn.yml
│ ├── tcs_Latn.yml
│ ├── tcy_Knda.yml
│ ├── tcz_Latn.yml
│ ├── tdx_Latn.yml
│ ├── ted_Latn.yml
│ ├── tee_Latn.yml
│ ├── tel_Latn.yml
│ ├── tel_Telu.yml
│ ├── tem_Latn.yml
│ ├── teo_Latn.yml
│ ├── ter_Latn.yml
│ ├── tet_Latn.yml
│ ├── tew_Latn.yml
│ ├── tfr_Latn.yml
│ ├── tgk_Cyrl.yml
│ ├── tgo_Latn.yml
│ ├── tgp_Latn.yml
│ ├── tha_Thai.yml
│ ├── thk_Latn.yml
│ ├── thl_Deva.yml
│ ├── thv_Latn.yml
│ ├── tif_Latn.yml
│ ├── tig_Ethi.yml
│ ├── tih_Latn.yml
│ ├── tik_Latn.yml
│ ├── tim_Latn.yml
│ ├── tir_Ethi.yml
│ ├── tiv_Latn.yml
│ ├── tiy_Latn.yml
│ ├── tke_Latn.yml
│ ├── tkl_Latn.yml
│ ├── tkr_Cyrl.yml
│ ├── tku_Latn.yml
│ ├── tlb_Latn.yml
│ ├── tlf_Latn.yml
│ ├── tlh_Latn.yml
│ ├── tlj_Latn.yml
│ ├── tll_Latn.yml
│ ├── tly_Latn.yml
│ ├── tmc_Latn.yml
│ ├── tmd_Latn.yml
│ ├── tna_Latn.yml
│ ├── tnc_Latn.yml
│ ├── tnk_Latn.yml
│ ├── tnn_Latn.yml
│ ├── tnp_Latn.yml
│ ├── tnr_Latn.yml
│ ├── tob_Latn.yml
│ ├── toc_Latn.yml
│ ├── tod_Latn.yml
│ ├── tog_Latn.yml
│ ├── toh_Latn.yml
│ ├── toi_Latn.yml
│ ├── toj_Latn.yml
│ ├── tok_Latn.yml
│ ├── ton_Latn.yml
│ ├── too_Latn.yml
│ ├── top_Latn.yml
│ ├── tos_Latn.yml
│ ├── tpa_Latn.yml
│ ├── tpi_Latn.yml
│ ├── tpm_Latn.yml
│ ├── tpn_Latn.yml
│ ├── tpp_Latn.yml
│ ├── tpt_Latn.yml
│ ├── tpw_Latn.yml
│ ├── tpz_Latn.yml
│ ├── tqo_Latn.yml
│ ├── trc_Latn.yml
│ ├── trn_Latn.yml
│ ├── tro_Latn.yml
│ ├── trp_Latn.yml
│ ├── trq_Latn.yml
│ ├── trs_Latn.yml
│ ├── trv_Latn.yml
│ ├── tsc_Latn.yml
│ ├── tsg_Latn.yml
│ ├── tsn_Latn.yml
│ ├── tso_Latn.yml
│ ├── tsw_Latn.yml
│ ├── tsz_Latn.yml
│ ├── ttc_Latn.yml
│ ├── tte_Latn.yml
│ ├── ttj_Latn.yml
│ ├── ttq_Latn.yml
│ ├── ttq_Tfng.yml
│ ├── tuc_Latn.yml
│ ├── tue_Latn.yml
│ ├── tuf_Latn.yml
│ ├── tui_Latn.yml
│ ├── tuk_Arab.yml
│ ├── tuk_Cyrl.yml
│ ├── tuk_Latn.yml
│ ├── tul_Latn.yml
│ ├── tum_Latn.yml
│ ├── tuo_Latn.yml
│ ├── tur_Latn.yml
│ ├── tuv_Latn.yml
│ ├── tvk_Latn.yml
│ ├── tvl_Latn.yml
│ ├── twb_Latn.yml
│ ├── twi_Latn.yml
│ ├── twu_Latn.yml
│ ├── twx_Latn.yml
│ ├── txq_Latn.yml
│ ├── txu_Latn.yml
│ ├── tyv_Cyrl.yml
│ ├── tzh_Latn.yml
│ ├── tzj_Latn.yml
│ ├── tzl_Latn.yml
│ ├── tzm_Tfng.yml
│ ├── tzo_Latn.yml
│ ├── ubr_Latn.yml
│ ├── ubu_Latn.yml
│ ├── udm_Cyrl.yml
│ ├── udu_Latn.yml
│ ├── uig_Arab.yml
│ ├── uig_Cyrl.yml
│ ├── uig_Latn.yml
│ ├── ukr_Cyrl.yml
│ ├── umb_Latn.yml
│ ├── upv_Latn.yml
│ ├── ura_Latn.yml
│ ├── urb_Latn.yml
│ ├── urd_Arab.yml
│ ├── urd_Latn.yml
│ ├── urh_Latn.yml
│ ├── uri_Latn.yml
│ ├── urk_Thai.yml
│ ├── urt_Latn.yml
│ ├── urw_Latn.yml
│ ├── ury_Latn.yml
│ ├── usa_Latn.yml
│ ├── usp_Latn.yml
│ ├── uth_Latn.yml
│ ├── uvh_Latn.yml
│ ├── uvl_Latn.yml
│ ├── uzn_Cyrl.yml
│ ├── uzn_Latn.yml
│ ├── uzs_Arab.yml
│ ├── vag_Latn.yml
│ ├── vap_Latn.yml
│ ├── var_Latn.yml
│ ├── vec_Latn.yml
│ ├── ven_Latn.yml
│ ├── vep_Latn.yml
│ ├── vid_Latn.yml
│ ├── vie_Latn.yml
│ ├── viv_Latn.yml
│ ├── vls_Latn.yml
│ ├── vmk_Latn.yml
│ ├── vmw_Latn.yml
│ ├── vmy_Latn.yml
│ ├── vol_Latn.yml
│ ├── vot_Latn.yml
│ ├── vro_Latn.yml
│ ├── vun_Latn.yml
│ ├── vut_Latn.yml
│ ├── waj_Latn.yml
│ ├── wal_Ethi.yml
│ ├── wal_Latn.yml
│ ├── wap_Latn.yml
│ ├── war_Latn.yml
│ ├── wat_Latn.yml
│ ├── way_Latn.yml
│ ├── wba_Latn.yml
│ ├── wbm_Latn.yml
│ ├── wbp_Latn.yml
│ ├── wed_Latn.yml
│ ├── wer_Latn.yml
│ ├── wes_Latn.yml
│ ├── wew_Latn.yml
│ ├── whg_Latn.yml
│ ├── whk_Latn.yml
│ ├── wib_Latn.yml
│ ├── wim_Latn.yml
│ ├── wiu_Latn.yml
│ ├── wln_Latn.yml
│ ├── wls_Latn.yml
│ ├── wlv_Latn.yml
│ ├── wlx_Latn.yml
│ ├── wmt_Latn.yml
│ ├── wmw_Latn.yml
│ ├── wnc_Latn.yml
│ ├── wnu_Latn.yml
│ ├── wob_Latn.yml
│ ├── wol_Latn.yml
│ ├── wos_Latn.yml
│ ├── wrk_Latn.yml
│ ├── wrs_Latn.yml
│ ├── wsg_Telu.yml
│ ├── wsk_Latn.yml
│ ├── wuu_Hani.yml
│ ├── wuv_Latn.yml
│ ├── wwa_Latn.yml
│ ├── xal_Cyrl.yml
│ ├── xav_Latn.yml
│ ├── xbi_Latn.yml
│ ├── xbr_Latn.yml
│ ├── xed_Latn.yml
│ ├── xho_Latn.yml
│ ├── xla_Latn.yml
│ ├── xmf_Geor.yml
│ ├── xmm_Latn.yml
│ ├── xmv_Latn.yml
│ ├── xnn_Latn.yml
│ ├── xog_Latn.yml
│ ├── xon_Latn.yml
│ ├── xrb_Latn.yml
│ ├── xsb_Latn.yml
│ ├── xsi_Latn.yml
│ ├── xsm_Latn.yml
│ ├── xsr_Deva.yml
│ ├── xsu_Latn.yml
│ ├── xtd_Latn.yml
│ ├── xtm_Latn.yml
│ ├── xtn_Latn.yml
│ ├── xum_Latn.yml
│ ├── xuo_Latn.yml
│ ├── yaa_Latn.yml
│ ├── yad_Latn.yml
│ ├── yal_Latn.yml
│ ├── yam_Latn.yml
│ ├── yan_Latn.yml
│ ├── yao_Latn.yml
│ ├── yap_Latn.yml
│ ├── yaq_Latn.yml
│ ├── yas_Latn.yml
│ ├── yat_Latn.yml
│ ├── yaz_Latn.yml
│ ├── ybb_Latn.yml
│ ├── yby_Latn.yml
│ ├── ycn_Latn.yml
│ ├── ydd_Hebr.yml
│ ├── yim_Latn.yml
│ ├── yka_Latn.yml
│ ├── yle_Latn.yml
│ ├── yli_Latn.yml
│ ├── yml_Latn.yml
│ ├── yom_Latn.yml
│ ├── yon_Latn.yml
│ ├── yor_Latn.yml
│ ├── yrb_Latn.yml
│ ├── yre_Latn.yml
│ ├── yrk_Cyrl.yml
│ ├── yrl_Latn.yml
│ ├── yss_Latn.yml
│ ├── yua_Latn.yml
│ ├── yue_Hani.yml
│ ├── yuj_Latn.yml
│ ├── yup_Latn.yml
│ ├── yut_Latn.yml
│ ├── yuw_Latn.yml
│ ├── yuz_Latn.yml
│ ├── yva_Latn.yml
│ ├── zaa_Latn.yml
│ ├── zab_Latn.yml
│ ├── zac_Latn.yml
│ ├── zad_Latn.yml
│ ├── zae_Latn.yml
│ ├── zai_Latn.yml
│ ├── zam_Latn.yml
│ ├── zao_Latn.yml
│ ├── zar_Latn.yml
│ ├── zas_Latn.yml
│ ├── zat_Latn.yml
│ ├── zav_Latn.yml
│ ├── zaw_Latn.yml
│ ├── zca_Latn.yml
│ ├── zdj_Latn.yml
│ ├── zea_Latn.yml
│ ├── zgh_Tfng.yml
│ ├── zia_Latn.yml
│ ├── ziw_Latn.yml
│ ├── zne_Latn.yml
│ ├── zoc_Latn.yml
│ ├── zom_Latn.yml
│ ├── zos_Latn.yml
│ ├── zpa_Latn.yml
│ ├── zpc_Latn.yml
│ ├── zpg_Latn.yml
│ ├── zpi_Latn.yml
│ ├── zpj_Latn.yml
│ ├── zpl_Latn.yml
│ ├── zpm_Latn.yml
│ ├── zpo_Latn.yml
│ ├── zpq_Latn.yml
│ ├── zpt_Latn.yml
│ ├── zpu_Latn.yml
│ ├── zpv_Latn.yml
│ ├── zpz_Latn.yml
│ ├── zsm_Arab.yml
│ ├── zsm_Latn.yml
│ ├── zsr_Latn.yml
│ ├── ztq_Latn.yml
│ ├── zty_Latn.yml
│ ├── zul_Latn.yml
│ ├── zyb_Latn.yml
│ └── zyp_Latn.yml
├── fineweb-2-pipeline.py
├── fineweb2-language-distribution.csv
└── misc/
├── precision_filtering/
│ ├── README.md
│ ├── audits/
│ │ ├── ary_Arab.tsv
│ │ ├── bar_Latn.tsv
│ │ ├── glk_Arab.tsv
│ │ ├── pcm_Latn.csv
│ │ └── pcm_Latn.tsv
│ ├── cont_scores.json
│ ├── count_common.py
│ ├── run_precision_filtering.py
│ ├── slurm_count_word.py
│ ├── url_whitelist.json
│ ├── wordlist_gen.py
│ ├── wordlist_score.py
│ ├── wordlists-0.85/
│ │ ├── aai_Latn.txt
│ │ ├── aak_Latn.txt
│ │ ├── aau_Latn.txt
│ │ ├── aaz_Latn.txt
│ │ ├── aba_Latn.txt
│ │ ├── abi_Latn.txt
│ │ ├── abk_Cyrl.txt
│ │ ├── abn_Latn.txt
│ │ ├── abq_Cyrl.txt
│ │ ├── abs_Latn.txt
│ │ ├── abt_Latn.txt
│ │ ├── abx_Latn.txt
│ │ ├── aby_Latn.txt
│ │ ├── abz_Latn.txt
│ │ ├── aca_Latn.txt
│ │ ├── acd_Latn.txt
│ │ ├── ace_Arab.txt
│ │ ├── ace_Latn.txt
│ │ ├── acf_Latn.txt
│ │ ├── ach_Latn.txt
│ │ ├── acm_Arab.txt
│ │ ├── acn_Latn.txt
│ │ ├── acr_Latn.txt
│ │ ├── acu_Latn.txt
│ │ ├── ada_Latn.txt
│ │ ├── ade_Latn.txt
│ │ ├── adh_Latn.txt
│ │ ├── adi_Latn.txt
│ │ ├── adj_Latn.txt
│ │ ├── adl_Latn.txt
│ │ ├── ady_Cyrl.txt
│ │ ├── adz_Latn.txt
│ │ ├── aeb_Arab.txt
│ │ ├── aer_Latn.txt
│ │ ├── aeu_Latn.txt
│ │ ├── aey_Latn.txt
│ │ ├── afr_Latn.txt
│ │ ├── agd_Latn.txt
│ │ ├── agg_Latn.txt
│ │ ├── agm_Latn.txt
│ │ ├── agn_Latn.txt
│ │ ├── agr_Latn.txt
│ │ ├── agt_Latn.txt
│ │ ├── agu_Latn.txt
│ │ ├── agw_Latn.txt
│ │ ├── agx_Cyrl.txt
│ │ ├── aha_Latn.txt
│ │ ├── ahk_Latn.txt
│ │ ├── aia_Latn.txt
│ │ ├── aii_Syrc.txt
│ │ ├── aim_Latn.txt
│ │ ├── ain_Latn.txt
│ │ ├── ajg_Latn.txt
│ │ ├── aji_Latn.txt
│ │ ├── ajz_Latn.txt
│ │ ├── akb_Latn.txt
│ │ ├── ake_Latn.txt
│ │ ├── akh_Latn.txt
│ │ ├── akp_Latn.txt
│ │ ├── ald_Latn.txt
│ │ ├── alj_Latn.txt
│ │ ├── aln_Latn.txt
│ │ ├── alp_Latn.txt
│ │ ├── alq_Latn.txt
│ │ ├── als_Latn.txt
│ │ ├── alt_Cyrl.txt
│ │ ├── aly_Latn.txt
│ │ ├── alz_Latn.txt
│ │ ├── ame_Latn.txt
│ │ ├── amf_Latn.txt
│ │ ├── amh_Ethi.txt
│ │ ├── ami_Latn.txt
│ │ ├── amk_Latn.txt
│ │ ├── amm_Latn.txt
│ │ ├── amn_Latn.txt
│ │ ├── amp_Latn.txt
│ │ ├── amr_Latn.txt
│ │ ├── amu_Latn.txt
│ │ ├── amx_Latn.txt
│ │ ├── ang_Latn.txt
│ │ ├── anm_Latn.txt
│ │ ├── ann_Latn.txt
│ │ ├── anp_Deva.txt
│ │ ├── anv_Latn.txt
│ │ ├── any_Latn.txt
│ │ ├── aoi_Latn.txt
│ │ ├── aoj_Latn.txt
│ │ ├── aom_Latn.txt
│ │ ├── aoz_Latn.txt
│ │ ├── apb_Latn.txt
│ │ ├── apc_Arab.txt
│ │ ├── ape_Latn.txt
│ │ ├── apn_Latn.txt
│ │ ├── apr_Latn.txt
│ │ ├── apt_Latn.txt
│ │ ├── apu_Latn.txt
│ │ ├── apw_Latn.txt
│ │ ├── apy_Latn.txt
│ │ ├── apz_Latn.txt
│ │ ├── aqz_Latn.txt
│ │ ├── arb_Arab.txt
│ │ ├── arb_Latn.txt
│ │ ├── are_Latn.txt
│ │ ├── arg_Latn.txt
│ │ ├── arl_Latn.txt
│ │ ├── arn_Latn.txt
│ │ ├── arp_Latn.txt
│ │ ├── arq_Arab.txt
│ │ ├── arr_Latn.txt
│ │ ├── ars_Arab.txt
│ │ ├── ary_Arab.txt
│ │ ├── arz_Arab.txt
│ │ ├── asg_Latn.txt
│ │ ├── asm_Beng.txt
│ │ ├── asm_Latn.txt
│ │ ├── aso_Latn.txt
│ │ ├── ast_Latn.txt
│ │ ├── ata_Latn.txt
│ │ ├── atb_Latn.txt
│ │ ├── atd_Latn.txt
│ │ ├── atg_Latn.txt
│ │ ├── ati_Latn.txt
│ │ ├── atj_Latn.txt
│ │ ├── atq_Latn.txt
│ │ ├── att_Latn.txt
│ │ ├── auc_Latn.txt
│ │ ├── aui_Latn.txt
│ │ ├── auy_Latn.txt
│ │ ├── ava_Cyrl.txt
│ │ ├── avk_Latn.txt
│ │ ├── avn_Latn.txt
│ │ ├── avt_Latn.txt
│ │ ├── avu_Latn.txt
│ │ ├── awa_Deva.txt
│ │ ├── awb_Latn.txt
│ │ ├── awi_Latn.txt
│ │ ├── awx_Latn.txt
│ │ ├── ayo_Latn.txt
│ │ ├── ayp_Arab.txt
│ │ ├── ayr_Latn.txt
│ │ ├── azb_Arab.txt
│ │ ├── azg_Latn.txt
│ │ ├── azj_Cyrl.txt
│ │ ├── azj_Latn.txt
│ │ ├── azz_Latn.txt
│ │ ├── bak_Cyrl.txt
│ │ ├── bal_Arab.txt
│ │ ├── bam_Latn.txt
│ │ ├── ban_Latn.txt
│ │ ├── bao_Latn.txt
│ │ ├── bar_Latn.txt
│ │ ├── bas_Latn.txt
│ │ ├── bav_Latn.txt
│ │ ├── bba_Latn.txt
│ │ ├── bbb_Latn.txt
│ │ ├── bbc_Latn.txt
│ │ ├── bbj_Latn.txt
│ │ ├── bbk_Latn.txt
│ │ ├── bbo_Latn.txt
│ │ ├── bbr_Latn.txt
│ │ ├── bcc_Arab.txt
│ │ ├── bch_Latn.txt
│ │ ├── bci_Latn.txt
│ │ ├── bcl_Latn.txt
│ │ ├── bco_Latn.txt
│ │ ├── bcw_Latn.txt
│ │ ├── bdd_Latn.txt
│ │ ├── bdh_Latn.txt
│ │ ├── bdq_Latn.txt
│ │ ├── bea_Latn.txt
│ │ ├── bef_Latn.txt
│ │ ├── bel_Cyrl.txt
│ │ ├── bem_Latn.txt
│ │ ├── ben_Beng.txt
│ │ ├── ben_Latn.txt
│ │ ├── beq_Latn.txt
│ │ ├── bew_Latn.txt
│ │ ├── bex_Latn.txt
│ │ ├── bfd_Latn.txt
│ │ ├── bfo_Latn.txt
│ │ ├── bgr_Latn.txt
│ │ ├── bgs_Latn.txt
│ │ ├── bgt_Latn.txt
│ │ ├── bgz_Latn.txt
│ │ ├── bhg_Latn.txt
│ │ ├── bhl_Latn.txt
│ │ ├── bho_Deva.txt
│ │ ├── bhp_Latn.txt
│ │ ├── bhw_Latn.txt
│ │ ├── bhz_Latn.txt
│ │ ├── bib_Latn.txt
│ │ ├── big_Latn.txt
│ │ ├── bim_Latn.txt
│ │ ├── bin_Latn.txt
│ │ ├── bis_Latn.txt
│ │ ├── biu_Latn.txt
│ │ ├── biv_Latn.txt
│ │ ├── bjn_Arab.txt
│ │ ├── bjn_Latn.txt
│ │ ├── bjp_Latn.txt
│ │ ├── bjr_Latn.txt
│ │ ├── bjv_Latn.txt
│ │ ├── bkd_Latn.txt
│ │ ├── bkl_Latn.txt
│ │ ├── bkq_Latn.txt
│ │ ├── bku_Latn.txt
│ │ ├── bkv_Latn.txt
│ │ ├── bla_Latn.txt
│ │ ├── blh_Latn.txt
│ │ ├── blk_Mymr.txt
│ │ ├── blt_Latn.txt
│ │ ├── blw_Latn.txt
│ │ ├── blz_Latn.txt
│ │ ├── bmh_Latn.txt
│ │ ├── bmk_Latn.txt
│ │ ├── bmq_Latn.txt
│ │ ├── bmr_Latn.txt
│ │ ├── bmu_Latn.txt
│ │ ├── bmv_Latn.txt
│ │ ├── bnj_Latn.txt
│ │ ├── bno_Latn.txt
│ │ ├── bnp_Latn.txt
│ │ ├── boa_Latn.txt
│ │ ├── bod_Tibt.txt
│ │ ├── boj_Latn.txt
│ │ ├── bom_Latn.txt
│ │ ├── bon_Latn.txt
│ │ ├── bor_Latn.txt
│ │ ├── bov_Latn.txt
│ │ ├── box_Latn.txt
│ │ ├── bpr_Latn.txt
│ │ ├── bps_Latn.txt
│ │ ├── bpy_Beng.txt
│ │ ├── bqc_Latn.txt
│ │ ├── bqj_Latn.txt
│ │ ├── bqp_Latn.txt
│ │ ├── bre_Latn.txt
│ │ ├── brh_Arab.txt
│ │ ├── bru_Latn.txt
│ │ ├── brx_Deva.txt
│ │ ├── brx_Latn.txt
│ │ ├── bsc_Latn.txt
│ │ ├── bsn_Latn.txt
│ │ ├── bsp_Latn.txt
│ │ ├── bsq_Latn.txt
│ │ ├── bss_Latn.txt
│ │ ├── btd_Latn.txt
│ │ ├── bth_Latn.txt
│ │ ├── bts_Latn.txt
│ │ ├── btt_Latn.txt
│ │ ├── btx_Latn.txt
│ │ ├── bud_Latn.txt
│ │ ├── bug_Latn.txt
│ │ ├── buk_Latn.txt
│ │ ├── bul_Cyrl.txt
│ │ ├── bum_Latn.txt
│ │ ├── bus_Latn.txt
│ │ ├── bvc_Latn.txt
│ │ ├── bvd_Latn.txt
│ │ ├── bvr_Latn.txt
│ │ ├── bvz_Latn.txt
│ │ ├── bwd_Latn.txt
│ │ ├── bwi_Latn.txt
│ │ ├── bwq_Latn.txt
│ │ ├── bwu_Latn.txt
│ │ ├── bxh_Latn.txt
│ │ ├── bxr_Cyrl.txt
│ │ ├── byr_Latn.txt
│ │ ├── byv_Latn.txt
│ │ ├── byx_Latn.txt
│ │ ├── bzd_Latn.txt
│ │ ├── bzh_Latn.txt
│ │ ├── bzi_Thai.txt
│ │ ├── bzj_Latn.txt
│ │ ├── caa_Latn.txt
│ │ ├── cab_Latn.txt
│ │ ├── cac_Latn.txt
│ │ ├── caf_Latn.txt
│ │ ├── cag_Latn.txt
│ │ ├── cak_Latn.txt
│ │ ├── cao_Latn.txt
│ │ ├── cap_Latn.txt
│ │ ├── caq_Latn.txt
│ │ ├── car_Latn.txt
│ │ ├── cas_Latn.txt
│ │ ├── cat_Latn.txt
│ │ ├── cav_Latn.txt
│ │ ├── cax_Latn.txt
│ │ ├── cbc_Latn.txt
│ │ ├── cbi_Latn.txt
│ │ ├── cbk_Latn.txt
│ │ ├── cbr_Latn.txt
│ │ ├── cbs_Latn.txt
│ │ ├── cbt_Latn.txt
│ │ ├── cbu_Latn.txt
│ │ ├── cbv_Latn.txt
│ │ ├── cce_Latn.txt
│ │ ├── cco_Latn.txt
│ │ ├── ccp_Latn.txt
│ │ ├── cdf_Latn.txt
│ │ ├── ceb_Latn.txt
│ │ ├── ceg_Latn.txt
│ │ ├── cek_Latn.txt
│ │ ├── ces_Latn.txt
│ │ ├── cfm_Latn.txt
│ │ ├── cgc_Latn.txt
│ │ ├── cgg_Latn.txt
│ │ ├── cha_Latn.txt
│ │ ├── chd_Latn.txt
│ │ ├── che_Cyrl.txt
│ │ ├── chf_Latn.txt
│ │ ├── chj_Latn.txt
│ │ ├── chk_Latn.txt
│ │ ├── cho_Latn.txt
│ │ ├── chq_Latn.txt
│ │ ├── chr_Cher.txt
│ │ ├── chr_Latn.txt
│ │ ├── chu_Cyrl.txt
│ │ ├── chv_Cyrl.txt
│ │ ├── chw_Latn.txt
│ │ ├── chz_Latn.txt
│ │ ├── cjk_Latn.txt
│ │ ├── cjo_Latn.txt
│ │ ├── cjp_Latn.txt
│ │ ├── cjs_Cyrl.txt
│ │ ├── cjv_Latn.txt
│ │ ├── ckb_Arab.txt
│ │ ├── cko_Latn.txt
│ │ ├── ckt_Cyrl.txt
│ │ ├── cle_Latn.txt
│ │ ├── clu_Latn.txt
│ │ ├── cly_Latn.txt
│ │ ├── cme_Latn.txt
│ │ ├── cmn_Hani.txt
│ │ ├── cmo_Khmr.txt
│ │ ├── cmo_Latn.txt
│ │ ├── cmr_Latn.txt
│ │ ├── cnh_Latn.txt
│ │ ├── cni_Latn.txt
│ │ ├── cnk_Latn.txt
│ │ ├── cnl_Latn.txt
│ │ ├── cnt_Latn.txt
│ │ ├── cnw_Latn.txt
│ │ ├── coe_Latn.txt
│ │ ├── cof_Latn.txt
│ │ ├── cok_Latn.txt
│ │ ├── con_Latn.txt
│ │ ├── cop_Copt.txt
│ │ ├── cor_Latn.txt
│ │ ├── cos_Latn.txt
│ │ ├── cot_Latn.txt
│ │ ├── cou_Latn.txt
│ │ ├── cpa_Latn.txt
│ │ ├── cpb_Latn.txt
│ │ ├── cpc_Latn.txt
│ │ ├── cpu_Latn.txt
│ │ ├── cpy_Latn.txt
│ │ ├── crh_Cyrl.txt
│ │ ├── crh_Latn.txt
│ │ ├── cri_Latn.txt
│ │ ├── crj_Cans.txt
│ │ ├── crk_Cans.txt
│ │ ├── crk_Latn.txt
│ │ ├── crl_Cans.txt
│ │ ├── crm_Cans.txt
│ │ ├── crn_Latn.txt
│ │ ├── crs_Latn.txt
│ │ ├── crt_Latn.txt
│ │ ├── crx_Latn.txt
│ │ ├── csb_Latn.txt
│ │ ├── csk_Latn.txt
│ │ ├── cso_Latn.txt
│ │ ├── csw_Latn.txt
│ │ ├── csy_Latn.txt
│ │ ├── cta_Latn.txt
│ │ ├── ctd_Latn.txt
│ │ ├── cto_Latn.txt
│ │ ├── ctp_Latn.txt
│ │ ├── ctu_Latn.txt
│ │ ├── cub_Latn.txt
│ │ ├── cuc_Latn.txt
│ │ ├── cui_Latn.txt
│ │ ├── cuk_Latn.txt
│ │ ├── cul_Latn.txt
│ │ ├── cut_Latn.txt
│ │ ├── cux_Latn.txt
│ │ ├── cwd_Cans.txt
│ │ ├── cwe_Latn.txt
│ │ ├── cwt_Latn.txt
│ │ ├── cya_Latn.txt
│ │ ├── cym_Latn.txt
│ │ ├── czt_Latn.txt
│ │ ├── daa_Latn.txt
│ │ ├── dad_Latn.txt
│ │ ├── daf_Latn.txt
│ │ ├── dag_Latn.txt
│ │ ├── dah_Latn.txt
│ │ ├── dak_Latn.txt
│ │ ├── dan_Latn.txt
│ │ ├── dar_Cyrl.txt
│ │ ├── dbq_Latn.txt
│ │ ├── ddg_Latn.txt
│ │ ├── ddn_Latn.txt
│ │ ├── ded_Latn.txt
│ │ ├── des_Latn.txt
│ │ ├── deu_Latn.txt
│ │ ├── dga_Latn.txt
│ │ ├── dgc_Latn.txt
│ │ ├── dgi_Latn.txt
│ │ ├── dgr_Latn.txt
│ │ ├── dgz_Latn.txt
│ │ ├── dhg_Latn.txt
│ │ ├── dhm_Latn.txt
│ │ ├── dhv_Latn.txt
│ │ ├── did_Latn.txt
│ │ ├── dig_Latn.txt
│ │ ├── dik_Latn.txt
│ │ ├── dip_Latn.txt
│ │ ├── diq_Latn.txt
│ │ ├── dis_Latn.txt
│ │ ├── diu_Latn.txt
│ │ ├── div_Thaa.txt
│ │ ├── dje_Latn.txt
│ │ ├── djk_Latn.txt
│ │ ├── djr_Latn.txt
│ │ ├── dks_Latn.txt
│ │ ├── dln_Latn.txt
│ │ ├── dng_Cyrl.txt
│ │ ├── dnj_Latn.txt
│ │ ├── dnw_Latn.txt
│ │ ├── dob_Latn.txt
│ │ ├── doi_Deva.txt
│ │ ├── dop_Latn.txt
│ │ ├── dos_Latn.txt
│ │ ├── dow_Latn.txt
│ │ ├── drg_Latn.txt
│ │ ├── dru_Latn.txt
│ │ ├── dsb_Latn.txt
│ │ ├── dsh_Latn.txt
│ │ ├── dtb_Latn.txt
│ │ ├── dtp_Latn.txt
│ │ ├── dts_Latn.txt
│ │ ├── dty_Deva.txt
│ │ ├── dua_Latn.txt
│ │ ├── due_Latn.txt
│ │ ├── dug_Latn.txt
│ │ ├── duo_Latn.txt
│ │ ├── dur_Latn.txt
│ │ ├── dwr_Latn.txt
│ │ ├── dww_Latn.txt
│ │ ├── dyi_Latn.txt
│ │ ├── dyo_Latn.txt
│ │ ├── dyu_Latn.txt
│ │ ├── dzo_Tibt.txt
│ │ ├── ebk_Latn.txt
│ │ ├── efi_Latn.txt
│ │ ├── eka_Latn.txt
│ │ ├── ekk_Latn.txt
│ │ ├── eko_Latn.txt
│ │ ├── ell_Grek.txt
│ │ ├── eme_Latn.txt
│ │ ├── emi_Latn.txt
│ │ ├── eml_Latn.txt
│ │ ├── emp_Latn.txt
│ │ ├── enb_Latn.txt
│ │ ├── eng_Latn.txt
│ │ ├── enl_Latn.txt
│ │ ├── enm_Latn.txt
│ │ ├── enq_Latn.txt
│ │ ├── enx_Latn.txt
│ │ ├── epo_Latn.txt
│ │ ├── eri_Latn.txt
│ │ ├── ese_Latn.txt
│ │ ├── esi_Latn.txt
│ │ ├── esk_Latn.txt
│ │ ├── ess_Latn.txt
│ │ ├── esu_Latn.txt
│ │ ├── eto_Latn.txt
│ │ ├── etr_Latn.txt
│ │ ├── etu_Latn.txt
│ │ ├── eus_Latn.txt
│ │ ├── eve_Cyrl.txt
│ │ ├── ewe_Latn.txt
│ │ ├── ewo_Latn.txt
│ │ ├── ext_Latn.txt
│ │ ├── eza_Latn.txt
│ │ ├── faa_Latn.txt
│ │ ├── fad_Latn.txt
│ │ ├── fai_Latn.txt
│ │ ├── fal_Latn.txt
│ │ ├── fan_Latn.txt
│ │ ├── fao_Latn.txt
│ │ ├── far_Latn.txt
│ │ ├── fas_Arab.txt
│ │ ├── fat_Latn.txt
│ │ ├── ffm_Latn.txt
│ │ ├── fij_Latn.txt
│ │ ├── fil_Latn.txt
│ │ ├── fin_Latn.txt
│ │ ├── fit_Latn.txt
│ │ ├── fkv_Latn.txt
│ │ ├── fmu_Deva.txt
│ │ ├── fon_Latn.txt
│ │ ├── for_Latn.txt
│ │ ├── fra_Latn.txt
│ │ ├── frd_Latn.txt
│ │ ├── fro_Latn.txt
│ │ ├── frp_Latn.txt
│ │ ├── frr_Latn.txt
│ │ ├── fry_Latn.txt
│ │ ├── fub_Latn.txt
│ │ ├── fud_Latn.txt
│ │ ├── fue_Latn.txt
│ │ ├── fuf_Latn.txt
│ │ ├── fuh_Latn.txt
│ │ ├── fuq_Latn.txt
│ │ ├── fur_Latn.txt
│ │ ├── fuv_Arab.txt
│ │ ├── fuv_Latn.txt
│ │ ├── gaa_Latn.txt
│ │ ├── gag_Cyrl.txt
│ │ ├── gag_Latn.txt
│ │ ├── gah_Latn.txt
│ │ ├── gai_Latn.txt
│ │ ├── gam_Latn.txt
│ │ ├── gaw_Latn.txt
│ │ ├── gaz_Latn.txt
│ │ ├── gbi_Latn.txt
│ │ ├── gbo_Latn.txt
│ │ ├── gbr_Latn.txt
│ │ ├── gcf_Latn.txt
│ │ ├── gcr_Latn.txt
│ │ ├── gde_Latn.txt
│ │ ├── gdg_Latn.txt
│ │ ├── gdn_Latn.txt
│ │ ├── gdr_Latn.txt
│ │ ├── geb_Latn.txt
│ │ ├── gej_Latn.txt
│ │ ├── gfk_Latn.txt
│ │ ├── ghe_Deva.txt
│ │ ├── ghs_Latn.txt
│ │ ├── gid_Latn.txt
│ │ ├── gil_Latn.txt
│ │ ├── giz_Latn.txt
│ │ ├── gjn_Latn.txt
│ │ ├── gkn_Latn.txt
│ │ ├── gla_Latn.txt
│ │ ├── gle_Latn.txt
│ │ ├── glg_Latn.txt
│ │ ├── glk_Arab.txt
│ │ ├── glv_Latn.txt
│ │ ├── gmh_Latn.txt
│ │ ├── gmv_Ethi.txt
│ │ ├── gmv_Latn.txt
│ │ ├── gna_Latn.txt
│ │ ├── gnb_Latn.txt
│ │ ├── gnd_Latn.txt
│ │ ├── gng_Latn.txt
│ │ ├── gnn_Latn.txt
│ │ ├── gnw_Latn.txt
│ │ ├── goa_Latn.txt
│ │ ├── gof_Ethi.txt
│ │ ├── gof_Latn.txt
│ │ ├── gog_Latn.txt
│ │ ├── goh_Latn.txt
│ │ ├── gom_Deva.txt
│ │ ├── gom_Latn.txt
│ │ ├── gor_Latn.txt
│ │ ├── gos_Latn.txt
│ │ ├── got_Goth.txt
│ │ ├── got_Latn.txt
│ │ ├── gqr_Latn.txt
│ │ ├── grc_Grek.txt
│ │ ├── grt_Beng.txt
│ │ ├── gso_Latn.txt
│ │ ├── gsw_Latn.txt
│ │ ├── gub_Latn.txt
│ │ ├── guc_Latn.txt
│ │ ├── gud_Latn.txt
│ │ ├── gug_Latn.txt
│ │ ├── guh_Latn.txt
│ │ ├── gui_Latn.txt
│ │ ├── guj_Gujr.txt
│ │ ├── guj_Latn.txt
│ │ ├── guk_Ethi.txt
│ │ ├── gul_Latn.txt
│ │ ├── gum_Latn.txt
│ │ ├── gun_Latn.txt
│ │ ├── guo_Latn.txt
│ │ ├── guq_Latn.txt
│ │ ├── gur_Latn.txt
│ │ ├── guu_Latn.txt
│ │ ├── guw_Latn.txt
│ │ ├── gux_Latn.txt
│ │ ├── guz_Latn.txt
│ │ ├── gvc_Latn.txt
│ │ ├── gvf_Latn.txt
│ │ ├── gvl_Latn.txt
│ │ ├── gvn_Latn.txt
│ │ ├── gwi_Latn.txt
│ │ ├── gwr_Latn.txt
│ │ ├── gya_Latn.txt
│ │ ├── gym_Latn.txt
│ │ ├── gyr_Latn.txt
│ │ ├── hac_Arab.txt
│ │ ├── hae_Latn.txt
│ │ ├── hag_Latn.txt
│ │ ├── hak_Hani.txt
│ │ ├── hak_Latn.txt
│ │ ├── hat_Latn.txt
│ │ ├── hau_Latn.txt
│ │ ├── hav_Latn.txt
│ │ ├── haw_Latn.txt
│ │ ├── hay_Latn.txt
│ │ ├── hbo_Hebr.txt
│ │ ├── hbs_Latn.txt
│ │ ├── hch_Latn.txt
│ │ ├── heb_Hebr.txt
│ │ ├── heg_Latn.txt
│ │ ├── heh_Latn.txt
│ │ ├── her_Latn.txt
│ │ ├── hif_Latn.txt
│ │ ├── hig_Latn.txt
│ │ ├── hil_Latn.txt
│ │ ├── hin_Deva.txt
│ │ ├── hin_Latn.txt
│ │ ├── hix_Latn.txt
│ │ ├── hla_Latn.txt
│ │ ├── hlt_Latn.txt
│ │ ├── hmo_Latn.txt
│ │ ├── hmr_Latn.txt
│ │ ├── hne_Deva.txt
│ │ ├── hnj_Latn.txt
│ │ ├── hnn_Latn.txt
│ │ ├── hns_Latn.txt
│ │ ├── hoc_Latn.txt
│ │ ├── hoc_Wara.txt
│ │ ├── hop_Latn.txt
│ │ ├── hot_Latn.txt
│ │ ├── hra_Latn.txt
│ │ ├── hrv_Latn.txt
│ │ ├── hrx_Latn.txt
│ │ ├── hsb_Latn.txt
│ │ ├── hto_Latn.txt
│ │ ├── hub_Latn.txt
│ │ ├── hui_Latn.txt
│ │ ├── hun_Latn.txt
│ │ ├── hus_Latn.txt
│ │ ├── huu_Latn.txt
│ │ ├── huv_Latn.txt
│ │ ├── hvn_Latn.txt
│ │ ├── hwc_Latn.txt
│ │ ├── hye_Armn.txt
│ │ ├── hyw_Armn.txt
│ │ ├── ian_Latn.txt
│ │ ├── iba_Latn.txt
│ │ ├── ibg_Latn.txt
│ │ ├── ibo_Latn.txt
│ │ ├── icr_Latn.txt
│ │ ├── ido_Latn.txt
│ │ ├── idu_Latn.txt
│ │ ├── ifa_Latn.txt
│ │ ├── ifb_Latn.txt
│ │ ├── ife_Latn.txt
│ │ ├── ifk_Latn.txt
│ │ ├── ifu_Latn.txt
│ │ ├── ify_Latn.txt
│ │ ├── ige_Latn.txt
│ │ ├── ign_Latn.txt
│ │ ├── ike_Cans.txt
│ │ ├── ikk_Latn.txt
│ │ ├── ikt_Latn.txt
│ │ ├── ikw_Latn.txt
│ │ ├── ilb_Latn.txt
│ │ ├── ile_Latn.txt
│ │ ├── ilo_Latn.txt
│ │ ├── imo_Latn.txt
│ │ ├── ina_Latn.txt
│ │ ├── inb_Latn.txt
│ │ ├── ind_Latn.txt
│ │ ├── inh_Cyrl.txt
│ │ ├── ino_Latn.txt
│ │ ├── iou_Latn.txt
│ │ ├── ipi_Latn.txt
│ │ ├── iqw_Latn.txt
│ │ ├── iri_Latn.txt
│ │ ├── irk_Latn.txt
│ │ ├── iry_Latn.txt
│ │ ├── isd_Latn.txt
│ │ ├── ish_Latn.txt
│ │ ├── isl_Latn.txt
│ │ ├── iso_Latn.txt
│ │ ├── ita_Latn.txt
│ │ ├── itl_Cyrl.txt
│ │ ├── itv_Latn.txt
│ │ ├── ium_Latn.txt
│ │ ├── ivb_Latn.txt
│ │ ├── ivv_Latn.txt
│ │ ├── iws_Latn.txt
│ │ ├── ixl_Latn.txt
│ │ ├── izr_Latn.txt
│ │ ├── izz_Latn.txt
│ │ ├── jaa_Latn.txt
│ │ ├── jac_Latn.txt
│ │ ├── jae_Latn.txt
│ │ ├── jam_Latn.txt
│ │ ├── jav_Latn.txt
│ │ ├── jbo_Latn.txt
│ │ ├── jbu_Latn.txt
│ │ ├── jic_Latn.txt
│ │ ├── jiv_Latn.txt
│ │ ├── jmc_Latn.txt
│ │ ├── jpn_Jpan.txt
│ │ ├── jra_Latn.txt
│ │ ├── jun_Orya.txt
│ │ ├── jvn_Latn.txt
│ │ ├── kaa_Cyrl.txt
│ │ ├── kaa_Latn.txt
│ │ ├── kab_Latn.txt
│ │ ├── kac_Latn.txt
│ │ ├── kak_Latn.txt
│ │ ├── kal_Latn.txt
│ │ ├── kam_Latn.txt
│ │ ├── kan_Knda.txt
│ │ ├── kan_Latn.txt
│ │ ├── kao_Latn.txt
│ │ ├── kap_Cyrl.txt
│ │ ├── kaq_Latn.txt
│ │ ├── kas_Arab.txt
│ │ ├── kas_Deva.txt
│ │ ├── kas_Latn.txt
│ │ ├── kat_Geor.txt
│ │ ├── kaz_Cyrl.txt
│ │ ├── kbc_Latn.txt
│ │ ├── kbd_Cyrl.txt
│ │ ├── kbh_Latn.txt
│ │ ├── kbm_Latn.txt
│ │ ├── kbo_Latn.txt
│ │ ├── kbp_Latn.txt
│ │ ├── kbq_Latn.txt
│ │ ├── kbr_Latn.txt
│ │ ├── kby_Latn.txt
│ │ ├── kca_Cyrl.txt
│ │ ├── kcg_Latn.txt
│ │ ├── kck_Latn.txt
│ │ ├── kdc_Latn.txt
│ │ ├── kde_Latn.txt
│ │ ├── kdh_Latn.txt
│ │ ├── kdi_Latn.txt
│ │ ├── kdj_Latn.txt
│ │ ├── kdl_Latn.txt
│ │ ├── kdr_Latn.txt
│ │ ├── kea_Latn.txt
│ │ ├── kei_Latn.txt
│ │ ├── kek_Latn.txt
│ │ ├── ken_Latn.txt
│ │ ├── keo_Latn.txt
│ │ ├── ker_Latn.txt
│ │ ├── kew_Latn.txt
│ │ ├── kex_Deva.txt
│ │ ├── kez_Latn.txt
│ │ ├── kff_Telu.txt
│ │ ├── kgf_Latn.txt
│ │ ├── kgk_Latn.txt
│ │ ├── kgp_Latn.txt
│ │ ├── kgr_Latn.txt
│ │ ├── kha_Latn.txt
│ │ ├── khk_Cyrl.txt
│ │ ├── khm_Khmr.txt
│ │ ├── khq_Latn.txt
│ │ ├── khs_Latn.txt
│ │ ├── khy_Latn.txt
│ │ ├── khz_Latn.txt
│ │ ├── kia_Latn.txt
│ │ ├── kij_Latn.txt
│ │ ├── kik_Latn.txt
│ │ ├── kin_Latn.txt
│ │ ├── kir_Cyrl.txt
│ │ ├── kiu_Latn.txt
│ │ ├── kix_Latn.txt
│ │ ├── kjb_Latn.txt
│ │ ├── kje_Latn.txt
│ │ ├── kjh_Cyrl.txt
│ │ ├── kjs_Latn.txt
│ │ ├── kkc_Latn.txt
│ │ ├── kki_Latn.txt
│ │ ├── kkj_Latn.txt
│ │ ├── kkl_Latn.txt
│ │ ├── kle_Deva.txt
│ │ ├── klt_Latn.txt
│ │ ├── klv_Latn.txt
│ │ ├── kma_Latn.txt
│ │ ├── kmb_Latn.txt
│ │ ├── kmd_Latn.txt
│ │ ├── kmg_Latn.txt
│ │ ├── kmh_Latn.txt
│ │ ├── kmk_Latn.txt
│ │ ├── kmm_Latn.txt
│ │ ├── kmo_Latn.txt
│ │ ├── kmr_Cyrl.txt
│ │ ├── kmr_Latn.txt
│ │ ├── kms_Latn.txt
│ │ ├── kmu_Latn.txt
│ │ ├── kmy_Latn.txt
│ │ ├── knc_Arab.txt
│ │ ├── knc_Latn.txt
│ │ ├── kne_Latn.txt
│ │ ├── knf_Latn.txt
│ │ ├── kng_Latn.txt
│ │ ├── knj_Latn.txt
│ │ ├── knk_Latn.txt
│ │ ├── kno_Latn.txt
│ │ ├── knv_Latn.txt
│ │ ├── knx_Latn.txt
│ │ ├── kny_Latn.txt
│ │ ├── kog_Latn.txt
│ │ ├── koi_Cyrl.txt
│ │ ├── koo_Latn.txt
│ │ ├── kor_Hang.txt
│ │ ├── kos_Latn.txt
│ │ ├── kpe_Latn.txt
│ │ ├── kpf_Latn.txt
│ │ ├── kpg_Latn.txt
│ │ ├── kpj_Latn.txt
│ │ ├── kpq_Latn.txt
│ │ ├── kpr_Latn.txt
│ │ ├── kpv_Cyrl.txt
│ │ ├── kpw_Latn.txt
│ │ ├── kpx_Latn.txt
│ │ ├── kpz_Latn.txt
│ │ ├── kqa_Latn.txt
│ │ ├── kqc_Latn.txt
│ │ ├── kqe_Latn.txt
│ │ ├── kqf_Latn.txt
│ │ ├── kql_Latn.txt
│ │ ├── kqn_Latn.txt
│ │ ├── kqo_Latn.txt
│ │ ├── kqp_Latn.txt
│ │ ├── kqs_Latn.txt
│ │ ├── kqw_Latn.txt
│ │ ├── kqy_Ethi.txt
│ │ ├── krc_Cyrl.txt
│ │ ├── kri_Latn.txt
│ │ ├── krj_Latn.txt
│ │ ├── krl_Latn.txt
│ │ ├── kru_Deva.txt
│ │ ├── krx_Latn.txt
│ │ ├── ksb_Latn.txt
│ │ ├── ksc_Latn.txt
│ │ ├── ksd_Latn.txt
│ │ ├── ksf_Latn.txt
│ │ ├── ksh_Latn.txt
│ │ ├── ksj_Latn.txt
│ │ ├── ksp_Latn.txt
│ │ ├── ksr_Latn.txt
│ │ ├── kss_Latn.txt
│ │ ├── ksw_Mymr.txt
│ │ ├── ktb_Ethi.txt
│ │ ├── ktj_Latn.txt
│ │ ├── ktm_Latn.txt
│ │ ├── kto_Latn.txt
│ │ ├── ktu_Latn.txt
│ │ ├── ktz_Latn.txt
│ │ ├── kua_Latn.txt
│ │ ├── kub_Latn.txt
│ │ ├── kud_Latn.txt
│ │ ├── kue_Latn.txt
│ │ ├── kuj_Latn.txt
│ │ ├── kum_Cyrl.txt
│ │ ├── kup_Latn.txt
│ │ ├── kus_Latn.txt
│ │ ├── kvg_Latn.txt
│ │ ├── kvj_Latn.txt
│ │ ├── kvn_Latn.txt
│ │ ├── kwd_Latn.txt
│ │ ├── kwf_Latn.txt
│ │ ├── kwi_Latn.txt
│ │ ├── kwj_Latn.txt
│ │ ├── kwn_Latn.txt
│ │ ├── kwy_Latn.txt
│ │ ├── kxc_Ethi.txt
│ │ ├── kxm_Thai.txt
│ │ ├── kxw_Latn.txt
│ │ ├── kyc_Latn.txt
│ │ ├── kyf_Latn.txt
│ │ ├── kyg_Latn.txt
│ │ ├── kyq_Latn.txt
│ │ ├── kyu_Kali.txt
│ │ ├── kyu_Latn.txt
│ │ ├── kyu_Mymr.txt
│ │ ├── kyz_Latn.txt
│ │ ├── kze_Latn.txt
│ │ ├── kzf_Latn.txt
│ │ ├── kzj_Latn.txt
│ │ ├── kzn_Latn.txt
│ │ ├── lac_Latn.txt
│ │ ├── lad_Hebr.txt
│ │ ├── lad_Latn.txt
│ │ ├── lai_Latn.txt
│ │ ├── laj_Latn.txt
│ │ ├── lam_Latn.txt
│ │ ├── lao_Laoo.txt
│ │ ├── lap_Latn.txt
│ │ ├── las_Latn.txt
│ │ ├── lat_Latn.txt
│ │ ├── law_Latn.txt
│ │ ├── lbb_Latn.txt
│ │ ├── lbe_Cyrl.txt
│ │ ├── lbj_Tibt.txt
│ │ ├── lbk_Latn.txt
│ │ ├── lcm_Latn.txt
│ │ ├── lcp_Thai.txt
│ │ ├── ldi_Latn.txt
│ │ ├── ldn_Latn.txt
│ │ ├── lea_Latn.txt
│ │ ├── led_Latn.txt
│ │ ├── lee_Latn.txt
│ │ ├── lef_Latn.txt
│ │ ├── leh_Latn.txt
│ │ ├── lem_Latn.txt
│ │ ├── leu_Latn.txt
│ │ ├── lew_Latn.txt
│ │ ├── lex_Latn.txt
│ │ ├── lez_Cyrl.txt
│ │ ├── lfn_Cyrl.txt
│ │ ├── lfn_Latn.txt
│ │ ├── lgg_Latn.txt
│ │ ├── lgl_Latn.txt
│ │ ├── lgm_Latn.txt
│ │ ├── lhi_Latn.txt
│ │ ├── lhu_Latn.txt
│ │ ├── lia_Latn.txt
│ │ ├── lid_Latn.txt
│ │ ├── lif_Deva.txt
│ │ ├── lif_Limb.txt
│ │ ├── lij_Latn.txt
│ │ ├── lim_Latn.txt
│ │ ├── lin_Latn.txt
│ │ ├── lip_Latn.txt
│ │ ├── lis_Lisu.txt
│ │ ├── lit_Latn.txt
│ │ ├── liv_Latn.txt
│ │ ├── ljp_Latn.txt
│ │ ├── lki_Arab.txt
│ │ ├── llb_Latn.txt
│ │ ├── lld_Latn.txt
│ │ ├── llg_Latn.txt
│ │ ├── lln_Latn.txt
│ │ ├── lmk_Latn.txt
│ │ ├── lmo_Latn.txt
│ │ ├── lmp_Latn.txt
│ │ ├── lnd_Latn.txt
│ │ ├── lob_Latn.txt
│ │ ├── loe_Latn.txt
│ │ ├── log_Latn.txt
│ │ ├── lok_Latn.txt
│ │ ├── lol_Latn.txt
│ │ ├── lom_Latn.txt
│ │ ├── loq_Latn.txt
│ │ ├── loz_Latn.txt
│ │ ├── lrc_Arab.txt
│ │ ├── lsi_Latn.txt
│ │ ├── lsm_Latn.txt
│ │ ├── ltg_Latn.txt
│ │ ├── ltz_Latn.txt
│ │ ├── lua_Latn.txt
│ │ ├── lub_Latn.txt
│ │ ├── luc_Latn.txt
│ │ ├── lud_Latn.txt
│ │ ├── lue_Latn.txt
│ │ ├── lug_Latn.txt
│ │ ├── lun_Latn.txt
│ │ ├── luo_Latn.txt
│ │ ├── lus_Latn.txt
│ │ ├── lvs_Latn.txt
│ │ ├── lwg_Latn.txt
│ │ ├── lwo_Latn.txt
│ │ ├── lww_Latn.txt
│ │ ├── lzh_Hani.txt
│ │ ├── maa_Latn.txt
│ │ ├── mad_Latn.txt
│ │ ├── maf_Latn.txt
│ │ ├── mag_Deva.txt
│ │ ├── mah_Latn.txt
│ │ ├── mai_Deva.txt
│ │ ├── maj_Latn.txt
│ │ ├── mak_Latn.txt
│ │ ├── mal_Latn.txt
│ │ ├── mal_Mlym.txt
│ │ ├── mam_Latn.txt
│ │ ├── maq_Latn.txt
│ │ ├── mar_Deva.txt
│ │ ├── mar_Latn.txt
│ │ ├── mas_Latn.txt
│ │ ├── mau_Latn.txt
│ │ ├── mav_Latn.txt
│ │ ├── maw_Latn.txt
│ │ ├── max_Latn.txt
│ │ ├── maz_Latn.txt
│ │ ├── mbb_Latn.txt
│ │ ├── mbc_Latn.txt
│ │ ├── mbd_Latn.txt
│ │ ├── mbf_Latn.txt
│ │ ├── mbh_Latn.txt
│ │ ├── mbi_Latn.txt
│ │ ├── mbj_Latn.txt
│ │ ├── mbl_Latn.txt
│ │ ├── mbs_Latn.txt
│ │ ├── mbt_Latn.txt
│ │ ├── mca_Latn.txt
│ │ ├── mcb_Latn.txt
│ │ ├── mcd_Latn.txt
│ │ ├── mcf_Latn.txt
│ │ ├── mck_Latn.txt
│ │ ├── mcn_Latn.txt
│ │ ├── mco_Latn.txt
│ │ ├── mcp_Latn.txt
│ │ ├── mcq_Latn.txt
│ │ ├── mcu_Latn.txt
│ │ ├── mda_Latn.txt
│ │ ├── mdf_Cyrl.txt
│ │ ├── mdy_Ethi.txt
│ │ ├── med_Latn.txt
│ │ ├── mee_Latn.txt
│ │ ├── mej_Latn.txt
│ │ ├── mek_Latn.txt
│ │ ├── men_Latn.txt
│ │ ├── meq_Latn.txt
│ │ ├── mer_Latn.txt
│ │ ├── met_Latn.txt
│ │ ├── meu_Latn.txt
│ │ ├── mev_Latn.txt
│ │ ├── mfe_Latn.txt
│ │ ├── mfg_Latn.txt
│ │ ├── mfh_Latn.txt
│ │ ├── mfi_Latn.txt
│ │ ├── mfk_Latn.txt
│ │ ├── mfq_Latn.txt
│ │ ├── mfy_Latn.txt
│ │ ├── mfz_Latn.txt
│ │ ├── mgc_Latn.txt
│ │ ├── mgh_Latn.txt
│ │ ├── mgm_Latn.txt
│ │ ├── mgo_Latn.txt
│ │ ├── mgr_Latn.txt
│ │ ├── mhi_Latn.txt
│ │ ├── mhl_Latn.txt
│ │ ├── mhr_Cyrl.txt
│ │ ├── mhw_Latn.txt
│ │ ├── mhx_Latn.txt
│ │ ├── mhy_Latn.txt
│ │ ├── mib_Latn.txt
│ │ ├── mic_Latn.txt
│ │ ├── mie_Latn.txt
│ │ ├── mif_Latn.txt
│ │ ├── mig_Latn.txt
│ │ ├── mih_Latn.txt
│ │ ├── mil_Latn.txt
│ │ ├── mim_Latn.txt
│ │ ├── min_Arab.txt
│ │ ├── min_Latn.txt
│ │ ├── mio_Latn.txt
│ │ ├── mip_Latn.txt
│ │ ├── miq_Latn.txt
│ │ ├── mir_Latn.txt
│ │ ├── mit_Latn.txt
│ │ ├── miy_Latn.txt
│ │ ├── miz_Latn.txt
│ │ ├── mjc_Latn.txt
│ │ ├── mjw_Latn.txt
│ │ ├── mkd_Cyrl.txt
│ │ ├── mkl_Latn.txt
│ │ ├── mkn_Latn.txt
│ │ ├── mks_Latn.txt
│ │ ├── mkz_Latn.txt
│ │ ├── mlh_Latn.txt
│ │ ├── mlp_Latn.txt
│ │ ├── mlt_Latn.txt
│ │ ├── mlu_Latn.txt
│ │ ├── mmn_Latn.txt
│ │ ├── mmo_Latn.txt
│ │ ├── mmx_Latn.txt
│ │ ├── mna_Latn.txt
│ │ ├── mnb_Latn.txt
│ │ ├── mnf_Latn.txt
│ │ ├── mni_Beng.txt
│ │ ├── mni_Latn.txt
│ │ ├── mni_Mtei.txt
│ │ ├── mnk_Latn.txt
│ │ ├── mns_Cyrl.txt
│ │ ├── mnw_Mymr.txt
│ │ ├── mnx_Latn.txt
│ │ ├── mny_Latn.txt
│ │ ├── moa_Latn.txt
│ │ ├── moc_Latn.txt
│ │ ├── mog_Latn.txt
│ │ ├── moh_Latn.txt
│ │ ├── mop_Latn.txt
│ │ ├── mor_Latn.txt
│ │ ├── mos_Latn.txt
│ │ ├── mox_Latn.txt
│ │ ├── mpg_Latn.txt
│ │ ├── mph_Latn.txt
│ │ ├── mpm_Latn.txt
│ │ ├── mpp_Latn.txt
│ │ ├── mps_Latn.txt
│ │ ├── mpt_Latn.txt
│ │ ├── mpx_Latn.txt
│ │ ├── mqb_Latn.txt
│ │ ├── mqj_Latn.txt
│ │ ├── mqy_Latn.txt
│ │ ├── mrg_Latn.txt
│ │ ├── mri_Latn.txt
│ │ ├── mrj_Cyrl.txt
│ │ ├── mrq_Latn.txt
│ │ ├── mrv_Latn.txt
│ │ ├── mrw_Latn.txt
│ │ ├── msb_Latn.txt
│ │ ├── msc_Latn.txt
│ │ ├── mse_Latn.txt
│ │ ├── msk_Latn.txt
│ │ ├── msm_Latn.txt
│ │ ├── msy_Latn.txt
│ │ ├── mta_Latn.txt
│ │ ├── mtg_Latn.txt
│ │ ├── mti_Latn.txt
│ │ ├── mtj_Latn.txt
│ │ ├── mto_Latn.txt
│ │ ├── mtp_Latn.txt
│ │ ├── mua_Latn.txt
│ │ ├── mug_Latn.txt
│ │ ├── muh_Latn.txt
│ │ ├── mui_Latn.txt
│ │ ├── mup_Deva.txt
│ │ ├── mur_Latn.txt
│ │ ├── mus_Latn.txt
│ │ ├── mux_Latn.txt
│ │ ├── muy_Latn.txt
│ │ ├── mva_Latn.txt
│ │ ├── mvn_Latn.txt
│ │ ├── mvp_Latn.txt
│ │ ├── mwc_Latn.txt
│ │ ├── mwf_Latn.txt
│ │ ├── mwl_Latn.txt
│ │ ├── mwm_Latn.txt
│ │ ├── mwn_Latn.txt
│ │ ├── mwp_Latn.txt
│ │ ├── mwq_Latn.txt
│ │ ├── mwv_Latn.txt
│ │ ├── mww_Latn.txt
│ │ ├── mxb_Latn.txt
│ │ ├── mxp_Latn.txt
│ │ ├── mxq_Latn.txt
│ │ ├── mxt_Latn.txt
│ │ ├── mxv_Latn.txt
│ │ ├── mya_Mymr.txt
│ │ ├── myb_Latn.txt
│ │ ├── myk_Latn.txt
│ │ ├── myu_Latn.txt
│ │ ├── myv_Cyrl.txt
│ │ ├── myw_Latn.txt
│ │ ├── myx_Latn.txt
│ │ ├── myy_Latn.txt
│ │ ├── mza_Latn.txt
│ │ ├── mzh_Latn.txt
│ │ ├── mzk_Latn.txt
│ │ ├── mzl_Latn.txt
│ │ ├── mzm_Latn.txt
│ │ ├── mzn_Arab.txt
│ │ ├── mzw_Latn.txt
│ │ ├── mzz_Latn.txt
│ │ ├── nab_Latn.txt
│ │ ├── naf_Latn.txt
│ │ ├── nah_Latn.txt
│ │ ├── nak_Latn.txt
│ │ ├── nan_Latn.txt
│ │ ├── nap_Latn.txt
│ │ ├── naq_Latn.txt
│ │ ├── nas_Latn.txt
│ │ ├── nav_Latn.txt
│ │ ├── naw_Latn.txt
│ │ ├── nba_Latn.txt
│ │ ├── nbc_Latn.txt
│ │ ├── nbe_Latn.txt
│ │ ├── nbl_Latn.txt
│ │ ├── nbq_Latn.txt
│ │ ├── nbu_Latn.txt
│ │ ├── nca_Latn.txt
│ │ ├── nch_Latn.txt
│ │ ├── ncj_Latn.txt
│ │ ├── ncl_Latn.txt
│ │ ├── ncq_Laoo.txt
│ │ ├── nct_Latn.txt
│ │ ├── ncu_Latn.txt
│ │ ├── ncx_Latn.txt
│ │ ├── ndc_Latn.txt
│ │ ├── nde_Latn.txt
│ │ ├── ndh_Latn.txt
│ │ ├── ndi_Latn.txt
│ │ ├── ndj_Latn.txt
│ │ ├── ndo_Latn.txt
│ │ ├── ndp_Latn.txt
│ │ ├── nds_Latn.txt
│ │ ├── ndy_Latn.txt
│ │ ├── ndz_Latn.txt
│ │ ├── neb_Latn.txt
│ │ ├── new_Deva.txt
│ │ ├── nfa_Latn.txt
│ │ ├── nfr_Latn.txt
│ │ ├── ngb_Latn.txt
│ │ ├── ngc_Latn.txt
│ │ ├── ngl_Latn.txt
│ │ ├── ngp_Latn.txt
│ │ ├── ngu_Latn.txt
│ │ ├── nhd_Latn.txt
│ │ ├── nhe_Latn.txt
│ │ ├── nhg_Latn.txt
│ │ ├── nhi_Latn.txt
│ │ ├── nhk_Latn.txt
│ │ ├── nho_Latn.txt
│ │ ├── nhr_Latn.txt
│ │ ├── nhu_Latn.txt
│ │ ├── nhw_Latn.txt
│ │ ├── nhx_Latn.txt
│ │ ├── nhy_Latn.txt
│ │ ├── nia_Latn.txt
│ │ ├── nif_Latn.txt
│ │ ├── nii_Latn.txt
│ │ ├── nij_Latn.txt
│ │ ├── nim_Latn.txt
│ │ ├── nin_Latn.txt
│ │ ├── nio_Cyrl.txt
│ │ ├── niq_Latn.txt
│ │ ├── niu_Latn.txt
│ │ ├── niy_Latn.txt
│ │ ├── njb_Latn.txt
│ │ ├── njm_Latn.txt
│ │ ├── njn_Latn.txt
│ │ ├── njo_Latn.txt
│ │ ├── njz_Latn.txt
│ │ ├── nkf_Latn.txt
│ │ ├── nki_Latn.txt
│ │ ├── nko_Latn.txt
│ │ ├── nla_Latn.txt
│ │ ├── nlc_Latn.txt
│ │ ├── nld_Latn.txt
│ │ ├── nlg_Latn.txt
│ │ ├── nma_Latn.txt
│ │ ├── nmf_Latn.txt
│ │ ├── nmh_Latn.txt
│ │ ├── nmo_Latn.txt
│ │ ├── nmw_Latn.txt
│ │ ├── nmz_Latn.txt
│ │ ├── nnb_Latn.txt
│ │ ├── nng_Latn.txt
│ │ ├── nnh_Latn.txt
│ │ ├── nnl_Latn.txt
│ │ ├── nno_Latn.txt
│ │ ├── nnp_Latn.txt
│ │ ├── nnq_Latn.txt
│ │ ├── nnw_Latn.txt
│ │ ├── noa_Latn.txt
│ │ ├── nob_Latn.txt
│ │ ├── nod_Thai.txt
│ │ ├── nog_Cyrl.txt
│ │ ├── non_Latn.txt
│ │ ├── nop_Latn.txt
│ │ ├── not_Latn.txt
│ │ ├── nou_Latn.txt
│ │ ├── nov_Latn.txt
│ │ ├── nph_Latn.txt
│ │ ├── npi_Deva.txt
│ │ ├── npi_Latn.txt
│ │ ├── npl_Latn.txt
│ │ ├── npo_Latn.txt
│ │ ├── npy_Latn.txt
│ │ ├── nqo_Nkoo.txt
│ │ ├── nre_Latn.txt
│ │ ├── nrf_Latn.txt
│ │ ├── nri_Latn.txt
│ │ ├── nsa_Latn.txt
│ │ ├── nse_Latn.txt
│ │ ├── nsm_Latn.txt
│ │ ├── nsn_Latn.txt
│ │ ├── nso_Latn.txt
│ │ ├── nss_Latn.txt
│ │ ├── nst_Latn.txt
│ │ ├── nsu_Latn.txt
│ │ ├── ntp_Latn.txt
│ │ ├── ntr_Latn.txt
│ │ ├── ntu_Latn.txt
│ │ ├── nuj_Latn.txt
│ │ ├── nus_Latn.txt
│ │ ├── nuy_Latn.txt
│ │ ├── nuz_Latn.txt
│ │ ├── nvm_Latn.txt
│ │ ├── nwb_Latn.txt
│ │ ├── nwi_Latn.txt
│ │ ├── nwx_Deva.txt
│ │ ├── nxd_Latn.txt
│ │ ├── nya_Latn.txt
│ │ ├── nyf_Latn.txt
│ │ ├── nyk_Latn.txt
│ │ ├── nyn_Latn.txt
│ │ ├── nyo_Latn.txt
│ │ ├── nyu_Latn.txt
│ │ ├── nyy_Latn.txt
│ │ ├── nza_Latn.txt
│ │ ├── nzi_Latn.txt
│ │ ├── nzm_Latn.txt
│ │ ├── obo_Latn.txt
│ │ ├── oci_Latn.txt
│ │ ├── ogo_Latn.txt
│ │ ├── ojb_Cans.txt
│ │ ├── ojb_Latn.txt
│ │ ├── oke_Latn.txt
│ │ ├── oku_Latn.txt
│ │ ├── okv_Latn.txt
│ │ ├── old_Latn.txt
│ │ ├── olo_Latn.txt
│ │ ├── omb_Latn.txt
│ │ ├── omw_Latn.txt
│ │ ├── ong_Latn.txt
│ │ ├── ons_Latn.txt
│ │ ├── ood_Latn.txt
│ │ ├── opm_Latn.txt
│ │ ├── orv_Cyrl.txt
│ │ ├── ory_Latn.txt
│ │ ├── ory_Orya.txt
│ │ ├── oss_Cyrl.txt
│ │ ├── ota_Arab.txt
│ │ ├── otd_Latn.txt
│ │ ├── ote_Latn.txt
│ │ ├── otm_Latn.txt
│ │ ├── otn_Latn.txt
│ │ ├── oto_Latn.txt
│ │ ├── otq_Latn.txt
│ │ ├── ots_Latn.txt
│ │ ├── otw_Latn.txt
│ │ ├── oym_Latn.txt
│ │ ├── ozm_Latn.txt
│ │ ├── pab_Latn.txt
│ │ ├── pad_Latn.txt
│ │ ├── pag_Latn.txt
│ │ ├── pah_Latn.txt
│ │ ├── pam_Latn.txt
│ │ ├── pan_Guru.txt
│ │ ├── pan_Latn.txt
│ │ ├── pao_Latn.txt
│ │ ├── pap_Latn.txt
│ │ ├── pau_Latn.txt
│ │ ├── pbb_Latn.txt
│ │ ├── pbc_Latn.txt
│ │ ├── pbi_Latn.txt
│ │ ├── pbt_Arab.txt
│ │ ├── pcd_Latn.txt
│ │ ├── pck_Latn.txt
│ │ ├── pcm_Latn.txt
│ │ ├── pdc_Latn.txt
│ │ ├── pdt_Latn.txt
│ │ ├── pem_Latn.txt
│ │ ├── pfe_Latn.txt
│ │ ├── pfl_Latn.txt
│ │ ├── phm_Latn.txt
│ │ ├── pib_Latn.txt
│ │ ├── pio_Latn.txt
│ │ ├── pir_Latn.txt
│ │ ├── pis_Latn.txt
│ │ ├── pjt_Latn.txt
│ │ ├── pkb_Latn.txt
│ │ ├── plg_Latn.txt
│ │ ├── pls_Latn.txt
│ │ ├── plt_Latn.txt
│ │ ├── plu_Latn.txt
│ │ ├── plw_Latn.txt
│ │ ├── pma_Latn.txt
│ │ ├── pmf_Latn.txt
│ │ ├── pmq_Latn.txt
│ │ ├── pms_Latn.txt
│ │ ├── pmx_Latn.txt
│ │ ├── pnb_Arab.txt
│ │ ├── pne_Latn.txt
│ │ ├── pnt_Grek.txt
│ │ ├── pny_Latn.txt
│ │ ├── poe_Latn.txt
│ │ ├── poh_Latn.txt
│ │ ├── poi_Latn.txt
│ │ ├── pol_Latn.txt
│ │ ├── pon_Latn.txt
│ │ ├── por_Latn.txt
│ │ ├── pos_Latn.txt
│ │ ├── pot_Latn.txt
│ │ ├── pov_Latn.txt
│ │ ├── poy_Latn.txt
│ │ ├── ppk_Latn.txt
│ │ ├── ppo_Latn.txt
│ │ ├── pps_Latn.txt
│ │ ├── prf_Latn.txt
│ │ ├── prg_Latn.txt
│ │ ├── pri_Latn.txt
│ │ ├── prq_Latn.txt
│ │ ├── pse_Latn.txt
│ │ ├── pss_Latn.txt
│ │ ├── ptp_Latn.txt
│ │ ├── ptu_Latn.txt
│ │ ├── pua_Latn.txt
│ │ ├── pui_Latn.txt
│ │ ├── pwg_Latn.txt
│ │ ├── pwn_Latn.txt
│ │ ├── pww_Thai.txt
│ │ ├── pxm_Latn.txt
│ │ ├── qub_Latn.txt
│ │ ├── quc_Latn.txt
│ │ ├── quf_Latn.txt
│ │ ├── qug_Latn.txt
│ │ ├── quh_Latn.txt
│ │ ├── qul_Latn.txt
│ │ ├── qup_Latn.txt
│ │ ├── qus_Latn.txt
│ │ ├── quw_Latn.txt
│ │ ├── quy_Latn.txt
│ │ ├── quz_Latn.txt
│ │ ├── qva_Latn.txt
│ │ ├── qvc_Latn.txt
│ │ ├── qve_Latn.txt
│ │ ├── qvh_Latn.txt
│ │ ├── qvi_Latn.txt
│ │ ├── qvm_Latn.txt
│ │ ├── qvn_Latn.txt
│ │ ├── qvo_Latn.txt
│ │ ├── qvs_Latn.txt
│ │ ├── qvw_Latn.txt
│ │ ├── qvz_Latn.txt
│ │ ├── qwh_Latn.txt
│ │ ├── qxh_Latn.txt
│ │ ├── qxl_Latn.txt
│ │ ├── qxn_Latn.txt
│ │ ├── qxo_Latn.txt
│ │ ├── qxr_Latn.txt
│ │ ├── rad_Latn.txt
│ │ ├── rai_Latn.txt
│ │ ├── rap_Latn.txt
│ │ ├── rar_Latn.txt
│ │ ├── rav_Deva.txt
│ │ ├── raw_Latn.txt
│ │ ├── rcf_Latn.txt
│ │ ├── rej_Latn.txt
│ │ ├── rel_Latn.txt
│ │ ├── rgu_Latn.txt
│ │ ├── rhg_Latn.txt
│ │ ├── ria_Latn.txt
│ │ ├── rim_Latn.txt
│ │ ├── rjs_Deva.txt
│ │ ├── rkb_Latn.txt
│ │ ├── rmc_Latn.txt
│ │ ├── rme_Latn.txt
│ │ ├── rml_Latn.txt
│ │ ├── rmn_Cyrl.txt
│ │ ├── rmn_Grek.txt
│ │ ├── rmn_Latn.txt
│ │ ├── rmo_Latn.txt
│ │ ├── rmq_Latn.txt
│ │ ├── rmy_Cyrl.txt
│ │ ├── rmy_Latn.txt
│ │ ├── rnd_Latn.txt
│ │ ├── rng_Latn.txt
│ │ ├── rnl_Latn.txt
│ │ ├── roh_Latn.txt
│ │ ├── ron_Cyrl.txt
│ │ ├── ron_Latn.txt
│ │ ├── roo_Latn.txt
│ │ ├── rop_Latn.txt
│ │ ├── row_Latn.txt
│ │ ├── rro_Latn.txt
│ │ ├── rtm_Latn.txt
│ │ ├── rub_Latn.txt
│ │ ├── rue_Cyrl.txt
│ │ ├── ruf_Latn.txt
│ │ ├── rug_Latn.txt
│ │ ├── run_Latn.txt
│ │ ├── rup_Latn.txt
│ │ ├── rus_Cyrl.txt
│ │ ├── rwo_Latn.txt
│ │ ├── sab_Latn.txt
│ │ ├── sag_Latn.txt
│ │ ├── sah_Cyrl.txt
│ │ ├── saj_Latn.txt
│ │ ├── san_Deva.txt
│ │ ├── san_Latn.txt
│ │ ├── sas_Latn.txt
│ │ ├── sat_Latn.txt
│ │ ├── sat_Olck.txt
│ │ ├── say_Latn.txt
│ │ ├── sba_Latn.txt
│ │ ├── sbd_Latn.txt
│ │ ├── sbe_Latn.txt
│ │ ├── sbl_Latn.txt
│ │ ├── sbs_Latn.txt
│ │ ├── sby_Latn.txt
│ │ ├── sck_Deva.txt
│ │ ├── scn_Latn.txt
│ │ ├── sco_Latn.txt
│ │ ├── sda_Latn.txt
│ │ ├── sdc_Latn.txt
│ │ ├── sdh_Arab.txt
│ │ ├── sdo_Latn.txt
│ │ ├── sdq_Latn.txt
│ │ ├── seh_Latn.txt
│ │ ├── sel_Cyrl.txt
│ │ ├── ses_Latn.txt
│ │ ├── sey_Latn.txt
│ │ ├── sfw_Latn.txt
│ │ ├── sgb_Latn.txt
│ │ ├── sgc_Latn.txt
│ │ ├── sgh_Cyrl.txt
│ │ ├── sgs_Latn.txt
│ │ ├── sgw_Ethi.txt
│ │ ├── sgz_Latn.txt
│ │ ├── shi_Latn.txt
│ │ ├── shk_Latn.txt
│ │ ├── shn_Mymr.txt
│ │ ├── shp_Latn.txt
│ │ ├── shr_Latn.txt
│ │ ├── shu_Arab.txt
│ │ ├── sid_Latn.txt
│ │ ├── sig_Latn.txt
│ │ ├── sil_Latn.txt
│ │ ├── sim_Latn.txt
│ │ ├── sin_Sinh.txt
│ │ ├── sja_Latn.txt
│ │ ├── sjo_Mong.txt
│ │ ├── sju_Latn.txt
│ │ ├── skg_Latn.txt
│ │ ├── skr_Arab.txt
│ │ ├── sld_Latn.txt
│ │ ├── slk_Latn.txt
│ │ ├── sll_Latn.txt
│ │ ├── slv_Latn.txt
│ │ ├── sma_Latn.txt
│ │ ├── sme_Latn.txt
│ │ ├── smj_Latn.txt
│ │ ├── smk_Latn.txt
│ │ ├── sml_Latn.txt
│ │ ├── smn_Latn.txt
│ │ ├── smo_Latn.txt
│ │ ├── sms_Latn.txt
│ │ ├── smt_Latn.txt
│ │ ├── sna_Latn.txt
│ │ ├── snc_Latn.txt
│ │ ├── snd_Arab.txt
│ │ ├── snd_Deva.txt
│ │ ├── snd_Latn.txt
│ │ ├── snf_Latn.txt
│ │ ├── snn_Latn.txt
│ │ ├── snp_Latn.txt
│ │ ├── snw_Latn.txt
│ │ ├── sny_Latn.txt
│ │ ├── soe_Latn.txt
│ │ ├── som_Latn.txt
│ │ ├── sop_Latn.txt
│ │ ├── soq_Latn.txt
│ │ ├── sot_Latn.txt
│ │ ├── soy_Latn.txt
│ │ ├── spa_Latn.txt
│ │ ├── spl_Latn.txt
│ │ ├── spm_Latn.txt
│ │ ├── spp_Latn.txt
│ │ ├── sps_Latn.txt
│ │ ├── spy_Latn.txt
│ │ ├── srd_Latn.txt
│ │ ├── sri_Latn.txt
│ │ ├── srm_Latn.txt
│ │ ├── srn_Latn.txt
│ │ ├── srp_Cyrl.txt
│ │ ├── srp_Latn.txt
│ │ ├── srq_Latn.txt
│ │ ├── srr_Latn.txt
│ │ ├── ssd_Latn.txt
│ │ ├── ssg_Latn.txt
│ │ ├── ssw_Latn.txt
│ │ ├── ssx_Latn.txt
│ │ ├── stn_Latn.txt
│ │ ├── stp_Latn.txt
│ │ ├── stq_Latn.txt
│ │ ├── sua_Latn.txt
│ │ ├── suc_Latn.txt
│ │ ├── sue_Latn.txt
│ │ ├── suk_Latn.txt
│ │ ├── sun_Latn.txt
│ │ ├── sur_Latn.txt
│ │ ├── sus_Arab.txt
│ │ ├── sus_Latn.txt
│ │ ├── suz_Deva.txt
│ │ ├── swb_Latn.txt
│ │ ├── swc_Latn.txt
│ │ ├── swe_Latn.txt
│ │ ├── swg_Latn.txt
│ │ ├── swh_Latn.txt
│ │ ├── swk_Latn.txt
│ │ ├── swp_Latn.txt
│ │ ├── sxb_Latn.txt
│ │ ├── sxn_Latn.txt
│ │ ├── syb_Latn.txt
│ │ ├── syc_Syrc.txt
│ │ ├── syl_Beng.txt
│ │ ├── syl_Latn.txt
│ │ ├── szb_Latn.txt
│ │ ├── szl_Latn.txt
│ │ ├── szy_Latn.txt
│ │ ├── tab_Cyrl.txt
│ │ ├── tac_Latn.txt
│ │ ├── tah_Latn.txt
│ │ ├── taj_Deva.txt
│ │ ├── tam_Latn.txt
│ │ ├── tam_Taml.txt
│ │ ├── tap_Latn.txt
│ │ ├── taq_Latn.txt
│ │ ├── taq_Tfng.txt
│ │ ├── tar_Latn.txt
│ │ ├── tat_Cyrl.txt
│ │ ├── tat_Latn.txt
│ │ ├── tav_Latn.txt
│ │ ├── taw_Latn.txt
│ │ ├── tay_Latn.txt
│ │ ├── tbc_Latn.txt
│ │ ├── tbg_Latn.txt
│ │ ├── tbk_Latn.txt
│ │ ├── tbl_Latn.txt
│ │ ├── tbo_Latn.txt
│ │ ├── tbw_Latn.txt
│ │ ├── tby_Latn.txt
│ │ ├── tbz_Latn.txt
│ │ ├── tca_Latn.txt
│ │ ├── tcc_Latn.txt
│ │ ├── tcf_Latn.txt
│ │ ├── tcs_Latn.txt
│ │ ├── tcy_Knda.txt
│ │ ├── tcz_Latn.txt
│ │ ├── tdx_Latn.txt
│ │ ├── ted_Latn.txt
│ │ ├── tee_Latn.txt
│ │ ├── tel_Latn.txt
│ │ ├── tel_Telu.txt
│ │ ├── tem_Latn.txt
│ │ ├── teo_Latn.txt
│ │ ├── ter_Latn.txt
│ │ ├── tet_Latn.txt
│ │ ├── tew_Latn.txt
│ │ ├── tfr_Latn.txt
│ │ ├── tgk_Cyrl.txt
│ │ ├── tgo_Latn.txt
│ │ ├── tgp_Latn.txt
│ │ ├── tha_Thai.txt
│ │ ├── thk_Latn.txt
│ │ ├── thl_Deva.txt
│ │ ├── thv_Latn.txt
│ │ ├── tif_Latn.txt
│ │ ├── tig_Ethi.txt
│ │ ├── tih_Latn.txt
│ │ ├── tik_Latn.txt
│ │ ├── tim_Latn.txt
│ │ ├── tir_Ethi.txt
│ │ ├── tiv_Latn.txt
│ │ ├── tiy_Latn.txt
│ │ ├── tke_Latn.txt
│ │ ├── tkl_Latn.txt
│ │ ├── tkr_Cyrl.txt
│ │ ├── tku_Latn.txt
│ │ ├── tlb_Latn.txt
│ │ ├── tlf_Latn.txt
│ │ ├── tlh_Latn.txt
│ │ ├── tlj_Latn.txt
│ │ ├── tll_Latn.txt
│ │ ├── tly_Latn.txt
│ │ ├── tmc_Latn.txt
│ │ ├── tmd_Latn.txt
│ │ ├── tna_Latn.txt
│ │ ├── tnc_Latn.txt
│ │ ├── tnk_Latn.txt
│ │ ├── tnn_Latn.txt
│ │ ├── tnp_Latn.txt
│ │ ├── tnr_Latn.txt
│ │ ├── tob_Latn.txt
│ │ ├── toc_Latn.txt
│ │ ├── tod_Latn.txt
│ │ ├── tog_Latn.txt
│ │ ├── toh_Latn.txt
│ │ ├── toi_Latn.txt
│ │ ├── toj_Latn.txt
│ │ ├── tok_Latn.txt
│ │ ├── ton_Latn.txt
│ │ ├── too_Latn.txt
│ │ ├── top_Latn.txt
│ │ ├── tos_Latn.txt
│ │ ├── tpa_Latn.txt
│ │ ├── tpi_Latn.txt
│ │ ├── tpm_Latn.txt
│ │ ├── tpn_Latn.txt
│ │ ├── tpp_Latn.txt
│ │ ├── tpt_Latn.txt
│ │ ├── tpw_Latn.txt
│ │ ├── tpz_Latn.txt
│ │ ├── tqo_Latn.txt
│ │ ├── trc_Latn.txt
│ │ ├── trn_Latn.txt
│ │ ├── tro_Latn.txt
│ │ ├── trp_Latn.txt
│ │ ├── trq_Latn.txt
│ │ ├── trs_Latn.txt
│ │ ├── trv_Latn.txt
│ │ ├── tsc_Latn.txt
│ │ ├── tsg_Latn.txt
│ │ ├── tsn_Latn.txt
│ │ ├── tso_Latn.txt
│ │ ├── tsw_Latn.txt
│ │ ├── tsz_Latn.txt
│ │ ├── ttc_Latn.txt
│ │ ├── tte_Latn.txt
│ │ ├── ttj_Latn.txt
│ │ ├── ttq_Latn.txt
│ │ ├── ttq_Tfng.txt
│ │ ├── tuc_Latn.txt
│ │ ├── tue_Latn.txt
│ │ ├── tuf_Latn.txt
│ │ ├── tui_Latn.txt
│ │ ├── tuk_Arab.txt
│ │ ├── tuk_Cyrl.txt
│ │ ├── tuk_Latn.txt
│ │ ├── tul_Latn.txt
│ │ ├── tum_Latn.txt
│ │ ├── tuo_Latn.txt
│ │ ├── tur_Latn.txt
│ │ ├── tuv_Latn.txt
│ │ ├── tvk_Latn.txt
│ │ ├── tvl_Latn.txt
│ │ ├── twb_Latn.txt
│ │ ├── twi_Latn.txt
│ │ ├── twu_Latn.txt
│ │ ├── twx_Latn.txt
│ │ ├── txq_Latn.txt
│ │ ├── txu_Latn.txt
│ │ ├── tyv_Cyrl.txt
│ │ ├── tzh_Latn.txt
│ │ ├── tzj_Latn.txt
│ │ ├── tzl_Latn.txt
│ │ ├── tzm_Tfng.txt
│ │ ├── tzo_Latn.txt
│ │ ├── ubr_Latn.txt
│ │ ├── ubu_Latn.txt
│ │ ├── udm_Cyrl.txt
│ │ ├── udu_Latn.txt
│ │ ├── uig_Arab.txt
│ │ ├── uig_Cyrl.txt
│ │ ├── uig_Latn.txt
│ │ ├── ukr_Cyrl.txt
│ │ ├── umb_Latn.txt
│ │ ├── upv_Latn.txt
│ │ ├── ura_Latn.txt
│ │ ├── urb_Latn.txt
│ │ ├── urd_Arab.txt
│ │ ├── urd_Latn.txt
│ │ ├── urh_Latn.txt
│ │ ├── uri_Latn.txt
│ │ ├── urk_Thai.txt
│ │ ├── urt_Latn.txt
│ │ ├── urw_Latn.txt
│ │ ├── ury_Latn.txt
│ │ ├── usa_Latn.txt
│ │ ├── usp_Latn.txt
│ │ ├── uth_Latn.txt
│ │ ├── uvh_Latn.txt
│ │ ├── uvl_Latn.txt
│ │ ├── uzn_Cyrl.txt
│ │ ├── uzn_Latn.txt
│ │ ├── uzs_Arab.txt
│ │ ├── vag_Latn.txt
│ │ ├── vap_Latn.txt
│ │ ├── var_Latn.txt
│ │ ├── vec_Latn.txt
│ │ ├── ven_Latn.txt
│ │ ├── vep_Latn.txt
│ │ ├── vid_Latn.txt
│ │ ├── vie_Latn.txt
│ │ ├── viv_Latn.txt
│ │ ├── vls_Latn.txt
│ │ ├── vmk_Latn.txt
│ │ ├── vmw_Latn.txt
│ │ ├── vmy_Latn.txt
│ │ ├── vol_Latn.txt
│ │ ├── vot_Latn.txt
│ │ ├── vro_Latn.txt
│ │ ├── vun_Latn.txt
│ │ ├── vut_Latn.txt
│ │ ├── waj_Latn.txt
│ │ ├── wal_Ethi.txt
│ │ ├── wal_Latn.txt
│ │ ├── wap_Latn.txt
│ │ ├── war_Latn.txt
│ │ ├── wat_Latn.txt
│ │ ├── way_Latn.txt
│ │ ├── wba_Latn.txt
│ │ ├── wbm_Latn.txt
│ │ ├── wbp_Latn.txt
│ │ ├── wed_Latn.txt
│ │ ├── wer_Latn.txt
│ │ ├── wes_Latn.txt
│ │ ├── wew_Latn.txt
│ │ ├── whg_Latn.txt
│ │ ├── whk_Latn.txt
│ │ ├── wib_Latn.txt
│ │ ├── wim_Latn.txt
│ │ ├── wiu_Latn.txt
│ │ ├── wln_Latn.txt
│ │ ├── wls_Latn.txt
│ │ ├── wlv_Latn.txt
│ │ ├── wlx_Latn.txt
│ │ ├── wmt_Latn.txt
│ │ ├── wmw_Latn.txt
│ │ ├── wnc_Latn.txt
│ │ ├── wnu_Latn.txt
│ │ ├── wob_Latn.txt
│ │ ├── wol_Latn.txt
│ │ ├── wos_Latn.txt
│ │ ├── wrk_Latn.txt
│ │ ├── wrs_Latn.txt
│ │ ├── wsg_Telu.txt
│ │ ├── wsk_Latn.txt
│ │ ├── wuu_Hani.txt
│ │ ├── wuv_Latn.txt
│ │ ├── wwa_Latn.txt
│ │ ├── xal_Cyrl.txt
│ │ ├── xav_Latn.txt
│ │ ├── xbi_Latn.txt
│ │ ├── xbr_Latn.txt
│ │ ├── xed_Latn.txt
│ │ ├── xho_Latn.txt
│ │ ├── xla_Latn.txt
│ │ ├── xmf_Geor.txt
│ │ ├── xmm_Latn.txt
│ │ ├── xmv_Latn.txt
│ │ ├── xnn_Latn.txt
│ │ ├── xog_Latn.txt
│ │ ├── xon_Latn.txt
│ │ ├── xrb_Latn.txt
│ │ ├── xsb_Latn.txt
│ │ ├── xsi_Latn.txt
│ │ ├── xsm_Latn.txt
│ │ ├── xsr_Deva.txt
│ │ ├── xsu_Latn.txt
│ │ ├── xtd_Latn.txt
│ │ ├── xtm_Latn.txt
│ │ ├── xtn_Latn.txt
│ │ ├── xum_Latn.txt
│ │ ├── xuo_Latn.txt
│ │ ├── yaa_Latn.txt
│ │ ├── yad_Latn.txt
│ │ ├── yal_Latn.txt
│ │ ├── yam_Latn.txt
│ │ ├── yan_Latn.txt
│ │ ├── yao_Latn.txt
│ │ ├── yap_Latn.txt
│ │ ├── yaq_Latn.txt
│ │ ├── yas_Latn.txt
│ │ ├── yat_Latn.txt
│ │ ├── yaz_Latn.txt
│ │ ├── ybb_Latn.txt
│ │ ├── yby_Latn.txt
│ │ ├── ycn_Latn.txt
│ │ ├── ydd_Hebr.txt
│ │ ├── yim_Latn.txt
│ │ ├── yka_Latn.txt
│ │ ├── yle_Latn.txt
│ │ ├── yli_Latn.txt
│ │ ├── yml_Latn.txt
│ │ ├── yom_Latn.txt
│ │ ├── yon_Latn.txt
│ │ ├── yor_Latn.txt
│ │ ├── yrb_Latn.txt
│ │ ├── yre_Latn.txt
│ │ ├── yrk_Cyrl.txt
│ │ ├── yrl_Latn.txt
│ │ ├── yss_Latn.txt
│ │ ├── yua_Latn.txt
│ │ ├── yue_Hani.txt
│ │ ├── yuj_Latn.txt
│ │ ├── yup_Latn.txt
│ │ ├── yut_Latn.txt
│ │ ├── yuw_Latn.txt
│ │ ├── yuz_Latn.txt
│ │ ├── yva_Latn.txt
│ │ ├── zaa_Latn.txt
│ │ ├── zab_Latn.txt
│ │ ├── zac_Latn.txt
│ │ ├── zad_Latn.txt
│ │ ├── zae_Latn.txt
│ │ ├── zai_Latn.txt
│ │ ├── zam_Latn.txt
│ │ ├── zao_Latn.txt
│ │ ├── zar_Latn.txt
│ │ ├── zas_Latn.txt
│ │ ├── zat_Latn.txt
│ │ ├── zav_Latn.txt
│ │ ├── zaw_Latn.txt
│ │ ├── zca_Latn.txt
│ │ ├── zdj_Latn.txt
│ │ ├── zea_Latn.txt
│ │ ├── zgh_Tfng.txt
│ │ ├── zho_Hani.txt
│ │ ├── zia_Latn.txt
│ │ ├── ziw_Latn.txt
│ │ ├── zne_Latn.txt
│ │ ├── zoc_Latn.txt
│ │ ├── zom_Latn.txt
│ │ ├── zos_Latn.txt
│ │ ├── zpa_Latn.txt
│ │ ├── zpc_Latn.txt
│ │ ├── zpg_Latn.txt
│ │ ├── zpi_Latn.txt
│ │ ├── zpj_Latn.txt
│ │ ├── zpl_Latn.txt
│ │ ├── zpm_Latn.txt
│ │ ├── zpo_Latn.txt
│ │ ├── zpq_Latn.txt
│ │ ├── zpt_Latn.txt
│ │ ├── zpu_Latn.txt
│ │ ├── zpv_Latn.txt
│ │ ├── zpz_Latn.txt
│ │ ├── zsm_Arab.txt
│ │ ├── zsm_Latn.txt
│ │ ├── zsr_Latn.txt
│ │ ├── ztq_Latn.txt
│ │ ├── zty_Latn.txt
│ │ ├── zul_Latn.txt
│ │ ├── zyb_Latn.txt
│ │ └── zyp_Latn.txt
│ └── wordlists-0.95/
│ ├── aai_Latn.txt
│ ├── aak_Latn.txt
│ ├── aau_Latn.txt
│ ├── aaz_Latn.txt
│ ├── aba_Latn.txt
│ ├── abi_Latn.txt
│ ├── abk_Cyrl.txt
│ ├── abn_Latn.txt
│ ├── abq_Cyrl.txt
│ ├── abs_Latn.txt
│ ├── abt_Latn.txt
│ ├── abx_Latn.txt
│ ├── aby_Latn.txt
│ ├── abz_Latn.txt
│ ├── aca_Latn.txt
│ ├── acd_Latn.txt
│ ├── ace_Arab.txt
│ ├── ace_Latn.txt
│ ├── acf_Latn.txt
│ ├── ach_Latn.txt
│ ├── acm_Arab.txt
│ ├── acn_Latn.txt
│ ├── acr_Latn.txt
│ ├── acu_Latn.txt
│ ├── ada_Latn.txt
│ ├── ade_Latn.txt
│ ├── adh_Latn.txt
│ ├── adi_Latn.txt
│ ├── adj_Latn.txt
│ ├── adl_Latn.txt
│ ├── ady_Cyrl.txt
│ ├── adz_Latn.txt
│ ├── aeb_Arab.txt
│ ├── aer_Latn.txt
│ ├── aeu_Latn.txt
│ ├── aey_Latn.txt
│ ├── afr_Latn.txt
│ ├── agd_Latn.txt
│ ├── agg_Latn.txt
│ ├── agm_Latn.txt
│ ├── agn_Latn.txt
│ ├── agr_Latn.txt
│ ├── agt_Latn.txt
│ ├── agu_Latn.txt
│ ├── agw_Latn.txt
│ ├── agx_Cyrl.txt
│ ├── aha_Latn.txt
│ ├── ahk_Latn.txt
│ ├── aia_Latn.txt
│ ├── aii_Syrc.txt
│ ├── aim_Latn.txt
│ ├── ain_Latn.txt
│ ├── ajg_Latn.txt
│ ├── aji_Latn.txt
│ ├── ajz_Latn.txt
│ ├── akb_Latn.txt
│ ├── ake_Latn.txt
│ ├── akh_Latn.txt
│ ├── akp_Latn.txt
│ ├── ald_Latn.txt
│ ├── alj_Latn.txt
│ ├── aln_Latn.txt
│ ├── alp_Latn.txt
│ ├── alq_Latn.txt
│ ├── als_Latn.txt
│ ├── alt_Cyrl.txt
│ ├── aly_Latn.txt
│ ├── alz_Latn.txt
│ ├── ame_Latn.txt
│ ├── amf_Latn.txt
│ ├── amh_Ethi.txt
│ ├── ami_Latn.txt
│ ├── amk_Latn.txt
│ ├── amm_Latn.txt
│ ├── amn_Latn.txt
│ ├── amp_Latn.txt
│ ├── amr_Latn.txt
│ ├── amu_Latn.txt
│ ├── amx_Latn.txt
│ ├── ang_Latn.txt
│ ├── anm_Latn.txt
│ ├── ann_Latn.txt
│ ├── anp_Deva.txt
│ ├── anv_Latn.txt
│ ├── any_Latn.txt
│ ├── aoi_Latn.txt
│ ├── aoj_Latn.txt
│ ├── aom_Latn.txt
│ ├── aoz_Latn.txt
│ ├── apb_Latn.txt
│ ├── apc_Arab.txt
│ ├── ape_Latn.txt
│ ├── apn_Latn.txt
│ ├── apr_Latn.txt
│ ├── apt_Latn.txt
│ ├── apu_Latn.txt
│ ├── apw_Latn.txt
│ ├── apy_Latn.txt
│ ├── apz_Latn.txt
│ ├── aqz_Latn.txt
│ ├── arb_Arab.txt
│ ├── arb_Latn.txt
│ ├── are_Latn.txt
│ ├── arg_Latn.txt
│ ├── arl_Latn.txt
│ ├── arn_Latn.txt
│ ├── arp_Latn.txt
│ ├── arq_Arab.txt
│ ├── arr_Latn.txt
│ ├── ars_Arab.txt
│ ├── ary_Arab.txt
│ ├── arz_Arab.txt
│ ├── asg_Latn.txt
│ ├── asm_Beng.txt
│ ├── asm_Latn.txt
│ ├── aso_Latn.txt
│ ├── ast_Latn.txt
│ ├── ata_Latn.txt
│ ├── atb_Latn.txt
│ ├── atd_Latn.txt
│ ├── atg_Latn.txt
│ ├── ati_Latn.txt
│ ├── atj_Latn.txt
│ ├── atq_Latn.txt
│ ├── att_Latn.txt
│ ├── auc_Latn.txt
│ ├── aui_Latn.txt
│ ├── auy_Latn.txt
│ ├── ava_Cyrl.txt
│ ├── avk_Latn.txt
│ ├── avn_Latn.txt
│ ├── avt_Latn.txt
│ ├── avu_Latn.txt
│ ├── awa_Deva.txt
│ ├── awb_Latn.txt
│ ├── awi_Latn.txt
│ ├── awx_Latn.txt
│ ├── ayo_Latn.txt
│ ├── ayp_Arab.txt
│ ├── ayr_Latn.txt
│ ├── azb_Arab.txt
│ ├── azg_Latn.txt
│ ├── azj_Cyrl.txt
│ ├── azj_Latn.txt
│ ├── azz_Latn.txt
│ ├── bak_Cyrl.txt
│ ├── bal_Arab.txt
│ ├── bam_Latn.txt
│ ├── ban_Latn.txt
│ ├── bao_Latn.txt
│ ├── bar_Latn.txt
│ ├── bas_Latn.txt
│ ├── bav_Latn.txt
│ ├── bba_Latn.txt
│ ├── bbb_Latn.txt
│ ├── bbc_Latn.txt
│ ├── bbj_Latn.txt
│ ├── bbk_Latn.txt
│ ├── bbo_Latn.txt
│ ├── bbr_Latn.txt
│ ├── bcc_Arab.txt
│ ├── bch_Latn.txt
│ ├── bci_Latn.txt
│ ├── bcl_Latn.txt
│ ├── bco_Latn.txt
│ ├── bcw_Latn.txt
│ ├── bdd_Latn.txt
│ ├── bdh_Latn.txt
│ ├── bdq_Latn.txt
│ ├── bea_Latn.txt
│ ├── bef_Latn.txt
│ ├── bel_Cyrl.txt
│ ├── bem_Latn.txt
│ ├── ben_Beng.txt
│ ├── ben_Latn.txt
│ ├── beq_Latn.txt
│ ├── bew_Latn.txt
│ ├── bex_Latn.txt
│ ├── bfd_Latn.txt
│ ├── bfo_Latn.txt
│ ├── bgr_Latn.txt
│ ├── bgs_Latn.txt
│ ├── bgt_Latn.txt
│ ├── bgz_Latn.txt
│ ├── bhg_Latn.txt
│ ├── bhl_Latn.txt
│ ├── bho_Deva.txt
│ ├── bhp_Latn.txt
│ ├── bhw_Latn.txt
│ ├── bhz_Latn.txt
│ ├── bib_Latn.txt
│ ├── big_Latn.txt
│ ├── bim_Latn.txt
│ ├── bin_Latn.txt
│ ├── bis_Latn.txt
│ ├── biu_Latn.txt
│ ├── biv_Latn.txt
│ ├── bjn_Arab.txt
│ ├── bjn_Latn.txt
│ ├── bjp_Latn.txt
│ ├── bjr_Latn.txt
│ ├── bjv_Latn.txt
│ ├── bkd_Latn.txt
│ ├── bkl_Latn.txt
│ ├── bkq_Latn.txt
│ ├── bku_Latn.txt
│ ├── bkv_Latn.txt
│ ├── bla_Latn.txt
│ ├── blh_Latn.txt
│ ├── blk_Mymr.txt
│ ├── blt_Latn.txt
│ ├── blw_Latn.txt
│ ├── blz_Latn.txt
│ ├── bmh_Latn.txt
│ ├── bmk_Latn.txt
│ ├── bmq_Latn.txt
│ ├── bmr_Latn.txt
│ ├── bmu_Latn.txt
│ ├── bmv_Latn.txt
│ ├── bnj_Latn.txt
│ ├── bno_Latn.txt
│ ├── bnp_Latn.txt
│ ├── boa_Latn.txt
│ ├── bod_Tibt.txt
│ ├── boj_Latn.txt
│ ├── bom_Latn.txt
│ ├── bon_Latn.txt
│ ├── bor_Latn.txt
│ ├── bos_Latn.txt
│ ├── bov_Latn.txt
│ ├── box_Latn.txt
│ ├── bpr_Latn.txt
│ ├── bps_Latn.txt
│ ├── bpy_Beng.txt
│ ├── bqc_Latn.txt
│ ├── bqj_Latn.txt
│ ├── bqp_Latn.txt
│ ├── bre_Latn.txt
│ ├── brh_Arab.txt
│ ├── bru_Latn.txt
│ ├── brx_Deva.txt
│ ├── brx_Latn.txt
│ ├── bsc_Latn.txt
│ ├── bsn_Latn.txt
│ ├── bsp_Latn.txt
│ ├── bsq_Latn.txt
│ ├── bss_Latn.txt
│ ├── btd_Latn.txt
│ ├── bth_Latn.txt
│ ├── bts_Latn.txt
│ ├── btt_Latn.txt
│ ├── btx_Latn.txt
│ ├── bud_Latn.txt
│ ├── bug_Latn.txt
│ ├── buk_Latn.txt
│ ├── bul_Cyrl.txt
│ ├── bum_Latn.txt
│ ├── bus_Latn.txt
│ ├── bvc_Latn.txt
│ ├── bvd_Latn.txt
│ ├── bvr_Latn.txt
│ ├── bvz_Latn.txt
│ ├── bwd_Latn.txt
│ ├── bwi_Latn.txt
│ ├── bwq_Latn.txt
│ ├── bwu_Latn.txt
│ ├── bxh_Latn.txt
│ ├── bxr_Cyrl.txt
│ ├── byr_Latn.txt
│ ├── byv_Latn.txt
│ ├── byx_Latn.txt
│ ├── bzd_Latn.txt
│ ├── bzh_Latn.txt
│ ├── bzi_Thai.txt
│ ├── bzj_Latn.txt
│ ├── caa_Latn.txt
│ ├── cab_Latn.txt
│ ├── cac_Latn.txt
│ ├── caf_Latn.txt
│ ├── cag_Latn.txt
│ ├── cak_Latn.txt
│ ├── cao_Latn.txt
│ ├── cap_Latn.txt
│ ├── caq_Latn.txt
│ ├── car_Latn.txt
│ ├── cas_Latn.txt
│ ├── cat_Latn.txt
│ ├── cav_Latn.txt
│ ├── cax_Latn.txt
│ ├── cbc_Latn.txt
│ ├── cbi_Latn.txt
│ ├── cbk_Latn.txt
│ ├── cbr_Latn.txt
│ ├── cbs_Latn.txt
│ ├── cbt_Latn.txt
│ ├── cbu_Latn.txt
│ ├── cbv_Latn.txt
│ ├── cce_Latn.txt
│ ├── cco_Latn.txt
│ ├── ccp_Latn.txt
│ ├── cdf_Latn.txt
│ ├── ceb_Latn.txt
│ ├── ceg_Latn.txt
│ ├── cek_Latn.txt
│ ├── ces_Latn.txt
│ ├── cfm_Latn.txt
│ ├── cgc_Latn.txt
│ ├── cgg_Latn.txt
│ ├── cha_Latn.txt
│ ├── chd_Latn.txt
│ ├── che_Cyrl.txt
│ ├── chf_Latn.txt
│ ├── chj_Latn.txt
│ ├── chk_Latn.txt
│ ├── cho_Latn.txt
│ ├── chq_Latn.txt
│ ├── chr_Cher.txt
│ ├── chr_Latn.txt
│ ├── chu_Cyrl.txt
│ ├── chv_Cyrl.txt
│ ├── chw_Latn.txt
│ ├── chz_Latn.txt
│ ├── cjk_Latn.txt
│ ├── cjo_Latn.txt
│ ├── cjp_Latn.txt
│ ├── cjs_Cyrl.txt
│ ├── cjv_Latn.txt
│ ├── ckb_Arab.txt
│ ├── cko_Latn.txt
│ ├── ckt_Cyrl.txt
│ ├── cle_Latn.txt
│ ├── clu_Latn.txt
│ ├── cly_Latn.txt
│ ├── cme_Latn.txt
│ ├── cmn_Hani.txt
│ ├── cmo_Khmr.txt
│ ├── cmo_Latn.txt
│ ├── cmr_Latn.txt
│ ├── cnh_Latn.txt
│ ├── cni_Latn.txt
│ ├── cnk_Latn.txt
│ ├── cnl_Latn.txt
│ ├── cnt_Latn.txt
│ ├── cnw_Latn.txt
│ ├── coe_Latn.txt
│ ├── cof_Latn.txt
│ ├── cok_Latn.txt
│ ├── con_Latn.txt
│ ├── cop_Copt.txt
│ ├── cor_Latn.txt
│ ├── cos_Latn.txt
│ ├── cot_Latn.txt
│ ├── cou_Latn.txt
│ ├── cpa_Latn.txt
│ ├── cpb_Latn.txt
│ ├── cpc_Latn.txt
│ ├── cpu_Latn.txt
│ ├── cpy_Latn.txt
│ ├── crh_Cyrl.txt
│ ├── crh_Latn.txt
│ ├── cri_Latn.txt
│ ├── crj_Cans.txt
│ ├── crk_Cans.txt
│ ├── crk_Latn.txt
│ ├── crl_Cans.txt
│ ├── crm_Cans.txt
│ ├── crn_Latn.txt
│ ├── crs_Latn.txt
│ ├── crt_Latn.txt
│ ├── crx_Latn.txt
│ ├── csb_Latn.txt
│ ├── csk_Latn.txt
│ ├── cso_Latn.txt
│ ├── csw_Latn.txt
│ ├── csy_Latn.txt
│ ├── cta_Latn.txt
│ ├── ctd_Latn.txt
│ ├── cto_Latn.txt
│ ├── ctp_Latn.txt
│ ├── ctu_Latn.txt
│ ├── cub_Latn.txt
│ ├── cuc_Latn.txt
│ ├── cui_Latn.txt
│ ├── cuk_Latn.txt
│ ├── cul_Latn.txt
│ ├── cut_Latn.txt
│ ├── cux_Latn.txt
│ ├── cwd_Cans.txt
│ ├── cwe_Latn.txt
│ ├── cwt_Latn.txt
│ ├── cya_Latn.txt
│ ├── cym_Latn.txt
│ ├── czt_Latn.txt
│ ├── daa_Latn.txt
│ ├── dad_Latn.txt
│ ├── daf_Latn.txt
│ ├── dag_Latn.txt
│ ├── dah_Latn.txt
│ ├── dak_Latn.txt
│ ├── dan_Latn.txt
│ ├── dar_Cyrl.txt
│ ├── dbq_Latn.txt
│ ├── ddg_Latn.txt
│ ├── ddn_Latn.txt
│ ├── ded_Latn.txt
│ ├── des_Latn.txt
│ ├── deu_Latn.txt
│ ├── dga_Latn.txt
│ ├── dgc_Latn.txt
│ ├── dgi_Latn.txt
│ ├── dgr_Latn.txt
│ ├── dgz_Latn.txt
│ ├── dhg_Latn.txt
│ ├── dhm_Latn.txt
│ ├── dhv_Latn.txt
│ ├── did_Latn.txt
│ ├── dig_Latn.txt
│ ├── dik_Latn.txt
│ ├── dip_Latn.txt
│ ├── diq_Latn.txt
│ ├── dis_Latn.txt
│ ├── diu_Latn.txt
│ ├── div_Thaa.txt
│ ├── dje_Latn.txt
│ ├── djk_Latn.txt
│ ├── djr_Latn.txt
│ ├── dks_Latn.txt
│ ├── dln_Latn.txt
│ ├── dng_Cyrl.txt
│ ├── dnj_Latn.txt
│ ├── dnw_Latn.txt
│ ├── dob_Latn.txt
│ ├── doi_Deva.txt
│ ├── dop_Latn.txt
│ ├── dos_Latn.txt
│ ├── dow_Latn.txt
│ ├── drg_Latn.txt
│ ├── dru_Latn.txt
│ ├── dsb_Latn.txt
│ ├── dsh_Latn.txt
│ ├── dtb_Latn.txt
│ ├── dtp_Latn.txt
│ ├── dts_Latn.txt
│ ├── dty_Deva.txt
│ ├── dua_Latn.txt
│ ├── due_Latn.txt
│ ├── dug_Latn.txt
│ ├── duo_Latn.txt
│ ├── dur_Latn.txt
│ ├── dwr_Latn.txt
│ ├── dww_Latn.txt
│ ├── dyi_Latn.txt
│ ├── dyo_Latn.txt
│ ├── dyu_Latn.txt
│ ├── dzo_Tibt.txt
│ ├── ebk_Latn.txt
│ ├── efi_Latn.txt
│ ├── eka_Latn.txt
│ ├── ekk_Latn.txt
│ ├── eko_Latn.txt
│ ├── ell_Grek.txt
│ ├── eme_Latn.txt
│ ├── emi_Latn.txt
│ ├── eml_Latn.txt
│ ├── emp_Latn.txt
│ ├── enb_Latn.txt
│ ├── eng_Latn.txt
│ ├── enl_Latn.txt
│ ├── enm_Latn.txt
│ ├── enq_Latn.txt
│ ├── enx_Latn.txt
│ ├── epo_Latn.txt
│ ├── eri_Latn.txt
│ ├── ese_Latn.txt
│ ├── esi_Latn.txt
│ ├── esk_Latn.txt
│ ├── ess_Latn.txt
│ ├── esu_Latn.txt
│ ├── eto_Latn.txt
│ ├── etr_Latn.txt
│ ├── etu_Latn.txt
│ ├── eus_Latn.txt
│ ├── eve_Cyrl.txt
│ ├── ewe_Latn.txt
│ ├── ewo_Latn.txt
│ ├── ext_Latn.txt
│ ├── eza_Latn.txt
│ ├── faa_Latn.txt
│ ├── fad_Latn.txt
│ ├── fai_Latn.txt
│ ├── fal_Latn.txt
│ ├── fan_Latn.txt
│ ├── fao_Latn.txt
│ ├── far_Latn.txt
│ ├── fas_Arab.txt
│ ├── fat_Latn.txt
│ ├── ffm_Latn.txt
│ ├── fij_Latn.txt
│ ├── fil_Latn.txt
│ ├── fin_Latn.txt
│ ├── fit_Latn.txt
│ ├── fkv_Latn.txt
│ ├── fmu_Deva.txt
│ ├── fon_Latn.txt
│ ├── for_Latn.txt
│ ├── fra_Latn.txt
│ ├── frd_Latn.txt
│ ├── fro_Latn.txt
│ ├── frp_Latn.txt
│ ├── frr_Latn.txt
│ ├── fry_Latn.txt
│ ├── fub_Latn.txt
│ ├── fud_Latn.txt
│ ├── fue_Latn.txt
│ ├── fuf_Latn.txt
│ ├── fuh_Latn.txt
│ ├── fuq_Latn.txt
│ ├── fur_Latn.txt
│ ├── fuv_Arab.txt
│ ├── fuv_Latn.txt
│ ├── gaa_Latn.txt
│ ├── gag_Cyrl.txt
│ ├── gag_Latn.txt
│ ├── gah_Latn.txt
│ ├── gai_Latn.txt
│ ├── gam_Latn.txt
│ ├── gaw_Latn.txt
│ ├── gaz_Latn.txt
│ ├── gbi_Latn.txt
│ ├── gbo_Latn.txt
│ ├── gbr_Latn.txt
│ ├── gcf_Latn.txt
│ ├── gcr_Latn.txt
│ ├── gde_Latn.txt
│ ├── gdg_Latn.txt
│ ├── gdn_Latn.txt
│ ├── gdr_Latn.txt
│ ├── geb_Latn.txt
│ ├── gej_Latn.txt
│ ├── gfk_Latn.txt
│ ├── ghe_Deva.txt
│ ├── ghs_Latn.txt
│ ├── gid_Latn.txt
│ ├── gil_Latn.txt
│ ├── giz_Latn.txt
│ ├── gjn_Latn.txt
│ ├── gkn_Latn.txt
│ ├── gla_Latn.txt
│ ├── gle_Latn.txt
│ ├── glg_Latn.txt
│ ├── glk_Arab.txt
│ ├── glv_Latn.txt
│ ├── gmh_Latn.txt
│ ├── gmv_Ethi.txt
│ ├── gmv_Latn.txt
│ ├── gna_Latn.txt
│ ├── gnb_Latn.txt
│ ├── gnd_Latn.txt
│ ├── gng_Latn.txt
│ ├── gnn_Latn.txt
│ ├── gnw_Latn.txt
│ ├── goa_Latn.txt
│ ├── gof_Ethi.txt
│ ├── gof_Latn.txt
│ ├── gog_Latn.txt
│ ├── goh_Latn.txt
│ ├── gom_Deva.txt
│ ├── gom_Latn.txt
│ ├── gor_Latn.txt
│ ├── gos_Latn.txt
│ ├── got_Latn.txt
│ ├── gqr_Latn.txt
│ ├── grc_Grek.txt
│ ├── grt_Beng.txt
│ ├── gso_Latn.txt
│ ├── gsw_Latn.txt
│ ├── gub_Latn.txt
│ ├── guc_Latn.txt
│ ├── gud_Latn.txt
│ ├── gug_Latn.txt
│ ├── guh_Latn.txt
│ ├── gui_Latn.txt
│ ├── guj_Gujr.txt
│ ├── guj_Latn.txt
│ ├── guk_Ethi.txt
│ ├── gul_Latn.txt
│ ├── gum_Latn.txt
│ ├── gun_Latn.txt
│ ├── guo_Latn.txt
│ ├── guq_Latn.txt
│ ├── gur_Latn.txt
│ ├── guu_Latn.txt
│ ├── guw_Latn.txt
│ ├── gux_Latn.txt
│ ├── guz_Latn.txt
│ ├── gvc_Latn.txt
│ ├── gvf_Latn.txt
│ ├── gvl_Latn.txt
│ ├── gvn_Latn.txt
│ ├── gwi_Latn.txt
│ ├── gwr_Latn.txt
│ ├── gya_Latn.txt
│ ├── gym_Latn.txt
│ ├── gyr_Latn.txt
│ ├── hac_Arab.txt
│ ├── hae_Latn.txt
│ ├── hag_Latn.txt
│ ├── hak_Hani.txt
│ ├── hak_Latn.txt
│ ├── hat_Latn.txt
│ ├── hau_Latn.txt
│ ├── hav_Latn.txt
│ ├── haw_Latn.txt
│ ├── hay_Latn.txt
│ ├── hbo_Hebr.txt
│ ├── hbs_Latn.txt
│ ├── hch_Latn.txt
│ ├── heb_Hebr.txt
│ ├── heg_Latn.txt
│ ├── heh_Latn.txt
│ ├── her_Latn.txt
│ ├── hif_Latn.txt
│ ├── hig_Latn.txt
│ ├── hil_Latn.txt
│ ├── hin_Deva.txt
│ ├── hin_Latn.txt
│ ├── hix_Latn.txt
│ ├── hla_Latn.txt
│ ├── hlt_Latn.txt
│ ├── hmo_Latn.txt
│ ├── hmr_Latn.txt
│ ├── hne_Deva.txt
│ ├── hnj_Latn.txt
│ ├── hnn_Latn.txt
│ ├── hns_Latn.txt
│ ├── hoc_Latn.txt
│ ├── hop_Latn.txt
│ ├── hot_Latn.txt
│ ├── hra_Latn.txt
│ ├── hrv_Latn.txt
│ ├── hrx_Latn.txt
│ ├── hsb_Latn.txt
│ ├── hto_Latn.txt
│ ├── hub_Latn.txt
│ ├── hui_Latn.txt
│ ├── hun_Latn.txt
│ ├── hus_Latn.txt
│ ├── huu_Latn.txt
│ ├── huv_Latn.txt
│ ├── hvn_Latn.txt
│ ├── hwc_Latn.txt
│ ├── hye_Armn.txt
│ ├── hyw_Armn.txt
│ ├── ian_Latn.txt
│ ├── iba_Latn.txt
│ ├── ibg_Latn.txt
│ ├── ibo_Latn.txt
│ ├── icr_Latn.txt
│ ├── ido_Latn.txt
│ ├── idu_Latn.txt
│ ├── ifa_Latn.txt
│ ├── ifb_Latn.txt
│ ├── ife_Latn.txt
│ ├── ifk_Latn.txt
│ ├── ifu_Latn.txt
│ ├── ify_Latn.txt
│ ├── ige_Latn.txt
│ ├── ign_Latn.txt
│ ├── ike_Cans.txt
│ ├── ikk_Latn.txt
│ ├── ikt_Latn.txt
│ ├── ikw_Latn.txt
│ ├── ilb_Latn.txt
│ ├── ile_Latn.txt
│ ├── ilo_Latn.txt
│ ├── imo_Latn.txt
│ ├── ina_Latn.txt
│ ├── inb_Latn.txt
│ ├── ind_Latn.txt
│ ├── inh_Cyrl.txt
│ ├── ino_Latn.txt
│ ├── iou_Latn.txt
│ ├── ipi_Latn.txt
│ ├── iqw_Latn.txt
│ ├── iri_Latn.txt
│ ├── irk_Latn.txt
│ ├── iry_Latn.txt
│ ├── isd_Latn.txt
│ ├── ish_Latn.txt
│ ├── isl_Latn.txt
│ ├── iso_Latn.txt
│ ├── ita_Latn.txt
│ ├── itl_Cyrl.txt
│ ├── itv_Latn.txt
│ ├── ium_Latn.txt
│ ├── ivb_Latn.txt
│ ├── ivv_Latn.txt
│ ├── iws_Latn.txt
│ ├── ixl_Latn.txt
│ ├── izr_Latn.txt
│ ├── izz_Latn.txt
│ ├── jaa_Latn.txt
│ ├── jac_Latn.txt
│ ├── jae_Latn.txt
│ ├── jam_Latn.txt
│ ├── jav_Latn.txt
│ ├── jbo_Latn.txt
│ ├── jbu_Latn.txt
│ ├── jic_Latn.txt
│ ├── jiv_Latn.txt
│ ├── jmc_Latn.txt
│ ├── jpn_Jpan.txt
│ ├── jra_Latn.txt
│ ├── jun_Orya.txt
│ ├── jvn_Latn.txt
│ ├── kaa_Cyrl.txt
│ ├── kaa_Latn.txt
│ ├── kab_Latn.txt
│ ├── kac_Latn.txt
│ ├── kak_Latn.txt
│ ├── kal_Latn.txt
│ ├── kam_Latn.txt
│ ├── kan_Knda.txt
│ ├── kan_Latn.txt
│ ├── kao_Latn.txt
│ ├── kap_Cyrl.txt
│ ├── kaq_Latn.txt
│ ├── kas_Arab.txt
│ ├── kas_Deva.txt
│ ├── kas_Latn.txt
│ ├── kat_Geor.txt
│ ├── kaz_Cyrl.txt
│ ├── kbc_Latn.txt
│ ├── kbd_Cyrl.txt
│ ├── kbh_Latn.txt
│ ├── kbm_Latn.txt
│ ├── kbo_Latn.txt
│ ├── kbp_Latn.txt
│ ├── kbq_Latn.txt
│ ├── kbr_Latn.txt
│ ├── kby_Latn.txt
│ ├── kca_Cyrl.txt
│ ├── kcg_Latn.txt
│ ├── kck_Latn.txt
│ ├── kdc_Latn.txt
│ ├── kde_Latn.txt
│ ├── kdh_Latn.txt
│ ├── kdi_Latn.txt
│ ├── kdj_Latn.txt
│ ├── kdl_Latn.txt
│ ├── kdr_Latn.txt
│ ├── kea_Latn.txt
│ ├── kei_Latn.txt
│ ├── kek_Latn.txt
│ ├── ken_Latn.txt
│ ├── keo_Latn.txt
│ ├── ker_Latn.txt
│ ├── kew_Latn.txt
│ ├── kex_Deva.txt
│ ├── kez_Latn.txt
│ ├── kff_Telu.txt
│ ├── kgf_Latn.txt
│ ├── kgk_Latn.txt
│ ├── kgp_Latn.txt
│ ├── kgr_Latn.txt
│ ├── kha_Latn.txt
│ ├── khk_Cyrl.txt
│ ├── khm_Khmr.txt
│ ├── khq_Latn.txt
│ ├── khs_Latn.txt
│ ├── khy_Latn.txt
│ ├── khz_Latn.txt
│ ├── kia_Latn.txt
│ ├── kij_Latn.txt
│ ├── kik_Latn.txt
│ ├── kin_Latn.txt
│ ├── kir_Cyrl.txt
│ ├── kiu_Latn.txt
│ ├── kix_Latn.txt
│ ├── kjb_Latn.txt
│ ├── kje_Latn.txt
│ ├── kjh_Cyrl.txt
│ ├── kjs_Latn.txt
│ ├── kkc_Latn.txt
│ ├── kki_Latn.txt
│ ├── kkj_Latn.txt
│ ├── kkl_Latn.txt
│ ├── kle_Deva.txt
│ ├── klt_Latn.txt
│ ├── klv_Latn.txt
│ ├── kma_Latn.txt
│ ├── kmb_Latn.txt
│ ├── kmd_Latn.txt
│ ├── kmg_Latn.txt
│ ├── kmh_Latn.txt
│ ├── kmk_Latn.txt
│ ├── kmm_Latn.txt
│ ├── kmo_Latn.txt
│ ├── kmr_Cyrl.txt
│ ├── kmr_Latn.txt
│ ├── kms_Latn.txt
│ ├── kmu_Latn.txt
│ ├── kmy_Latn.txt
│ ├── knc_Arab.txt
│ ├── knc_Latn.txt
│ ├── kne_Latn.txt
│ ├── knf_Latn.txt
│ ├── kng_Latn.txt
│ ├── knj_Latn.txt
│ ├── knk_Latn.txt
│ ├── kno_Latn.txt
│ ├── knv_Latn.txt
│ ├── knx_Latn.txt
│ ├── kny_Latn.txt
│ ├── kog_Latn.txt
│ ├── koi_Cyrl.txt
│ ├── koo_Latn.txt
│ ├── kor_Hang.txt
│ ├── kos_Latn.txt
│ ├── kpe_Latn.txt
│ ├── kpf_Latn.txt
│ ├── kpg_Latn.txt
│ ├── kpj_Latn.txt
│ ├── kpq_Latn.txt
│ ├── kpr_Latn.txt
│ ├── kpv_Cyrl.txt
│ ├── kpw_Latn.txt
│ ├── kpx_Latn.txt
│ ├── kpz_Latn.txt
│ ├── kqa_Latn.txt
│ ├── kqc_Latn.txt
│ ├── kqe_Latn.txt
│ ├── kqf_Latn.txt
│ ├── kql_Latn.txt
│ ├── kqn_Latn.txt
│ ├── kqo_Latn.txt
│ ├── kqp_Latn.txt
│ ├── kqs_Latn.txt
│ ├── kqw_Latn.txt
│ ├── kqy_Ethi.txt
│ ├── krc_Cyrl.txt
│ ├── kri_Latn.txt
│ ├── krj_Latn.txt
│ ├── krl_Latn.txt
│ ├── kru_Deva.txt
│ ├── krx_Latn.txt
│ ├── ksb_Latn.txt
│ ├── ksc_Latn.txt
│ ├── ksd_Latn.txt
│ ├── ksf_Latn.txt
│ ├── ksh_Latn.txt
│ ├── ksj_Latn.txt
│ ├── ksp_Latn.txt
│ ├── ksr_Latn.txt
│ ├── kss_Latn.txt
│ ├── ksw_Mymr.txt
│ ├── ktb_Ethi.txt
│ ├── ktj_Latn.txt
│ ├── ktm_Latn.txt
│ ├── kto_Latn.txt
│ ├── ktu_Latn.txt
│ ├── ktz_Latn.txt
│ ├── kua_Latn.txt
│ ├── kub_Latn.txt
│ ├── kud_Latn.txt
│ ├── kue_Latn.txt
│ ├── kuj_Latn.txt
│ ├── kum_Cyrl.txt
│ ├── kup_Latn.txt
│ ├── kus_Latn.txt
│ ├── kvg_Latn.txt
│ ├── kvj_Latn.txt
│ ├── kvn_Latn.txt
│ ├── kwd_Latn.txt
│ ├── kwf_Latn.txt
│ ├── kwi_Latn.txt
│ ├── kwj_Latn.txt
│ ├── kwn_Latn.txt
│ ├── kwy_Latn.txt
│ ├── kxc_Ethi.txt
│ ├── kxm_Thai.txt
│ ├── kxw_Latn.txt
│ ├── kyc_Latn.txt
│ ├── kyf_Latn.txt
│ ├── kyg_Latn.txt
│ ├── kyq_Latn.txt
│ ├── kyu_Kali.txt
│ ├── kyu_Latn.txt
│ ├── kyu_Mymr.txt
│ ├── kyz_Latn.txt
│ ├── kze_Latn.txt
│ ├── kzf_Latn.txt
│ ├── kzj_Latn.txt
│ ├── kzn_Latn.txt
│ ├── lac_Latn.txt
│ ├── lad_Hebr.txt
│ ├── lad_Latn.txt
│ ├── lai_Latn.txt
│ ├── laj_Latn.txt
│ ├── lam_Latn.txt
│ ├── lao_Laoo.txt
│ ├── lap_Latn.txt
│ ├── las_Latn.txt
│ ├── lat_Latn.txt
│ ├── law_Latn.txt
│ ├── lbb_Latn.txt
│ ├── lbe_Cyrl.txt
│ ├── lbj_Tibt.txt
│ ├── lbk_Latn.txt
│ ├── lcm_Latn.txt
│ ├── lcp_Thai.txt
│ ├── ldi_Latn.txt
│ ├── ldn_Latn.txt
│ ├── lea_Latn.txt
│ ├── led_Latn.txt
│ ├── lee_Latn.txt
│ ├── lef_Latn.txt
│ ├── leh_Latn.txt
│ ├── lem_Latn.txt
│ ├── leu_Latn.txt
│ ├── lew_Latn.txt
│ ├── lex_Latn.txt
│ ├── lez_Cyrl.txt
│ ├── lfn_Cyrl.txt
│ ├── lfn_Latn.txt
│ ├── lgg_Latn.txt
│ ├── lgl_Latn.txt
│ ├── lgm_Latn.txt
│ ├── lhi_Latn.txt
│ ├── lhu_Latn.txt
│ ├── lia_Latn.txt
│ ├── lid_Latn.txt
│ ├── lif_Deva.txt
│ ├── lif_Limb.txt
│ ├── lij_Latn.txt
│ ├── lim_Latn.txt
│ ├── lin_Latn.txt
│ ├── lip_Latn.txt
│ ├── lis_Lisu.txt
│ ├── lit_Latn.txt
│ ├── liv_Latn.txt
│ ├── ljp_Latn.txt
│ ├── lki_Arab.txt
│ ├── llb_Latn.txt
│ ├── lld_Latn.txt
│ ├── llg_Latn.txt
│ ├── lln_Latn.txt
│ ├── lmk_Latn.txt
│ ├── lmo_Latn.txt
│ ├── lmp_Latn.txt
│ ├── lnd_Latn.txt
│ ├── lob_Latn.txt
│ ├── loe_Latn.txt
│ ├── log_Latn.txt
│ ├── lok_Latn.txt
│ ├── lol_Latn.txt
│ ├── lom_Latn.txt
│ ├── loq_Latn.txt
│ ├── loz_Latn.txt
│ ├── lrc_Arab.txt
│ ├── lsi_Latn.txt
│ ├── lsm_Latn.txt
│ ├── ltg_Latn.txt
│ ├── ltz_Latn.txt
│ ├── lua_Latn.txt
│ ├── lub_Latn.txt
│ ├── luc_Latn.txt
│ ├── lud_Latn.txt
│ ├── lue_Latn.txt
│ ├── lug_Latn.txt
│ ├── lun_Latn.txt
│ ├── luo_Latn.txt
│ ├── lus_Latn.txt
│ ├── lvs_Latn.txt
│ ├── lwg_Latn.txt
│ ├── lwo_Latn.txt
│ ├── lww_Latn.txt
│ ├── lzh_Hani.txt
│ ├── maa_Latn.txt
│ ├── mad_Latn.txt
│ ├── maf_Latn.txt
│ ├── mag_Deva.txt
│ ├── mah_Latn.txt
│ ├── mai_Deva.txt
│ ├── maj_Latn.txt
│ ├── mak_Latn.txt
│ ├── mal_Latn.txt
│ ├── mal_Mlym.txt
│ ├── mam_Latn.txt
│ ├── maq_Latn.txt
│ ├── mar_Deva.txt
│ ├── mar_Latn.txt
│ ├── mas_Latn.txt
│ ├── mau_Latn.txt
│ ├── mav_Latn.txt
│ ├── maw_Latn.txt
│ ├── max_Latn.txt
│ ├── maz_Latn.txt
│ ├── mbb_Latn.txt
│ ├── mbc_Latn.txt
│ ├── mbd_Latn.txt
│ ├── mbf_Latn.txt
│ ├── mbh_Latn.txt
│ ├── mbi_Latn.txt
│ ├── mbj_Latn.txt
│ ├── mbl_Latn.txt
│ ├── mbs_Latn.txt
│ ├── mbt_Latn.txt
│ ├── mca_Latn.txt
│ ├── mcb_Latn.txt
│ ├── mcd_Latn.txt
│ ├── mcf_Latn.txt
│ ├── mck_Latn.txt
│ ├── mcn_Latn.txt
│ ├── mco_Latn.txt
│ ├── mcp_Latn.txt
│ ├── mcq_Latn.txt
│ ├── mcu_Latn.txt
│ ├── mda_Latn.txt
│ ├── mdf_Cyrl.txt
│ ├── mdy_Ethi.txt
│ ├── med_Latn.txt
│ ├── mee_Latn.txt
│ ├── mej_Latn.txt
│ ├── mek_Latn.txt
│ ├── men_Latn.txt
│ ├── meq_Latn.txt
│ ├── mer_Latn.txt
│ ├── met_Latn.txt
│ ├── meu_Latn.txt
│ ├── mev_Latn.txt
│ ├── mfe_Latn.txt
│ ├── mfg_Latn.txt
│ ├── mfh_Latn.txt
│ ├── mfi_Latn.txt
│ ├── mfk_Latn.txt
│ ├── mfq_Latn.txt
│ ├── mfy_Latn.txt
│ ├── mfz_Latn.txt
│ ├── mgc_Latn.txt
│ ├── mgh_Latn.txt
│ ├── mgm_Latn.txt
│ ├── mgo_Latn.txt
│ ├── mgr_Latn.txt
│ ├── mhi_Latn.txt
│ ├── mhl_Latn.txt
│ ├── mhr_Cyrl.txt
│ ├── mhw_Latn.txt
│ ├── mhx_Latn.txt
│ ├── mhy_Latn.txt
│ ├── mib_Latn.txt
│ ├── mic_Latn.txt
│ ├── mie_Latn.txt
│ ├── mif_Latn.txt
│ ├── mig_Latn.txt
│ ├── mih_Latn.txt
│ ├── mil_Latn.txt
│ ├── mim_Latn.txt
│ ├── min_Arab.txt
│ ├── min_Latn.txt
│ ├── mio_Latn.txt
│ ├── mip_Latn.txt
│ ├── miq_Latn.txt
│ ├── mir_Latn.txt
│ ├── mit_Latn.txt
│ ├── miy_Latn.txt
│ ├── miz_Latn.txt
│ ├── mjc_Latn.txt
│ ├── mjw_Latn.txt
│ ├── mkd_Cyrl.txt
│ ├── mkl_Latn.txt
│ ├── mkn_Latn.txt
│ ├── mks_Latn.txt
│ ├── mkz_Latn.txt
│ ├── mlh_Latn.txt
│ ├── mlp_Latn.txt
│ ├── mlt_Latn.txt
│ ├── mlu_Latn.txt
│ ├── mmn_Latn.txt
│ ├── mmo_Latn.txt
│ ├── mmx_Latn.txt
│ ├── mna_Latn.txt
│ ├── mnb_Latn.txt
│ ├── mnf_Latn.txt
│ ├── mni_Beng.txt
│ ├── mni_Latn.txt
│ ├── mni_Mtei.txt
│ ├── mnk_Latn.txt
│ ├── mns_Cyrl.txt
│ ├── mnw_Mymr.txt
│ ├── mnx_Latn.txt
│ ├── mny_Latn.txt
│ ├── moa_Latn.txt
│ ├── moc_Latn.txt
│ ├── mog_Latn.txt
│ ├── moh_Latn.txt
│ ├── mop_Latn.txt
│ ├── mor_Latn.txt
│ ├── mos_Latn.txt
│ ├── mox_Latn.txt
│ ├── mpg_Latn.txt
│ ├── mph_Latn.txt
│ ├── mpm_Latn.txt
│ ├── mpp_Latn.txt
│ ├── mps_Latn.txt
│ ├── mpt_Latn.txt
│ ├── mpx_Latn.txt
│ ├── mqb_Latn.txt
│ ├── mqj_Latn.txt
│ ├── mqy_Latn.txt
│ ├── mrg_Latn.txt
│ ├── mri_Latn.txt
│ ├── mrj_Cyrl.txt
│ ├── mrq_Latn.txt
│ ├── mrv_Latn.txt
│ ├── mrw_Latn.txt
│ ├── msb_Latn.txt
│ ├── msc_Latn.txt
│ ├── mse_Latn.txt
│ ├── msk_Latn.txt
│ ├── msm_Latn.txt
│ ├── msy_Latn.txt
│ ├── mta_Latn.txt
│ ├── mtg_Latn.txt
│ ├── mti_Latn.txt
│ ├── mtj_Latn.txt
│ ├── mto_Latn.txt
│ ├── mtp_Latn.txt
│ ├── mua_Latn.txt
│ ├── mug_Latn.txt
│ ├── muh_Latn.txt
│ ├── mui_Latn.txt
│ ├── mup_Deva.txt
│ ├── mur_Latn.txt
│ ├── mus_Latn.txt
│ ├── mux_Latn.txt
│ ├── muy_Latn.txt
│ ├── mva_Latn.txt
│ ├── mvn_Latn.txt
│ ├── mvp_Latn.txt
│ ├── mwc_Latn.txt
│ ├── mwf_Latn.txt
│ ├── mwl_Latn.txt
│ ├── mwm_Latn.txt
│ ├── mwn_Latn.txt
│ ├── mwp_Latn.txt
│ ├── mwq_Latn.txt
│ ├── mwv_Latn.txt
│ ├── mww_Latn.txt
│ ├── mxb_Latn.txt
│ ├── mxp_Latn.txt
│ ├── mxq_Latn.txt
│ ├── mxt_Latn.txt
│ ├── mxv_Latn.txt
│ ├── mya_Mymr.txt
│ ├── myb_Latn.txt
│ ├── myk_Latn.txt
│ ├── myu_Latn.txt
│ ├── myv_Cyrl.txt
│ ├── myw_Latn.txt
│ ├── myx_Latn.txt
│ ├── myy_Latn.txt
│ ├── mza_Latn.txt
│ ├── mzh_Latn.txt
│ ├── mzk_Latn.txt
│ ├── mzl_Latn.txt
│ ├── mzm_Latn.txt
│ ├── mzn_Arab.txt
│ ├── mzw_Latn.txt
│ ├── mzz_Latn.txt
│ ├── nab_Latn.txt
│ ├── naf_Latn.txt
│ ├── nah_Latn.txt
│ ├── nak_Latn.txt
│ ├── nan_Latn.txt
│ ├── nap_Latn.txt
│ ├── naq_Latn.txt
│ ├── nas_Latn.txt
│ ├── nav_Latn.txt
│ ├── naw_Latn.txt
│ ├── nba_Latn.txt
│ ├── nbc_Latn.txt
│ ├── nbe_Latn.txt
│ ├── nbl_Latn.txt
│ ├── nbq_Latn.txt
│ ├── nbu_Latn.txt
│ ├── nca_Latn.txt
│ ├── nch_Latn.txt
│ ├── ncj_Latn.txt
│ ├── ncl_Latn.txt
│ ├── ncq_Laoo.txt
│ ├── nct_Latn.txt
│ ├── ncu_Latn.txt
│ ├── ncx_Latn.txt
│ ├── ndc_Latn.txt
│ ├── nde_Latn.txt
│ ├── ndh_Latn.txt
│ ├── ndi_Latn.txt
│ ├── ndj_Latn.txt
│ ├── ndo_Latn.txt
│ ├── ndp_Latn.txt
│ ├── nds_Latn.txt
│ ├── ndy_Latn.txt
│ ├── ndz_Latn.txt
│ ├── neb_Latn.txt
│ ├── new_Deva.txt
│ ├── nfa_Latn.txt
│ ├── nfr_Latn.txt
│ ├── ngb_Latn.txt
│ ├── ngc_Latn.txt
│ ├── ngl_Latn.txt
│ ├── ngp_Latn.txt
│ ├── ngu_Latn.txt
│ ├── nhd_Latn.txt
│ ├── nhe_Latn.txt
│ ├── nhg_Latn.txt
│ ├── nhi_Latn.txt
│ ├── nhk_Latn.txt
│ ├── nho_Latn.txt
│ ├── nhr_Latn.txt
│ ├── nhu_Latn.txt
│ ├── nhw_Latn.txt
│ ├── nhx_Latn.txt
│ ├── nhy_Latn.txt
│ ├── nia_Latn.txt
│ ├── nif_Latn.txt
│ ├── nii_Latn.txt
│ ├── nij_Latn.txt
│ ├── nim_Latn.txt
│ ├── nin_Latn.txt
│ ├── nio_Cyrl.txt
│ ├── niq_Latn.txt
│ ├── niu_Latn.txt
│ ├── niy_Latn.txt
│ ├── njb_Latn.txt
│ ├── njm_Latn.txt
│ ├── njn_Latn.txt
│ ├── njo_Latn.txt
│ ├── njz_Latn.txt
│ ├── nkf_Latn.txt
│ ├── nki_Latn.txt
│ ├── nko_Latn.txt
│ ├── nla_Latn.txt
│ ├── nlc_Latn.txt
│ ├── nld_Latn.txt
│ ├── nlg_Latn.txt
│ ├── nma_Latn.txt
│ ├── nmf_Latn.txt
│ ├── nmh_Latn.txt
│ ├── nmo_Latn.txt
│ ├── nmw_Latn.txt
│ ├── nmz_Latn.txt
│ ├── nnb_Latn.txt
│ ├── nng_Latn.txt
│ ├── nnh_Latn.txt
│ ├── nnl_Latn.txt
│ ├── nno_Latn.txt
│ ├── nnp_Latn.txt
│ ├── nnq_Latn.txt
│ ├── nnw_Latn.txt
│ ├── noa_Latn.txt
│ ├── nob_Latn.txt
│ ├── nod_Thai.txt
│ ├── nog_Cyrl.txt
│ ├── non_Latn.txt
│ ├── nop_Latn.txt
│ ├── not_Latn.txt
│ ├── nou_Latn.txt
│ ├── nov_Latn.txt
│ ├── nph_Latn.txt
│ ├── npi_Deva.txt
│ ├── npi_Latn.txt
│ ├── npl_Latn.txt
│ ├── npo_Latn.txt
│ ├── npy_Latn.txt
│ ├── nqo_Nkoo.txt
│ ├── nre_Latn.txt
│ ├── nrf_Latn.txt
│ ├── nri_Latn.txt
│ ├── nsa_Latn.txt
│ ├── nse_Latn.txt
│ ├── nsm_Latn.txt
│ ├── nsn_Latn.txt
│ ├── nso_Latn.txt
│ ├── nss_Latn.txt
│ ├── nst_Latn.txt
│ ├── nsu_Latn.txt
│ ├── ntp_Latn.txt
│ ├── ntr_Latn.txt
│ ├── ntu_Latn.txt
│ ├── nuj_Latn.txt
│ ├── nus_Latn.txt
│ ├── nuy_Latn.txt
│ ├── nuz_Latn.txt
│ ├── nvm_Latn.txt
│ ├── nwb_Latn.txt
│ ├── nwi_Latn.txt
│ ├── nwx_Deva.txt
│ ├── nxd_Latn.txt
│ ├── nya_Latn.txt
│ ├── nyf_Latn.txt
│ ├── nyk_Latn.txt
│ ├── nyn_Latn.txt
│ ├── nyo_Latn.txt
│ ├── nyu_Latn.txt
│ ├── nyy_Latn.txt
│ ├── nza_Latn.txt
│ ├── nzi_Latn.txt
│ ├── nzm_Latn.txt
│ ├── obo_Latn.txt
│ ├── oci_Latn.txt
│ ├── ogo_Latn.txt
│ ├── ojb_Cans.txt
│ ├── ojb_Latn.txt
│ ├── oke_Latn.txt
│ ├── oku_Latn.txt
│ ├── okv_Latn.txt
│ ├── old_Latn.txt
│ ├── olo_Latn.txt
│ ├── omb_Latn.txt
│ ├── omw_Latn.txt
│ ├── ong_Latn.txt
│ ├── ons_Latn.txt
│ ├── ood_Latn.txt
│ ├── opm_Latn.txt
│ ├── orv_Cyrl.txt
│ ├── ory_Latn.txt
│ ├── ory_Orya.txt
│ ├── oss_Cyrl.txt
│ ├── ota_Arab.txt
│ ├── otd_Latn.txt
│ ├── ote_Latn.txt
│ ├── otm_Latn.txt
│ ├── otn_Latn.txt
│ ├── oto_Latn.txt
│ ├── otq_Latn.txt
│ ├── ots_Latn.txt
│ ├── otw_Latn.txt
│ ├── oym_Latn.txt
│ ├── ozm_Latn.txt
│ ├── pab_Latn.txt
│ ├── pad_Latn.txt
│ ├── pag_Latn.txt
│ ├── pah_Latn.txt
│ ├── pam_Latn.txt
│ ├── pan_Guru.txt
│ ├── pan_Latn.txt
│ ├── pao_Latn.txt
│ ├── pap_Latn.txt
│ ├── pau_Latn.txt
│ ├── pbb_Latn.txt
│ ├── pbc_Latn.txt
│ ├── pbi_Latn.txt
│ ├── pbt_Arab.txt
│ ├── pcd_Latn.txt
│ ├── pck_Latn.txt
│ ├── pcm_Latn.txt
│ ├── pdc_Latn.txt
│ ├── pdt_Latn.txt
│ ├── pem_Latn.txt
│ ├── pfe_Latn.txt
│ ├── pfl_Latn.txt
│ ├── phm_Latn.txt
│ ├── pib_Latn.txt
│ ├── pio_Latn.txt
│ ├── pir_Latn.txt
│ ├── pis_Latn.txt
│ ├── pjt_Latn.txt
│ ├── pkb_Latn.txt
│ ├── plg_Latn.txt
│ ├── pls_Latn.txt
│ ├── plt_Latn.txt
│ ├── plu_Latn.txt
│ ├── plw_Latn.txt
│ ├── pma_Latn.txt
│ ├── pmf_Latn.txt
│ ├── pmq_Latn.txt
│ ├── pms_Latn.txt
│ ├── pmx_Latn.txt
│ ├── pnb_Arab.txt
│ ├── pne_Latn.txt
│ ├── pnt_Grek.txt
│ ├── pny_Latn.txt
│ ├── poe_Latn.txt
│ ├── poh_Latn.txt
│ ├── poi_Latn.txt
│ ├── pol_Latn.txt
│ ├── pon_Latn.txt
│ ├── por_Latn.txt
│ ├── pos_Latn.txt
│ ├── pot_Latn.txt
│ ├── pov_Latn.txt
│ ├── poy_Latn.txt
│ ├── ppk_Latn.txt
│ ├── ppo_Latn.txt
│ ├── pps_Latn.txt
│ ├── prf_Latn.txt
│ ├── prg_Latn.txt
│ ├── pri_Latn.txt
│ ├── prq_Latn.txt
│ ├── pse_Latn.txt
│ ├── pss_Latn.txt
│ ├── ptp_Latn.txt
│ ├── ptu_Latn.txt
│ ├── pua_Latn.txt
│ ├── pui_Latn.txt
│ ├── pwg_Latn.txt
│ ├── pwn_Latn.txt
│ ├── pww_Thai.txt
│ ├── pxm_Latn.txt
│ ├── qub_Latn.txt
│ ├── quc_Latn.txt
│ ├── quf_Latn.txt
│ ├── qug_Latn.txt
│ ├── quh_Latn.txt
│ ├── qul_Latn.txt
│ ├── qup_Latn.txt
│ ├── qus_Latn.txt
│ ├── quw_Latn.txt
│ ├── quy_Latn.txt
│ ├── quz_Latn.txt
│ ├── qva_Latn.txt
│ ├── qvc_Latn.txt
│ ├── qve_Latn.txt
│ ├── qvh_Latn.txt
│ ├── qvi_Latn.txt
│ ├── qvm_Latn.txt
│ ├── qvn_Latn.txt
│ ├── qvo_Latn.txt
│ ├── qvs_Latn.txt
│ ├── qvw_Latn.txt
│ ├── qvz_Latn.txt
│ ├── qwh_Latn.txt
│ ├── qxh_Latn.txt
│ ├── qxl_Latn.txt
│ ├── qxn_Latn.txt
│ ├── qxo_Latn.txt
│ ├── qxr_Latn.txt
│ ├── rad_Latn.txt
│ ├── rai_Latn.txt
│ ├── rap_Latn.txt
│ ├── rar_Latn.txt
│ ├── rav_Deva.txt
│ ├── raw_Latn.txt
│ ├── rcf_Latn.txt
│ ├── rej_Latn.txt
│ ├── rel_Latn.txt
│ ├── rgu_Latn.txt
│ ├── rhg_Latn.txt
│ ├── ria_Latn.txt
│ ├── rim_Latn.txt
│ ├── rjs_Deva.txt
│ ├── rkb_Latn.txt
│ ├── rmc_Latn.txt
│ ├── rme_Latn.txt
│ ├── rml_Latn.txt
│ ├── rmn_Cyrl.txt
│ ├── rmn_Grek.txt
│ ├── rmn_Latn.txt
│ ├── rmo_Latn.txt
│ ├── rmq_Latn.txt
│ ├── rmy_Cyrl.txt
│ ├── rmy_Latn.txt
│ ├── rnd_Latn.txt
│ ├── rng_Latn.txt
│ ├── rnl_Latn.txt
│ ├── roh_Latn.txt
│ ├── ron_Cyrl.txt
│ ├── ron_Latn.txt
│ ├── roo_Latn.txt
│ ├── rop_Latn.txt
│ ├── row_Latn.txt
│ ├── rro_Latn.txt
│ ├── rtm_Latn.txt
│ ├── rub_Latn.txt
│ ├── rue_Cyrl.txt
│ ├── ruf_Latn.txt
│ ├── rug_Latn.txt
│ ├── run_Latn.txt
│ ├── rup_Latn.txt
│ ├── rus_Cyrl.txt
│ ├── rwo_Latn.txt
│ ├── sab_Latn.txt
│ ├── sag_Latn.txt
│ ├── sah_Cyrl.txt
│ ├── saj_Latn.txt
│ ├── san_Deva.txt
│ ├── san_Latn.txt
│ ├── sas_Latn.txt
│ ├── sat_Latn.txt
│ ├── sat_Olck.txt
│ ├── say_Latn.txt
│ ├── sba_Latn.txt
│ ├── sbd_Latn.txt
│ ├── sbe_Latn.txt
│ ├── sbl_Latn.txt
│ ├── sbs_Latn.txt
│ ├── sby_Latn.txt
│ ├── sck_Deva.txt
│ ├── scn_Latn.txt
│ ├── sco_Latn.txt
│ ├── sda_Latn.txt
│ ├── sdc_Latn.txt
│ ├── sdh_Arab.txt
│ ├── sdo_Latn.txt
│ ├── sdq_Latn.txt
│ ├── seh_Latn.txt
│ ├── sel_Cyrl.txt
│ ├── ses_Latn.txt
│ ├── sey_Latn.txt
│ ├── sfw_Latn.txt
│ ├── sgb_Latn.txt
│ ├── sgc_Latn.txt
│ ├── sgh_Cyrl.txt
│ ├── sgs_Latn.txt
│ ├── sgw_Ethi.txt
│ ├── sgz_Latn.txt
│ ├── shi_Latn.txt
│ ├── shk_Latn.txt
│ ├── shn_Mymr.txt
│ ├── shp_Latn.txt
│ ├── shr_Latn.txt
│ ├── shu_Arab.txt
│ ├── sid_Latn.txt
│ ├── sig_Latn.txt
│ ├── sil_Latn.txt
│ ├── sim_Latn.txt
│ ├── sin_Sinh.txt
│ ├── sja_Latn.txt
│ ├── sjo_Mong.txt
│ ├── sju_Latn.txt
│ ├── skg_Latn.txt
│ ├── skr_Arab.txt
│ ├── sld_Latn.txt
│ ├── slk_Latn.txt
│ ├── sll_Latn.txt
│ ├── slv_Latn.txt
│ ├── sma_Latn.txt
│ ├── sme_Latn.txt
│ ├── smj_Latn.txt
│ ├── smk_Latn.txt
│ ├── sml_Latn.txt
│ ├── smn_Latn.txt
│ ├── smo_Latn.txt
│ ├── sms_Latn.txt
│ ├── smt_Latn.txt
│ ├── sna_Latn.txt
│ ├── snc_Latn.txt
│ ├── snd_Arab.txt
│ ├── snd_Deva.txt
│ ├── snd_Latn.txt
│ ├── snf_Latn.txt
│ ├── snn_Latn.txt
│ ├── snp_Latn.txt
│ ├── snw_Latn.txt
│ ├── sny_Latn.txt
│ ├── soe_Latn.txt
│ ├── som_Latn.txt
│ ├── sop_Latn.txt
│ ├── soq_Latn.txt
│ ├── sot_Latn.txt
│ ├── soy_Latn.txt
│ ├── spa_Latn.txt
│ ├── spl_Latn.txt
│ ├── spm_Latn.txt
│ ├── spp_Latn.txt
│ ├── sps_Latn.txt
│ ├── spy_Latn.txt
│ ├── srd_Latn.txt
│ ├── sri_Latn.txt
│ ├── srm_Latn.txt
│ ├── srn_Latn.txt
│ ├── srp_Cyrl.txt
│ ├── srp_Latn.txt
│ ├── srq_Latn.txt
│ ├── srr_Latn.txt
│ ├── ssd_Latn.txt
│ ├── ssg_Latn.txt
│ ├── ssw_Latn.txt
│ ├── ssx_Latn.txt
│ ├── stn_Latn.txt
│ ├── stp_Latn.txt
│ ├── stq_Latn.txt
│ ├── sua_Latn.txt
│ ├── suc_Latn.txt
│ ├── sue_Latn.txt
│ ├── suk_Latn.txt
│ ├── sun_Latn.txt
│ ├── sur_Latn.txt
│ ├── sus_Arab.txt
│ ├── sus_Latn.txt
│ ├── suz_Deva.txt
│ ├── swb_Latn.txt
│ ├── swc_Latn.txt
│ ├── swe_Latn.txt
│ ├── swg_Latn.txt
│ ├── swh_Latn.txt
│ ├── swk_Latn.txt
│ ├── swp_Latn.txt
│ ├── sxb_Latn.txt
│ ├── sxn_Latn.txt
│ ├── syb_Latn.txt
│ ├── syc_Syrc.txt
│ ├── syl_Beng.txt
│ ├── syl_Latn.txt
│ ├── szb_Latn.txt
│ ├── szl_Latn.txt
│ ├── szy_Latn.txt
│ ├── tab_Cyrl.txt
│ ├── tac_Latn.txt
│ ├── tah_Latn.txt
│ ├── taj_Deva.txt
│ ├── tam_Latn.txt
│ ├── tam_Taml.txt
│ ├── tap_Latn.txt
│ ├── taq_Latn.txt
│ ├── taq_Tfng.txt
│ ├── tar_Latn.txt
│ ├── tat_Cyrl.txt
│ ├── tat_Latn.txt
│ ├── tav_Latn.txt
│ ├── taw_Latn.txt
│ ├── tay_Latn.txt
│ ├── tbc_Latn.txt
│ ├── tbg_Latn.txt
│ ├── tbk_Latn.txt
│ ├── tbl_Latn.txt
│ ├── tbo_Latn.txt
│ ├── tbw_Latn.txt
│ ├── tby_Latn.txt
│ ├── tbz_Latn.txt
│ ├── tca_Latn.txt
│ ├── tcc_Latn.txt
│ ├── tcf_Latn.txt
│ ├── tcs_Latn.txt
│ ├── tcy_Knda.txt
│ ├── tcz_Latn.txt
│ ├── tdx_Latn.txt
│ ├── ted_Latn.txt
│ ├── tee_Latn.txt
│ ├── tel_Latn.txt
│ ├── tel_Telu.txt
│ ├── tem_Latn.txt
│ ├── teo_Latn.txt
│ ├── ter_Latn.txt
│ ├── tet_Latn.txt
│ ├── tew_Latn.txt
│ ├── tfr_Latn.txt
│ ├── tgk_Cyrl.txt
│ ├── tgo_Latn.txt
│ ├── tgp_Latn.txt
│ ├── tha_Thai.txt
│ ├── thk_Latn.txt
│ ├── thl_Deva.txt
│ ├── thv_Latn.txt
│ ├── tif_Latn.txt
│ ├── tig_Ethi.txt
│ ├── tih_Latn.txt
│ ├── tik_Latn.txt
│ ├── tim_Latn.txt
│ ├── tir_Ethi.txt
│ ├── tiv_Latn.txt
│ ├── tiy_Latn.txt
│ ├── tke_Latn.txt
│ ├── tkl_Latn.txt
│ ├── tkr_Cyrl.txt
│ ├── tku_Latn.txt
│ ├── tlb_Latn.txt
│ ├── tlf_Latn.txt
│ ├── tlh_Latn.txt
│ ├── tlj_Latn.txt
│ ├── tll_Latn.txt
│ ├── tly_Latn.txt
│ ├── tmc_Latn.txt
│ ├── tmd_Latn.txt
│ ├── tna_Latn.txt
│ ├── tnc_Latn.txt
│ ├── tnk_Latn.txt
│ ├── tnn_Latn.txt
│ ├── tnp_Latn.txt
│ ├── tnr_Latn.txt
│ ├── tob_Latn.txt
│ ├── toc_Latn.txt
│ ├── tod_Latn.txt
│ ├── tog_Latn.txt
│ ├── toh_Latn.txt
│ ├── toi_Latn.txt
│ ├── toj_Latn.txt
│ ├── tok_Latn.txt
│ ├── ton_Latn.txt
│ ├── too_Latn.txt
│ ├── top_Latn.txt
│ ├── tos_Latn.txt
│ ├── tpa_Latn.txt
│ ├── tpi_Latn.txt
│ ├── tpm_Latn.txt
│ ├── tpn_Latn.txt
│ ├── tpp_Latn.txt
│ ├── tpt_Latn.txt
│ ├── tpw_Latn.txt
│ ├── tpz_Latn.txt
│ ├── tqo_Latn.txt
│ ├── trc_Latn.txt
│ ├── trn_Latn.txt
│ ├── tro_Latn.txt
│ ├── trp_Latn.txt
│ ├── trq_Latn.txt
│ ├── trs_Latn.txt
│ ├── trv_Latn.txt
│ ├── tsc_Latn.txt
│ ├── tsg_Latn.txt
│ ├── tsn_Latn.txt
│ ├── tso_Latn.txt
│ ├── tsw_Latn.txt
│ ├── tsz_Latn.txt
│ ├── ttc_Latn.txt
│ ├── tte_Latn.txt
│ ├── ttj_Latn.txt
│ ├── ttq_Latn.txt
│ ├── ttq_Tfng.txt
│ ├── tuc_Latn.txt
│ ├── tue_Latn.txt
│ ├── tuf_Latn.txt
│ ├── tui_Latn.txt
│ ├── tuk_Arab.txt
│ ├── tuk_Cyrl.txt
│ ├── tuk_Latn.txt
│ ├── tul_Latn.txt
│ ├── tum_Latn.txt
│ ├── tuo_Latn.txt
│ ├── tur_Latn.txt
│ ├── tuv_Latn.txt
│ ├── tvk_Latn.txt
│ ├── tvl_Latn.txt
│ ├── twb_Latn.txt
│ ├── twi_Latn.txt
│ ├── twu_Latn.txt
│ ├── twx_Latn.txt
│ ├── txq_Latn.txt
│ ├── txu_Latn.txt
│ ├── tyv_Cyrl.txt
│ ├── tzh_Latn.txt
│ ├── tzj_Latn.txt
│ ├── tzl_Latn.txt
│ ├── tzm_Tfng.txt
│ ├── tzo_Latn.txt
│ ├── ubr_Latn.txt
│ ├── ubu_Latn.txt
│ ├── udm_Cyrl.txt
│ ├── udu_Latn.txt
│ ├── uig_Arab.txt
│ ├── uig_Cyrl.txt
│ ├── uig_Latn.txt
│ ├── ukr_Cyrl.txt
│ ├── umb_Latn.txt
│ ├── upv_Latn.txt
│ ├── ura_Latn.txt
│ ├── urb_Latn.txt
│ ├── urd_Arab.txt
│ ├── urd_Latn.txt
│ ├── urh_Latn.txt
│ ├── uri_Latn.txt
│ ├── urk_Thai.txt
│ ├── urt_Latn.txt
│ ├── urw_Latn.txt
│ ├── ury_Latn.txt
│ ├── usa_Latn.txt
│ ├── usp_Latn.txt
│ ├── uth_Latn.txt
│ ├── uvh_Latn.txt
│ ├── uvl_Latn.txt
│ ├── uzn_Cyrl.txt
│ ├── uzn_Latn.txt
│ ├── uzs_Arab.txt
│ ├── vag_Latn.txt
│ ├── vap_Latn.txt
│ ├── var_Latn.txt
│ ├── vec_Latn.txt
│ ├── ven_Latn.txt
│ ├── vep_Latn.txt
│ ├── vid_Latn.txt
│ ├── vie_Latn.txt
│ ├── viv_Latn.txt
│ ├── vls_Latn.txt
│ ├── vmk_Latn.txt
│ ├── vmw_Latn.txt
│ ├── vmy_Latn.txt
│ ├── vol_Latn.txt
│ ├── vot_Latn.txt
│ ├── vro_Latn.txt
│ ├── vun_Latn.txt
│ ├── vut_Latn.txt
│ ├── waj_Latn.txt
│ ├── wal_Ethi.txt
│ ├── wal_Latn.txt
│ ├── wap_Latn.txt
│ ├── war_Latn.txt
│ ├── wat_Latn.txt
│ ├── way_Latn.txt
│ ├── wba_Latn.txt
│ ├── wbm_Latn.txt
│ ├── wbp_Latn.txt
│ ├── wed_Latn.txt
│ ├── wer_Latn.txt
│ ├── wes_Latn.txt
│ ├── wew_Latn.txt
│ ├── whg_Latn.txt
│ ├── whk_Latn.txt
│ ├── wib_Latn.txt
│ ├── wim_Latn.txt
│ ├── wiu_Latn.txt
│ ├── wln_Latn.txt
│ ├── wls_Latn.txt
│ ├── wlv_Latn.txt
│ ├── wlx_Latn.txt
│ ├── wmt_Latn.txt
│ ├── wmw_Latn.txt
│ ├── wnc_Latn.txt
│ ├── wnu_Latn.txt
│ ├── wob_Latn.txt
│ ├── wol_Latn.txt
│ ├── wos_Latn.txt
│ ├── wrk_Latn.txt
│ ├── wrs_Latn.txt
│ ├── wsg_Telu.txt
│ ├── wsk_Latn.txt
│ ├── wuu_Hani.txt
│ ├── wuv_Latn.txt
│ ├── wwa_Latn.txt
│ ├── xal_Cyrl.txt
│ ├── xav_Latn.txt
│ ├── xbi_Latn.txt
│ ├── xbr_Latn.txt
│ ├── xed_Latn.txt
│ ├── xho_Latn.txt
│ ├── xla_Latn.txt
│ ├── xmf_Geor.txt
│ ├── xmm_Latn.txt
│ ├── xmv_Latn.txt
│ ├── xnn_Latn.txt
│ ├── xog_Latn.txt
│ ├── xon_Latn.txt
│ ├── xrb_Latn.txt
│ ├── xsb_Latn.txt
│ ├── xsi_Latn.txt
│ ├── xsm_Latn.txt
│ ├── xsr_Deva.txt
│ ├── xsu_Latn.txt
│ ├── xtd_Latn.txt
│ ├── xtm_Latn.txt
│ ├── xtn_Latn.txt
│ ├── xum_Latn.txt
│ ├── xuo_Latn.txt
│ ├── yaa_Latn.txt
│ ├── yad_Latn.txt
│ ├── yal_Latn.txt
│ ├── yam_Latn.txt
│ ├── yan_Latn.txt
│ ├── yao_Latn.txt
│ ├── yap_Latn.txt
│ ├── yaq_Latn.txt
│ ├── yas_Latn.txt
│ ├── yat_Latn.txt
│ ├── yaz_Latn.txt
│ ├── ybb_Latn.txt
│ ├── yby_Latn.txt
│ ├── ycn_Latn.txt
│ ├── ydd_Hebr.txt
│ ├── yim_Latn.txt
│ ├── yka_Latn.txt
│ ├── yle_Latn.txt
│ ├── yli_Latn.txt
│ ├── yml_Latn.txt
│ ├── yom_Latn.txt
│ ├── yon_Latn.txt
│ ├── yor_Latn.txt
│ ├── yrb_Latn.txt
│ ├── yre_Latn.txt
│ ├── yrk_Cyrl.txt
│ ├── yrl_Latn.txt
│ ├── yss_Latn.txt
│ ├── yua_Latn.txt
│ ├── yue_Hani.txt
│ ├── yuj_Latn.txt
│ ├── yup_Latn.txt
│ ├── yut_Latn.txt
│ ├── yuw_Latn.txt
│ ├── yuz_Latn.txt
│ ├── yva_Latn.txt
│ ├── zaa_Latn.txt
│ ├── zab_Latn.txt
│ ├── zac_Latn.txt
│ ├── zad_Latn.txt
│ ├── zae_Latn.txt
│ ├── zai_Latn.txt
│ ├── zam_Latn.txt
│ ├── zao_Latn.txt
│ ├── zar_Latn.txt
│ ├── zas_Latn.txt
│ ├── zat_Latn.txt
│ ├── zav_Latn.txt
│ ├── zaw_Latn.txt
│ ├── zca_Latn.txt
│ ├── zdj_Latn.txt
│ ├── zea_Latn.txt
│ ├── zgh_Tfng.txt
│ ├── zho_Hani.txt
│ ├── zia_Latn.txt
│ ├── ziw_Latn.txt
│ ├── zne_Latn.txt
│ ├── zoc_Latn.txt
│ ├── zom_Latn.txt
│ ├── zos_Latn.txt
│ ├── zpa_Latn.txt
│ ├── zpc_Latn.txt
│ ├── zpg_Latn.txt
│ ├── zpi_Latn.txt
│ ├── zpj_Latn.txt
│ ├── zpl_Latn.txt
│ ├── zpm_Latn.txt
│ ├── zpo_Latn.txt
│ ├── zpq_Latn.txt
│ ├── zpt_Latn.txt
│ ├── zpu_Latn.txt
│ ├── zpv_Latn.txt
│ ├── zpz_Latn.txt
│ ├── zsm_Arab.txt
│ ├── zsm_Latn.txt
│ ├── zsr_Latn.txt
│ ├── ztq_Latn.txt
│ ├── zty_Latn.txt
│ ├── zul_Latn.txt
│ ├── zyb_Latn.txt
│ └── zyp_Latn.txt
├── reference_datasets/
│ ├── monolingual/
│ │ ├── ar/
│ │ │ ├── download_101b_arabicwords.py
│ │ │ └── download_arabicweb24.py
│ │ ├── fr/
│ │ │ └── download_croissant.py
│ │ ├── hi/
│ │ │ ├── download_odaigen.py
│ │ │ └── download_sangraha.py
│ │ ├── te/
│ │ │ └── download_sangraha.py
│ │ ├── th/
│ │ │ └── download_sea_commoncrawl.py
│ │ ├── tr/
│ │ │ └── download_vngrs.py
│ │ └── zh/
│ │ ├── download_mapcc.py
│ │ ├── download_mnbvc.py
│ │ └── download_tigerbot.py
│ └── multilingual/
│ ├── copy_raw_data.py
│ ├── download_cc-100.py
│ ├── download_culturax.py
│ ├── download_hplt.py
│ ├── download_hplt_split.py
│ ├── download_mc4.py
│ └── part jsons.py
└── rehydration/
├── README.md
├── distributions/
│ ├── aai_Latn.json
│ ├── aak_Latn.json
│ ├── aau_Latn.json
│ ├── aaz_Latn.json
│ ├── aba_Latn.json
│ ├── abi_Latn.json
│ ├── abk_Cyrl.json
│ ├── abn_Latn.json
│ ├── abq_Cyrl.json
│ ├── abs_Latn.json
│ ├── abt_Latn.json
│ ├── abx_Latn.json
│ ├── aby_Latn.json
│ ├── abz_Latn.json
│ ├── aca_Latn.json
│ ├── acd_Latn.json
│ ├── ace_Latn.json
│ ├── acf_Latn.json
│ ├── ach_Latn.json
│ ├── acm_Arab.json
│ ├── acn_Latn.json
│ ├── acr_Latn.json
│ ├── acu_Latn.json
│ ├── ada_Latn.json
│ ├── ade_Latn.json
│ ├── adh_Latn.json
│ ├── adi_Latn.json
│ ├── adj_Latn.json
│ ├── adl_Latn.json
│ ├── ady_Cyrl.json
│ ├── adz_Latn.json
│ ├── aeb_Arab.json
│ ├── aer_Latn.json
│ ├── aeu_Latn.json
│ ├── aey_Latn.json
│ ├── afr_Latn.json
│ ├── agd_Latn.json
│ ├── agg_Latn.json
│ ├── agm_Latn.json
│ ├── agn_Latn.json
│ ├── agr_Latn.json
│ ├── agt_Latn.json
│ ├── agu_Latn.json
│ ├── agw_Latn.json
│ ├── agx_Cyrl.json
│ ├── aha_Latn.json
│ ├── ahk_Latn.json
│ ├── aia_Latn.json
│ ├── aii_Syrc.json
│ ├── aim_Latn.json
│ ├── ain_Latn.json
│ ├── ajg_Latn.json
│ ├── aji_Latn.json
│ ├── ajz_Latn.json
│ ├── akb_Latn.json
│ ├── ake_Latn.json
│ ├── akh_Latn.json
│ ├── akp_Latn.json
│ ├── alj_Latn.json
│ ├── aln_Latn.json
│ ├── alp_Latn.json
│ ├── alq_Latn.json
│ ├── als_Latn.json
│ ├── alt_Cyrl.json
│ ├── aly_Latn.json
│ ├── alz_Latn.json
│ ├── ame_Latn.json
│ ├── amf_Latn.json
│ ├── amh_Ethi.json
│ ├── ami_Latn.json
│ ├── amk_Latn.json
│ ├── amm_Latn.json
│ ├── amn_Latn.json
│ ├── amp_Latn.json
│ ├── amr_Latn.json
│ ├── amu_Latn.json
│ ├── amx_Latn.json
│ ├── ang_Latn.json
│ ├── anm_Latn.json
│ ├── ann_Latn.json
│ ├── anp_Deva.json
│ ├── anv_Latn.json
│ ├── any_Latn.json
│ ├── aoi_Latn.json
│ ├── aoj_Latn.json
│ ├── aom_Latn.json
│ ├── aoz_Latn.json
│ ├── apb_Latn.json
│ ├── apc_Arab.json
│ ├── ape_Latn.json
│ ├── apn_Latn.json
│ ├── apr_Latn.json
│ ├── apt_Latn.json
│ ├── apu_Latn.json
│ ├── apw_Latn.json
│ ├── apy_Latn.json
│ ├── apz_Latn.json
│ ├── arb_Arab.json
│ ├── arb_Latn.json
│ ├── are_Latn.json
│ ├── arg_Latn.json
│ ├── arl_Latn.json
│ ├── arn_Latn.json
│ ├── arp_Latn.json
│ ├── arq_Arab.json
│ ├── ars_Arab.json
│ ├── ary_Arab.json
│ ├── arz_Arab.json
│ ├── asg_Latn.json
│ ├── asm_Beng.json
│ ├── asm_Latn.json
│ ├── aso_Latn.json
│ ├── ast_Latn.json
│ ├── ata_Latn.json
│ ├── atb_Latn.json
│ ├── atd_Latn.json
│ ├── atg_Latn.json
│ ├── ati_Latn.json
│ ├── atj_Latn.json
│ ├── atq_Latn.json
│ ├── att_Latn.json
│ ├── auc_Latn.json
│ ├── aui_Latn.json
│ ├── auy_Latn.json
│ ├── ava_Cyrl.json
│ ├── avk_Latn.json
│ ├── avn_Latn.json
│ ├── avt_Latn.json
│ ├── avu_Latn.json
│ ├── awa_Deva.json
│ ├── awb_Latn.json
│ ├── awx_Latn.json
│ ├── ayo_Latn.json
│ ├── ayp_Arab.json
│ ├── ayr_Latn.json
│ ├── azb_Arab.json
│ ├── azg_Latn.json
│ ├── azj_Cyrl.json
│ ├── azj_Latn.json
│ ├── azz_Latn.json
│ ├── bak_Cyrl.json
│ ├── bam_Latn.json
│ ├── ban_Latn.json
│ ├── bao_Latn.json
│ ├── bar_Latn.json
│ ├── bas_Latn.json
│ ├── bav_Latn.json
│ ├── bba_Latn.json
│ ├── bbb_Latn.json
│ ├── bbc_Latn.json
│ ├── bbj_Latn.json
│ ├── bbk_Latn.json
│ ├── bbr_Latn.json
│ ├── bch_Latn.json
│ ├── bci_Latn.json
│ ├── bcl_Latn.json
│ ├── bco_Latn.json
│ ├── bcw_Latn.json
│ ├── bdd_Latn.json
│ ├── bdh_Latn.json
│ ├── bdq_Latn.json
│ ├── bea_Latn.json
│ ├── bef_Latn.json
│ ├── bel_Cyrl.json
│ ├── bem_Latn.json
│ ├── ben_Beng.json
│ ├── ben_Latn.json
│ ├── beq_Latn.json
│ ├── bew_Latn.json
│ ├── bex_Latn.json
│ ├── bfd_Latn.json
│ ├── bfo_Latn.json
│ ├── bgr_Latn.json
│ ├── bgs_Latn.json
│ ├── bgt_Latn.json
│ ├── bgz_Latn.json
│ ├── bhg_Latn.json
│ ├── bhl_Latn.json
│ ├── bho_Deva.json
│ ├── bhp_Latn.json
│ ├── bhw_Latn.json
│ ├── bhz_Latn.json
│ ├── bib_Latn.json
│ ├── big_Latn.json
│ ├── bim_Latn.json
│ ├── bin_Latn.json
│ ├── bis_Latn.json
│ ├── biu_Latn.json
│ ├── biv_Latn.json
│ ├── bjn_Arab.json
│ ├── bjn_Latn.json
│ ├── bjp_Latn.json
│ ├── bjr_Latn.json
│ ├── bjv_Latn.json
│ ├── bkd_Latn.json
│ ├── bkl_Latn.json
│ ├── bkq_Latn.json
│ ├── bku_Latn.json
│ ├── bkv_Latn.json
│ ├── bla_Latn.json
│ ├── blh_Latn.json
│ ├── blk_Mymr.json
│ ├── blw_Latn.json
│ ├── blz_Latn.json
│ ├── bmh_Latn.json
│ ├── bmk_Latn.json
│ ├── bmq_Latn.json
│ ├── bmr_Latn.json
│ ├── bmu_Latn.json
│ ├── bmv_Latn.json
│ ├── bno_Latn.json
│ ├── bnp_Latn.json
│ ├── boa_Latn.json
│ ├── bod_Tibt.json
│ ├── boj_Latn.json
│ ├── bom_Latn.json
│ ├── bon_Latn.json
│ ├── bos_Latn.json
│ ├── bov_Latn.json
│ ├── box_Latn.json
│ ├── bpr_Latn.json
│ ├── bps_Latn.json
│ ├── bpy_Beng.json
│ ├── bqc_Latn.json
│ ├── bqj_Latn.json
│ ├── bqp_Latn.json
│ ├── bre_Latn.json
│ ├── brh_Arab.json
│ ├── bru_Latn.json
│ ├── brx_Deva.json
│ ├── bsc_Latn.json
│ ├── bsn_Latn.json
│ ├── bsp_Latn.json
│ ├── bsq_Latn.json
│ ├── bss_Latn.json
│ ├── btd_Latn.json
│ ├── bth_Latn.json
│ ├── bts_Latn.json
│ ├── btt_Latn.json
│ ├── btx_Latn.json
│ ├── bud_Latn.json
│ ├── bug_Latn.json
│ ├── buk_Latn.json
│ ├── bul_Cyrl.json
│ ├── bum_Latn.json
│ ├── bus_Latn.json
│ ├── bvc_Latn.json
│ ├── bvd_Latn.json
│ ├── bvr_Latn.json
│ ├── bvz_Latn.json
│ ├── bwd_Latn.json
│ ├── bwi_Latn.json
│ ├── bwq_Latn.json
│ ├── bwu_Latn.json
│ ├── bxh_Latn.json
│ ├── bxr_Cyrl.json
│ ├── byr_Latn.json
│ ├── byv_Latn.json
│ ├── byx_Latn.json
│ ├── bzd_Latn.json
│ ├── bzh_Latn.json
│ ├── bzi_Thai.json
│ ├── bzj_Latn.json
│ ├── caa_Latn.json
│ ├── cab_Latn.json
│ ├── cac_Latn.json
│ ├── caf_Latn.json
│ ├── cag_Latn.json
│ ├── cak_Latn.json
│ ├── cao_Latn.json
│ ├── cap_Latn.json
│ ├── caq_Latn.json
│ ├── car_Latn.json
│ ├── cas_Latn.json
│ ├── cat_Latn.json
│ ├── cav_Latn.json
│ ├── cax_Latn.json
│ ├── cbc_Latn.json
│ ├── cbi_Latn.json
│ ├── cbk_Latn.json
│ ├── cbr_Latn.json
│ ├── cbs_Latn.json
│ ├── cbt_Latn.json
│ ├── cbu_Latn.json
│ ├── cbv_Latn.json
│ ├── cce_Latn.json
│ ├── cco_Latn.json
│ ├── ccp_Latn.json
│ ├── ceb_Latn.json
│ ├── ceg_Latn.json
│ ├── cek_Latn.json
│ ├── ces_Latn.json
│ ├── cfm_Latn.json
│ ├── cgc_Latn.json
│ ├── cgg_Latn.json
│ ├── cha_Latn.json
│ ├── chd_Latn.json
│ ├── che_Cyrl.json
│ ├── chf_Latn.json
│ ├── chj_Latn.json
│ ├── chk_Latn.json
│ ├── cho_Latn.json
│ ├── chq_Latn.json
│ ├── chr_Cher.json
│ ├── chr_Latn.json
│ ├── chu_Cyrl.json
│ ├── chv_Cyrl.json
│ ├── chw_Latn.json
│ ├── chz_Latn.json
│ ├── cjk_Latn.json
│ ├── cjo_Latn.json
│ ├── cjp_Latn.json
│ ├── cjs_Cyrl.json
│ ├── cjv_Latn.json
│ ├── ckb_Arab.json
│ ├── cko_Latn.json
│ ├── ckt_Cyrl.json
│ ├── cle_Latn.json
│ ├── clu_Latn.json
│ ├── cly_Latn.json
│ ├── cme_Latn.json
│ ├── cmn_Hani.json
│ ├── cmo_Latn.json
│ ├── cmr_Latn.json
│ ├── cnh_Latn.json
│ ├── cni_Latn.json
│ ├── cnk_Latn.json
│ ├── cnl_Latn.json
│ ├── cnt_Latn.json
│ ├── cnw_Latn.json
│ ├── coe_Latn.json
│ ├── cof_Latn.json
│ ├── cok_Latn.json
│ ├── con_Latn.json
│ ├── cop_Copt.json
│ ├── cor_Latn.json
│ ├── cos_Latn.json
│ ├── cot_Latn.json
│ ├── cou_Latn.json
│ ├── cpa_Latn.json
│ ├── cpb_Latn.json
│ ├── cpc_Latn.json
│ ├── cpu_Latn.json
│ ├── cpy_Latn.json
│ ├── crh_Cyrl.json
│ ├── crh_Latn.json
│ ├── crj_Cans.json
│ ├── crk_Cans.json
│ ├── crk_Latn.json
│ ├── crl_Cans.json
│ ├── crm_Cans.json
│ ├── crn_Latn.json
│ ├── crs_Latn.json
│ ├── crt_Latn.json
│ ├── crx_Latn.json
│ ├── csb_Latn.json
│ ├── csk_Latn.json
│ ├── cso_Latn.json
│ ├── csw_Latn.json
│ ├── csy_Latn.json
│ ├── cta_Latn.json
│ ├── ctd_Latn.json
│ ├── cto_Latn.json
│ ├── ctp_Latn.json
│ ├── ctu_Latn.json
│ ├── cub_Latn.json
│ ├── cuc_Latn.json
│ ├── cui_Latn.json
│ ├── cuk_Latn.json
│ ├── cul_Latn.json
│ ├── cut_Latn.json
│ ├── cux_Latn.json
│ ├── cwe_Latn.json
│ ├── cwt_Latn.json
│ ├── cya_Latn.json
│ ├── cym_Latn.json
│ ├── czt_Latn.json
│ ├── daa_Latn.json
│ ├── dad_Latn.json
│ ├── daf_Latn.json
│ ├── dag_Latn.json
│ ├── dah_Latn.json
│ ├── dak_Latn.json
│ ├── dan_Latn.json
│ ├── dar_Cyrl.json
│ ├── ddg_Latn.json
│ ├── ddn_Latn.json
│ ├── ded_Latn.json
│ ├── des_Latn.json
│ ├── deu_Latn.json
│ ├── dga_Latn.json
│ ├── dgc_Latn.json
│ ├── dgi_Latn.json
│ ├── dgr_Latn.json
│ ├── dgz_Latn.json
│ ├── dhg_Latn.json
│ ├── dhm_Latn.json
│ ├── dhv_Latn.json
│ ├── did_Latn.json
│ ├── dig_Latn.json
│ ├── dik_Latn.json
│ ├── diq_Latn.json
│ ├── dis_Latn.json
│ ├── diu_Latn.json
│ ├── div_Thaa.json
│ ├── dje_Latn.json
│ ├── djk_Latn.json
│ ├── djr_Latn.json
│ ├── dks_Latn.json
│ ├── dln_Latn.json
│ ├── dng_Cyrl.json
│ ├── dnj_Latn.json
│ ├── dnw_Latn.json
│ ├── dob_Latn.json
│ ├── doi_Deva.json
│ ├── dop_Latn.json
│ ├── dos_Latn.json
│ ├── dow_Latn.json
│ ├── drg_Latn.json
│ ├── dru_Latn.json
│ ├── dsb_Latn.json
│ ├── dtb_Latn.json
│ ├── dtp_Latn.json
│ ├── dts_Latn.json
│ ├── dty_Deva.json
│ ├── dua_Latn.json
│ ├── due_Latn.json
│ ├── dug_Latn.json
│ ├── duo_Latn.json
│ ├── dur_Latn.json
│ ├── dwr_Latn.json
│ ├── dww_Latn.json
│ ├── dyi_Latn.json
│ ├── dyo_Latn.json
│ ├── dyu_Latn.json
│ ├── dzo_Tibt.json
│ ├── ebk_Latn.json
│ ├── efi_Latn.json
│ ├── eka_Latn.json
│ ├── ekk_Latn.json
│ ├── eko_Latn.json
│ ├── ell_Grek.json
│ ├── emi_Latn.json
│ ├── eml_Latn.json
│ ├── emp_Latn.json
│ ├── enb_Latn.json
│ ├── enl_Latn.json
│ ├── enm_Latn.json
│ ├── enq_Latn.json
│ ├── enx_Latn.json
│ ├── epo_Latn.json
│ ├── eri_Latn.json
│ ├── ese_Latn.json
│ ├── esi_Latn.json
│ ├── esk_Latn.json
│ ├── ess_Latn.json
│ ├── esu_Latn.json
│ ├── eto_Latn.json
│ ├── etr_Latn.json
│ ├── etu_Latn.json
│ ├── eus_Latn.json
│ ├── eve_Cyrl.json
│ ├── ewe_Latn.json
│ ├── ewo_Latn.json
│ ├── ext_Latn.json
│ ├── eza_Latn.json
│ ├── faa_Latn.json
│ ├── fad_Latn.json
│ ├── fai_Latn.json
│ ├── fal_Latn.json
│ ├── fan_Latn.json
│ ├── fao_Latn.json
│ ├── far_Latn.json
│ ├── fas_Arab.json
│ ├── fat_Latn.json
│ ├── ffm_Latn.json
│ ├── fij_Latn.json
│ ├── fil_Latn.json
│ ├── fin_Latn.json
│ ├── fit_Latn.json
│ ├── fkv_Latn.json
│ ├── fmu_Deva.json
│ ├── fon_Latn.json
│ ├── for_Latn.json
│ ├── fra_Latn.json
│ ├── frd_Latn.json
│ ├── fro_Latn.json
│ ├── frp_Latn.json
│ ├── frr_Latn.json
│ ├── fry_Latn.json
│ ├── fub_Latn.json
│ ├── fud_Latn.json
│ ├── fue_Latn.json
│ ├── fuf_Latn.json
│ ├── fuh_Latn.json
│ ├── fuq_Latn.json
│ ├── fur_Latn.json
│ ├── fuv_Arab.json
│ ├── fuv_Latn.json
│ ├── gaa_Latn.json
│ ├── gag_Cyrl.json
│ ├── gag_Latn.json
│ ├── gah_Latn.json
│ ├── gai_Latn.json
│ ├── gam_Latn.json
│ ├── gaw_Latn.json
│ ├── gaz_Latn.json
│ ├── gbi_Latn.json
│ ├── gbo_Latn.json
│ ├── gbr_Latn.json
│ ├── gcf_Latn.json
│ ├── gcr_Latn.json
│ ├── gde_Latn.json
│ ├── gdg_Latn.json
│ ├── gdn_Latn.json
│ ├── gdr_Latn.json
│ ├── geb_Latn.json
│ ├── gej_Latn.json
│ ├── gfk_Latn.json
│ ├── ghs_Latn.json
│ ├── gil_Latn.json
│ ├── giz_Latn.json
│ ├── gjn_Latn.json
│ ├── gkn_Latn.json
│ ├── gla_Latn.json
│ ├── gle_Latn.json
│ ├── glg_Latn.json
│ ├── glk_Arab.json
│ ├── glv_Latn.json
│ ├── gmh_Latn.json
│ ├── gmv_Ethi.json
│ ├── gmv_Latn.json
│ ├── gna_Latn.json
│ ├── gnb_Latn.json
│ ├── gnd_Latn.json
│ ├── gng_Latn.json
│ ├── gnn_Latn.json
│ ├── gnw_Latn.json
│ ├── goa_Latn.json
│ ├── gof_Ethi.json
│ ├── gof_Latn.json
│ ├── gog_Latn.json
│ ├── goh_Latn.json
│ ├── gom_Deva.json
│ ├── gom_Latn.json
│ ├── gor_Latn.json
│ ├── gos_Latn.json
│ ├── got_Goth.json
│ ├── gqr_Latn.json
│ ├── grc_Grek.json
│ ├── grt_Beng.json
│ ├── gso_Latn.json
│ ├── gsw_Latn.json
│ ├── gub_Latn.json
│ ├── guc_Latn.json
│ ├── gud_Latn.json
│ ├── gug_Latn.json
│ ├── guh_Latn.json
│ ├── gui_Latn.json
│ ├── guj_Gujr.json
│ ├── guj_Latn.json
│ ├── guk_Ethi.json
│ ├── gul_Latn.json
│ ├── gum_Latn.json
│ ├── gun_Latn.json
│ ├── guo_Latn.json
│ ├── guq_Latn.json
│ ├── gur_Latn.json
│ ├── guu_Latn.json
│ ├── guw_Latn.json
│ ├── gux_Latn.json
│ ├── guz_Latn.json
│ ├── gvc_Latn.json
│ ├── gvf_Latn.json
│ ├── gvl_Latn.json
│ ├── gvn_Latn.json
│ ├── gwi_Latn.json
│ ├── gwr_Latn.json
│ ├── gya_Latn.json
│ ├── gym_Latn.json
│ ├── gyr_Latn.json
│ ├── hac_Arab.json
│ ├── hae_Latn.json
│ ├── hag_Latn.json
│ ├── hak_Hani.json
│ ├── hak_Latn.json
│ ├── hat_Latn.json
│ ├── hav_Latn.json
│ ├── haw_Latn.json
│ ├── hay_Latn.json
│ ├── hbo_Hebr.json
│ ├── hch_Latn.json
│ ├── heb_Hebr.json
│ ├── heg_Latn.json
│ ├── heh_Latn.json
│ ├── her_Latn.json
│ ├── hif_Latn.json
│ ├── hig_Latn.json
│ ├── hil_Latn.json
│ ├── hin_Deva.json
│ ├── hin_Latn.json
│ ├── hix_Latn.json
│ ├── hla_Latn.json
│ ├── hmo_Latn.json
│ ├── hmr_Latn.json
│ ├── hne_Deva.json
│ ├── hnj_Latn.json
│ ├── hnn_Latn.json
│ ├── hns_Latn.json
│ ├── hop_Latn.json
│ ├── hot_Latn.json
│ ├── hra_Latn.json
│ ├── hrv_Latn.json
│ ├── hrx_Latn.json
│ ├── hsb_Latn.json
│ ├── hto_Latn.json
│ ├── hub_Latn.json
│ ├── hui_Latn.json
│ ├── hun_Latn.json
│ ├── hus_Latn.json
│ ├── huu_Latn.json
│ ├── huv_Latn.json
│ ├── hvn_Latn.json
│ ├── hwc_Latn.json
│ ├── hye_Armn.json
│ ├── hyw_Armn.json
│ ├── ian_Latn.json
│ ├── iba_Latn.json
│ ├── ibg_Latn.json
│ ├── ibo_Latn.json
│ ├── icr_Latn.json
│ ├── ido_Latn.json
│ ├── idu_Latn.json
│ ├── ifa_Latn.json
│ ├── ifb_Latn.json
│ ├── ife_Latn.json
│ ├── ifk_Latn.json
│ ├── ifu_Latn.json
│ ├── ify_Latn.json
│ ├── ige_Latn.json
│ ├── ign_Latn.json
│ ├── ike_Cans.json
│ ├── ikk_Latn.json
│ ├── ikt_Latn.json
│ ├── ikw_Latn.json
│ ├── ilb_Latn.json
│ ├── ile_Latn.json
│ ├── ilo_Latn.json
│ ├── imo_Latn.json
│ ├── ina_Latn.json
│ ├── inb_Latn.json
│ ├── ind_Latn.json
│ ├── inh_Cyrl.json
│ ├── ino_Latn.json
│ ├── iou_Latn.json
│ ├── ipi_Latn.json
│ ├── iqw_Latn.json
│ ├── iri_Latn.json
│ ├── irk_Latn.json
│ ├── iry_Latn.json
│ ├── isd_Latn.json
│ ├── ish_Latn.json
│ ├── isl_Latn.json
│ ├── iso_Latn.json
│ ├── ita_Latn.json
│ ├── itv_Latn.json
│ ├── ium_Latn.json
│ ├── ivb_Latn.json
│ ├── ivv_Latn.json
│ ├── iws_Latn.json
│ ├── ixl_Latn.json
│ ├── izr_Latn.json
│ ├── izz_Latn.json
│ ├── jaa_Latn.json
│ ├── jac_Latn.json
│ ├── jae_Latn.json
│ ├── jam_Latn.json
│ ├── jav_Latn.json
│ ├── jbo_Latn.json
│ ├── jbu_Latn.json
│ ├── jic_Latn.json
│ ├── jiv_Latn.json
│ ├── jmc_Latn.json
│ ├── jpn_Jpan.json
│ ├── jra_Latn.json
│ ├── jun_Orya.json
│ ├── jvn_Latn.json
│ ├── kaa_Cyrl.json
│ ├── kaa_Latn.json
│ ├── kab_Latn.json
│ ├── kac_Latn.json
│ ├── kak_Latn.json
│ ├── kal_Latn.json
│ ├── kam_Latn.json
│ ├── kan_Knda.json
│ ├── kan_Latn.json
│ ├── kao_Latn.json
│ ├── kaq_Latn.json
│ ├── kas_Arab.json
│ ├── kas_Deva.json
│ ├── kas_Latn.json
│ ├── kat_Geor.json
│ ├── kaz_Cyrl.json
│ ├── kbc_Latn.json
│ ├── kbd_Cyrl.json
│ ├── kbh_Latn.json
│ ├── kbm_Latn.json
│ ├── kbo_Latn.json
│ ├── kbp_Latn.json
│ ├── kbq_Latn.json
│ ├── kbr_Latn.json
│ ├── kby_Latn.json
│ ├── kca_Cyrl.json
│ ├── kcg_Latn.json
│ ├── kck_Latn.json
│ ├── kdc_Latn.json
│ ├── kde_Latn.json
│ ├── kdh_Latn.json
│ ├── kdi_Latn.json
│ ├── kdj_Latn.json
│ ├── kdl_Latn.json
│ ├── kdr_Latn.json
│ ├── kea_Latn.json
│ ├── kei_Latn.json
│ ├── kek_Latn.json
│ ├── ken_Latn.json
│ ├── keo_Latn.json
│ ├── ker_Latn.json
│ ├── kew_Latn.json
│ ├── kez_Latn.json
│ ├── kff_Telu.json
│ ├── kgf_Latn.json
│ ├── kgk_Latn.json
│ ├── kgp_Latn.json
│ ├── kgr_Latn.json
│ ├── kha_Latn.json
│ ├── khk_Cyrl.json
│ ├── khm_Khmr.json
│ ├── khs_Latn.json
│ ├── khz_Latn.json
│ ├── kia_Latn.json
│ ├── kij_Latn.json
│ ├── kik_Latn.json
│ ├── kin_Latn.json
│ ├── kir_Cyrl.json
│ ├── kiu_Latn.json
│ ├── kix_Latn.json
│ ├── kjb_Latn.json
│ ├── kje_Latn.json
│ ├── kjh_Cyrl.json
│ ├── kjs_Latn.json
│ ├── kkc_Latn.json
│ ├── kki_Latn.json
│ ├── kkj_Latn.json
│ ├── kkl_Latn.json
│ ├── kle_Deva.json
│ ├── klt_Latn.json
│ ├── klv_Latn.json
│ ├── kmb_Latn.json
│ ├── kmg_Latn.json
│ ├── kmh_Latn.json
│ ├── kmk_Latn.json
│ ├── kmm_Latn.json
│ ├── kmo_Latn.json
│ ├── kmr_Cyrl.json
│ ├── kmr_Latn.json
│ ├── kms_Latn.json
│ ├── kmu_Latn.json
│ ├── kmy_Latn.json
│ ├── knc_Latn.json
│ ├── kne_Latn.json
│ ├── knf_Latn.json
│ ├── kng_Latn.json
│ ├── knj_Latn.json
│ ├── knk_Latn.json
│ ├── kno_Latn.json
│ ├── knv_Latn.json
│ ├── knx_Latn.json
│ ├── kny_Latn.json
│ ├── kog_Latn.json
│ ├── koi_Cyrl.json
│ ├── koo_Latn.json
│ ├── kor_Hang.json
│ ├── kos_Latn.json
│ ├── kpe_Latn.json
│ ├── kpf_Latn.json
│ ├── kpg_Latn.json
│ ├── kpj_Latn.json
│ ├── kpq_Latn.json
│ ├── kpr_Latn.json
│ ├── kpv_Cyrl.json
│ ├── kpw_Latn.json
│ ├── kpx_Latn.json
│ ├── kpz_Latn.json
│ ├── kqc_Latn.json
│ ├── kqe_Latn.json
│ ├── kqf_Latn.json
│ ├── kql_Latn.json
│ ├── kqn_Latn.json
│ ├── kqo_Latn.json
│ ├── kqp_Latn.json
│ ├── kqs_Latn.json
│ ├── kqw_Latn.json
│ ├── kqy_Ethi.json
│ ├── krc_Cyrl.json
│ ├── kri_Latn.json
│ ├── krj_Latn.json
│ ├── krl_Latn.json
│ ├── kru_Deva.json
│ ├── krx_Latn.json
│ ├── ksb_Latn.json
│ ├── ksc_Latn.json
│ ├── ksd_Latn.json
│ ├── ksf_Latn.json
│ ├── ksh_Latn.json
│ ├── ksj_Latn.json
│ ├── ksp_Latn.json
│ ├── ksr_Latn.json
│ ├── kss_Latn.json
│ ├── ksw_Mymr.json
│ ├── ktb_Ethi.json
│ ├── ktj_Latn.json
│ ├── ktm_Latn.json
│ ├── kto_Latn.json
│ ├── ktu_Latn.json
│ ├── ktz_Latn.json
│ ├── kua_Latn.json
│ ├── kub_Latn.json
│ ├── kud_Latn.json
│ ├── kue_Latn.json
│ ├── kuj_Latn.json
│ ├── kum_Cyrl.json
│ ├── kup_Latn.json
│ ├── kus_Latn.json
│ ├── kvg_Latn.json
│ ├── kvj_Latn.json
│ ├── kvn_Latn.json
│ ├── kwd_Latn.json
│ ├── kwf_Latn.json
│ ├── kwi_Latn.json
│ ├── kwj_Latn.json
│ ├── kwn_Latn.json
│ ├── kwy_Latn.json
│ ├── kxc_Ethi.json
│ ├── kxm_Thai.json
│ ├── kxw_Latn.json
│ ├── kyc_Latn.json
│ ├── kyf_Latn.json
│ ├── kyg_Latn.json
│ ├── kyq_Latn.json
│ ├── kyu_Kali.json
│ ├── kyu_Latn.json
│ ├── kyu_Mymr.json
│ ├── kyz_Latn.json
│ ├── kze_Latn.json
│ ├── kzf_Latn.json
│ ├── kzj_Latn.json
│ ├── lac_Latn.json
│ ├── lad_Hebr.json
│ ├── lad_Latn.json
│ ├── lai_Latn.json
│ ├── laj_Latn.json
│ ├── lam_Latn.json
│ ├── lao_Laoo.json
│ ├── lap_Latn.json
│ ├── lat_Latn.json
│ ├── lbb_Latn.json
│ ├── lbe_Cyrl.json
│ ├── lbj_Tibt.json
│ ├── lbk_Latn.json
│ ├── lcm_Latn.json
│ ├── lcp_Thai.json
│ ├── ldi_Latn.json
│ ├── ldn_Latn.json
│ ├── lee_Latn.json
│ ├── lef_Latn.json
│ ├── leh_Latn.json
│ ├── lem_Latn.json
│ ├── leu_Latn.json
│ ├── lew_Latn.json
│ ├── lex_Latn.json
│ ├── lez_Cyrl.json
│ ├── lfn_Cyrl.json
│ ├── lfn_Latn.json
│ ├── lgg_Latn.json
│ ├── lgl_Latn.json
│ ├── lgm_Latn.json
│ ├── lhi_Latn.json
│ ├── lhu_Latn.json
│ ├── lia_Latn.json
│ ├── lid_Latn.json
│ ├── lif_Deva.json
│ ├── lif_Limb.json
│ ├── lij_Latn.json
│ ├── lim_Latn.json
│ ├── lin_Latn.json
│ ├── lip_Latn.json
│ ├── lis_Lisu.json
│ ├── lit_Latn.json
│ ├── liv_Latn.json
│ ├── ljp_Latn.json
│ ├── lki_Arab.json
│ ├── llb_Latn.json
│ ├── lld_Latn.json
│ ├── llg_Latn.json
│ ├── lln_Latn.json
│ ├── lmk_Latn.json
│ ├── lmo_Latn.json
│ ├── lmp_Latn.json
│ ├── lnd_Latn.json
│ ├── lob_Latn.json
│ ├── loe_Latn.json
│ ├── log_Latn.json
│ ├── lol_Latn.json
│ ├── lom_Latn.json
│ ├── loq_Latn.json
│ ├── loz_Latn.json
│ ├── lrc_Arab.json
│ ├── lsi_Latn.json
│ ├── lsm_Latn.json
│ ├── ltg_Latn.json
│ ├── ltz_Latn.json
│ ├── lua_Latn.json
│ ├── lub_Latn.json
│ ├── luc_Latn.json
│ ├── lud_Latn.json
│ ├── lue_Latn.json
│ ├── lug_Latn.json
│ ├── lun_Latn.json
│ ├── luo_Latn.json
│ ├── lus_Latn.json
│ ├── lvs_Latn.json
│ ├── lwg_Latn.json
│ ├── lwo_Latn.json
│ ├── lww_Latn.json
│ ├── lzh_Hani.json
│ ├── maa_Latn.json
│ ├── mad_Latn.json
│ ├── maf_Latn.json
│ ├── mag_Deva.json
│ ├── mah_Latn.json
│ ├── mai_Deva.json
│ ├── maj_Latn.json
│ ├── mak_Latn.json
│ ├── mal_Latn.json
│ ├── mal_Mlym.json
│ ├── mam_Latn.json
│ ├── maq_Latn.json
│ ├── mar_Deva.json
│ ├── mar_Latn.json
│ ├── mas_Latn.json
│ ├── mau_Latn.json
│ ├── mav_Latn.json
│ ├── maw_Latn.json
│ ├── maz_Latn.json
│ ├── mbb_Latn.json
│ ├── mbc_Latn.json
│ ├── mbd_Latn.json
│ ├── mbf_Latn.json
│ ├── mbh_Latn.json
│ ├── mbi_Latn.json
│ ├── mbj_Latn.json
│ ├── mbl_Latn.json
│ ├── mbs_Latn.json
│ ├── mbt_Latn.json
│ ├── mca_Latn.json
│ ├── mcb_Latn.json
│ ├── mcd_Latn.json
│ ├── mcf_Latn.json
│ ├── mck_Latn.json
│ ├── mcn_Latn.json
│ ├── mco_Latn.json
│ ├── mcp_Latn.json
│ ├── mcq_Latn.json
│ ├── mcu_Latn.json
│ ├── mda_Latn.json
│ ├── mdf_Cyrl.json
│ ├── mdy_Ethi.json
│ ├── med_Latn.json
│ ├── mee_Latn.json
│ ├── mej_Latn.json
│ ├── mek_Latn.json
│ ├── men_Latn.json
│ ├── meq_Latn.json
│ ├── mer_Latn.json
│ ├── met_Latn.json
│ ├── meu_Latn.json
│ ├── mev_Latn.json
│ ├── mfe_Latn.json
│ ├── mfg_Latn.json
│ ├── mfh_Latn.json
│ ├── mfi_Latn.json
│ ├── mfk_Latn.json
│ ├── mfq_Latn.json
│ ├── mfy_Latn.json
│ ├── mfz_Latn.json
│ ├── mgc_Latn.json
│ ├── mgh_Latn.json
│ ├── mgo_Latn.json
│ ├── mgr_Latn.json
│ ├── mhi_Latn.json
│ ├── mhl_Latn.json
│ ├── mhr_Cyrl.json
│ ├── mhw_Latn.json
│ ├── mhx_Latn.json
│ ├── mhy_Latn.json
│ ├── mib_Latn.json
│ ├── mic_Latn.json
│ ├── mie_Latn.json
│ ├── mif_Latn.json
│ ├── mig_Latn.json
│ ├── mih_Latn.json
│ ├── mil_Latn.json
│ ├── mim_Latn.json
│ ├── min_Latn.json
│ ├── mio_Latn.json
│ ├── mip_Latn.json
│ ├── miq_Latn.json
│ ├── mir_Latn.json
│ ├── mit_Latn.json
│ ├── miy_Latn.json
│ ├── miz_Latn.json
│ ├── mjc_Latn.json
│ ├── mjw_Latn.json
│ ├── mkd_Cyrl.json
│ ├── mkl_Latn.json
│ ├── mkn_Latn.json
│ ├── mks_Latn.json
│ ├── mkz_Latn.json
│ ├── mlh_Latn.json
│ ├── mlp_Latn.json
│ ├── mlt_Latn.json
│ ├── mlu_Latn.json
│ ├── mmn_Latn.json
│ ├── mmo_Latn.json
│ ├── mmx_Latn.json
│ ├── mna_Latn.json
│ ├── mnb_Latn.json
│ ├── mnf_Latn.json
│ ├── mni_Beng.json
│ ├── mni_Latn.json
│ ├── mni_Mtei.json
│ ├── mnk_Latn.json
│ ├── mns_Cyrl.json
│ ├── mnw_Mymr.json
│ ├── mnx_Latn.json
│ ├── mny_Latn.json
│ ├── moa_Latn.json
│ ├── moc_Latn.json
│ ├── mog_Latn.json
│ ├── moh_Latn.json
│ ├── mop_Latn.json
│ ├── mor_Latn.json
│ ├── mos_Latn.json
│ ├── mox_Latn.json
│ ├── mpg_Latn.json
│ ├── mph_Latn.json
│ ├── mpm_Latn.json
│ ├── mpp_Latn.json
│ ├── mps_Latn.json
│ ├── mpt_Latn.json
│ ├── mpx_Latn.json
│ ├── mqb_Latn.json
│ ├── mqj_Latn.json
│ ├── mqy_Latn.json
│ ├── mrg_Latn.json
│ ├── mri_Latn.json
│ ├── mrj_Cyrl.json
│ ├── mrq_Latn.json
│ ├── mrv_Latn.json
│ ├── mrw_Latn.json
│ ├── msb_Latn.json
│ ├── msc_Latn.json
│ ├── mse_Latn.json
│ ├── msk_Latn.json
│ ├── msy_Latn.json
│ ├── mta_Latn.json
│ ├── mtg_Latn.json
│ ├── mti_Latn.json
│ ├── mto_Latn.json
│ ├── mtp_Latn.json
│ ├── mua_Latn.json
│ ├── mug_Latn.json
│ ├── muh_Latn.json
│ ├── mui_Latn.json
│ ├── mup_Deva.json
│ ├── mur_Latn.json
│ ├── mus_Latn.json
│ ├── mux_Latn.json
│ ├── muy_Latn.json
│ ├── mva_Latn.json
│ ├── mvn_Latn.json
│ ├── mvp_Latn.json
│ ├── mwc_Latn.json
│ ├── mwl_Latn.json
│ ├── mwm_Latn.json
│ ├── mwn_Latn.json
│ ├── mwp_Latn.json
│ ├── mwq_Latn.json
│ ├── mwv_Latn.json
│ ├── mww_Latn.json
│ ├── mxb_Latn.json
│ ├── mxp_Latn.json
│ ├── mxq_Latn.json
│ ├── mxt_Latn.json
│ ├── mxv_Latn.json
│ ├── mya_Mymr.json
│ ├── myb_Latn.json
│ ├── myk_Latn.json
│ ├── myu_Latn.json
│ ├── myv_Cyrl.json
│ ├── myw_Latn.json
│ ├── myx_Latn.json
│ ├── myy_Latn.json
│ ├── mza_Latn.json
│ ├── mzh_Latn.json
│ ├── mzk_Latn.json
│ ├── mzl_Latn.json
│ ├── mzm_Latn.json
│ ├── mzn_Arab.json
│ ├── mzw_Latn.json
│ ├── mzz_Latn.json
│ ├── nab_Latn.json
│ ├── naf_Latn.json
│ ├── nah_Latn.json
│ ├── nak_Latn.json
│ ├── nap_Latn.json
│ ├── naq_Latn.json
│ ├── nas_Latn.json
│ ├── nav_Latn.json
│ ├── naw_Latn.json
│ ├── nba_Latn.json
│ ├── nbc_Latn.json
│ ├── nbe_Latn.json
│ ├── nbl_Latn.json
│ ├── nbq_Latn.json
│ ├── nbu_Latn.json
│ ├── nca_Latn.json
│ ├── nch_Latn.json
│ ├── ncj_Latn.json
│ ├── ncl_Latn.json
│ ├── ncq_Laoo.json
│ ├── nct_Latn.json
│ ├── ncu_Latn.json
│ ├── ncx_Latn.json
│ ├── ndc_Latn.json
│ ├── nde_Latn.json
│ ├── ndh_Latn.json
│ ├── ndi_Latn.json
│ ├── ndj_Latn.json
│ ├── ndo_Latn.json
│ ├── nds_Latn.json
│ ├── ndz_Latn.json
│ ├── neb_Latn.json
│ ├── new_Deva.json
│ ├── nfa_Latn.json
│ ├── nfr_Latn.json
│ ├── ngb_Latn.json
│ ├── ngc_Latn.json
│ ├── ngl_Latn.json
│ ├── ngp_Latn.json
│ ├── ngu_Latn.json
│ ├── nhd_Latn.json
│ ├── nhe_Latn.json
│ ├── nhg_Latn.json
│ ├── nhi_Latn.json
│ ├── nhk_Latn.json
│ ├── nho_Latn.json
│ ├── nhr_Latn.json
│ ├── nhu_Latn.json
│ ├── nhw_Latn.json
│ ├── nhx_Latn.json
│ ├── nhy_Latn.json
│ ├── nia_Latn.json
│ ├── nif_Latn.json
│ ├── nii_Latn.json
│ ├── nij_Latn.json
│ ├── nim_Latn.json
│ ├── nin_Latn.json
│ ├── nio_Cyrl.json
│ ├── niu_Latn.json
│ ├── niy_Latn.json
│ ├── njb_Latn.json
│ ├── njm_Latn.json
│ ├── njn_Latn.json
│ ├── njo_Latn.json
│ ├── njz_Latn.json
│ ├── nkf_Latn.json
│ ├── nko_Latn.json
│ ├── nld_Latn.json
│ ├── nlg_Latn.json
│ ├── nma_Latn.json
│ ├── nmf_Latn.json
│ ├── nmo_Latn.json
│ ├── nmw_Latn.json
│ ├── nmz_Latn.json
│ ├── nnb_Latn.json
│ ├── nng_Latn.json
│ ├── nnh_Latn.json
│ ├── nnl_Latn.json
│ ├── nno_Latn.json
│ ├── nnp_Latn.json
│ ├── nnq_Latn.json
│ ├── nnw_Latn.json
│ ├── noa_Latn.json
│ ├── nob_Latn.json
│ ├── nod_Thai.json
│ ├── nog_Cyrl.json
│ ├── non_Latn.json
│ ├── nop_Latn.json
│ ├── not_Latn.json
│ ├── nou_Latn.json
│ ├── nov_Latn.json
│ ├── nph_Latn.json
│ ├── npi_Deva.json
│ ├── npi_Latn.json
│ ├── npl_Latn.json
│ ├── npo_Latn.json
│ ├── npy_Latn.json
│ ├── nqo_Nkoo.json
│ ├── nre_Latn.json
│ ├── nrf_Latn.json
│ ├── nri_Latn.json
│ ├── nrm_Latn.json
│ ├── nsa_Latn.json
│ ├── nse_Latn.json
│ ├── nsm_Latn.json
│ ├── nsn_Latn.json
│ ├── nso_Latn.json
│ ├── nss_Latn.json
│ ├── nst_Latn.json
│ ├── nsu_Latn.json
│ ├── ntp_Latn.json
│ ├── ntr_Latn.json
│ ├── ntu_Latn.json
│ ├── nuj_Latn.json
│ ├── nus_Latn.json
│ ├── nuy_Latn.json
│ ├── nwb_Latn.json
│ ├── nwi_Latn.json
│ ├── nwx_Deva.json
│ ├── nxd_Latn.json
│ ├── nya_Latn.json
│ ├── nyf_Latn.json
│ ├── nyk_Latn.json
│ ├── nyn_Latn.json
│ ├── nyo_Latn.json
│ ├── nyu_Latn.json
│ ├── nyy_Latn.json
│ ├── nzi_Latn.json
│ ├── nzm_Latn.json
│ ├── obo_Latn.json
│ ├── oci_Latn.json
│ ├── ogo_Latn.json
│ ├── ojb_Cans.json
│ ├── ojb_Latn.json
│ ├── oke_Latn.json
│ ├── okv_Latn.json
│ ├── old_Latn.json
│ ├── olo_Latn.json
│ ├── omb_Latn.json
│ ├── omw_Latn.json
│ ├── ong_Latn.json
│ ├── ons_Latn.json
│ ├── ood_Latn.json
│ ├── opm_Latn.json
│ ├── orv_Cyrl.json
│ ├── ory_Latn.json
│ ├── ory_Orya.json
│ ├── oss_Cyrl.json
│ ├── ota_Arab.json
│ ├── otd_Latn.json
│ ├── ote_Latn.json
│ ├── otm_Latn.json
│ ├── otn_Latn.json
│ ├── oto_Latn.json
│ ├── otq_Latn.json
│ ├── ots_Latn.json
│ ├── otw_Latn.json
│ ├── oym_Latn.json
│ ├── ozm_Latn.json
│ ├── pab_Latn.json
│ ├── pad_Latn.json
│ ├── pag_Latn.json
│ ├── pah_Latn.json
│ ├── pam_Latn.json
│ ├── pan_Guru.json
│ ├── pan_Latn.json
│ ├── pao_Latn.json
│ ├── pap_Latn.json
│ ├── pau_Latn.json
│ ├── pbb_Latn.json
│ ├── pbc_Latn.json
│ ├── pbi_Latn.json
│ ├── pbt_Arab.json
│ ├── pcd_Latn.json
│ ├── pck_Latn.json
│ ├── pcm_Latn.json
│ ├── pdc_Latn.json
│ ├── pdt_Latn.json
│ ├── pem_Latn.json
│ ├── pfe_Latn.json
│ ├── pfl_Latn.json
│ ├── phm_Latn.json
│ ├── pib_Latn.json
│ ├── pio_Latn.json
│ ├── pir_Latn.json
│ ├── pis_Latn.json
│ ├── pjt_Latn.json
│ ├── pkb_Latn.json
│ ├── plg_Latn.json
│ ├── pls_Latn.json
│ ├── plt_Latn.json
│ ├── plu_Latn.json
│ ├── plw_Latn.json
│ ├── pma_Latn.json
│ ├── pmf_Latn.json
│ ├── pmq_Latn.json
│ ├── pms_Latn.json
│ ├── pmx_Latn.json
│ ├── pnb_Arab.json
│ ├── pne_Latn.json
│ ├── pnt_Grek.json
│ ├── pny_Latn.json
│ ├── poe_Latn.json
│ ├── poh_Latn.json
│ ├── poi_Latn.json
│ ├── pol_Latn.json
│ ├── pon_Latn.json
│ ├── por_Latn.json
│ ├── pos_Latn.json
│ ├── pot_Latn.json
│ ├── pov_Latn.json
│ ├── poy_Latn.json
│ ├── ppk_Latn.json
│ ├── ppo_Latn.json
│ ├── pps_Latn.json
│ ├── prf_Latn.json
│ ├── prg_Latn.json
│ ├── pri_Latn.json
│ ├── prq_Latn.json
│ ├── pse_Latn.json
│ ├── pss_Latn.json
│ ├── ptp_Latn.json
│ ├── ptu_Latn.json
│ ├── pui_Latn.json
│ ├── pwg_Latn.json
│ ├── pwn_Latn.json
│ ├── pww_Thai.json
│ ├── pxm_Latn.json
│ ├── qub_Latn.json
│ ├── quc_Latn.json
│ ├── quf_Latn.json
│ ├── qug_Latn.json
│ ├── quh_Latn.json
│ ├── qul_Latn.json
│ ├── qup_Latn.json
│ ├── qus_Latn.json
│ ├── quw_Latn.json
│ ├── quy_Latn.json
│ ├── quz_Latn.json
│ ├── qva_Latn.json
│ ├── qvc_Latn.json
│ ├── qve_Latn.json
│ ├── qvh_Latn.json
│ ├── qvi_Latn.json
│ ├── qvm_Latn.json
│ ├── qvn_Latn.json
│ ├── qvo_Latn.json
│ ├── qvs_Latn.json
│ ├── qvw_Latn.json
│ ├── qvz_Latn.json
│ ├── qwh_Latn.json
│ ├── qxh_Latn.json
│ ├── qxl_Latn.json
│ ├── qxn_Latn.json
│ ├── qxo_Latn.json
│ ├── qxr_Latn.json
│ ├── rad_Latn.json
│ ├── rai_Latn.json
│ ├── rap_Latn.json
│ ├── rar_Latn.json
│ ├── rav_Deva.json
│ ├── raw_Latn.json
│ ├── rcf_Latn.json
│ ├── rej_Latn.json
│ ├── rel_Latn.json
│ ├── rgu_Latn.json
│ ├── rhg_Latn.json
│ ├── ria_Latn.json
│ ├── rim_Latn.json
│ ├── rjs_Deva.json
│ ├── rkb_Latn.json
│ ├── rmc_Latn.json
│ ├── rme_Latn.json
│ ├── rml_Latn.json
│ ├── rmn_Cyrl.json
│ ├── rmn_Grek.json
│ ├── rmn_Latn.json
│ ├── rmo_Latn.json
│ ├── rmq_Latn.json
│ ├── rmy_Cyrl.json
│ ├── rmy_Latn.json
│ ├── rnd_Latn.json
│ ├── rng_Latn.json
│ ├── rnl_Latn.json
│ ├── roh_Latn.json
│ ├── ron_Cyrl.json
│ ├── ron_Latn.json
│ ├── roo_Latn.json
│ ├── rop_Latn.json
│ ├── row_Latn.json
│ ├── rro_Latn.json
│ ├── rtm_Latn.json
│ ├── rub_Latn.json
│ ├── rue_Cyrl.json
│ ├── ruf_Latn.json
│ ├── rug_Latn.json
│ ├── run_Latn.json
│ ├── rup_Latn.json
│ ├── rus_Cyrl.json
│ ├── rwo_Latn.json
│ ├── sab_Latn.json
│ ├── sag_Latn.json
│ ├── sah_Cyrl.json
│ ├── san_Deva.json
│ ├── san_Latn.json
│ ├── sas_Latn.json
│ ├── sat_Latn.json
│ ├── sat_Olck.json
│ ├── sba_Latn.json
│ ├── sbd_Latn.json
│ ├── sbe_Latn.json
│ ├── sbl_Latn.json
│ ├── sbs_Latn.json
│ ├── sby_Latn.json
│ ├── sck_Deva.json
│ ├── scn_Latn.json
│ ├── sco_Latn.json
│ ├── sda_Latn.json
│ ├── sdc_Latn.json
│ ├── sdh_Arab.json
│ ├── sdo_Latn.json
│ ├── sdq_Latn.json
│ ├── seh_Latn.json
│ ├── ses_Latn.json
│ ├── sey_Latn.json
│ ├── sfw_Latn.json
│ ├── sgb_Latn.json
│ ├── sgc_Latn.json
│ ├── sgh_Cyrl.json
│ ├── sgs_Latn.json
│ ├── sgw_Ethi.json
│ ├── sgz_Latn.json
│ ├── shi_Latn.json
│ ├── shk_Latn.json
│ ├── shn_Mymr.json
│ ├── shp_Latn.json
│ ├── shu_Arab.json
│ ├── sid_Latn.json
│ ├── sig_Latn.json
│ ├── sil_Latn.json
│ ├── sim_Latn.json
│ ├── sin_Sinh.json
│ ├── sja_Latn.json
│ ├── sjo_Mong.json
│ ├── sju_Latn.json
│ ├── skg_Latn.json
│ ├── skr_Arab.json
│ ├── sld_Latn.json
│ ├── slk_Latn.json
│ ├── sll_Latn.json
│ ├── slv_Latn.json
│ ├── sma_Latn.json
│ ├── sme_Latn.json
│ ├── smj_Latn.json
│ ├── smk_Latn.json
│ ├── sml_Latn.json
│ ├── smn_Latn.json
│ ├── smo_Latn.json
│ ├── sms_Latn.json
│ ├── smt_Latn.json
│ ├── sna_Latn.json
│ ├── snc_Latn.json
│ ├── snd_Arab.json
│ ├── snd_Deva.json
│ ├── snd_Latn.json
│ ├── snf_Latn.json
│ ├── snn_Latn.json
│ ├── snp_Latn.json
│ ├── snw_Latn.json
│ ├── sny_Latn.json
│ ├── soe_Latn.json
│ ├── som_Latn.json
│ ├── sop_Latn.json
│ ├── soq_Latn.json
│ ├── sot_Latn.json
│ ├── soy_Latn.json
│ ├── spa_Latn.json
│ ├── spl_Latn.json
│ ├── spm_Latn.json
│ ├── spp_Latn.json
│ ├── sps_Latn.json
│ ├── spy_Latn.json
│ ├── srd_Latn.json
│ ├── sri_Latn.json
│ ├── srm_Latn.json
│ ├── srn_Latn.json
│ ├── srp_Cyrl.json
│ ├── srp_Latn.json
│ ├── sr
================================================
FILE CONTENTS
================================================
================================================
FILE: LICENSE
================================================
Apache License
Version 2.0, January 2004
http://www.apache.org/licenses/
TERMS AND CONDITIONS FOR USE, REPRODUCTION, AND DISTRIBUTION
1. Definitions.
"License" shall mean the terms and conditions for use, reproduction,
and distribution as defined by Sections 1 through 9 of this document.
"Licensor" shall mean the copyright owner or entity authorized by
the copyright owner that is granting the License.
"Legal Entity" shall mean the union of the acting entity and all
other entities that control, are controlled by, or are under common
control with that entity. For the purposes of this definition,
"control" means (i) the power, direct or indirect, to cause the
direction or management of such entity, whether by contract or
otherwise, or (ii) ownership of fifty percent (50%) or more of the
outstanding shares, or (iii) beneficial ownership of such entity.
"You" (or "Your") shall mean an individual or Legal Entity
exercising permissions granted by this License.
"Source" form shall mean the preferred form for making modifications,
including but not limited to software source code, documentation
source, and configuration files.
"Object" form shall mean any form resulting from mechanical
transformation or translation of a Source form, including but
not limited to compiled object code, generated documentation,
and conversions to other media types.
"Work" shall mean the work of authorship, whether in Source or
Object form, made available under the License, as indicated by a
copyright notice that is included in or attached to the work
(an example is provided in the Appendix below).
"Derivative Works" shall mean any work, whether in Source or Object
form, that is based on (or derived from) the Work and for which the
editorial revisions, annotations, elaborations, or other modifications
represent, as a whole, an original work of authorship. For the purposes
of this License, Derivative Works shall not include works that remain
separable from, or merely link (or bind by name) to the interfaces of,
the Work and Derivative Works thereof.
"Contribution" shall mean any work of authorship, including
the original version of the Work and any modifications or additions
to that Work or Derivative Works thereof, that is intentionally
submitted to Licensor for inclusion in the Work by the copyright owner
or by an individual or Legal Entity authorized to submit on behalf of
the copyright owner. For the purposes of this definition, "submitted"
means any form of electronic, verbal, or written communication sent
to the Licensor or its representatives, including but not limited to
communication on electronic mailing lists, source code control systems,
and issue tracking systems that are managed by, or on behalf of, the
Licensor for the purpose of discussing and improving the Work, but
excluding communication that is conspicuously marked or otherwise
designated in writing by the copyright owner as "Not a Contribution."
"Contributor" shall mean Licensor and any individual or Legal Entity
on behalf of whom a Contribution has been received by Licensor and
subsequently incorporated within the Work.
2. Grant of Copyright License. Subject to the terms and conditions of
this License, each Contributor hereby grants to You a perpetual,
worldwide, non-exclusive, no-charge, royalty-free, irrevocable
copyright license to reproduce, prepare Derivative Works of,
publicly display, publicly perform, sublicense, and distribute the
Work and such Derivative Works in Source or Object form.
3. Grant of Patent License. Subject to the terms and conditions of
this License, each Contributor hereby grants to You a perpetual,
worldwide, non-exclusive, no-charge, royalty-free, irrevocable
(except as stated in this section) patent license to make, have made,
use, offer to sell, sell, import, and otherwise transfer the Work,
where such license applies only to those patent claims licensable
by such Contributor that are necessarily infringed by their
Contribution(s) alone or by combination of their Contribution(s)
with the Work to which such Contribution(s) was submitted. If You
institute patent litigation against any entity (including a
cross-claim or counterclaim in a lawsuit) alleging that the Work
or a Contribution incorporated within the Work constitutes direct
or contributory patent infringement, then any patent licenses
granted to You under this License for that Work shall terminate
as of the date such litigation is filed.
4. Redistribution. You may reproduce and distribute copies of the
Work or Derivative Works thereof in any medium, with or without
modifications, and in Source or Object form, provided that You
meet the following conditions:
(a) You must give any other recipients of the Work or
Derivative Works a copy of this License; and
(b) You must cause any modified files to carry prominent notices
stating that You changed the files; and
(c) You must retain, in the Source form of any Derivative Works
that You distribute, all copyright, patent, trademark, and
attribution notices from the Source form of the Work,
excluding those notices that do not pertain to any part of
the Derivative Works; and
(d) If the Work includes a "NOTICE" text file as part of its
distribution, then any Derivative Works that You distribute must
include a readable copy of the attribution notices contained
within such NOTICE file, excluding those notices that do not
pertain to any part of the Derivative Works, in at least one
of the following places: within a NOTICE text file distributed
as part of the Derivative Works; within the Source form or
documentation, if provided along with the Derivative Works; or,
within a display generated by the Derivative Works, if and
wherever such third-party notices normally appear. The contents
of the NOTICE file are for informational purposes only and
do not modify the License. You may add Your own attribution
notices within Derivative Works that You distribute, alongside
or as an addendum to the NOTICE text from the Work, provided
that such additional attribution notices cannot be construed
as modifying the License.
You may add Your own copyright statement to Your modifications and
may provide additional or different license terms and conditions
for use, reproduction, or distribution of Your modifications, or
for any such Derivative Works as a whole, provided Your use,
reproduction, and distribution of the Work otherwise complies with
the conditions stated in this License.
5. Submission of Contributions. Unless You explicitly state otherwise,
any Contribution intentionally submitted for inclusion in the Work
by You to the Licensor shall be under the terms and conditions of
this License, without any additional terms or conditions.
Notwithstanding the above, nothing herein shall supersede or modify
the terms of any separate license agreement you may have executed
with Licensor regarding such Contributions.
6. Trademarks. This License does not grant permission to use the trade
names, trademarks, service marks, or product names of the Licensor,
except as required for reasonable and customary use in describing the
origin of the Work and reproducing the content of the NOTICE file.
7. Disclaimer of Warranty. Unless required by applicable law or
agreed to in writing, Licensor provides the Work (and each
Contributor provides its Contributions) on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or
implied, including, without limitation, any warranties or conditions
of TITLE, NON-INFRINGEMENT, MERCHANTABILITY, or FITNESS FOR A
PARTICULAR PURPOSE. You are solely responsible for determining the
appropriateness of using or redistributing the Work and assume any
risks associated with Your exercise of permissions under this License.
8. Limitation of Liability. In no event and under no legal theory,
whether in tort (including negligence), contract, or otherwise,
unless required by applicable law (such as deliberate and grossly
negligent acts) or agreed to in writing, shall any Contributor be
liable to You for damages, including any direct, indirect, special,
incidental, or consequential damages of any character arising as a
result of this License or out of the use or inability to use the
Work (including but not limited to damages for loss of goodwill,
work stoppage, computer failure or malfunction, or any and all
other commercial damages or losses), even if such Contributor
has been advised of the possibility of such damages.
9. Accepting Warranty or Additional Liability. While redistributing
the Work or Derivative Works thereof, You may choose to offer,
and charge a fee for, acceptance of support, warranty, indemnity,
or other liability obligations and/or rights consistent with this
License. However, in accepting such obligations, You may act only
on Your own behalf and on Your sole responsibility, not on behalf
of any other Contributor, and only if You agree to indemnify,
defend, and hold each Contributor harmless for any liability
incurred by, or claims asserted against, such Contributor by reason
of your accepting any such warranty or additional liability.
END OF TERMS AND CONDITIONS
APPENDIX: How to apply the Apache License to your work.
To apply the Apache License to your work, attach the following
boilerplate notice, with the fields enclosed by brackets "[]"
replaced with your own identifying information. (Don't include
the brackets!) The text should be enclosed in the appropriate
comment syntax for the file format. We also recommend that a
file or class name and description of purpose be included on the
same "printed page" as the copyright notice for easier
identification within third-party archives.
Copyright [yyyy] [name of copyright owner]
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
================================================
FILE: README.md
================================================
# FineWeb 2
FineWeb 2 is the second iteration of the popular 🍷 FineWeb dataset, bringing high quality pretraining data to over 1000 🗣️ languages. For the actual data, please see the HuggingFace repository [https://huggingface.co/datasets/HuggingFaceFW/fineweb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2).
> [!NOTE]
> We have officially released our 📝 **research paper**: https://huggingface.co/papers/2506.20920
## Data Pipeline 🚀
The processing pipeline had to be heavily adapted for a multilingual setting. As each language has its own peculiarities, we **individually tuned each filter**, defining different thresholds and stopwords for each language. 📊
These thresholds and stopwords are available in `/configs/{iso3_lang}_{script}.yml`.
The starting point for our dataset was the non-English data (< 0.65 score in English) we obtained when processing the original FineWeb. 🌐
To this data, we applied the following processing steps:
1. Additional Language Identification and filtering 🔍
2. Deduplication per language 🔄
3. Filtering per language 🧹
4. PII Anonymization and fixes 🎭
### Language Identification 🌍
Performed using [GlotLID](https://github.com/cisnlp/GlotLID), which not only covers a wider variety of languages (2000+ available labels) compared to fasttext176 (used in the original FineWeb), as it also identifies the script used in each document. 📜
For each language, we defined *different minimum language classifier confidence scores* to keep a document.
### Deduplication 🗃️
Unlike in FineWeb, where data was deduplicated per CommonCrawl snapshot, in FineWeb 2, **data is deduplicated per language globally**. However, following our deduplication findings in the original FineWeb, while we remove all except one document from each duplicate cluster, we save the size of this cluster in the kept document's metadata, saved in `minhash_cluster_size`.
This allows us to "re-hydrate" the dataset: by upsampling documents based on their cluster size, we see clear performance improvements for some languages, particularly high resource ones. 📈
We did not extensively explore different upsampling weights, but observed promising results with the following weights:
- documents with no duplicates: 1 time
- documents from a cluster of size N=2 or N=3: document will be N times in the final dataset
- documents from a cluster of size N=4: document will be 3 times in the final dataset
- documents from a cluster of size N>=5 and N<100: document will be 5 times in the final dataset
- documents from a cluster of size N>=100: document will be 8 times in the final dataset
- documents from a cluster of size N>=1000: document will be 1 time in the final dataset (the assumption here is that very large clusters are lower quality)
Example "re-hydration" block:
```python
class Rehydrater(PipelineStep):
def run(self, data: DocumentsPipeline, rank: int = 0, world_size: int = 1) -> DocumentsPipeline:
import bisect
upsampling_weights = {1: 1, 2: 2, 3: 3, 5: 5, 100: 8, 1000: 1}
# Sorted keys
limits = sorted(upsampling_weights.keys())
for doc in data:
upsampling_weight = upsampling_weights[
limits[bisect.bisect_right(limits, doc.metadata["minhash_cluster_size"]) - 1]]
# repeat each document upsampling_weight times
for _ in range(upsampling_weight):
yield doc
```
### Data Filtering 🧹
We mostly keep the original FineWeb set of filters, and do not create new filters targeting individual languages. As such, we had to extensively ablate on different processes of adapting the English filters to all the languages we supported. 🔍
Based on the results of our experiments, we also disabled/changed global values of some specific filters:
- For FineWeb filters, we removed `short_line_thr` and changed `char_dup_ratio` from 0.01 to 0.1.
- Repetition filter: disabled paragraph related filters as trafilatura does not keep them ❌
- C4 filters: we did not include the C4 filters as they seemed to degrade performance in this multilingual setting 📉
### PII Anonymization and fixes 🎭
- PII Removal: Kept unchanged, emails and ip addresses are anonymized. ✉️
- We applied FTFY to fix encoding issues. 🔧
- Added some code to fix trafilatura created artifacts related to tables 🛠️
## Ablations code 🧪
Each design choice in the pipeline was carefully tested on our created evaluation suite [FineTasks](https://huggingface.co/spaces/HuggingFaceFW/blogpost-fine-tasks). After each pipeline step, we trained a 1.46B model for each language using a nanotron framework and then evaluated one of the tasks. For full transparency we provide both evaluation and training code. 📊
### [Evaluation code](ablations/evaluation) 📝
- `launch_evals.py` is the main scripts used to run evaluations for one specific model.
- `launch_random_evals.py` is a script used to asses a random baseline performance it uses dummy model producing random outputs. 🎲
- `run_all_missing_evals.py` runs evaluations for all checkpoints and models not yet evaluated. ✅
### [Training code](ablations/training) 🏋️♂️
- `train_model.py` is the main script used for training ablation models.
### [Tokenization code](ablations/tokenization) 🔠
- `tokenize_dataset.py` is the main script used for pre-tokenizing processed data.
## Misc 📚
### Word/Sentence Tokenization ✂️
Many parts of the pipeline rely on correct word and sentence tokenization, however for most of the languages there are no such tokenizers available. We have thus developed a method to automatically assign similar tokenizer based on language family. You can check the tokenizer for each language at [our space](https://huggingface.co/spaces/HuggingFaceFW-Dev/lang-word-tokenizers).
### Reference Datasets 📂
For full transparency, we provide code used to download and process reference datasets in [misc/reference_datasets](misc/reference_datasets).
### Tools versions 🛠️
- [Datatrove](https://github.com/huggingface/datatrove)
- [LightEval-Fork](https://github.com/hynky1999/lighteval) (branch: new-multi-lang-branch)
- [Nanotron](https://github.com/huggingface/nanotron)
## License 📜
The dataset retains the same license as the original FineWeb, which is Open Data Commons License Attribution family (ODC-By). The code in this repository is licensed under the Apache 2.0 License.
## Citation 📖
```bibtex
@misc{penedo2025fineweb2pipelinescale,
title={FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language},
author={Guilherme Penedo and Hynek Kydlíček and Vinko Sabolčec and Bettina Messmer and Negar Foroutan and Amir Hossein Kargaran and Colin Raffel and Martin Jaggi and Leandro Von Werra and Thomas Wolf},
year={2025},
eprint={2506.20920},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2506.20920},
}
```
================================================
FILE: ablations/evaluation/launch_evals.py
================================================
import argparse
from datetime import datetime
import os
import re
import subprocess
import tempfile
from typing import Optional
from fsspec.core import url_to_fs
import itertools
from datatrove.io import get_datafolder
from loguru import logger
EVAL_LOGS_PATH = f"/path/to/eval-logs"
CPUS_PER_NODE = 88
GPUS_PER_NODE = 8
PARTITION = "partition"
NODES = 1
def parse_date(date_string: Optional[str]) -> Optional[datetime]:
if date_string is None:
return None
try:
return datetime.strptime(date_string, "%d-%m-%Y %H:%M:%S")
except ValueError:
raise ValueError("Invalid date format. Use 'DD-MM-YYYY HH:MM:SS'")
def checkpoint_exists(logging_dir: str, model_name: str, checkpoint: str, reference_date: Optional[datetime]) -> bool:
fs, path = url_to_fs(logging_dir)
try:
result_files = fs.glob(f"{path}/results/{model_name}/{checkpoint}/results_*.json")
except FileNotFoundError:
result_files = []
if len(result_files) == 0:
return False
if reference_date is None:
return True
timestamps = [datetime.strptime(re.search(r'results_(.*)\.json$', f).group(1), "%Y-%m-%dT%H-%M-%S.%f") for f in
result_files]
return any(timestamp > reference_date for timestamp in timestamps)
def launch_slurm_job(launch_file_contents, *args):
"""
Small helper function to save a sbatch script and call it.
Args:
launch_file_contents: Contents of the sbatch script
*args: any other arguments to pass to the sbatch command
Returns: the id of the launched slurm job
"""
with tempfile.NamedTemporaryFile("w") as f:
f.write(launch_file_contents)
f.flush()
try:
return subprocess.check_output(["sbatch", *args, f.name]).decode("utf-8").split()[-1]
except Exception as e:
print(launch_file_contents, flush=True)
raise e
def get_checkpoints_to_run(s3_path: str, model_name: str, checkpoints: str, logging_dir: str, overwrite: bool = False,
after_date: Optional[str] = None):
reference_date = parse_date(after_date)
df = get_datafolder(s3_path)
try:
avail_checkpoints = [i for i in sorted(df.ls("", detail=False)) if i != "latest.txt"]
except FileNotFoundError:
logger.error(f"No checkpoints found in {s3_path}")
avail_checkpoints = []
logger.info(f"Found {len(avail_checkpoints)} checkpoints")
selected_checkpoints = checkpoints.split(",") if checkpoints != "all" else avail_checkpoints
not_found_checkpoints = [ckpt for ckpt in selected_checkpoints if ckpt not in avail_checkpoints]
if len(not_found_checkpoints) > 0:
raise ValueError(f"Checkpoints not found in \"{s3_path}\": {not_found_checkpoints}")
if not overwrite:
# remove completed checkpoints
completed_checkpoints = [
ckpt for ckpt in selected_checkpoints
if checkpoint_exists(logging_dir, model_name, ckpt, reference_date)
]
completed = len(completed_checkpoints)
selected_checkpoints = list(set(selected_checkpoints) - set(completed_checkpoints))
if completed:
logger.info(f"Skipping {completed} already evaluated checkpoints.")
return selected_checkpoints
parser = argparse.ArgumentParser("Launch evals for a set of checkpoints.")
parser.add_argument(
"model_name", type=str,
help="Model name on s3. Example: 1p46G-control-english-fw-ft-bl-28BT-seed-6. Use commas for multiple models"
)
parser.add_argument(
"language", type=str, help="Language to run evals for. Example: zh"
)
parser.add_argument(
"--s3_prefix", type=str, help="s3://path/to/models/ by default",
default="s3://path/to/models/"
)
parser.add_argument(
"--checkpoints", "-ckpts", type=str, help="Comma separated list of checkpoints to run, or \"all\"",
default="all"
)
parser.add_argument(
"--model-template", type=str, help="Template to use for the model name",
default="{model_name}"
# default="{model_name}-{language}-29BT-seed-{seed}"
)
parser.add_argument("--tasks", type=str, help="Comma separated list of tasks to run, or \"all\"",
default="early-signals")
parser.add_argument(
"--offline-datasets", action="store_true", help="Turns off datasets downloading", default=True
)
parser.add_argument(
"--seed", help="Defines seeds to use in model template. Comma separated list of seeds", default="6"
)
parser.add_argument("--qos", type=str, default="normal", help="qos to use")
parser.add_argument("--time_limit", type=str, default="1:50:00", help="slurm time limit. 1:50:00 by default")
parser.add_argument("--parallel", "-p", type=int, default=5, help="How many eval tasks to run simultaneously")
# parser.add_argument("--batch_size", "-bs", type=int, default=8, help="Batch size")
parser.add_argument("--gpus", "-g", type=int, default=GPUS_PER_NODE, help="How many gpus to use")
parser.add_argument("--logging_dir", type=str, default="s3://path/to/evals/results",
help="Repo to push results to")
parser.add_argument("-d", help="dependency job", type=str, default=None)
parser.add_argument("--overwrite", "-ow", action="store_true", default=False,
help="Overwrite existing eval results. Will skip completed checkpoints by default")
parser.add_argument("--after-date", type=str, default=None,
help="Only consider checkpoints newer than this date (DD-MM-YYYY HH:MM:SS)")
parser.add_argument("--job-prefix", type=str, default="", help="Prefix to add to the job name")
if __name__ == "__main__":
args = parser.parse_args()
job_id = None
for model_name, seed in itertools.product(args.model_name.split(","), args.seed.split(",")):
model_name = args.model_template.format(model_name=model_name, language=args.language, seed=seed)
s3_path = args.s3_prefix.removesuffix("/") + "/" + model_name if not model_name.startswith(
"s3://") else model_name
selected_checkpoints = get_checkpoints_to_run(s3_path, model_name, args.checkpoints, args.logging_dir,
overwrite=args.overwrite, after_date=args.after_date)
logger.info(f"Found {len(selected_checkpoints)} checkpoints for {model_name}")
if not selected_checkpoints:
print("No checkpoints to run.")
continue
bash_ckpts_list = "(" + " ".join(
f'"{item}"' for item in sorted(map(int, selected_checkpoints), reverse=True)) + ")"
os.makedirs(f"{EVAL_LOGS_PATH}/{model_name}/{args.language}", exist_ok=True)
n_cpus = CPUS_PER_NODE // args.gpus
# Write the lightevalconf.yml file
with open(f"{EVAL_LOGS_PATH}/{model_name}/{args.language}.yml", "wt") as f:
f.write(f"""batch_size: {4 if args.language == "zh" else (6 if args.language in ("ar", "sw") else 8)}
checkpoints_path: null
generation: null
logging:
logging_dir: {args.logging_dir}
save_details: true
save_results: true
save_to_tensorboard: false
tensorboard_metric_prefix: e
parallelism:
dp: {args.gpus}
expert_parallel_size: 1
pp: 1
pp_engine: 1f1b
tp: 1
tp_linear_async_communication: false
tp_mode: ALL_REDUCE
tasks:
custom_tasks: lighteval.community_tasks.multilingual.configs.{args.language}
dataset_loading_processes: {n_cpus}
max_samples: 1000
multichoice_continuations_start_space: null
no_multichoice_continuations_start_space: null
num_fewshot_seeds: null
tasks: {args.tasks}""")
deps = []
if args.d:
deps.append(f"afterok:{args.d}")
if job_id:
deps.append(f"afterany:{job_id}")
launch_script = f"""#!/bin/bash
#SBATCH --job-name={args.job_prefix}eval-{model_name}
#SBATCH --nodes={NODES}
#SBATCH --ntasks-per-node=1
#SBATCH --partition={PARTITION}
{f'#SBATCH --qos={args.qos}' if args.qos else ''}
#SBATCH --array=0-{len(selected_checkpoints) - 1}%{args.parallel}
#SBATCH --gres=gpu:{args.gpus}
#SBATCH --time={args.time_limit}
#SBATCH --cpus-per-task={CPUS_PER_NODE}
#SBATCH --output={EVAL_LOGS_PATH}/{model_name}/{args.language}/eval-%A_%a.out
#SBATCH --error={EVAL_LOGS_PATH}/{model_name}/{args.language}/eval-%A_%a.out
{"#SBATCH --dependency=" + ",".join(deps) if deps else ""}
#SBATCH --requeue
###########################################
# [BEGINING] ADAPT TO YOUR ENVIRONMENT
source /path/to/.bashrc
source /path/to/miniconda3/etc/profile.d/conda.sh
conda activate /path/to/miniconda3/envs/exp/
BRRR_FOLDER=/path/to/brrr
# Ensure cache is on fsx not on admin
export HUGGINGFACE_HUB_CACHE=/path/to/.cache/huggingface
export HF_DATASETS_CACHE=/path/to/.cache/huggingface
export HF_MODULES_CACHE=/path/to/.cache/huggingface
export HF_HOME=/path/to/.cache/huggingface
export HF_DATASETS_OFFLINE={1 if args.offline_datasets else 0}
# [END] ADAPT TO YOUR ENVIRONMENT
###########################################
set -x -e
echo "START TIME: $(date)"
echo python3 version = `python3 --version`
# SLURM stuff
export HOSTNAMES=`scontrol show hostnames "$SLURM_JOB_NODELIST"`
export MASTER_ADDR=$(scontrol show hostnames "$SLURM_JOB_NODELIST" | head -n 1)
export MASTER_PORT=6000
export COUNT_NODE=`scontrol show hostnames "$SLURM_JOB_NODELIST" | wc -l`
export CUBLAS_WORKSPACE_CONFIG=":4096:8"
export CUDA_DEVICE_MAX_CONNECTIONS="1"
module load cuda/12.1
echo go $COUNT_NODE
echo $HOSTNAMES
CHECKPOINTS_LIST={bash_ckpts_list}
NSTEP=$((SLURM_ARRAY_TASK_ID))
STEP=${{CHECKPOINTS_LIST[$NSTEP]}}
export TMPDIR=/scratch/USER/{model_name}/{args.language}/$STEP
mkdir -p $TMPDIR
LOCAL_DOWNLOAD_CHECKPOINT_FOLDER=/scratch/USER/checkpoint/{model_name}/$STEP
# Copying checkpoint from s3 to the node on node
mkdir -p $LOCAL_DOWNLOAD_CHECKPOINT_FOLDER
s5cmd cp --exclude "optimizer/*" {s3_path}/$STEP/* $LOCAL_DOWNLOAD_CHECKPOINT_FOLDER
torch_dist_args="--nproc_per_node {args.gpus} \\
--nnodes $COUNT_NODE \\
--max_restarts 0 \\
--tee 3 \\
--node_rank $SLURM_PROCID \\
--role $SLURMD_NODENAME: "
launch_args="$torch_dist_args $BRRR_FOLDER/run_evals_nanotron.py \\
--checkpoint-config-path ${{LOCAL_DOWNLOAD_CHECKPOINT_FOLDER}}/config.yaml --lighteval-override {EVAL_LOGS_PATH}/{model_name}/{args.language}.yml"
sleep $((RANDOM % 60))
srun -u bash -c "python3 -u -m torch.distributed.run ${{launch_args}}" """
launched_id = launch_slurm_job(launch_script)
logger.success(
f"{model_name} evals with {args.gpus} gpus launched with id={launched_id}. Logs: {EVAL_LOGS_PATH}/{model_name}/{args.language}")
job_id = launched_id
"""
RUN MANUALLY:
conda activate exp
LOCAL_DOWNLOAD_CHECKPOINT_FOLDER=/scratch/$USER/checkpoint/modeltest
mkdir -p $LOCAL_DOWNLOAD_CHECKPOINT_FOLDER
s5cmd cp --exclude "optimizer/*" {s3_path}/$STEP/* $LOCAL_DOWNLOAD_CHECKPOINT_FOLDER
source /etc/profile.d/modules.sh
export HF_HOME=/path/to/.cache/huggingface
export HF_DATASETS_OFFLINE=1
module load cuda/12.1
python3 -u -m torch.distributed.run --standalone /path/to/brrr/run_evals_nanotron.py --checkpoint-config-path ${LOCAL_DOWNLOAD_CHECKPOINT_FOLDER}/config.yaml --lighteval-config /path/to/configs/testmlevals.yml
"""
================================================
FILE: ablations/evaluation/launch_random_evals.py
================================================
import argparse
import os
import subprocess
import tempfile
from loguru import logger
USER=os.environ["USER"]
def launch_slurm_job(launch_file_contents, *args):
"""
Small helper function to save a sbatch script and call it.
Args:
launch_file_contents: Contents of the sbatch script
*args: any other arguments to pass to the sbatch command
Returns: the id of the launched slurm job
"""
with tempfile.NamedTemporaryFile("w") as f:
f.write(launch_file_contents)
f.flush()
try:
return subprocess.check_output(["sbatch", *args, f.name]).decode("utf-8").split()[-1]
except Exception as e:
print(launch_file_contents, flush=True)
raise e
parser = argparse.ArgumentParser("Launch the original english evals for a set of checkpoints.")
parser.add_argument(
"language", type=str, help="Language to run evals for. Example: zh"
)
parser.add_argument(
"checkpoints", type=str, help="Checkpoints to run evals for. Example: 0,1,2", default=0
)
parser.add_argument(
"--offline-datasets", action="store_true", help="Turns off datasets downloading"
)
parser.add_argument("--qos", type=str, default="normal", help="qos to use")
parser.add_argument("--time_limit", type=str, default="01:20:00", help="slurm time limit. 15:00 by default")
parser.add_argument("--parallel", "-p",type=int, default=100, help="How many eval tasks to run simultaneously")
parser.add_argument("--logging_dir", type=str, default="/path/to/eval-results", help="Repo to push results to")
parser.add_argument("-d", help="dependency job", type=str, default=None)
parser.add_argument("--overwrite", "-ow", action="store_true",
help="Overwrite existing eval results. Will skip completed checkpoints by default")
parser.add_argument("--tasks", type=str, default="early-signals", help="Tasks to run. Example: all,m3exam")
parser.add_argument("--tokenizer", type=str, default="google/gemma-7b", help="Tokenizer to use for the model")
if __name__ == "__main__":
args = parser.parse_args()
job_id = None
model_name = f"dummy-{args.language}-"
selected_checkpoints = args.checkpoints.split(",")
bash_ckpts_list = "(" + " ".join(f'"{item}"' for item in sorted(map(int, selected_checkpoints), reverse=True)) + ")"
os.makedirs(f"/path/to/eval-logs/{model_name}/{args.language}", exist_ok=True)
deps = []
if args.d:
deps.append(f"afterok:{args.d}")
if job_id:
deps.append(f"afterany:{job_id}")
launch_script = f"""#!/bin/bash
#SBATCH --job-name=eval-{model_name}-{args.language}
#SBATCH --tasks=1
#SBATCH --partition=partition
#SBATCH --qos={args.qos}
#SBATCH --array=0-{len(selected_checkpoints)-1}%{args.parallel}
#SBATCH --time={args.time_limit}
#SBATCH --cpus-per-task=4
#SBATCH --output=/path/to/logs/train/multilingual/eval-logs/{model_name}/{args.language}/eval-%A_%a.out
#SBATCH --error=/path/to/logs/train/multilingual/eval-logs/{model_name}/{args.language}/eval-%A_%a.out
{"#SBATCH --dependency=" + ",".join(deps) if deps else ""}
#SBATCH --requeue
###########################################
# [BEGINING] ADAPT TO YOUR ENVIRONMENT
source /admin/home/{USER}/.bashrc
source /path/to/miniconda3/etc/profile.d/conda.sh
conda activate /path/to/miniconda3/envs/exp/
LIGHTEVAL_FOLDER=/path/to/ml-lighteval
export HUGGINGFACE_HUB_CACHE=/path/to/.cache/huggingface
export HF_DATASETS_CACHE=/path/to/.cache/huggingface
export HF_MODULES_CACHE=/path/to/.cache/huggingface
export HF_HOME=/path/to/.cache/huggingface
export HF_DATASETS_OFFLINE={1 if args.offline_datasets else 0}
# [END] ADAPT TO YOUR ENVIRONMENT
###########################################
set -x -e
echo "START TIME: $(date)"
echo python3 version = `python3 --version`
# SLURM stuff
export TMPDIR=/scratch/{USER}/{model_name}/{args.language}
mkdir -p $TMPDIR
CHECKPOINTS_LIST={bash_ckpts_list}
NSTEP=$((SLURM_ARRAY_TASK_ID))
STEP=${{CHECKPOINTS_LIST[$NSTEP]}}
launch_args="$LIGHTEVAL_FOLDER/run_evals_accelerate.py --model_args='dummy,name=dummy-{args.language}-/${{STEP}},tokenizer={args.tokenizer}' --max_samples=1000 --custom_tasks=lighteval.community_tasks.multilingual.configs.{args.language} --tasks={args.tasks} --save_results --logging_dir={args.logging_dir}"
sleep $((RANDOM % 60))
srun -u bash -c "python3 -u ${{launch_args}}" """
launched_id = launch_slurm_job(launch_script)
logger.success(f"{model_name} evals launched with id={launched_id}. Logs: /path/to/logs/train/multilingual/eval-logs/{model_name}/{args.language}")
job_id = launched_id
================================================
FILE: ablations/evaluation/run_all_missing_evals.sh
================================================
#!/bin/bash
LANGUAGES=("ru" "fr" "zh" "hi" "sw" "tr" "ar" "te" "th")
BUCKET="s3://path/to/bucket"
SCRIPT_PATH="./multilingual/launch_evals.py"
for LANG in "${LANGUAGES[@]}"; do
GREP_PATTERN=".*gemma.*-${LANG}-.*"
MODELS=$(aws s3 ls "$BUCKET" \
| grep -E -- "$GREP_PATTERN" \
| awk '{print $2}' \
| sed 's#/$##' \
| paste -sd ',')
echo "$LANG: $MODELS"
if [[ $MODELS = *[!\ ]* ]]; then
python "$SCRIPT_PATH" \
"$MODELS" \
"$LANG" \
--parallel=8 \
--offline-datasets
fi
done
================================================
FILE: ablations/tokenization/launch_tokenization.py
================================================
import argparse
parser = argparse.ArgumentParser("Quickly launch thom's style of tokenization.")
parser.add_argument(
"data_path", type=str, help="Path to the data to tokenize."
)
parser.add_argument(
"output_name", type=str, help="Output name."
)
parser.add_argument(
"--n_tasks", type=int, help="nb of tokenization tasks", default=1000
)
parser.add_argument(
"--max_toks", type=int, help="max tokens per file", default=1e8
)
parser.add_argument(
"--tokenizer", type=str, help="tokenizer to use", default="google/gemma-2b"
)
parser.add_argument(
"--text_key", type=str, default="text"
)
parser.add_argument(
"--sample", type=float, default=1.0
)
parser.add_argument("--qos", type=str, default="normal", help="qos to use")
parser.add_argument(
"--jsonl_output", "-jo", type=str, default=None, help="Path to optionally save the sampled data jsonl"
)
parser.add_argument("-d", help="dependency job", type=str, default=None)
if __name__ == "__main__":
args = parser.parse_args()
from datatrove.executor import SlurmPipelineExecutor
from datatrove.pipeline.filters import SamplerFilter
from datatrove.pipeline.readers import JsonlReader
from datatrove.pipeline.writers import JsonlWriter
from datatrove.pipeline.tokens.tokenizer import DocumentTokenizer
SlurmPipelineExecutor(
# job_name=f"nd-{DUMP_NUMBER}-{len(DUMPS)}",
job_name=f"tok-{args.output_name}",
pipeline=[
JsonlReader(
args.data_path,
text_key=args.text_key,
),
SamplerFilter(rate=args.sample),
*([JsonlWriter(args.jsonl_output)] if args.jsonl_output else []),
DocumentTokenizer(
output_folder=f"/path/to/tokenized/{args.output_name}",
local_working_dir=f"/scratch/$USER/multilingual/tok/{args.output_name}",
tokenizer_name_or_path=args.tokenizer,
eos_token=None,
batch_size=10000,
max_tokens_per_file=args.max_toks,
# Max 1 GT per file (i.e. btw 5 et 300 tokenized files per dump et about 100 dump extracts per merged file)
shuffle=True,
),
],
tasks=args.n_tasks,
time="2:00:00",
partition="hopper-cpu",
logging_dir=f"/path/to/logs/multilingual/toks/{args.output_name}",
cpus_per_task=32,
qos=args.qos,
mem_per_cpu_gb=3,
depends_job_id=args.d,
).run()
================================================
FILE: ablations/training/launch_exp.py
================================================
import os
from pathlib import Path
import subprocess
import sys
import tempfile
from datetime import datetime
from nanotron.logging import human_format
from nanotron.models.llama import LlamaConfig
from datatrove.io import get_datafolder
from nanotron.config import DatasetStageArgs, NanosetDatasetsArgs, S3UploadArgs
# Paths
LOCAL_TMP_PATH_ON_NODE = f"/scratch/{os.environ.get('USER')}"
LAUNCH_CONFIGS_PATH = f"path/to/launch-configs"
# Executables
NANOTRON_RUN_TRAIN_SCRIPT = f"path/to/run_train.py"
S5CMD_PATH = "path/to/s5cmd"
S3_CHECKPOINTS_PREFIX = "path/to/where_to_save_checkpoints"
# Logging parameters
LOGS_PATH = f"path/to/slurm-logs"
REPO_ID = f"id of the repo to use for logging"
PROJECT = "name of the project"
EMAIL = "email to send notifications to"
# Resources parameters
NUM_GPUS = 8
NUM_CPUS_IN_NODE = 88
CPUS_PER_GPU = NUM_CPUS_IN_NODE // NUM_GPUS
model_config = LlamaConfig(
# Config for a 1.46B model
bos_token_id=1,
eos_token_id=2,
hidden_act="silu",
hidden_size=2048,
initializer_range=0.02,
intermediate_size=8192,
max_position_embeddings=2048,
num_attention_heads=32,
num_hidden_layers=14,
num_key_value_heads=32,
pretraining_tp=1,
rms_norm_eps=1e-05,
rope_scaling=None,
tie_word_embeddings=True,
use_cache=True,
vocab_size=256008, # gemma tokenizer + some room
)
num_params = human_format(
model_config.vocab_size * model_config.hidden_size +
model_config.num_hidden_layers
* (
3 * model_config.hidden_size * model_config.intermediate_size
+ 4 * model_config.hidden_size * model_config.hidden_size
)
).replace(".", "p")
print(f"Model has {num_params} parameters")
def launch_slurm_job(launch_file_contents, *args):
"""
Small helper function to save a sbatch script and call it.
Args:
launch_file_contents: Contents of the sbatch script
*args: any other arguments to pass to the sbatch command
Returns: the id of the launched slurm job
"""
with tempfile.NamedTemporaryFile("w") as f:
f.write(launch_file_contents)
f.flush()
return subprocess.check_output(["sbatch", *args, f.name]).decode("utf-8").split()[-1]
if __name__ == "__main__":
import argparse
from dataclasses import fields, is_dataclass
from nanotron.config import get_config_from_file
parser = argparse.ArgumentParser()
parser.add_argument("data", help="dataset folder", type=str)
parser.add_argument("run_name", help="run name", type=str)
parser.add_argument("language", help="language", type=str)
parser.add_argument("-d", help="dependency job", type=str, default=None)
parser.add_argument("--seed", help="seed", type=int, default=6)
parser.add_argument("--train_steps", "-ts", help="training steps. Total_toks=seq_len*steps*micro_bs*batch_accum_per_replica*dp_size", type=int, default=14000)
parser.add_argument("--priority", "--qos", "-p", help="qos to use", type=str, default="normal")
args = parser.parse_args()
SEED = args.seed
dataset_name = run_name = args.run_name.replace(" ", "_")
# Specific name for this run (checkpoints/logs/tensorboard)
RUN = f"{num_params}-{dataset_name}-seed-{SEED}"
df = get_datafolder(f"{S3_CHECKPOINTS_PREFIX}/{RUN}")
if df.exists("latest.txt") and df.cat_file("latest.txt") == bytes(str(args.train_steps), "utf-8"):
print(f"Not launching as latest checkpoint is already {args.train_steps} steps")
sys.exit(0)
import torch
from nanotron.config import (
CheckpointsArgs,
Config,
DataArgs,
GeneralArgs,
LlamaConfig,
LoggingArgs,
LRSchedulerArgs,
ModelArgs,
OptimizerArgs,
ParallelismArgs,
RandomInit,
TokenizerArgs,
TokensArgs,
AdamWOptimizerArgs,
)
def print_differences(target, updates):
if not is_dataclass(target) or not is_dataclass(updates):
raise ValueError("Both target and updates should be dataclass instances")
for field in fields(target):
update_value = getattr(updates, field.name)
if update_value is not None:
if is_dataclass(update_value):
print_differences(getattr(target, field.name), update_value)
else:
target_value = getattr(target, field.name)
if update_value != target_value:
if update_value.__class__.__module__ != "builtins":
continue
print(f"{field.name}: {target_value} -> {update_value}")
data = [
DatasetStageArgs(
name="Training Stage",
start_training_step=1,
data=DataArgs(
seed=SEED,
num_loading_workers=0,
dataset=NanosetDatasetsArgs(
dataset_folder=args.data if not args.data.startswith("s3://") else f"{LOCAL_TMP_PATH_ON_NODE}/dataset/{RUN}/",
dataset_weights=None,
)
)
),
]
general = GeneralArgs(
project=PROJECT,
run=RUN,
ignore_sanity_checks=True,
seed=SEED,
)
checkpoints = CheckpointsArgs(
checkpoints_path=Path(f"{LOCAL_TMP_PATH_ON_NODE}/checkpoints/{RUN}"),
checkpoints_path_is_shared_file_system=False,
checkpoint_interval=500,
save_initial_state=True,
)
parallelism = ParallelismArgs(
dp=64,
pp=1,
tp=1,
pp_engine="1f1b",
tp_mode="REDUCE_SCATTER",
tp_linear_async_communication=True,
)
# num_nodes = int(os.environ.get("SLURM_JOB_NUM_NODES", 1))
# parallelism.dp=int(num_nodes*8//parallelism.pp//parallelism.tp), # How many remaining GPU when taking into account PP, TP and 8 GPUs per node
tokens = TokensArgs(
batch_accumulation_per_replica=4,
micro_batch_size=4,
sequence_length=2048,
train_steps=args.train_steps,
val_check_interval=-1,
)
model = ModelArgs(
model_config=model_config,
make_vocab_size_divisible_by=1,
init_method=RandomInit(
std=0.02
),
dtype=torch.bfloat16,
)
logging = LoggingArgs(
# 'debug', 'info', 'warning', 'error', 'critical' and 'passive'
log_level="info",
log_level_replica="info",
iteration_step_info_interval=1,
)
optimizer = OptimizerArgs(
accumulate_grad_in_fp32=True,
clip_grad=1.0,
weight_decay=0.1,
zero_stage=0,
learning_rate_scheduler=LRSchedulerArgs(
learning_rate=3e-4,
lr_warmup_steps=500,
lr_warmup_style="linear",
lr_decay_style="cosine",
min_decay_lr=3.0e-5
),
optimizer_factory=AdamWOptimizerArgs(
adam_beta1=0.9,
adam_beta2=0.95,
adam_eps=1.0e-8,
torch_adam_is_fused=True,
),
)
tokenizer = TokenizerArgs(
tokenizer_name_or_path="google/gemma-7b",
)
s3_upload = S3UploadArgs(
upload_s3_path=f"{S3_CHECKPOINTS_PREFIX}/{RUN}",
remove_after_upload=True,
s5cmd_numworkers=16,
s5cmd_concurrency=5,
s5cmd_path=S5CMD_PATH,
)
config = Config(
general=general,
checkpoints=checkpoints,
parallelism=parallelism,
model=model,
tokenizer=tokenizer,
logging=logging,
tokens=tokens,
optimizer=optimizer,
data_stages=data,
profiler=None,
s3_upload=s3_upload,
lighteval=None,
)
NODES = 8
#### DEBUG MODE
if os.environ.get("DEBUG_MODE", "0") != "0":
print("##### WARNING DEBUG MODE #####")
config.parallelism.dp = 2
config.parallelism.pp = 2
config.parallelism.tp = 2
config.tokens.micro_batch_size = 3
config.tokens.batch_accumulation_per_replica = 2
config.checkpoints.save_initial_state = True
NODES = 1
# Sanity check that we can load, save to YAML and reload the config
timestamp = datetime.now().strftime("%Y-%m-%d_%H-%M-%S")
os.makedirs(f"{LAUNCH_CONFIGS_PATH}/{run_name}", exist_ok=True)
config_path_yaml = f"{LAUNCH_CONFIGS_PATH}/{run_name}/{timestamp}.yaml"
config.save_as_yaml(config_path_yaml)
config2 = get_config_from_file(config_path_yaml, config_class=Config)
print_differences(config, config2)
os.makedirs(f"{LOGS_PATH}/{run_name}", exist_ok=True)
dataset_download_cmd = "" if not args.data.startswith("s3://") else f"srun --ntasks-per-node=1 rm -rf {LOCAL_TMP_PATH_ON_NODE}/dataset\nsrun --ntasks-per-node=1 s5cmd cp '{args.data.removesuffix('/')}/*' {LOCAL_TMP_PATH_ON_NODE}/dataset/{RUN}/"
job_name = f"{run_name}-{SEED}"
sbatch_script = f"""#!/bin/bash
#SBATCH --job-name={job_name}
#SBATCH --nodes={NODES}
#SBATCH --ntasks-per-node=1 # crucial - only 1 task per dist per node!
#SBATCH --cpus-per-task={NUM_CPUS_IN_NODE}
#SBATCH --gres=gpu:{NUM_GPUS}
#SBATCH --partition=hopper-prod
#SBATCH --output={LOGS_PATH}/{run_name}/train-{timestamp}-%x-%j
# #SBATCH --array=1-1%1
#SBATCH --qos={args.priority}
#SBATCH --begin=now+0minutes
#SBATCH --mail-type=ALL
#SBATCH --mail-user={EMAIL}
#SBATCH --requeue
{"#SBATCH --dependency=afterok:" + args.d if args.d else ""}
###########################################
# [BEGINING] ADAPT TO YOUR ENVIRONMENT
# [END] ADAPT TO YOUR ENVIRONMENT
###########################################
set -x -e
##### TO UPDATE #####
##### END TO UPDATE ######
echo "START TIME: $(date)"
secs_to_human(){{
echo "$(( ${{1}} / 3600 )):$(( (${{1}} / 60) % 60 )):$(( ${{1}} % 60 ))"
}}
start=$(date +%s)
echo "$(date -d @${{start}} "+%Y-%m-%d %H:%M:%S"): ${{SLURM_JOB_NAME}} start id=${{SLURM_JOB_ID}}\n"
{dataset_download_cmd}
# SLURM stuff
export HOSTNAMES=`scontrol show hostnames "$SLURM_JOB_NODELIST"`
export MASTER_ADDR=$(scontrol show hostnames "$SLURM_JOB_NODELIST" | head -n 1)
export MASTER_PORT=$((1024 + RANDOM % 64511))
export COUNT_NODE=`scontrol show hostnames "$SLURM_JOB_NODELIST" | wc -l`
export TMPDIR={LOCAL_TMP_PATH_ON_NODE}
export CUDA_DEVICE_MAX_CONNECTIONS="1"
module load cuda/12.1
echo go $COUNT_NODE
echo $HOSTNAMES
##### MOVE TO YAML ######
CMD=" \
{NANOTRON_RUN_TRAIN_SCRIPT} \
--config-file {config_path_yaml}
"
export LAUNCHER="python -u -m torch.distributed.run \
--nproc_per_node {NUM_GPUS} \
--nnodes $COUNT_NODE \
--rdzv-backend c10d \
--rdzv-endpoint $MASTER_ADDR:$MASTER_PORT \
--rdzv-id $SLURM_JOB_ID \
--node_rank $SLURM_PROCID \
--role $SLURMD_NODENAME: \
--max_restarts 0 \
--tee 3 \
"
# Wait a random number between 0 and 1000 (milliseconds) to avoid too many concurrent requests to the hub
random_milliseconds=$(( RANDOM % 1001 ))
sleep_time=$(bc <<< "scale=3; $random_milliseconds / 1000")
echo "Sleeping for $sleep_time seconds..."
sleep $sleep_time
launch_args="srun $SRUN_ARGS -u bash -c $LAUNCHER --node_rank $SLURM_PROCID --role $SLURMD_NODENAME: $CMD"
srun $SRUN_ARGS -u bash -c "$LAUNCHER --node_rank $SLURM_PROCID --role $SLURMD_NODENAME: $CMD"
echo "END TIME: $(date)"
{
"" if not args.data.startswith("s3://") else f"srun --ntasks-per-node=1 rm -rf {LOCAL_TMP_PATH_ON_NODE}/dataset/{RUN}/"
}
"""
id = launch_slurm_job(sbatch_script)
log_path = f"{LOGS_PATH}/{run_name}/train-{timestamp}-{job_name}-{id}"
print(f"Launched with Slurm job id={id}")
print(f"To view the logs, use the command: tail -f {log_path}")
================================================
FILE: configs/aai_Latn.yml
================================================
dup_line_frac: 0.387
dup_n_grams:
- - 5
- 0.384
- - 6
- 0.376
- - 7
- 0.364
- - 8
- 0.348
- - 9
- 0.329
- - 10
- 0.311
language_score: 0.755
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.071
stopwords:
- i
- ana
- naatu
- boro
- men
- sabuw
- orot
- isan
- god
- ayu
- baise
- iti
- tur
- etei
- jesu
- kwa
- hai
- ta
- eo
- "na\u2019atube"
- anayabin
- o
- nati
top_n_grams:
- - 2
- 0.172
- - 3
- 0.17
- - 4
- 0.177
================================================
FILE: configs/aak_Latn.yml
================================================
dup_line_frac: 0.358
dup_n_grams:
- - 5
- 0.359
- - 6
- 0.35
- - 7
- 0.336
- - 8
- 0.32
- - 9
- 0.304
- - 10
- 0.285
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.767
min_avg_word_length: 4
new_line_ratio: 0.059
stopwords:
- "n\xE1n\u0268"
- e
- "\xE1m\xE1"
- re
- "d\xE1n\u0268"
- "t\xED\u0335n\u0268"
- o
- "nion\u0268"
- "t\u0268\u0301n\u0268"
- "gor\u0268xo"
- "d\u0268\u014B\xED\u0335"
- "d\u0268\u014B\u0268\u0301"
- "w\xED"
top_n_grams:
- - 2
- 0.196
- - 3
- 0.183
- - 4
- 0.183
================================================
FILE: configs/aau_Latn.yml
================================================
dup_line_frac: 0.398
dup_n_grams:
- - 5
- 0.4
- - 6
- 0.393
- - 7
- 0.382
- - 8
- 0.368
- - 9
- 0.352
- - 10
- 0.334
language_score: 0.683
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.744
min_avg_word_length: 3
new_line_ratio: 0.038
stopwords:
- me
- ma
- mon
- so
- hiykwe
- senkin
- homkwe
- se
- uwr
- non
- o
- hiy
- god
- ok
- lwak
- sawk
- seyr
- sa
- mo
- kokwe
- ey
- kow
- hokwe
- aw
- uwrsa
- ko
- yor
- ar
top_n_grams:
- - 2
- 0.165
- - 3
- 0.168
- - 4
- 0.167
================================================
FILE: configs/aaz_Latn.yml
================================================
dup_line_frac: 0.328
dup_n_grams:
- - 5
- 0.303
- - 6
- 0.298
- - 7
- 0.289
- - 8
- 0.277
- - 9
- 0.262
- - 10
- 0.246
language_score: 0.704
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.788
min_avg_word_length: 3
new_line_ratio: 0.045
stopwords:
- in
- "re\uA78C"
- sin
- naan
- ma
- he
- ein
- "nai\uA78C"
- au
- uisneno
- fa
- es
- ka
- 'on'
- hi
- ee
- neu
- tuaf
- nok
- nak
- ia
- mes
top_n_grams:
- - 2
- 0.154
- - 3
- 0.154
- - 4
- 0.152
================================================
FILE: configs/aba_Latn.yml
================================================
dup_line_frac: 0.534
dup_n_grams:
- - 5
- 0.33
- - 6
- 0.315
- - 7
- 0.298
- - 8
- 0.28
- - 9
- 0.262
- - 10
- 0.239
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.765
min_avg_word_length: 2
new_line_ratio: 0.1
stopwords:
- "n\u2019ye"
- "el\xEB"
- "k\xEB"
- "l\u025B"
- "f\xEB"
- "gh\xEB"
- "b\xEB"
- "\xEB\xEB"
- bu
- "n\xEB"
- "\xE9"
- "eb\xEB"
- "\xE1l\u025B"
- "\u0292oova"
- ofo
- "l\u025B\u0301"
- "bun\xEB"
- "el\u025B"
- gha
- "kel\xEB"
- "e\u0254s\u025B"
- ngiki
- eba
- "e\u0272\xEB"
- "\xE0l\u025B\u0301"
- "nt\u0254n\xEB"
top_n_grams:
- - 2
- 1.031
- - 3
- 1.017
- - 4
- 0.864
================================================
FILE: configs/abi_Latn.yml
================================================
dup_line_frac: 0.546
dup_n_grams:
- - 5
- 0.35
- - 6
- 0.344
- - 7
- 0.328
- - 8
- 0.312
- - 9
- 0.309
- - 10
- 0.277
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.778
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- "\u03ADn\u0269"
- "\u025Bn\u025B\u025B"
- "l\u0254\u0302"
- "b\u025B"
- "m\u028B"
- "\u0254n\u028B"
- "\u025Bt\u0269"
- "nyat\u0269"
- "f\u025B\u0269n"
- kpan
- woju
- akpan
- "l\u0269"
- "obu\u025B"
- "\u025B"
- heni
- mu
- "l\u025B\u025B"
- jesi
top_n_grams:
- - 2
- 0.712
- - 3
- 0.483
- - 4
- 0.504
================================================
FILE: configs/abk_Cyrl.yml
================================================
dup_line_frac: 0.291
dup_n_grams:
- - 5
- 0.201
- - 6
- 0.204
- - 7
- 0.185
- - 8
- 0.18
- - 9
- 0.176
- - 10
- 0.132
language_score: 0.812
line_punct_thr: 0.0
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.731
min_avg_word_length: 3
new_line_ratio: 1.875
stopwords:
- "\u0440\u044B\u0525\u0441\u04AD\u0430\u0437\u0430\u0430\u0440\u0430"
- "\u0438\u0430\u043B\u04B5\u0438\u0442"
- "\u0438\u0438\u0442"
- "\u043B\u0430\u04B5\u0430\u0440\u0430\u043C\u0437\u0430"
- "\u0445\u04D9\u0430\u0436\u04D9\u043A\u044B\u0440\u0430\u043C\u0437\u0430"
- "\u0436\u04D9\u0430\u0431\u0440\u0430\u043D\u043C\u0437\u0430"
- "\u0430\u0436\u044C\u044B\u0440\u043D\u044B\u04B3\u04D9\u0430\u043C\u0437\u0430"
- "\u0436\u044C\u04AD\u0430\u0430\u0440\u0430\u043C\u0437\u0430"
- "\u0525\u0445\u044B\u043D\u04B7\u043A\u04D9\u044B\u043D\u043C\u0437\u0430"
- "\u0446\u04D9\u044B\u0431\u0431\u0440\u0430\u043C\u0437\u0430"
- "\u0440\u0430\u0448\u04D9\u0430\u0440\u0430\u043C\u0437\u0430"
- "\u043D\u0430\u043D\u04B3\u04D9\u0430\u043C\u0437\u0430"
- "\u0430\u0431\u04B5\u0430\u0440\u0430\u043C\u0437\u0430"
- "\u0525\u0445\u044B\u043D\u0433\u04D9\u044B\u043C\u0437\u0430"
- "\u043C\u0448\u0430\u0525\u044B\u043C\u0437\u0430"
- "\u0430\u0445\u04AD\u044B\u0441\u049B\u0259\u0430"
- "\u0430\u0525\u0441\u043D\u044B"
top_n_grams:
- - 2
- 0.587
- - 3
- 0.322
- - 4
- 0.179
================================================
FILE: configs/abn_Latn.yml
================================================
dup_line_frac: 0.321
dup_n_grams:
- - 5
- 0.237
- - 6
- 0.219
- - 7
- 0.203
- - 8
- 0.191
- - 9
- 0.172
- - 10
- 0.157
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.769
min_avg_word_length: 3
new_line_ratio: 0.1
stopwords:
- "ph\u1ECD"
- "b\u1ECD"
- "k\u1EE5"
- ni
- "m\u1ECD"
- "d\u1ECB"
- ghan
- "od\u1ECB"
- yira
- esi
- azihova
top_n_grams:
- - 2
- 1.262
- - 3
- 1.118
- - 4
- 0.869
================================================
FILE: configs/abq_Cyrl.yml
================================================
dup_line_frac: 0.098
dup_n_grams:
- - 5
- 0.096
- - 6
- 0.085
- - 7
- 0.073
- - 8
- 0.067
- - 9
- 0.058
- - 10
- 0.051
language_score: 0.876
line_punct_thr: -1
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.778
min_avg_word_length: 4
new_line_ratio: 0.25
stopwords:
- "\u0430\u0443\u0438"
- "\u0441\u0430\u0440\u0430"
- "\u0439\u0445\u04CF\u044B\u0445\u0432\u0438\u0442\u0443"
- "\u0430\u0443\u0430\u0442"
- "\u0438\u043D\u0443\u0441"
- "\u0443\u0430\u0440\u0430"
- "\u0430\u2011\u043D\u0447\u0432\u0430"
- "\u0430\u0443\u0430\u0441\u0430"
- "\u0430\u0443\u0430\u044A\u0430"
- "\u0430\u0440\u0438"
- "\u0431\u0430\u044A\u0430\u043Fl"
- "\u0431\u0430\u0440\u0430"
- "\u043D\u0438\u043D\u0435\u0432\u0438\u044F"
- "\u0430\u043A\u044A\u0430\u043B\u0430"
- "\u043C\u0447\u044B\u0442\u0430"
- "\u0430\u0440\u0430\u044A\u0430"
- "\u0430\u0441\u0445\u044A\u0430\u043D"
- "\u043B\u0445i\u0432\u0430\u0434"
- "\u0430\u043F\u043D\u044B"
- "\u0441\u0430"
- "\u0441\u0433\u0432\u044B"
- "\u0443\u0439\u0441"
- "\u0442\u0430\u0440\u0448\u0438\u0448"
- "\u0430\u0431\u044B\u0433\u044A\u044C"
- "\u0433l\u0432\u0430\u0436\u044C\u043A\u0432\u0430"
top_n_grams:
- - 2
- 0.18
- - 3
- 0.177
- - 4
- 0.169
================================================
FILE: configs/abs_Latn.yml
================================================
dup_line_frac: 0.865
dup_n_grams:
- - 5
- 0.56
- - 6
- 0.531
- - 7
- 0.505
- - 8
- 0.481
- - 9
- 0.449
- - 10
- 0.42
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.783
min_avg_word_length: 3
new_line_ratio: 0.1
stopwords:
- seng
- beta
- deng
- yang
- ada
- dapa
- pung
- di
- par
- akang
- lai
- su
- tu
- kamar
- mar
- kalo
- la
- ni
- sa
- se
- kaya
- bisa
- dar
- ka
- jadi
top_n_grams:
- - 2
- 0.772
- - 3
- 0.731
- - 4
- 0.632
================================================
FILE: configs/abt_Latn.yml
================================================
dup_line_frac: 0.35
dup_n_grams:
- - 5
- 0.353
- - 6
- 0.345
- - 7
- 0.333
- - 8
- 0.317
- - 9
- 0.301
- - 10
- 0.283
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.803
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- du
- "d\xE9"
- wa
- de
- "gun\xE9"
- wani
- yo
- "mawul\xE9"
- yate
- "wun\xE9"
- "d\xE9ku"
- kudi
- nak
- gotna
- got
- kundi
- pulak
- wan
- "naan\xE9"
top_n_grams:
- - 2
- 0.183
- - 3
- 0.178
- - 4
- 0.175
================================================
FILE: configs/abx_Latn.yml
================================================
dup_line_frac: 0.416
dup_n_grams:
- - 5
- 0.423
- - 6
- 0.416
- - 7
- 0.404
- - 8
- 0.389
- - 9
- 0.372
- - 10
- 0.353
language_score: 0.782
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.735
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- si
- na
- i
- mga
- nga
- iya
- ngan
- kam
- bi
- diyos
- kon
- ako
- ga'i
- ko
top_n_grams:
- - 2
- 0.16
- - 3
- 0.159
- - 4
- 0.168
================================================
FILE: configs/aby_Latn.yml
================================================
dup_line_frac: 0.369
dup_n_grams:
- - 5
- 0.365
- - 6
- 0.358
- - 7
- 0.346
- - 8
- 0.331
- - 9
- 0.311
- - 10
- 0.295
language_score: 0.832
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.889
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- i
- eno
- wei
- wake
- nono
- ibake
- we
- danu
- ma
- me
- godinu
- moi
- orou
- ukeka
- yaisina
top_n_grams:
- - 2
- 0.233
- - 3
- 0.239
- - 4
- 0.234
================================================
FILE: configs/abz_Latn.yml
================================================
dup_line_frac: 0.215
dup_n_grams:
- - 5
- 0.169
- - 6
- 0.164
- - 7
- 0.143
- - 8
- 0.126
- - 9
- 0.114
- - 10
- 0.104
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.733
min_avg_word_length: 2
new_line_ratio: 0.111
stopwords:
- ba
- de
- he
- ya
- mia
- ama
- na
- pi
- yehuwa
- hedi
- mu
- e
- allah
- kang
- wei
- wal
- hei
- rieling
- haba
- surah
top_n_grams:
- - 2
- 1.653
- - 3
- 1.411
- - 4
- 1.192
================================================
FILE: configs/aca_Latn.yml
================================================
dup_line_frac: 0.423
dup_n_grams:
- - 5
- 0.413
- - 6
- 0.405
- - 7
- 0.391
- - 8
- 0.372
- - 9
- 0.356
- - 10
- 0.337
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 4
new_line_ratio: 0.077
stopwords:
- "li\xE1'a"
- ya
- "n\xE1a'a"
- ne
- dios
- "jes\xFAs"
- "quin\xEDnama"
- "n\xE9enee"
- "nal\xED"
- "j\xE1iwa"
top_n_grams:
- - 2
- 0.199
- - 3
- 0.201
- - 4
- 0.213
================================================
FILE: configs/acd_Latn.yml
================================================
dup_line_frac: 0.348
dup_n_grams:
- - 5
- 0.33
- - 6
- 0.325
- - 7
- 0.315
- - 8
- 0.302
- - 9
- 0.288
- - 10
- 0.271
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.805
min_avg_word_length: 2
new_line_ratio: 0.042
stopwords:
- "m\u0254"
- ne
- "m\u025B"
- kya
- "wurubuaar\u025B"
- "y\u025B\u025B"
- de
- "\u0254"
- so
- i
- "d\u0254"
- ilaa
- gi
- sa
- "f\u025Bye"
- kyu
- "w\u0254ra"
- fo
- yesu
- laa
- "g\u025Bnen"
- me
- n
- "m\u0254m\u0254"
- a
- "f\u025B"
- "gy\u025B"
- "t\u0254g\u025B"
- "\u0254bono"
top_n_grams:
- - 2
- 0.144
- - 3
- 0.146
- - 4
- 0.148
================================================
FILE: configs/ace_Arab.yml
================================================
dup_line_frac: 0.235
dup_n_grams:
- - 5
- 0.19
- - 6
- 0.169
- - 7
- 0.141
- - 8
- 0.129
- - 9
- 0.117
- - 10
- 0.106
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.083
stopwords:
- "\u060C"
- "\u064A\u06A0"
- "\u06A0\u0646"
- "\u062C\u064A\u0647"
- "\u06BD\u0646"
- "\u0628\u0642"
- "\u062F\u0627\u0646"
- "\u062F"
- "\u0646\u0627"
- "\u062F\u0631\u064A"
- "\u06BD\u06A0"
top_n_grams:
- - 2
- 0.667
- - 3
- 0.709
- - 4
- 0.395
================================================
FILE: configs/ace_Latn.yml
================================================
dup_line_frac: 0.373
dup_n_grams:
- - 5
- 0.27
- - 6
- 0.224
- - 7
- 0.208
- - 8
- 0.178
- - 9
- 0.162
- - 10
- 0.144
language_score: 0.3
line_punct_thr: 0.125
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.81
min_avg_word_length: 4
new_line_ratio: 0.273
stopwords:
- di
- nakeuh
- bak
- "ac\xE8h"
- nyoe
- "gamp\xF4ng"
- gunong
- data
- nyang
- lam
- laman
- "n\xE8"
- saboh
- nibak
- drosophila
- seuneubeuet
- na
- "kabupat\xE8n"
top_n_grams:
- - 2
- 0.83
- - 3
- 0.729
- - 4
- 0.55
================================================
FILE: configs/acf_Latn.yml
================================================
dup_line_frac: 0.75
dup_n_grams:
- - 5
- 0.507
- - 6
- 0.485
- - 7
- 0.468
- - 8
- 0.466
- - 9
- 0.453
- - 10
- 0.412
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.774
min_avg_word_length: 2
new_line_ratio: 0.083
stopwords:
- an
- "s\xE9"
- ki
- ka
- yo
- "t\xE9"
- sa
- pou
- "\xE9pi"
- a
- i
- la
- mwen
- nou
- pa
- moun
- kay
- "bondy\xE9"
- "\xE8k"
- "f\xE8"
- ou
- ni
- di
- "z\xF2t"
- kon
- "j\xE9zi"
- tout
- sala
- "l\xE8"
top_n_grams:
- - 2
- 1.281
- - 3
- 1.361
- - 4
- 1.262
================================================
FILE: configs/ach_Latn.yml
================================================
dup_line_frac: 0.451
dup_n_grams:
- - 5
- 0.331
- - 6
- 0.321
- - 7
- 0.306
- - 8
- 0.294
- - 9
- 0.275
- - 10
- 0.261
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.786
min_avg_word_length: 2
new_line_ratio: 0.091
stopwords:
- ma
- i
- ki
- me
- ni
- ka
- pe
- pa
- en
- jo
- gin
- pi
- lok
- dok
- tye
- ducu
- dano
top_n_grams:
- - 2
- 0.872
- - 3
- 0.603
- - 4
- 0.542
================================================
FILE: configs/acm_Arab.yml
================================================
dup_line_frac: 0.486
dup_n_grams:
- - 5
- 0.326
- - 6
- 0.305
- - 7
- 0.282
- - 8
- 0.264
- - 9
- 0.241
- - 10
- 0.216
language_score: 0.304
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 2
new_line_ratio: 0.25
stopwords:
- "\u060C"
- "\u0645\u0646"
- "\u0639\u0644\u0649"
- "\u0645\u0627"
- "\u0647\u0630\u0627"
- "\u0631\u062C\u0627\u0621\u0627"
- "\u0631\u0627\u062D"
- "\u0645\u0645\u0643\u0646"
- "\u0627\u0631\u064A\u062F"
- "\u0627\u0644\u0644\u064A"
- "\u0628\u0633"
- "\u0627\u064A"
top_n_grams:
- - 2
- 0.455
- - 3
- 0.41
- - 4
- 0.343
================================================
FILE: configs/acn_Latn.yml
================================================
dup_line_frac: 0.321
dup_n_grams:
- - 5
- 0.249
- - 6
- 0.241
- - 7
- 0.225
- - 8
- 0.213
- - 9
- 0.201
- - 10
- 0.185
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.864
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- lyis
- gas
- dah
- zis
- mas
- nghuot
- las
- das
- ma
- yah
- eq
- nyang
- ge
- namoq
- cho
- ngos
- taiq
- nyeis
- hauh
- nyamoq
- bang
- mangso
- soeu
- lhyi
- los
- jens
top_n_grams:
- - 2
- 0.464
- - 3
- 0.453
- - 4
- 0.4
================================================
FILE: configs/acr_Latn.yml
================================================
dup_line_frac: 0.347
dup_n_grams:
- - 5
- 0.311
- - 6
- 0.303
- - 7
- 0.292
- - 8
- 0.28
- - 9
- 0.267
- - 10
- 0.25
language_score: 0.777
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.742
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- ri
- i
- che
- e
- na
- y
- dios
- chi
- re
- u
- ta
- wa
- pa
- ma
- jun
- yey
top_n_grams:
- - 2
- 0.249
- - 3
- 0.239
- - 4
- 0.22
================================================
FILE: configs/acu_Latn.yml
================================================
dup_line_frac: 0.332
dup_n_grams:
- - 5
- 0.307
- - 6
- 0.3
- - 7
- 0.286
- - 8
- 0.273
- - 9
- 0.258
- - 10
- 0.239
language_score: 0.681
line_punct_thr: -1
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.742
min_avg_word_length: 4
new_line_ratio: 0.077
stopwords:
- tura
- aints
- ni
- ainau
- nu
- yus
- asamtai
- mash
- antsu
- yuse
- pengker
- nuka
- "w\xEDna"
- tu
- tuke
- nuna
top_n_grams:
- - 2
- 0.546
- - 3
- 0.523
- - 4
- 0.471
================================================
FILE: configs/ada_Latn.yml
================================================
dup_line_frac: 0.283
dup_n_grams:
- - 5
- 0.191
- - 6
- 0.171
- - 7
- 0.155
- - 8
- 0.141
- - 9
- 0.128
- - 10
- 0.117
language_score: 0.644
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.84
min_avg_word_length: 1
new_line_ratio: 0.071
stopwords:
- "n\u025B"
- "\u0254"
- a
- e
- "k\u025B"
- "ng\u025B"
- he
- mi
- wa
- kaa
- "n\u0254"
- ma
- maa
- o
- ha
- ke
- "n\xED"
- ko
- "ny\u025B"
- je
- pee
- se
top_n_grams:
- - 2
- 0.782
- - 3
- 0.656
- - 4
- 0.56
================================================
FILE: configs/ade_Latn.yml
================================================
dup_line_frac: 0.302
dup_n_grams:
- - 5
- 0.272
- - 6
- 0.259
- - 7
- 0.254
- - 8
- 0.244
- - 9
- 0.227
- - 10
- 0.214
language_score: 0.825
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.81
min_avg_word_length: 2
new_line_ratio: 0.048
stopwords:
- "f\xF4"
- "g\xE2t\xE2"
- "g\xE2"
- "\xE2"
- ma
- "b\xE2"
- di
- "wurubwar\xE2"
- koro
- e
- "w\xF4"
- "d\xF5"
- "m\xF4"
- "b\xE2n\xE6"
- ade
- be
- "t\xE2"
- n
- sa
- "m\xE2"
- "\xE6"
- yesu
- alan
top_n_grams:
- - 2
- 1.052
- - 3
- 1.202
- - 4
- 1.196
================================================
FILE: configs/adh_Latn.yml
================================================
dup_line_frac: 0.849
dup_n_grams:
- - 5
- 0.614
- - 6
- 0.62
- - 7
- 0.588
- - 8
- 0.521
- - 9
- 0.468
- - 10
- 0.431
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.788
min_avg_word_length: 3
new_line_ratio: 0.077
stopwords:
- ma
- i
- to
- ni
- go
- gi
- were
- aka
- pa
- win
- ri
- kodi
- jo
- "kwo\u014B"
- yesu
- ji
top_n_grams:
- - 2
- 1.354
- - 3
- 1.457
- - 4
- 1.467
================================================
FILE: configs/adi_Latn.yml
================================================
dup_line_frac: 0.394
dup_n_grams:
- - 5
- 0.507
- - 6
- 0.332
- - 7
- 0.316
- - 8
- 0.3
- - 9
- 0.28
- - 10
- 0.259
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.765
min_avg_word_length: 3
new_line_ratio: 0.091
stopwords:
- "b\xED"
- delokke
- delo
- ngo
- ruutum
- ami
- bulu
- emla
- "k\xEDd\xEDem"
- "b\xEDkke"
top_n_grams:
- - 2
- 1.412
- - 3
- 1.236
- - 4
- 1.096
================================================
FILE: configs/adj_Latn.yml
================================================
dup_line_frac: 0.4
dup_n_grams:
- - 5
- 0.357
- - 6
- 0.351
- - 7
- 0.341
- - 8
- 0.328
- - 9
- 0.314
- - 10
- 0.297
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.83
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- a
- eke
- "\u025Bm"
- ab
- e
- nyam
- "\u025Bt\u014B"
- ow
- es
- ke
- low
- af
- "\u0254ny"
- in
- "ag\u014B"
- dad
- "\u025Bl"
- "w\u025Bl"
- "f\u025B\u014B"
- "\u025By"
- "\u025Bg\u014B"
- eci
- am
- "\u025Bs"
top_n_grams:
- - 2
- 0.221
- - 3
- 0.239
- - 4
- 0.205
================================================
FILE: configs/adl_Latn.yml
================================================
dup_line_frac: 0.535
dup_n_grams:
- - 5
- 0.833
- - 6
- 0.842
- - 7
- 0.835
- - 8
- 0.813
- - 9
- 0.803
- - 10
- 0.783
language_score: 0.353
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.838
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- "\xEBm"
- "b\xEB"
- "okk\xEB"
- "g\xEB"
- "\xEB"
- "b\xFC"
- "y\xFCrn\xEB"
- nyi
- "l\xEBga"
- lo
- yo
- "lok\xEB"
- ngo
- "\xEBmla"
- "b\xFCk"
- "n\xEB"
- bulu
- go
top_n_grams:
- - 2
- 2.823
- - 3
- 3.456
- - 4
- 3.887
================================================
FILE: configs/ady_Cyrl.yml
================================================
dup_line_frac: 0.624
dup_n_grams:
- - 5
- 0.342
- - 6
- 0.338
- - 7
- 0.317
- - 8
- 0.305
- - 9
- 0.273
- - 10
- 0.258
language_score: 0.324
line_punct_thr: 0.25
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.685
min_avg_word_length: 4
new_line_ratio: 0.234
stopwords:
- "\u0438"
- "\u0430\u0434\u044B\u0433\u044D"
- "\u0430\u0449"
- "\u0438\u043B\u044A\u044D\u0441\u044B\u043C"
- "\u043D\u044D\u0431\u0433\u044B\u0440\u044D"
- "\u043C\u043B\u043D"
- main
- category
- "\u0442\u0430\u0440\u0438\u0445\u044A"
- "\u044B\u043Ai\u0438"
- "\u2194"
- "\u043C"
- "\u044F"
- "\u0438\u0442"
- "\u0433\u0435\u043E\u0433\u0440\u0430\u0444\u0438\u0435"
- "\u0430\u0440\u044B"
- "\u0430"
- "\u0449\u044D\u043F\u0441\u044D\u0443"
- "\u0445\u044D\u0433\u044A\u044D\u0433\u0443"
- "\u043A\u044A\u044D\u043B\u044D"
- "\u0444\u044D\u0434\u0438\u0437"
- "\u0430\u0440"
- "\u043A\u043C\xB2"
- "\u0430\u0449\u044B\u0449"
- "\u043Bi\u044B\u0448\u044A\u0445\u044C\u044D\u0440"
- "\u043A\u044A\u0435\u0445\u044A\u0443"
- "\u043A\u044A\u044D\u0440\u0430\u043B\u044B\u0433\u044A\u0443"
- "\u0435"
- "\u0438i\u044D\u0440"
- "\u0430\u0443"
- "\u0447i\u044B\u0440\u044D\u0443"
- "\u0445\u044D\u0433\u044D\u0433\u0443\u043C"
- "\u043C\u044B"
- "\u043A\u044A\u044D\u0440\u0430\u043B\u044B\u0433\u044A\u043E"
- "\u0440\u0435\u0441\u043F\u0443\u0431\u043B\u0438\u043A\u044D\u043C"
- "\u0437\u044B"
- "\u0449\u044B\u0442"
- "\u0446i\u044B\u0444\u044D\u0443"
- "\u043A\u044A\u044D\u0440\u0430\u043B"
top_n_grams:
- - 2
- 1.395
- - 3
- 1.514
- - 4
- 1.477
================================================
FILE: configs/adz_Latn.yml
================================================
dup_line_frac: 0.444
dup_n_grams:
- - 5
- 0.3
- - 6
- 0.289
- - 7
- 0.293
- - 8
- 0.28
- - 9
- 0.256
- - 10
- 0.227
language_score: 0.667
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.806
min_avg_word_length: 3
new_line_ratio: 0.071
stopwords:
- da
- i
- dzi
- "ara\u014Ban"
- garam
- u
- ini
- nam
- igi
- "gubu\u02BC"
- sib
- "bu\u014B\u02BC"
- gan
- "a\u014Bu"
top_n_grams:
- - 2
- 0.682
- - 3
- 0.587
- - 4
- 0.552
================================================
FILE: configs/aeb_Arab.yml
================================================
dup_line_frac: 0.387
dup_n_grams:
- - 5
- 0.329
- - 6
- 0.293
- - 7
- 0.255
- - 8
- 0.227
- - 9
- 0.203
- - 10
- 0.184
language_score: 0.316
line_punct_thr: -1
max_avg_word_length: 33
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 2
new_line_ratio: 0.2
stopwords:
- "\u060C"
- "\u0641\u0650\u064A"
- "\u0645\u064E\u0627"
- "\u0628\u064E\u0627\u0634\u0652"
- "\u0641\u064A"
- "\u0627\u0644\u0651\u0650\u064A"
- "\u0639\u0652\u0644\u064E\u0649"
- "\u0627\u0644\u0650\u0651\u064A"
- "\u0648"
- "\u0645\u0646"
- "\u0622\u0645\u064E\u0627"
- "\u0645\u0650\u0646\u0652"
top_n_grams:
- - 2
- 0.475
- - 3
- 0.459
- - 4
- 0.407
================================================
FILE: configs/aer_Latn.yml
================================================
dup_line_frac: 0.614
dup_n_grams:
- - 5
- 0.436
- - 6
- 0.428
- - 7
- 0.407
- - 8
- 0.384
- - 9
- 0.366
- - 10
- 0.343
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.708
min_avg_word_length: 5
new_line_ratio: 0.042
stopwords:
- arle
- re
- areye
- nhenge
- kenhe
- itne
- anteme
- renhe
- kele
- ayenge
- arrantherre
- kwenhe
- tyerrtye
- jesus
- aneme
- anthurre
- apeke
- alakenhe
- apmere
- anwerne
- ngkarte
- ikwere
- arrpenhe
- akngerre
- yanhe
top_n_grams:
- - 2
- 1.413
- - 3
- 1.367
- - 4
- 1.239
================================================
FILE: configs/aeu_Latn.yml
================================================
dup_line_frac: 0.375
dup_n_grams:
- - 5
- 0.38
- - 6
- 0.37
- - 7
- 0.357
- - 8
- 0.342
- - 9
- 0.324
- - 10
- 0.308
language_score: 0.695
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.766
min_avg_word_length: 3
new_line_ratio: 0.033
stopwords:
- nail
- bhai
- ngaol
- a
- dai
- khi
- juq
- aq
- ail
- mail
- neq
- gaq
- ge
- maq
- aivq
- ai
- tsaol
- bhiq
- nee
- ngal
- teevq
- al
- thaq
- nuljuq
- lal
- i
- phaq
- yaoq
- miqyail
- phao
top_n_grams:
- - 2
- 0.25
- - 3
- 0.253
- - 4
- 0.242
================================================
FILE: configs/aey_Latn.yml
================================================
dup_line_frac: 0.639
dup_n_grams:
- - 5
- 0.497
- - 6
- 0.46
- - 7
- 0.441
- - 8
- 0.405
- - 9
- 0.377
- - 10
- 0.343
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.783
min_avg_word_length: 3
new_line_ratio: 0.067
stopwords:
- eu
- uqa
- age
- dana
- qee
- je
- odocob
- ija
- eunu
- anut
- oso
- ege
- me
- uqana
- odi
- cunug
- bahic
- agena
- jisas
top_n_grams:
- - 2
- 1.2
- - 3
- 1.143
- - 4
- 1.062
================================================
FILE: configs/afr_Latn.yml
================================================
dup_line_frac: 0.412
dup_n_grams:
- - 5
- 0.192
- - 6
- 0.162
- - 7
- 0.149
- - 8
- 0.128
- - 9
- 0.113
- - 10
- 0.101
language_score: 0.3
line_punct_thr: 0.053
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.707
min_avg_word_length: 3
new_line_ratio: 0.209
stopwords:
- die
- van
- in
- en
- is
- n
- het
- wat
- sy
- op
- the
- word
top_n_grams:
- - 2
- 0.707
- - 3
- 0.557
- - 4
- 0.418
================================================
FILE: configs/agd_Latn.yml
================================================
dup_line_frac: 0.405
dup_n_grams:
- - 5
- 0.393
- - 6
- 0.387
- - 7
- 0.375
- - 8
- 0.361
- - 9
- 0.343
- - 10
- 0.322
language_score: 0.728
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.87
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- ma
- mai
- ano
- mino
- "\xEDda"
- banta
- "v\xE1"
- van
- kayo
- "m\xE1an"
- mi
- "m\xE1a"
- ankan
- nanin
- "m\xE1"
top_n_grams:
- - 2
- 0.299
- - 3
- 0.305
- - 4
- 0.3
================================================
FILE: configs/agg_Latn.yml
================================================
dup_line_frac: 0.375
dup_n_grams:
- - 5
- 0.389
- - 6
- 0.381
- - 7
- 0.367
- - 8
- 0.349
- - 9
- 0.333
- - 10
- 0.314
language_score: 0.878
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 4
new_line_ratio: 0.056
stopwords:
- ai
- asu
- nindou
- ra
- "\u014Bga"
- se
- "hohoan\u0268mo"
- "hoaf\u0268"
- ranai
- ro
- "ran\u0268"
- ana
- "ahand\u0268"
- ranahambo
- god
- "moat\xFCkun\u0268"
top_n_grams:
- - 2
- 0.178
- - 3
- 0.176
- - 4
- 0.181
================================================
FILE: configs/agm_Latn.yml
================================================
dup_line_frac: 0.21
dup_n_grams:
- - 5
- 0.041
- - 6
- 0.034
- - 7
- 0.032
- - 8
- 0.029
- - 9
- 0.026
- - 10
- 0.024
language_score: 0.841
line_punct_thr: -1
max_avg_word_length: 29
max_non_alpha_words_ratio: 0.818
min_avg_word_length: 5
new_line_ratio: 0.056
stopwords:
- "am\u0268"
- "is\u0268hiya"
- "p\u0268w\u0268ha"
- "sah\u0268"
- "n\u0268n\u0268"
- "autaahaat\u0268ho"
- "w\u0268nd\u0268"
- "kom\u0268"
- ko
- "aih\u0268"
- "iyataat\u0268"
- "net\u0268"
- kiya
- "autaahaat\u0268hom\u0268"
- "nyah\u0268"
top_n_grams:
- - 2
- 0.146
- - 3
- 0.118
- - 4
- 0.096
================================================
FILE: configs/agn_Latn.yml
================================================
dup_line_frac: 0.329
dup_n_grams:
- - 5
- 0.261
- - 6
- 0.251
- - 7
- 0.234
- - 8
- 0.222
- - 9
- 0.2
- - 10
- 0.192
language_score: 0.652
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- ang
- ong
- tang
- mga
- ig
- na
- ta
- nira
- si
- dios
- ni
- taw
- indi
- mi
- ka
- tenged
top_n_grams:
- - 2
- 0.53
- - 3
- 0.48
- - 4
- 0.414
================================================
FILE: configs/agr_Latn.yml
================================================
dup_line_frac: 0.373
dup_n_grams:
- - 5
- 0.184
- - 6
- 0.179
- - 7
- 0.169
- - 8
- 0.156
- - 9
- 0.145
- - 10
- 0.128
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.737
min_avg_word_length: 4
new_line_ratio: 0.083
stopwords:
- "apaju\xED"
- aents
- nuna
- "ash\xED"
- "nun\xFA"
- aidau
- shiig
- tusa
- duka
- mina
top_n_grams:
- - 2
- 0.948
- - 3
- 0.842
- - 4
- 0.691
================================================
FILE: configs/agt_Latn.yml
================================================
dup_line_frac: 0.4
dup_n_grams:
- - 5
- 0.36
- - 6
- 0.357
- - 7
- 0.344
- - 8
- 0.335
- - 9
- 0.314
- - 10
- 0.298
language_score: 0.751
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.84
min_avg_word_length: 2
new_line_ratio: 0.05
stopwords:
- na
- ta
- a
- ya
- te
- kiden
- hapa
- nga
- da
- muy
- en
- namaratu
- am
- sangaw
- ikid
- ni
- ammi
- la
- kid
- hesus
- gafu
top_n_grams:
- - 2
- 0.324
- - 3
- 0.295
- - 4
- 0.247
================================================
FILE: configs/agu_Latn.yml
================================================
dup_line_frac: 0.127
dup_n_grams:
- - 5
- 0.144
- - 6
- 0.13
- - 7
- 0.106
- - 8
- 0.094
- - 9
- 0.084
- - 10
- 0.076
language_score: 0.842
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.729
min_avg_word_length: 3
new_line_ratio: 0.05
stopwords:
- yi
- na
- tan
- nin
- e
- jun
- tetz
- i
- te
- ryos
- at
- tu
- tzun
- poro
top_n_grams:
- - 2
- 0.108
- - 3
- 0.11
- - 4
- 0.101
================================================
FILE: configs/agw_Latn.yml
================================================
dup_line_frac: 0.676
dup_n_grams:
- - 5
- 0.488
- - 6
- 0.481
- - 7
- 0.459
- - 8
- 0.445
- - 9
- 0.436
- - 10
- 0.416
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.803
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- na
- ki
- ma
- i
- ka
- vi
- o
- ni
- "ig\xEA"
- ga
- enoni
- ngaia
- me
- "in\xEA"
- page
- god
top_n_grams:
- - 2
- 0.923
- - 3
- 0.84
- - 4
- 0.732
================================================
FILE: configs/agx_Cyrl.yml
================================================
dup_line_frac: 0.456
dup_n_grams:
- - 5
- 0.231
- - 6
- 0.242
- - 7
- 0.248
- - 8
- 0.202
- - 9
- 0.16
- - 10
- 0.145
language_score: 0.324
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.714
min_avg_word_length: 4
new_line_ratio: 0.091
stopwords:
- "\u043F\u0443\u043D\u0430\u044F"
- "\u0445\u044C\u0443\u043D\u0430\u044F"
- "\u044D"
- "\u0437\u0443\u043D"
- "\u0433\u0435"
- "\u0441\u0430"
- "\u0430\u043B\u043B\u0430\u0433\u044C\u0434\u0438\u043D"
- "\u0443\u0447\u0438\u043D"
- "\u0447\u0443\u043D"
- "\u0432\u0443\u043D"
- "\u0447\u0432\u0430\u0441"
- "\u0456\u0438\u0441\u0430\u0439\u0438"
- "\u04CF\u0438\u0441\u0430\u0439\u0438"
- "\u0433\u0435\u0431\u0443\u0440\u0438\u0441"
top_n_grams:
- - 2
- 0.41
- - 3
- 0.466
- - 4
- 0.41
================================================
FILE: configs/aha_Latn.yml
================================================
dup_line_frac: 0.331
dup_n_grams:
- - 5
- 0.209
- - 6
- 0.196
- - 7
- 0.194
- - 8
- 0.178
- - 9
- 0.17
- - 10
- 0.146
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.778
min_avg_word_length: 2
new_line_ratio: 0.1
stopwords:
- "n\u0269"
- "y\u0269"
- "m\u0254\u0254"
- "k\u025B\u025B"
- "y\u025B"
- a
- nu
- "w\u0254"
- "nw\u028B"
- na
- "z\u028B"
- "n\u0269\u0269"
- gyehova
- "b\u025B"
- be
- yi
- "w\u028B"
- "nyam\u0269nl\u0269"
top_n_grams:
- - 2
- 0.543
- - 3
- 0.365
- - 4
- 0.286
================================================
FILE: configs/ahk_Latn.yml
================================================
dup_line_frac: 0.112
dup_n_grams:
- - 5
- 0.159
- - 6
- 0.135
- - 7
- 0.114
- - 8
- 0.1
- - 9
- 0.088
- - 10
- 0.077
language_score: 0.776
line_punct_thr: -1
max_avg_word_length: 19
max_non_alpha_words_ratio: 0.819
min_avg_word_length: 2
new_line_ratio: 0.083
stopwords:
- "a\u02EC"
- meh
- "ma\u02EC"
- neh
- ma
- "je\u02EC"
- "ga\u02C7"
- "k\u02BCoe\u02C7"
- eu
- "na\u02C7"
- yaw
- "leh\u02C7"
- "tsaw\u02C7"
- "eh\u02C7"
- "deu\u02EC"
- dui
- "yaw\uA788"
- "mi\u02C7"
- ni
- "ti\u02EC"
- "ha\u02EC"
- "g\u02BCa\u02EC"
top_n_grams:
- - 2
- 0.197
- - 3
- 0.192
- - 4
- 0.14
================================================
FILE: configs/aia_Latn.yml
================================================
dup_line_frac: 0.247
dup_n_grams:
- - 5
- 0.239
- - 6
- 0.231
- - 7
- 0.218
- - 8
- 0.203
- - 9
- 0.194
- - 10
- 0.176
language_score: 0.805
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.696
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- na
- a
- na'i
- god
- ma
- anai
- mana
- sae
- moi
- i
- ia
- rau
- ra
- jisas
- nei
- ai'a
- inia
top_n_grams:
- - 2
- 0.558
- - 3
- 0.527
- - 4
- 0.475
================================================
FILE: configs/aii_Syrc.yml
================================================
dup_line_frac: 0.321
dup_n_grams:
- - 5
- 0.167
- - 6
- 0.159
- - 7
- 0.149
- - 8
- 0.14
- - 9
- 0.132
- - 10
- 0.122
language_score: 0.678
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.769
min_avg_word_length: 3
new_line_ratio: 0.111
stopwords:
- "\u060C"
- "\u0720\u0739\u0717"
- "\u0721\u0323\u0722"
- "\u0720\u0717\u0718\u073F\u0722"
- "\u0712\u0738\u072C"
- "\u0723\u0735\u0712\u0735\u0712"
- "\u0710\u071D\u073C\u0722\u0735\u0710"
- "\u071D\u0720\u0739\u0717"
- "\u071F\u0739\u0710"
- "\u0720\u0739\u0710"
- "\u0720\u0735\u0710"
top_n_grams:
- - 2
- 0.66
- - 3
- 0.706
- - 4
- 0.663
================================================
FILE: configs/aim_Latn.yml
================================================
dup_line_frac: 0.913
dup_n_grams:
- - 5
- 0.419
- - 6
- 0.412
- - 7
- 0.343
- - 8
- 0.321
- - 9
- 0.297
- - 10
- 0.281
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.851
min_avg_word_length: 2
new_line_ratio: 0.062
stopwords:
- a
- ha
- na
- an
- ning
- kan
- om
- han
- nang
- jiang
- ka
- pathian
- rang
- ani
- tak
- jui
- lui
- le
- hong
- man
- hale
- nan
- ni
- khat
- ama
- chong
- in
- hi
top_n_grams:
- - 2
- 1.002
- - 3
- 0.88
- - 4
- 0.792
================================================
FILE: configs/ain_Latn.yml
================================================
dup_line_frac: 0.416
dup_n_grams:
- - 5
- 0.335
- - 6
- 0.323
- - 7
- 0.296
- - 8
- 0.273
- - 9
- 0.247
- - 10
- 0.229
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.811
min_avg_word_length: 2
new_line_ratio: 0.067
stopwords:
- ne
- gusu
- utara
- ruwe
- an
- anak
- 'no'
- nei
- wa
- koro
- echi
- orowa
- ku
- ambe
- otta
- na
- shinuma
- kuni
- nisa
- itak
- kamui
- guru
- ki
- okai
- yakka
top_n_grams:
- - 2
- 0.492
- - 3
- 0.432
- - 4
- 0.401
================================================
FILE: configs/ajg_Latn.yml
================================================
dup_line_frac: 0.374
dup_n_grams:
- - 5
- 0.237
- - 6
- 0.218
- - 7
- 0.206
- - 8
- 0.191
- - 9
- 0.183
- - 10
- 0.167
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.091
stopwords:
- "y\xED"
- "n\u0254"
- le
- "m\u0254"
- ci
- "m\u025B"
- "l\u0254"
- nu
- "ko\u0256o"
- do
- ji
- yehowa
- ciwo
- nyi
- yi
- "m\xEC"
- "l\xE9"
- so
top_n_grams:
- - 2
- 1.063
- - 3
- 1.392
- - 4
- 0.974
================================================
FILE: configs/aji_Latn.yml
================================================
dup_line_frac: 0.314
dup_n_grams:
- - 5
- 0.3
- - 6
- 0.295
- - 7
- 0.286
- - 8
- 0.274
- - 9
- 0.261
- - 10
- 0.245
language_score: 0.876
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.769
min_avg_word_length: 2
new_line_ratio: 0.059
stopwords:
- na
- "y\xE8"
- i
- "m\xE2"
- vi
- "p\xE2r\u0302\xE2"
- "r\xE9"
- "r\xF6"
- ka
- "b\xF6r\u0302i"
- "\xEAr\u0302\xEA"
- e
- "w\xE8"
- "a\xE8"
- "k\xE2m\xF6"
- "t\xF6"
- "c\xE9r\u0302\xE9"
- "r\u0302\xE9"
- da
- "k\xE9"
- "\xE9"
- "w\xEA"
- xi
- "p\xE8"
- "v\xE8"
- "x\xE8"
- ve
- ki
top_n_grams:
- - 2
- 0.154
- - 3
- 0.151
- - 4
- 0.15
================================================
FILE: configs/ajz_Latn.yml
================================================
dup_line_frac: 0.532
dup_n_grams:
- - 5
- 0.095
- - 6
- 0.092
- - 7
- 0.073
- - 8
- 0.068
- - 9
- 0.063
- - 10
- 0.058
language_score: 0.668
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.763
min_avg_word_length: 3
new_line_ratio: 0.067
stopwords:
- aro
- anang
- yok
- hel
- nali
- ne
- tene
- po
- labang
- ke
- anali
- long
- arnam
- do
- pu
- nang
- kido
- manta
- la
- arleng
- piyok
- para
top_n_grams:
- - 2
- 0.261
- - 3
- 0.269
- - 4
- 0.265
================================================
FILE: configs/akb_Latn.yml
================================================
dup_line_frac: 0.431
dup_n_grams:
- - 5
- 0.329
- - 6
- 0.316
- - 7
- 0.301
- - 8
- 0.273
- - 9
- 0.256
- - 10
- 0.235
language_score: 0.624
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- na
- i
- ma
- ni
- do
- tu
- di
- halahi
- hamu
- ia
- angka
- halak
- dohot
- si
- jana
- debata
- sian
- jesus
- dung
- au
- songon
- nada
top_n_grams:
- - 2
- 0.781
- - 3
- 0.764
- - 4
- 0.682
================================================
FILE: configs/ake_Latn.yml
================================================
dup_line_frac: 0.392
dup_n_grams:
- - 5
- 0.394
- - 6
- 0.389
- - 7
- 0.379
- - 8
- 0.364
- - 9
- 0.346
- - 10
- 0.329
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.657
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- pe
- uya
- "m\u0268r\u0268"
- "r\u0268"
- kon
- "p\u0268"
- to
- "p\u0289ra"
- "awonsi'k\u0268"
- "am\u0289"
- yau
- iya
- ton
- papa
- "ta'p\u0289"
- esi
- iyesi
- "n\u0268"
- e'tane
- "m\u0268r\u0268pan"
- "ser\u0268"
- sises
- a'tai
top_n_grams:
- - 2
- 0.154
- - 3
- 0.16
- - 4
- 0.162
================================================
FILE: configs/akh_Latn.yml
================================================
dup_line_frac: 0.206
dup_n_grams:
- - 5
- 0.229
- - 6
- 0.209
- - 7
- 0.183
- - 8
- 0.162
- - 9
- 0.147
- - 10
- 0.131
language_score: 0.647
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.902
min_avg_word_length: 3
new_line_ratio: 0.036
stopwords:
- ora
- ngo
- bor
- ngub
- nao
- di
- ko
- bu
- sao
- tomb
- aol
- ub
- o
- baeben
- tenaol
- obu
- aondao
- was
- obum
- angal
- kakl
top_n_grams:
- - 2
- 0.762
- - 3
- 0.72
- - 4
- 0.658
================================================
FILE: configs/akp_Latn.yml
================================================
dup_line_frac: 0.236
dup_n_grams:
- - 5
- 0.215
- - 6
- 0.212
- - 7
- 0.206
- - 8
- 0.196
- - 9
- 0.182
- - 10
- 0.172
language_score: 0.834
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 2
new_line_ratio: 0.067
stopwords:
- i
- ne
- "s\u0254"
- ma
- ame
- "g\u0254"
- "\u0263aa"
- "fi\u025B"
- iso
- mi
- si
- "\u0254\u0303"
- gu
- "w\u0169"
- "\u0263\u025B\u025B"
- "\u0254so"
- yesu
- ara
top_n_grams:
- - 2
- 0.147
- - 3
- 0.16
- - 4
- 0.172
================================================
FILE: configs/ald_Latn.yml
================================================
dup_line_frac: 0.01
dup_n_grams:
- - 5
- 0.041
- - 6
- 0.023
- - 7
- 0.012
- - 8
- 0.006
- - 9
- 0.005
- - 10
- 0.003
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.769
min_avg_word_length: 2
new_line_ratio: 0.05
stopwords:
- "l\u0254"
- "m\u025B\u0300n"
- "n\u0254n"
- "l\xE9yi"
- "d\xFA"
- le
- "y\u0254"
- "n\u025B\u0300n"
- "k\u025B"
- "k\u0269"
- "b\u0254\u0300"
- ke
- "h\xE1n"
- "h\u0254\u0300n"
- "\u0254w\u0254"
- "m\xE1n"
- "ny\u025B\u0301n"
- "ank\xE0"
- "n\u025B\u0301n"
- "t\xE1n"
- "s\u0269\u0300"
- "d\u0254\u0301"
- "l\u025B"
top_n_grams:
- - 2
- 0.281
- - 3
- 0.142
- - 4
- 0.159
================================================
FILE: configs/alj_Latn.yml
================================================
dup_line_frac: 0.573
dup_n_grams:
- - 5
- 0.579
- - 6
- 0.565
- - 7
- 0.546
- - 8
- 0.525
- - 9
- 0.503
- - 10
- 0.479
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.818
min_avg_word_length: 3
new_line_ratio: 0.071
stopwords:
- in
- sa
- mga
- wa
- kansiyo
- keyen
- siyo
- osai
- diyos
- pag
- kangay
- kay
- batay
- ina
- yewed
- na
- kanyo
- siro
- isos
- 'no'
- mangyan
- ako
- kamo
- boo
top_n_grams:
- - 2
- 1.877
- - 3
- 2.12
- - 4
- 2.103
================================================
FILE: configs/aln_Latn.yml
================================================
dup_line_frac: 0.587
dup_n_grams:
- - 5
- 0.427
- - 6
- 0.425
- - 7
- 0.421
- - 8
- 0.412
- - 9
- 0.4
- - 10
- 0.386
language_score: 0.337
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.786
min_avg_word_length: 2
new_line_ratio: 0.071
stopwords:
- "t\xEB"
- e
- dhe
- i
- "n\xEB"
- "q\xEB"
- do
- me
- "p\xEBr"
- u
- "nj\xEB"
- nga
- edhe
- nuk
top_n_grams:
- - 2
- 0.242
- - 3
- 0.21
- - 4
- 0.176
================================================
FILE: configs/alp_Latn.yml
================================================
dup_line_frac: 0.462
dup_n_grams:
- - 5
- 0.407
- - 6
- 0.399
- - 7
- 0.387
- - 8
- 0.372
- - 9
- 0.351
- - 10
- 0.334
language_score: 0.656
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.84
min_avg_word_length: 3
new_line_ratio: 0.062
stopwords:
- esi
- kai
- rebe
- kena
- tamata
- imi
- mere
- au
- eni
- alla
- be
- bei
- mo
- loko
- ete
- hoko
- yesuse
- le
- eleki
- po
- ite
- leke
- me
top_n_grams:
- - 2
- 0.608
- - 3
- 0.595
- - 4
- 0.536
================================================
FILE: configs/alq_Latn.yml
================================================
dup_line_frac: 0.429
dup_n_grams:
- - 5
- 0.442
- - 6
- 0.433
- - 7
- 0.417
- - 8
- 0.399
- - 9
- 0.377
- - 10
- 0.349
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.765
min_avg_word_length: 3
new_line_ratio: 0.067
stopwords:
- ka
- kidji
- dac
- in
- acitc
- e
- kije
- ogi
- ki
- kitci
- ka8
- iji
- manido
- kagi
- jesos
- mi
- ega
- kakina
- adi
- odji
- apitc
top_n_grams:
- - 2
- 0.937
- - 3
- 0.823
- - 4
- 0.719
================================================
FILE: configs/als_Latn.yml
================================================
dup_line_frac: 0.241
dup_n_grams:
- - 5
- 0.131
- - 6
- 0.122
- - 7
- 0.113
- - 8
- 0.105
- - 9
- 0.096
- - 10
- 0.087
language_score: 0.757
line_punct_thr: 0.066
max_avg_word_length: 14
max_non_alpha_words_ratio: 0.788
min_avg_word_length: 1
new_line_ratio: 0.273
stopwords:
- "t\xEB"
- e
- "n\xEB"
- dhe
- i
- "nj\xEB"
- me
- nga
- "p\xEBr"
- "\xEBsht\xEB"
- "q\xEB"
- "m\xEB"
- u
- si
top_n_grams:
- - 2
- 0.152
- - 3
- 0.136
- - 4
- 0.116
================================================
FILE: configs/alt_Cyrl.yml
================================================
dup_line_frac: 0.7
dup_n_grams:
- - 5
- 0.412
- - 6
- 0.402
- - 7
- 0.386
- - 8
- 0.365
- - 9
- 0.348
- - 10
- 0.317
language_score: 0.3
line_punct_thr: 0.286
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.671
min_avg_word_length: 4
new_line_ratio: 0.182
stopwords:
- "\u043B\u0430"
- "\u043B\u0435"
- "\u0434\u0435\u043F"
- "\u0458\u044B\u043B\u0434\u0430"
- "\u0431\u043E\u043B\u0433\u043E\u043D"
- "\u0430\u0439\u0434\u044B\u04A5"
- "\u0430\u043B\u0442\u0430\u0439"
- "\u0458\u044B\u043B\u0434\u044B\u04A5"
- "\u043A\u04F1\u043D\u0438"
- "\u0458\u0443\u0440\u0442"
- "\u0431\u0443"
- "\u0458\u0430\u0430\u043D"
- "\u0430\u0430\u0439\u044B\u043D\u0447\u0430"
- "\u0458\u0435\u0442\u0438\u0440\u0435"
- "\u0441"
- "\u043A\u04E7\u043F"
- "\u0441\u0443\u0443"
- "\u0430\u043B\u0430"
- "\u0458.\u0447\u044B\u043A"
- "\xB0"
- "\u0440\u0435\u0441\u043F\u0443\u0431\u043B\u0438\u043A\u0430\u043D\u044B\u04A5"
- "\u043E\u0440\u0443\u0441"
top_n_grams:
- - 2
- 1.337
- - 3
- 1.339
- - 4
- 1.217
================================================
FILE: configs/aly_Latn.yml
================================================
dup_line_frac: 0.244
dup_n_grams:
- - 5
- 0.884
- - 6
- 0.943
- - 7
- 0.955
- - 8
- 0.924
- - 9
- 0.854
- - 10
- 0.746
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.623
min_avg_word_length: 4
new_line_ratio: 0.062
stopwords:
- rnem
- renh
- warl
- ikwer
- ra
- rernem
- anem
- angenh
- jesus
- kenh
- ingwer
- artwa
- antey
- then
- angkwarr
- arrantherr
- el
- apmer
- ilek
- altyerr
- angka
top_n_grams:
- - 2
- 3.264
- - 3
- 3.942
- - 4
- 4.401
================================================
FILE: configs/alz_Latn.yml
================================================
dup_line_frac: 0.444
dup_n_grams:
- - 5
- 0.422
- - 6
- 0.406
- - 7
- 0.379
- - 8
- 0.358
- - 9
- 0.334
- - 10
- 0.309
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.765
min_avg_word_length: 2
new_line_ratio: 0.1
stopwords:
- ma
- i
- ku
- mi
- man
- nia
- lembe
- ni
- ngo
- yehova
- pa
- dhanu
- de
- moko
- pi
- kum
top_n_grams:
- - 2
- 1.086
- - 3
- 1.098
- - 4
- 1.048
================================================
FILE: configs/ame_Latn.yml
================================================
dup_line_frac: 0.293
dup_n_grams:
- - 5
- 0.208
- - 6
- 0.202
- - 7
- 0.192
- - 8
- 0.179
- - 9
- 0.167
- - 10
- 0.153
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.667
min_avg_word_length: 3
new_line_ratio: 0.2
stopwords:
- "\xF1e\xF1t\u0303"
- "e'\xF1e"
- o'ch
- "\xF1e\xF1th"
- "atet\u0303"
- ama
- yompor
- ateth
- "\xF1amha"
- "\xF1am\u0303a"
- o
- ama't
- atarr
- "a\xF1"
- "\xF1erra'm"
- all
- amach
- "\xBF"
- "e\u02BC\xF1e"
- allempo
top_n_grams:
- - 2
- 1.681
- - 3
- 1.495
- - 4
- 1.367
================================================
FILE: configs/amf_Latn.yml
================================================
dup_line_frac: 0.583
dup_n_grams:
- - 5
- 0.406
- - 6
- 0.376
- - 7
- 0.351
- - 8
- 0.311
- - 9
- 0.287
- - 10
- 0.261
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.778
min_avg_word_length: 4
new_line_ratio: 0.083
stopwords:
- ki
- ko
- ke
- kinin
- hamade
- hamayse
- kiam
- kina
- kena
- kenin
- eedi
- barjosa
- yisa
- yesus
- barjo
- inin
- kisa
- eena
- konin
- yenin
- wul
- inta
- kinka
- yena
- yin
- yer
- woylamin
- yinin
- ida
- ta
- isa
- yedi
- ogo
- dahade
- koda
- keam
- wodanka
- i
- dahaannaar
- kida
- peen
- imbaa
- yesa
- ea
- barjodar
- wonin
- pir
- harrna
- iam
- giyade
- yeam
- dohon
- hambhidianna
- hanna
- kesa
- ogonante
- kalaa
top_n_grams:
- - 2
- 0.795
- - 3
- 0.739
- - 4
- 0.613
================================================
FILE: configs/amh_Ethi.yml
================================================
dup_line_frac: 0.672
dup_n_grams:
- - 5
- 0.273
- - 6
- 0.242
- - 7
- 0.228
- - 8
- 0.205
- - 9
- 0.183
- - 10
- 0.157
language_score: 0.3
line_punct_thr: 0.0
max_avg_word_length: 24
max_non_alpha_words_ratio: 0.824
min_avg_word_length: 1
new_line_ratio: 0.417
stopwords:
- "\u1363"
- "\u1290\u12CD"
- "\u12A5\u1293"
- "\u1361"
- "\u121D\u1233\u120C"
- "\u120B\u12ED"
- "\u1364"
- "\u1290\u1260\u122D"
- "\u12CD\u1235\u1325"
- "\u130D\u1295"
- "\u12C8\u12F0"
- "\u120D\u1306\u127D"
- "\u12A5\u1295\u12F0"
- "\u12E8\u12A0\u121B\u122D\u129B"
- "\u12C8\u12ED\u121D"
- "\u1290\u1308\u122D"
- "\u1260\u128B\u120B"
- "\u130A\u12DC"
- "\u1240\u1295"
- "\u1232\u1206\u1295"
- "\u130B\u122D"
- "\u12D8\u1218\u1295"
- "\u12D3.\u121D."
- "\u12A5\u1235\u12A8"
- "\u12ED\u1205"
- "\u1275\u122D\u1309\u1219"
- "\u12E8\u12A2\u1275\u12EE\u1335\u12EB"
- "\u1366"
top_n_grams:
- - 2
- 0.535
- - 3
- 0.433
- - 4
- 0.388
================================================
FILE: configs/ami_Latn.yml
================================================
dup_line_frac: 0.938
dup_n_grams:
- - 5
- 0.397
- - 6
- 0.361
- - 7
- 0.338
- - 8
- 0.313
- - 9
- 0.292
- - 10
- 0.268
language_score: 0.3
line_punct_thr: 0.23
max_avg_word_length: 50
max_non_alpha_words_ratio: 0.667
min_avg_word_length: 3
new_line_ratio: 0.156
stopwords:
- a
- 'no'
- ko
- i
- to
- o
- tamdaw
- ato
- kitakit
- ira
- miheca
top_n_grams:
- - 2
- 1.183
- - 3
- 1.213
- - 4
- 1.122
================================================
FILE: configs/amk_Latn.yml
================================================
dup_line_frac: 0.543
dup_n_grams:
- - 5
- 0.461
- - 6
- 0.431
- - 7
- 0.414
- - 8
- 0.394
- - 9
- 0.357
- - 10
- 0.335
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- we
- na
- ne
- tuti
- fo
- mani
- kaha
- allai
- inontarai
- foi
- mea
- weo
- wiro
- kariri
- ambori
- fosa
- mano
- kontai
- yesusi
top_n_grams:
- - 2
- 1.407
- - 3
- 1.38
- - 4
- 1.258
================================================
FILE: configs/amm_Latn.yml
================================================
dup_line_frac: 0.329
dup_n_grams:
- - 5
- 0.69
- - 6
- 0.684
- - 7
- 0.667
- - 8
- 0.647
- - 9
- 0.627
- - 10
- 0.591
language_score: 0.597
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.743
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- mo
- na
- 'no'
- monoi
- noko
- imo
- mulu
- ulai
- pa
- nokota
- yo
- kotoni
- hani
- molo
top_n_grams:
- - 2
- 1.198
- - 3
- 1.216
- - 4
- 1.147
================================================
FILE: configs/amn_Latn.yml
================================================
dup_line_frac: 0.523
dup_n_grams:
- - 5
- 0.326
- - 6
- 0.306
- - 7
- 0.285
- - 8
- 0.265
- - 9
- 0.245
- - 10
- 0.223
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.826
min_avg_word_length: 3
new_line_ratio: 0.067
stopwords:
- afa
- el
- mo
- eba
- asa
- ka
- enaig
- ne
- enag
- sa
- ehe
- mas
- eso
- og
- elim
- godna
- god
- nem
top_n_grams:
- - 2
- 1.053
- - 3
- 0.97
- - 4
- 0.766
================================================
FILE: configs/amp_Latn.yml
================================================
dup_line_frac: 0.756
dup_n_grams:
- - 5
- 0.424
- - 6
- 0.433
- - 7
- 0.403
- - 8
- 0.401
- - 9
- 0.346
- - 10
- 0.334
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.778
min_avg_word_length: 4
new_line_ratio: 0.062
stopwords:
- nd
- bro
- kfo
- nhai
- be
- tfit
- wom
- inji
- bi
- yimam
- yima
- na
- to
- nkifrar
- yak
- mrokfom
top_n_grams:
- - 2
- 0.897
- - 3
- 0.869
- - 4
- 0.781
================================================
FILE: configs/amr_Latn.yml
================================================
dup_line_frac: 0.106
dup_n_grams:
- - 5
- 0.096
- - 6
- 0.069
- - 7
- 0.047
- - 8
- 0.05
- - 9
- 0.036
- - 10
- 0.025
language_score: 0.63
line_punct_thr: -1
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.69
min_avg_word_length: 5
new_line_ratio: 0.091
stopwords:
- diosa
- konig
- diosen
- "kenpa\u02BCti"
- kenda
- diostaj
- ken
- huairi
- "dakhuea\u02BC"
top_n_grams:
- - 2
- 0.349
- - 3
- 0.244
- - 4
- 0.153
================================================
FILE: configs/amu_Latn.yml
================================================
dup_line_frac: 0.22
dup_n_grams:
- - 5
- 0.197
- - 6
- 0.191
- - 7
- 0.18
- - 8
- 0.169
- - 9
- 0.158
- - 10
- 0.147
language_score: 0.82
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.667
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- na
- ndo
- "nn'a\u207F"
- jo
- "jnda\u0331"
- "ty'o\u0331o\u0331ts'om"
- quia
- cantyja
- ee
- cwii
- "\xF1equio"
- "sa\u0331a\u0331"
- "\xF1'oom"
- "ts'a\u207F"
- juu
- jom
top_n_grams:
- - 2
- 0.178
- - 3
- 0.187
- - 4
- 0.187
================================================
FILE: configs/amx_Latn.yml
================================================
dup_line_frac: 0.6
dup_n_grams:
- - 5
- 0.432
- - 6
- 0.414
- - 7
- 0.401
- - 8
- 0.373
- - 9
- 0.355
- - 10
- 0.334
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.682
min_avg_word_length: 4
new_line_ratio: 0.062
stopwords:
- rang
- tjerrtj
- inang
- renh
- jesu
- itja
- warn
- map
- arrantherr
- angketj
- anem
- inenh
- henh
- apek
- altjerr
- ilek
- nhenh
- kwer
- kaltj
- ntwang
- arrpenh
- artwang
- lakenh
- el
top_n_grams:
- - 2
- 1.489
- - 3
- 1.471
- - 4
- 1.408
================================================
FILE: configs/ang_Latn.yml
================================================
dup_line_frac: 0.628
dup_n_grams:
- - 5
- 0.472
- - 6
- 0.444
- - 7
- 0.405
- - 8
- 0.356
- - 9
- 0.341
- - 10
- 0.288
language_score: 0.3
line_punct_thr: 0.111
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.804
min_avg_word_length: 2
new_line_ratio: 0.2
stopwords:
- and
- is
- in
- 'on'
- se
- of
- "\xFE\u01E3m"
- "\xFE\xE6s"
- his
- "\xFEe"
- "\xFE\xE6t"
- "\u01BF\xE6s"
top_n_grams:
- - 2
- 0.724
- - 3
- 0.581
- - 4
- 0.538
================================================
FILE: configs/anm_Latn.yml
================================================
dup_line_frac: 0.34
dup_n_grams:
- - 5
- 0.249
- - 6
- 0.221
- - 7
- 0.21
- - 8
- 0.196
- - 9
- 0.181
- - 10
- 0.162
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.077
stopwords:
- tuwng
- to
- tuthal
- hin
- ki
- hinto
- thung
- "pu\u0331ruwng"
- ru
- ama
- "asapav\u0101n"
top_n_grams:
- - 2
- 1.076
- - 3
- 1.086
- - 4
- 0.848
================================================
FILE: configs/ann_Latn.yml
================================================
dup_line_frac: 0.473
dup_n_grams:
- - 5
- 0.296
- - 6
- 0.28
- - 7
- 0.259
- - 8
- 0.24
- - 9
- 0.223
- - 10
- 0.204
language_score: 0.743
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.806
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- me
- "m\xE8"
- ebi
- ya
- lek
- ibe
- inu
- ogwu
- inyi
- awaji
- enyi
- ene
- "mgb\u1ECD"
- ema
- ke
- ire
- eyi
- "\xECre"
- "\u1ECDm\u1ECD"
- eji
- "kan\u0304"
- si
- "jis\u1ECDs"
- geelek
- mije
top_n_grams:
- - 2
- 1.289
- - 3
- 1.275
- - 4
- 1.14
================================================
FILE: configs/anp_Deva.yml
================================================
dup_line_frac: 0.939
dup_n_grams:
- - 5
- 0.385
- - 6
- 0.364
- - 7
- 0.341
- - 8
- 0.318
- - 9
- 0.295
- - 10
- 0.273
language_score: 0.325
line_punct_thr: 0.0
max_avg_word_length: 21
max_non_alpha_words_ratio: 0.864
min_avg_word_length: 2
new_line_ratio: 0.593
stopwords:
- "\u0915\u0947"
- "\u092E\u0947\u0902"
- "\u0939\u0948"
- "\u0915\u0940"
- "\u0914\u0930"
- "\u0915\u093E"
- "\u0938\u0947"
- "\u091B\u0948"
- "\u0915\u094B"
- "\u0939\u0948\u0902"
- "\u090F\u0915"
top_n_grams:
- - 2
- 1.967
- - 3
- 1.614
- - 4
- 0.953
================================================
FILE: configs/anv_Latn.yml
================================================
dup_line_frac: 0.162
dup_n_grams:
- - 5
- 0.163
- - 6
- 0.14
- - 7
- 0.12
- - 8
- 0.112
- - 9
- 0.095
- - 10
- 0.097
language_score: 0.767
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.824
min_avg_word_length: 3
new_line_ratio: 0.062
stopwords:
- ne
- "b\u0254\u0254\u0301"
- "\u025Bs\u0254w\u0254"
- ji
- "nno\u0301"
- "ne\u0301"
- ayi
- "\u025Bbw\u0254\u0301"
- me
- "jis\u0254s"
- "n\xE9"
- "nn\xF3"
- "\u025Bnyu\u0301"
- "nd\u025Bre"
- abi
- "muu\u0301"
- "f\u0254\u0301"
top_n_grams:
- - 2
- 0.366
- - 3
- 0.217
- - 4
- 0.155
================================================
FILE: configs/any_Latn.yml
================================================
dup_line_frac: 0.619
dup_n_grams:
- - 5
- 0.44
- - 6
- 0.425
- - 7
- 0.455
- - 8
- 0.405
- - 9
- 0.346
- - 10
- 0.288
language_score: 0.748
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.795
min_avg_word_length: 2
new_line_ratio: 0.05
stopwords:
- "m\u0254"
- "\u0254"
- "y\u0269\u0301"
- "b\u025B"
- "k\u025B"
- man
- "k\u0254"
- "n\u0269n"
- "b\u025B\u0301"
- "\u025Bm\u0254"
- a
- "nyanm\u0269an"
- "m\u0269n"
- "t\u0269"
- "m'\u0254"
- "n\u028Bn"
- "m\u0269\u0301n"
- "y\u025B\u0301"
- anun
- nun
- "nw\u028Bn"
top_n_grams:
- - 2
- 1.262
- - 3
- 1.229
- - 4
- 1.081
================================================
FILE: configs/aoi_Latn.yml
================================================
dup_line_frac: 0.007
dup_n_grams:
- - 5
- 0.119
- - 6
- 0.098
- - 7
- 0.079
- - 8
- 0.065
- - 9
- 0.06
- - 10
- 0.051
language_score: 0.888
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.647
min_avg_word_length: 4
new_line_ratio: 0.048
stopwords:
- langwa
- manja
- wa
- nakina
- akwa
- kembirra
- ni
- ka
- yama
- da
- umba
- warnumamalya
- wurrakina
- ayakwa
- jesus
- yada
- arakba
- akina
- eneja
- nara
- ngayuwa
- ngawa
- angalya
- neningikarrawara
- ena
- biya
top_n_grams:
- - 2
- 0.202
- - 3
- 0.219
- - 4
- 0.144
================================================
FILE: configs/aoj_Latn.yml
================================================
dup_line_frac: 0.332
dup_n_grams:
- - 5
- 0.299
- - 6
- 0.291
- - 7
- 0.278
- - 8
- 0.263
- - 9
- 0.248
- - 10
- 0.233
language_score: 0.622
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.727
min_avg_word_length: 4
new_line_ratio: 0.059
stopwords:
- "ea\uA78C"
- ma
- basef
- esis
- ina
- waf
- ea
- amam
- anama
- god
- "owa\uA78C"
- epes
- "ae\uA78C"
- amama
- "dei\uA78C"
- godi
top_n_grams:
- - 2
- 0.405
- - 3
- 0.386
- - 4
- 0.312
================================================
FILE: configs/aom_Latn.yml
================================================
dup_line_frac: 0.365
dup_n_grams:
- - 5
- 0.365
- - 6
- 0.357
- - 7
- 0.344
- - 8
- 0.329
- - 9
- 0.311
- - 10
- 0.294
language_score: 0.691
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.839
min_avg_word_length: 4
new_line_ratio: 0.062
stopwords:
- god
- "\xEBhi"
- hesi
- bogo
- "h\xF6jo"
- are
- mae
- ae
- "r\xF6hu"
- "j\xF6ho"
- ma
- ro
- na
- "\xEB"
- hu
- a
- mu
- "j\xF6"
top_n_grams:
- - 2
- 0.22
- - 3
- 0.222
- - 4
- 0.226
================================================
FILE: configs/aoz_Latn.yml
================================================
dup_line_frac: 0.536
dup_n_grams:
- - 5
- 0.346
- - 6
- 0.332
- - 7
- 0.314
- - 8
- 0.295
- - 9
- 0.278
- - 10
- 0.256
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.062
stopwords:
- ma
- in
- sin
- neu
- le
- nane
- atoni
- au
- lasi
- ka
- nai
- uisneno
- nak
- he
- mes
- hi
- ale
- te
- anbi
- yesus
- neno
- fun
- fa
- bi
- na'ko
- nok
- es
top_n_grams:
- - 2
- 0.949
- - 3
- 0.964
- - 4
- 0.867
================================================
FILE: configs/apb_Latn.yml
================================================
dup_line_frac: 0.422
dup_n_grams:
- - 5
- 0.326
- - 6
- 0.313
- - 7
- 0.292
- - 8
- 0.274
- - 9
- 0.258
- - 10
- 0.241
language_score: 0.67
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.833
min_avg_word_length: 3
new_line_ratio: 0.044
stopwords:
- e
- aana
- oto
- a
- na
- ko
- mo
- i
- kire
- ke
- nge
- uri
- hunie
- nga
- omu
- mola
- god
- lae
- ngeena
- ni
- iini
- kei
- "ta\uA78Ce"
- ola
- "lo\uA78Cu"
top_n_grams:
- - 2
- 1.417
- - 3
- 1.428
- - 4
- 1.311
================================================
FILE: configs/apc_Arab.yml
================================================
dup_line_frac: 0.334
dup_n_grams:
- - 5
- 0.248
- - 6
- 0.23
- - 7
- 0.208
- - 8
- 0.192
- - 9
- 0.174
- - 10
- 0.159
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.857
min_avg_word_length: 2
new_line_ratio: 0.25
stopwords:
- "\u0648"
- "\u0645\u0627"
- "\u0645\u0646"
- "\u0639\u0644\u0649"
- "\u0628\u0633"
- "\u0627\u0646\u0627"
- "\u0641\u064A"
- "\u0639\u0645"
- "\u0634\u0648"
top_n_grams:
- - 2
- 0.722
- - 3
- 0.471
- - 4
- 0.408
================================================
FILE: configs/ape_Latn.yml
================================================
dup_line_frac: 0.422
dup_n_grams:
- - 5
- 0.378
- - 6
- 0.365
- - 7
- 0.345
- - 8
- 0.328
- - 9
- 0.312
- - 10
- 0.292
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.833
min_avg_word_length: 4
new_line_ratio: 0.05
stopwords:
- douk
- aria
- um
- ali
- iri
- umu
- ipak
- ta
- anan
- iruhin
- uli
- ananin
- baraen
top_n_grams:
- - 2
- 0.661
- - 3
- 0.583
- - 4
- 0.521
================================================
FILE: configs/apn_Latn.yml
================================================
dup_line_frac: 0.704
dup_n_grams:
- - 5
- 0.281
- - 6
- 0.222
- - 7
- 0.21
- - 8
- 0.181
- - 9
- 0.167
- - 10
- 0.139
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.889
min_avg_word_length: 2
new_line_ratio: 0.037
stopwords:
- "m\u1EBD"
- "n\u1EBD"
- "amnh\u0129"
- o
- pa
- kot
- "nh\u0169m"
- "k\xE3m"
- ri
- ho
- na
- "\xE3"
- "h\xE3"
- "t\u0129rt\u0169m"
- "nh\u0129p\xEAx"
- "h\xE3mri"
- to
- "tanhm\xE3"
- "k\xEAt"
- "an\u1EBD"
- mex
- "t\xE3"
- "m\xE3"
- "kap\u1EBDr"
- "hk\xF4t"
top_n_grams:
- - 2
- 0.438
- - 3
- 0.456
- - 4
- 0.373
================================================
FILE: configs/apr_Latn.yml
================================================
dup_line_frac: 0.346
dup_n_grams:
- - 5
- 0.331
- - 6
- 0.323
- - 7
- 0.313
- - 8
- 0.301
- - 9
- 0.284
- - 10
- 0.27
language_score: 0.73
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.849
min_avg_word_length: 3
new_line_ratio: 0.037
stopwords:
- ngan
- ye
- nga
- yo
- di
- le
- be
- a
- ke
- in
- nen
- pang
- inbe
- tooltool
- i
- maro
- tiap
- la
- dook
- tool
- ole
- mai
- tani
- so
- betanga
- tina
- bong
top_n_grams:
- - 2
- 0.178
- - 3
- 0.176
- - 4
- 0.162
================================================
FILE: configs/apt_Latn.yml
================================================
dup_line_frac: 0.569
dup_n_grams:
- - 5
- 0.534
- - 6
- 0.521
- - 7
- 0.508
- - 8
- 0.487
- - 9
- 0.456
- - 10
- 0.432
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.788
min_avg_word_length: 3
new_line_ratio: 0.071
stopwords:
- ho
- mi
- ka
- mo
- ngo
- niimpalukoda
- hiila
- hojalo
- "ata\xF1"
- hii
- mohmi
- pinii
- mohka
- nunu
- mohlu
top_n_grams:
- - 2
- 2.045
- - 3
- 2.157
- - 4
- 2.051
================================================
FILE: configs/apu_Latn.yml
================================================
dup_line_frac: 0.263
dup_n_grams:
- - 5
- 0.206
- - 6
- 0.196
- - 7
- 0.189
- - 8
- 0.185
- - 9
- 0.163
- - 10
- 0.152
language_score: 0.603
line_punct_thr: -1
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.698
min_avg_word_length: 4
new_line_ratio: 0.083
stopwords:
- teoso
- iua
- "inini\xE3"
- xesosi
- ninoa
- "s\xE3kire"
- "k\xE3kiti"
- "\u0129kapani"
- atoko
- kotxi
- ikara
- "h\u0129te"
- kona
- nota
- erekari
- itxa
- iuasaaki
- maerekati
top_n_grams:
- - 2
- 1.2
- - 3
- 0.848
- - 4
- 0.761
================================================
FILE: configs/apw_Latn.yml
================================================
dup_line_frac: 0.513
dup_n_grams:
- - 5
- 0.398
- - 6
- 0.384
- - 7
- 0.372
- - 8
- 0.33
- - 9
- 0.307
- - 10
- 0.295
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.692
min_avg_word_length: 4
new_line_ratio: 0.083
stopwords:
- doo
- da
- "bik\u2019ehgo\u2019ihi\u2019\u1E49a\u0144"
- "n\u1E49ee"
- "\u0142a\u2019\xED\xED"
- "bigh\u0105"
- bee
- jesus
- baa
- "\xE1\xED"
- "bi\u0142"
- "\xE1\xEDk\u2019ehgo"
- ndi
- "dolee\u0142"
- "n\u2019\xED\xED"
- "k\u2019ehgo"
top_n_grams:
- - 2
- 1.148
- - 3
- 1.049
- - 4
- 0.92
================================================
FILE: configs/apy_Latn.yml
================================================
dup_line_frac: 0.611
dup_n_grams:
- - 5
- 0.489
- - 6
- 0.469
- - 7
- 0.448
- - 8
- 0.426
- - 9
- 0.385
- - 10
- 0.352
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 3
new_line_ratio: 0.071
stopwords:
- "riton\xF5po"
- toto
- xine
- a
- "t\xF5"
- mana
- roropa
- eya
- poko
- pyra
- tykase
- ase
- "m\xE3"
- mame
- ahtao
- ynara
- jezu
- maro
- "rok\u1EBD"
- ropa
- yrome
top_n_grams:
- - 2
- 1.342
- - 3
- 1.363
- - 4
- 1.235
================================================
FILE: configs/apz_Latn.yml
================================================
dup_line_frac: 0.504
dup_n_grams:
- - 5
- 0.359
- - 6
- 0.344
- - 7
- 0.327
- - 8
- 0.312
- - 9
- 0.295
- - 10
- 0.27
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.842
min_avg_word_length: 5
new_line_ratio: 0.067
stopwords:
- kako
- a'amu
- oso
- hungkuno
- sekwo
- somo
- hwe
- ose
- "hof\u0268ko"
- "an\u0268tu"
- ngko
- huno
- kakoe
- sohwo
- engo
- "an\u0268tuye"
- "s\u0268meho"
- nakwo
- jisas
- "a\uA78Camu"
- so'no
- ole
- wonyo
top_n_grams:
- - 2
- 1.101
- - 3
- 1.12
- - 4
- 0.992
================================================
FILE: configs/aqz_Latn.yml
================================================
dup_line_frac: 0.079
dup_n_grams:
- - 5
- 0.063
- - 6
- 0.065
- - 7
- 0.061
- - 8
- 0.052
- - 9
- 0.05
- - 10
- 0.045
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.667
min_avg_word_length: 2
new_line_ratio: 0.5
stopwords:
- te
- 'on'
- en
- nom
- "j\u1EBD"
- koa
- "t\u0283e"
- "aram\u0129ra"
- ete
- "et\u0283e"
- ata
- "\u0268k\u0268"
- ke
- "\xE3ka"
- kom
- "\u1EBD"
- pupak
- "et\u0268"
- ka
- aparapia
- pe
- konibu
- "n\xF5m"
- pi
- put
- tara
- ebapa
- nia
- "awawa\u02A7o"
- oike
- pero
- "\xF5jpe"
- ko
- otak
top_n_grams:
- - 2
- 1.319
- - 3
- 1.361
- - 4
- 1.846
================================================
FILE: configs/arb_Arab.yml
================================================
dup_line_frac: 0.304
dup_n_grams:
- - 5
- 0.165
- - 6
- 0.153
- - 7
- 0.142
- - 8
- 0.131
- - 9
- 0.12
- - 10
- 0.109
language_score: 0.711
line_punct_thr: 0.143
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.787
min_avg_word_length: 2
new_line_ratio: 0.189
stopwords:
- "\u060C"
- "\u0641\u064A"
- "\u0645\u0646"
- "\u0639\u0644\u0649"
- "\u0625\u0644\u0649"
- "\u0639\u0627\u0645"
- "\u0623\u0646"
- "\u0645\u0639"
- "\u0623\u0648"
- "\u0647\u0648"
- "\u0639\u0646"
- "\u0627\u0644\u062A\u064A"
- "\u0643\u0627\u0646"
- "\u0628\u064A\u0646"
- "\u0645\u0627"
- "\u0643\u0627\u0646\u062A"
- "\u0647\u064A"
- "\u0627\u0644\u0645\u062A\u062D\u062F\u0629"
- "\u0628\u0639\u062F"
top_n_grams:
- - 2
- 0.197
- - 3
- 0.172
- - 4
- 0.146
================================================
FILE: configs/arb_Latn.yml
================================================
dup_line_frac: 0.629
dup_n_grams:
- - 5
- 0.452
- - 6
- 0.428
- - 7
- 0.407
- - 8
- 0.364
- - 9
- 0.334
- - 10
- 0.298
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.852
min_avg_word_length: 3
new_line_ratio: 0.067
stopwords:
- al-
- al
- wa
- fi
- min
- 3ala
- li
- bi
- ila
- aw
- lil
- wal
- fil
- ma
top_n_grams:
- - 2
- 0.858
- - 3
- 0.751
- - 4
- 0.534
================================================
FILE: configs/are_Latn.yml
================================================
dup_line_frac: 0.68
dup_n_grams:
- - 5
- 0.441
- - 6
- 0.427
- - 7
- 0.39
- - 8
- 0.385
- - 9
- 0.341
- - 10
- 0.329
language_score: 0.44
line_punct_thr: -1
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.72
min_avg_word_length: 4
new_line_ratio: 0.083
stopwords:
- era
- relha
- turta
- etna
- erinha
- itja
- rrangkarra
- kala
- nama
- nhanha
- pula
- etnanha
- artwa
- altjirraka
- yinga
- nurna
- angkatja
- arrpunha
top_n_grams:
- - 2
- 2.168
- - 3
- 1.999
- - 4
- 1.855
================================================
FILE: configs/arg_Latn.yml
================================================
dup_line_frac: 0.449
dup_n_grams:
- - 5
- 0.272
- - 6
- 0.255
- - 7
- 0.233
- - 8
- 0.209
- - 9
- 0.185
- - 10
- 0.163
language_score: 0.3
line_punct_thr: 0.167
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.811
min_avg_word_length: 3
new_line_ratio: 0.184
stopwords:
- de
- en
- a
- y
- o
- que
- ye
- d'o
- d'a
- una
- la
- con
- un
- se
- os
top_n_grams:
- - 2
- 0.527
- - 3
- 0.476
- - 4
- 0.415
================================================
FILE: configs/arl_Latn.yml
================================================
dup_line_frac: 0.122
dup_n_grams:
- - 5
- 0.061
- - 6
- 0.05
- - 7
- 0.04
- - 8
- 0.037
- - 9
- 0.033
- - 10
- 0.03
language_score: 0.674
line_punct_thr: -1
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.739
min_avg_word_length: 5
new_line_ratio: 0.062
stopwords:
- na
- nia
- pueyaso
- cua
- nojori
- pa
- pueya
- naa
- puetunu
- cuno
- jaara
- quia
- maninia
- maja
- majaari
- nojoriiri
- canaa
top_n_grams:
- - 2
- 0.307
- - 3
- 0.228
- - 4
- 0.148
================================================
FILE: configs/arn_Latn.yml
================================================
dup_line_frac: 0.206
dup_n_grams:
- - 5
- 0.171
- - 6
- 0.165
- - 7
- 0.153
- - 8
- 0.142
- - 9
- 0.13
- - 10
- 0.118
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.727
min_avg_word_length: 3
new_line_ratio: 0.111
stopwords:
- "\xF1i"
- ta
- pu
- "ta\xF1i"
- ka
- mew
- mu
- tati
- dungu
- "tai\xF1"
- ti
- fey
- che
- "\xBF"
- rume
- "eng\xFCn"
- chem
- jewba
- "ki\xF1e"
- "ng\xFCnechen"
- femngechi
- "k\xFCme"
- tami
top_n_grams:
- - 2
- 1.308
- - 3
- 0.961
- - 4
- 0.666
================================================
FILE: configs/arp_Latn.yml
================================================
dup_line_frac: 0.432
dup_n_grams:
- - 5
- 0.316
- - 6
- 0.285
- - 7
- 0.274
- - 8
- 0.259
- - 9
- 0.245
- - 10
- 0.226
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 18
max_non_alpha_words_ratio: 0.7
min_avg_word_length: 5
new_line_ratio: 0.111
stopwords:
- nau
- henee
- hau
- hanau
- nuu
- nananena
- vahee
- heee
- nananene
- heau
- henane
- hehethee
- daun
- nananenith
- jea
- hena
- hayauhuhau
- hesee
top_n_grams:
- - 2
- 0.938
- - 3
- 0.794
- - 4
- 0.714
================================================
FILE: configs/arq_Arab.yml
================================================
dup_line_frac: 0.422
dup_n_grams:
- - 5
- 0.377
- - 6
- 0.37
- - 7
- 0.355
- - 8
- 0.337
- - 9
- 0.306
- - 10
- 0.284
language_score: 0.305
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 2
new_line_ratio: 0.25
stopwords:
- "\u0648"
- "\u0645\u0627"
- "\u0641\u064A"
- "\u0645\u0646"
- "\u062A\u0627\u0639"
- "\u0639\u0644\u0649"
- "\u0627\u0644\u0644\u0651\u0670\u0647"
- "\u0627\u0644\u0644\u0651\u064A"
- "\u0628\u0627\u0634"
- "\u0648\u0627\u0634"
- "\u060C"
- "\u0647\u0627\u062F"
- "\u0627\u0644\u0643\u062A\u0627\u0628"
- "\u0643\u064A"
- "\u062A\u0648\u0645"
- "\u200F"
- "\u0631\u0627\u064A\u062D"
- "\u0647\u0648"
- "\u0643\u0627\u0646"
- "\u0628\u0644\u0651\u064A"
- "\u06A4\u0627\u0639"
- "\u0648\u0627\u062D\u062F"
top_n_grams:
- - 2
- 1.647
- - 3
- 1.676
- - 4
- 1.596
================================================
FILE: configs/arr_Latn.yml
================================================
dup_line_frac: 0.034
dup_n_grams:
- - 5
- 0.013
- - 6
- 0.012
- - 7
- 0.013
- - 8
- 0.011
- - 9
- 0.01
- - 10
- 0.01
language_score: 0.616
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 1.0
min_avg_word_length: 2
new_line_ratio: 0.5
stopwords:
- "\xF5n"
- at
- "i\u0294ke"
- "ahy\u0259"
- "p\xE9\u014B"
- wat
- "ka\u0294a"
- "\u014Ba"
- "ma\u0294p\u0259y"
- "n\xE3n"
- "pe\u0294"
- "\u0294et"
- "m\xE3yg\xE3ra"
- "c\xFA"
- "\u0294a"
- "a\u0294toy"
- "ma\u0294w\u0268t"
- "\u1EBDn"
- "ag\xF3a\u0294p\u0259t"
- ip
- "to\u0294wa"
- "iy\xF5m"
- "kan\xE3"
- "m\xE3m"
- yat
- wayo
- "ow\u1EBD"
- "a\u0294w\u0129n"
- "n\xE3nin"
- toat
- "p\xFA\u014B"
- wet
- "kan\xE3p"
- "w\u0129n"
top_n_grams:
- - 2
- 1.54
- - 3
- 1.584
- - 4
- 1.681
================================================
FILE: configs/ars_Arab.yml
================================================
dup_line_frac: 0.356
dup_n_grams:
- - 5
- 0.204
- - 6
- 0.192
- - 7
- 0.18
- - 8
- 0.166
- - 9
- 0.153
- - 10
- 0.141
language_score: 0.407
line_punct_thr: -1
max_avg_word_length: 55
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 2
new_line_ratio: 0.25
stopwords:
- "\u0641\u064A"
- "\u0645\u0646"
- "\u060C"
- "\u0639\u0644\u0649"
- "\u0645\u0627"
- "\u0644\u0648"
- "\u0633\u0645\u062D\u062A"
- "\u0627\u0644\u0644\u0647"
- "\u0627\u0644\u0644\u064A"
top_n_grams:
- - 2
- 0.328
- - 3
- 0.299
- - 4
- 0.273
================================================
FILE: configs/ary_Arab.yml
================================================
dup_line_frac: 0.32
dup_n_grams:
- - 5
- 0.196
- - 6
- 0.183
- - 7
- 0.169
- - 8
- 0.157
- - 9
- 0.145
- - 10
- 0.13
language_score: 0.418
line_punct_thr: 0.111
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.743
min_avg_word_length: 3
new_line_ratio: 0.162
stopwords:
- "\u060C"
- "\u0641"
- "\u062F"
- "\u0648"
- "\u062F\u064A\u0627\u0644"
- "\u0645\u0646"
- "\u0624"
- "\u0646\u0633\u0628\u0629"
- "\u0627\u0644\u0644\u064A"
- "\u0644"
- "\u0639\u0644\u0649"
- "\u0644\u064A"
- "\u0628"
top_n_grams:
- - 2
- 0.245
- - 3
- 0.224
- - 4
- 0.197
================================================
FILE: configs/arz_Arab.yml
================================================
dup_line_frac: 0.368
dup_n_grams:
- - 5
- 0.223
- - 6
- 0.207
- - 7
- 0.19
- - 8
- 0.174
- - 9
- 0.158
- - 10
- 0.143
language_score: 0.339
line_punct_thr: 0.188
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.83
min_avg_word_length: 3
new_line_ratio: 0.308
stopwords:
- "\u0641\u0649"
- "\u0648"
- "\u0645\u0646"
- "\u0644\u064A\u0646\u0643\u0627\u062A"
- "\u0647\u064A\u0627"
- "\u0627\u0644\u0644\u0649"
- "\u0628\u0631\u0627\u0646\u064A\u0647"
- "\u064A\u0648\u0645"
- "\u0645\u0648\u0627\u0644\u064A\u062F"
- "\u062D\u064A\u0627\u062A\u0647"
- "\u0643\u0627\u0646"
top_n_grams:
- - 2
- 0.269
- - 3
- 0.249
- - 4
- 0.225
================================================
FILE: configs/asg_Latn.yml
================================================
dup_line_frac: 0.492
dup_n_grams:
- - 5
- 0.183
- - 6
- 0.166
- - 7
- 0.154
- - 8
- 0.143
- - 9
- 0.136
- - 10
- 0.126
language_score: 0.728
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.839
min_avg_word_length: 2
new_line_ratio: 0.05
stopwords:
- a
- u
- na
- n
- i
- "\u0257a"
- "ta\u0331"
- "a\u0331"
- ka
- tsu
- ili
- "ka\u0331shile"
- adama
- ni
- ba
- o
- e
- le
- yi
- uma
- wi
- ci
top_n_grams:
- - 2
- 0.239
- - 3
- 0.219
- - 4
- 0.199
================================================
FILE: configs/asm_Beng.yml
================================================
dup_line_frac: 0.211
dup_n_grams:
- - 5
- 0.119
- - 6
- 0.108
- - 7
- 0.101
- - 8
- 0.09
- - 9
- 0.082
- - 10
- 0.074
language_score: 0.699
line_punct_thr: 0.094
max_avg_word_length: 19
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 3
new_line_ratio: 0.125
stopwords:
- "\u0986\u09F0\u09C1"
- "\u09B9\u09AF\u09BC"
- "\u0995\u09F0\u09BE"
- "\u0995\u09F0\u09C7"
- "\u098F\u0987"
- "\u09A4\u09C7\u0993\u0981"
- "\u09AA\u09F0\u09BE"
- "\u09AC\u09BE\u09AC\u09C7"
- "\u099A\u09A8\u09A4"
- "\u0995\u09F0\u09BF\u099B\u09BF\u09B2"
- "\u0986\u099B\u09BF\u09B2"
- "\u09B9\u09C8\u099B\u09C7"
- "\u0995\u09F0\u09BF"
- "\u09B9\u09C8\u099B\u09BF\u09B2"
- "\u09A4\u09C7\u0993\u0981\u09F0"
- "\u09AC\u09BE"
- "\u099A\u09A8\u09F0"
- "\u0987\u09AF\u09BC\u09BE\u09F0"
- "\u09B9\u09BF\u099A\u09BE\u09AA\u09C7"
- "\u098F\u0995"
- "\u098F\u099F\u09BE"
- "\u09B9\u09C8"
- "\u09AC\u09C1\u09B2\u09BF"
- "\u09B2\u09BE\u09AD"
- "\u09F0"
- "\u0986\u099B\u09C7"
top_n_grams:
- - 2
- 0.176
- - 3
- 0.153
- - 4
- 0.133
================================================
FILE: configs/asm_Latn.yml
================================================
dup_line_frac: 0.613
dup_n_grams:
- - 5
- 0.387
- - 6
- 0.36
- - 7
- 0.331
- - 8
- 0.308
- - 9
- 0.284
- - 10
- 0.261
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.167
stopwords:
- aru
- ei
- kora
- hoi
- pora
- kori
- je
- kore
- hoise
- babe
- hobo
- korise
- koribo
- aji
- korar
- buli
- logote
- totha
- axomor
- axom
top_n_grams:
- - 2
- 0.918
- - 3
- 0.915
- - 4
- 0.838
================================================
FILE: configs/aso_Latn.yml
================================================
dup_line_frac: 0.359
dup_n_grams:
- - 5
- 0.291
- - 6
- 0.274
- - 7
- 0.258
- - 8
- 0.233
- - 9
- 0.216
- - 10
- 0.187
language_score: 0.667
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.684
min_avg_word_length: 3
new_line_ratio: 0.043
stopwords:
- nene
- lo
- ve
- ma
- do
- li
- ido
- ogo
- o
- ne'mine
- gamazi
- igi
- a'mine
- di
top_n_grams:
- - 2
- 0.964
- - 3
- 0.846
- - 4
- 0.738
================================================
FILE: configs/ast_Latn.yml
================================================
dup_line_frac: 0.679
dup_n_grams:
- - 5
- 0.412
- - 6
- 0.379
- - 7
- 0.328
- - 8
- 0.313
- - 9
- 0.306
- - 10
- 0.287
language_score: 0.3
line_punct_thr: 0.195
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.824
min_avg_word_length: 3
new_line_ratio: 0.167
stopwords:
- de
- la
- y
- a
- del
- en
- los
- que
- el
- les
- so
- una
- un
top_n_grams:
- - 2
- 1.597
- - 3
- 1.59
- - 4
- 1.469
================================================
FILE: configs/ata_Latn.yml
================================================
dup_line_frac: 0.35
dup_n_grams:
- - 5
- 0.331
- - 6
- 0.325
- - 7
- 0.314
- - 8
- 0.299
- - 9
- 0.281
- - 10
- 0.262
language_score: 0.782
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- la
- sou
- 'no'
- anu
- ne
- ta
- mo
- ane
- lexe
- noxou
- uasi
- mitema
- aloxo
- xe
- lataua
- ia
- eni
- vile
- "\uA78Co"
- ngingi
top_n_grams:
- - 2
- 0.332
- - 3
- 0.299
- - 4
- 0.247
================================================
FILE: configs/atb_Latn.yml
================================================
dup_line_frac: 0.226
dup_n_grams:
- - 5
- 0.163
- - 6
- 0.153
- - 7
- 0.138
- - 8
- 0.129
- - 9
- 0.12
- - 10
- 0.11
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 5
max_non_alpha_words_ratio: 0.786
min_avg_word_length: 2
new_line_ratio: 0.04
stopwords:
- "\xE9"
- "l\xE9"
- gi
- nghut
- ri
- "m\xE1"
- "ha\xFB"
- "r\xE2"
- a
- "lh\xEA"
- le
- "m\xF9"
- eq
- "hky\xF4"
- yhang
- "p\xE9"
- nungmoq
- "lu\xEE"
- "w\xF3"
top_n_grams:
- - 2
- 0.287
- - 3
- 0.249
- - 4
- 0.21
================================================
FILE: configs/atd_Latn.yml
================================================
dup_line_frac: 0.68
dup_n_grams:
- - 5
- 0.585
- - 6
- 0.558
- - 7
- 0.524
- - 8
- 0.487
- - 9
- 0.453
- - 10
- 0.408
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.824
min_avg_word_length: 3
new_line_ratio: 0.045
stopwords:
- to
- 'no'
- ka
- mgo
- woy
- 'on'
- sikan
- din
- magboboot
- ian
- otow
- ko
- dio
- su
- ku
- hisus
- dan
- si
- ta
- kono
- ni
- now
- duon
- di
- ki
top_n_grams:
- - 2
- 1.538
- - 3
- 1.63
- - 4
- 1.572
================================================
FILE: configs/atg_Latn.yml
================================================
dup_line_frac: 0.052
dup_n_grams:
- - 5
- 0.098
- - 6
- 0.09
- - 7
- 0.082
- - 8
- 0.074
- - 9
- 0.067
- - 10
- 0.062
language_score: 0.81
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.811
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- "\u1ECD"
- ni
- khi
- a
- e
- o
- ya
- "\u1EB9"
- li
- ri
- "r\u1ECD"
- na
- shi
- mhi
- ali
- "\u1EB9shin\u1EB9gba"
- abi
- "\u1EB9gb\u1ECD"
- oyi
- "\u1ECDli"
- eni
- la
- "w\u1EB9"
top_n_grams:
- - 2
- 0.302
- - 3
- 0.277
- - 4
- 0.222
================================================
FILE: configs/ati_Latn.yml
================================================
dup_line_frac: 0.721
dup_n_grams:
- - 5
- 0.591
- - 6
- 0.571
- - 7
- 0.536
- - 8
- 0.519
- - 9
- 0.493
- - 10
- 0.459
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.81
min_avg_word_length: 2
new_line_ratio: 0.1
stopwords:
- "\u02C8e"
- "\u02C8ba"
- -le
- "\u02C8yi"
- "\u02C8o"
- "\u02C8kun"
- "\u02C8la"
- "\u02C8k\u025B"
- "s\u025B"
- "n\u025Bn"
- "b\u025Bn"
- "-k\u025B"
- man
- "\u02C8a"
- -o
- -a
- -ba
- -e
- joova
- "\u02C8nun"
- "-z\xF6"
- "-y\u025B"
- dzhi
- "\u02C8ze"
- bu
- maan
- "tsabi\u025B"
- tsa
- "f\u025Bn"
- "n\u0254n"
- "\u02C8w\u025Bn"
- "\u02C8\u02C8\u0272an"
- "nanm\u025B"
- sa
top_n_grams:
- - 2
- 1.213
- - 3
- 1.252
- - 4
- 1.245
================================================
FILE: configs/atj_Latn.yml
================================================
dup_line_frac: 0.58
dup_n_grams:
- - 5
- 0.42
- - 6
- 0.255
- - 7
- 0.229
- - 8
- 0.201
- - 9
- 0.18
- - 10
- 0.157
language_score: 0.3
line_punct_thr: 0.049
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.781
min_avg_word_length: 4
new_line_ratio: 0.269
stopwords:
- e
- ka
- ki
- ici
- kitci
- kaie
- micta
- matcectakaniwok
- kirika
- manawan
- actew
- wemotaci
- kanata
- tca
top_n_grams:
- - 2
- 0.519
- - 3
- 0.466
- - 4
- 0.493
================================================
FILE: configs/atq_Latn.yml
================================================
dup_line_frac: 0.738
dup_n_grams:
- - 5
- 0.558
- - 6
- 0.548
- - 7
- 0.525
- - 8
- 0.499
- - 9
- 0.468
- - 10
- 0.442
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.68
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- di
- ang
- anna
- la
- puang
- yato
- aka
- tau
- to
- alataala
- dai
- pano
- yesus
- ya
- ampo
- yaling
- aha
- sika
- "ingk\xE4nna"
- naoatee
- inde
top_n_grams:
- - 2
- 1.355
- - 3
- 1.422
- - 4
- 1.319
================================================
FILE: configs/att_Latn.yml
================================================
dup_line_frac: 0.4
dup_n_grams:
- - 5
- 0.381
- - 6
- 0.375
- - 7
- 0.364
- - 8
- 0.352
- - 9
- 0.333
- - 10
- 0.317
language_score: 0.726
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.821
min_avg_word_length: 3
new_line_ratio: 0.045
stopwords:
- nga
- ta
- "y\xF9"
- "\xE1"
- na
- ira
- "s\xF9"
- ni
- "namar\xF2"
- da
- apu
- naw
- "\xE1nna"
- kesu
- "nay\xF9"
- "k\xE2"
- ari
- tam
- nu
- ku
- si
top_n_grams:
- - 2
- 0.226
- - 3
- 0.216
- - 4
- 0.211
================================================
FILE: configs/auc_Latn.yml
================================================
dup_line_frac: 0.104
dup_n_grams:
- - 5
- 0.074
- - 6
- 0.043
- - 7
- 0.039
- - 8
- 0.03
- - 9
- 0.021
- - 10
- 0.02
language_score: 0.838
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.818
min_avg_word_length: 4
new_line_ratio: 0.053
stopwords:
- ante
- "n\xEB"
- "bot\xF6"
- "t\xF6meng\xE4"
- "w\xE6ngongu\xEF"
- "ed\xE6"
- inte
- "\xEF\xF1\xF6m\xF6"
- "m\xEFnit\xF6"
- "ba\xEF"
- ingante
- "m\xF6n\xF6"
- "ay\xE6\u0308"
- "n\xE4ni"
- "w\xE6\xE6t\xEB"
- "n\xE4n\xF6"
- itota
- "t\xF6m\xEBn\xE4ni"
- "bit\xF6"
- "inc\xE6"
top_n_grams:
- - 2
- 0.4
- - 3
- 0.355
- - 4
- 0.318
================================================
FILE: configs/aui_Latn.yml
================================================
dup_line_frac: 0.264
dup_n_grams:
- - 5
- 0.199
- - 6
- 0.195
- - 7
- 0.189
- - 8
- 0.167
- - 9
- 0.148
- - 10
- 0.134
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.765
min_avg_word_length: 4
new_line_ratio: 0.071
stopwords:
- bi
- da
- na
- god
- bo
- wawaya
- yana
- gegha
- yadi
- kana
- yawe
- wasina
- noko
- biidi
- damdi
top_n_grams:
- - 2
- 1.062
- - 3
- 0.958
- - 4
- 0.835
================================================
FILE: configs/auy_Latn.yml
================================================
dup_line_frac: 0.208
dup_n_grams:
- - 5
- 0.177
- - 6
- 0.17
- - 7
- 0.159
- - 8
- 0.15
- - 9
- 0.135
- - 10
- 0.12
language_score: 0.709
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.771
min_avg_word_length: 4
new_line_ratio: 0.083
stopwords:
- "\xEDmba"
- "s\xE9na"
- "\xEDsu"
- "man\xEDk\xF3"
- aai
- "s\xE9sa"
- waasi
- "s\xE1w\xED"
- "man\xEDk\xF3n"
- "wen\xED"
- "\xFAmai"
- "man\xEDk\xF3n\xED"
- "\xEDmbo"
- "wa\xE1si"
- "k\xEDsau"
- iye
- "miy\xE1"
- "siy\xE1iye"
- "\xE9sa"
- "mo\xF3r\xE1"
- "\xE9na"
- "im\xE1y\xE1a"
- "kawe\uA78C"
- "tuw\xEDmbai"
- "\xE9\uA78Ca"
- kwaasi
- "kes\xED"
- "s\xFAwana"
- "\xFAwoi"
- "y\xFAndaa"
- "min\xE1\xE1\xED"
- "p\xF3na"
- "\xF3raa\uA78C"
- "s\xE9\uA78Ca"
- "s\xFAne"
- "miw\xED"
- aaimo
top_n_grams:
- - 2
- 0.617
- - 3
- 0.543
- - 4
- 0.494
================================================
FILE: configs/ava_Cyrl.yml
================================================
dup_line_frac: 0.617
dup_n_grams:
- - 5
- 0.309
- - 6
- 0.289
- - 7
- 0.277
- - 8
- 0.26
- - 9
- 0.238
- - 10
- 0.21
language_score: 0.714
line_punct_thr: 0.0
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.718
min_avg_word_length: 3
new_line_ratio: 0.4
stopwords:
- "\u0432\u0430"
- "\u0431\u0443\u0433\u043E"
- "\u043A\u043A\u043E\u043B\u0430"
- "\u0431\u0443\u0433\u0435\u0431"
- "\u0433\u044C\u0435\u0431"
- "\u0440\u043E\u0441\u0443"
- "\u0441\u043E\u043D\u0430\u043B\u044A"
- "\u043C\u0443\u0445\u044A\u0430\u043B\u044A\u0443\u043B"
- "\u0446\u043E"
- "\u0434\u0430\u0433\u044A\u0438\u0441\u0442\u0430\u043D\u0430\u043B\u044A\u0443\u043B"
- "\u0440\u043E\u0441\u0434\u0430\u043B"
- "\u043A\u044A\u043E"
- "\u0440\u0435\u043A\u044A\u043E\u043D"
- "\u0440\u0443\u0433\u043E"
- "\u0430\u0432\u0430\u0440"
- "\u0440\u043E\u0441\u0430\u0431\u0438"
- "\u0441\u043E\u043D\u0430\u043B\u044A\u0443\u043B"
top_n_grams:
- - 2
- 0.727
- - 3
- 0.71
- - 4
- 0.655
================================================
FILE: configs/avk_Latn.yml
================================================
dup_line_frac: 0.51
dup_n_grams:
- - 5
- 0.349
- - 6
- 0.335
- - 7
- 0.318
- - 8
- 0.302
- - 9
- 0.284
- - 10
- 0.261
language_score: 0.3
line_punct_thr: 0.024
max_avg_word_length: 16
max_non_alpha_words_ratio: 0.606
min_avg_word_length: 3
new_line_ratio: 0.314
stopwords:
- vuest-
- en
- ke
- of
- tir
- is
- va
- katca
- bak
- koe
top_n_grams:
- - 2
- 1.696
- - 3
- 1.796
- - 4
- 1.757
================================================
FILE: configs/avn_Latn.yml
================================================
dup_line_frac: 0.379
dup_n_grams:
- - 5
- 0.276
- - 6
- 0.274
- - 7
- 0.238
- - 8
- 0.22
- - 9
- 0.197
- - 10
- 0.178
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.833
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- "l\u025B"
- gi
- "\u025B"
- si
- "y\u025B"
- "m\u025B"
- ba
- "n\xED"
- ni
- aya
- "ni\u0301"
- "ml\u0254"
- e
- "a\u028Ba"
- xe
- "t\u0254"
- ya
top_n_grams:
- - 2
- 0.522
- - 3
- 0.447
- - 4
- 0.338
================================================
FILE: configs/avt_Latn.yml
================================================
dup_line_frac: 0.085
dup_n_grams:
- - 5
- 0.099
- - 6
- 0.087
- - 7
- 0.071
- - 8
- 0.053
- - 9
- 0.051
- - 10
- 0.045
language_score: 0.688
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.825
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- "m\u0268t"
- "h\u0268rak"
- menmen
- "h\u0268r"
- te
- god
- yi
- me
- han
- hi
- "h\u0268m"
- au
- "m\u0268t\u0268k"
- haiu
- ap
- ke
- kerek
- iuwe
- im
- "h\u0268ram"
- enum
- wit
- werek
top_n_grams:
- - 2
- 0.334
- - 3
- 0.26
- - 4
- 0.177
================================================
FILE: configs/avu_Latn.yml
================================================
dup_line_frac: 0.194
dup_n_grams:
- - 5
- 0.188
- - 6
- 0.164
- - 7
- 0.136
- - 8
- 0.123
- - 9
- 0.119
- - 10
- 0.107
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.854
min_avg_word_length: 2
new_line_ratio: 0.036
stopwords:
- "r\xEE"
- "dr\xED"
- "t\xE3"
- "\u02BCb\xE1"
- "y\xEE"
- "g\xF3l\xE2"
- "tr\xE1"
- "r\xF3"
- "b\xEA"
- "g\xF5\u02BCd\xE1"
- "g\xF3l\u0129y\xEE"
- "k\xE2"
- "\xF5j\xEDl\xE3"
- "\xF4v\xE2r\xED"
- "n\u0129"
- "s\u0129"
- "\u02BCd\u0129"
- "\xE3n\xEE"
- "l\xE2"
- "y\xE9s\u0169"
- "m\xE1"
- "k\xF4"
- "k\u0129"
- "\u02BC\xE1"
- "\uA78Cb\xE1"
- "kp\xE1"
- "\u0129t\xED"
top_n_grams:
- - 2
- 0.131
- - 3
- 0.183
- - 4
- 0.156
================================================
FILE: configs/awa_Deva.yml
================================================
dup_line_frac: 0.827
dup_n_grams:
- - 5
- 0.594
- - 6
- 0.569
- - 7
- 0.545
- - 8
- 0.495
- - 9
- 0.465
- - 10
- 0.436
language_score: 0.344
line_punct_thr: 0.2
max_avg_word_length: 27
max_non_alpha_words_ratio: 0.857
min_avg_word_length: 2
new_line_ratio: 0.214
stopwords:
- "\u0915\u092F"
- "\u0915\u0947"
- "\u092E\u0947\u0902"
- "\u0939\u094B\u092F"
- "\u0938\u0947"
- "\u0939\u0948"
- "\u092E\u093E"
- "\u090F\u0915\u094D\u0920\u0941"
- "\u091C\u093F\u0932\u093E"
- "\u092D\u093E\u0930\u0924"
- "\u0915\u093E"
- "\u0914"
top_n_grams:
- - 2
- 1.784
- - 3
- 1.775
- - 4
- 1.622
================================================
FILE: configs/awb_Latn.yml
================================================
dup_line_frac: 0.289
dup_n_grams:
- - 5
- 0.21
- - 6
- 0.204
- - 7
- 0.196
- - 8
- 0.185
- - 9
- 0.174
- - 10
- 0.16
language_score: 0.74
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.839
min_avg_word_length: 4
new_line_ratio: 0.083
stopwords:
- "\xEDre"
- "m\xF3"
- mi
- peh
- aiq
- ehweh
- "manik\xE1nka"
- ite
- "s\xEDsa"
- "keg\xE1"
- "manik\xE1ne"
- wene
- itene
top_n_grams:
- - 2
- 0.977
- - 3
- 0.994
- - 4
- 0.899
================================================
FILE: configs/awi_Latn.yml
================================================
dup_line_frac: 0.461
dup_n_grams:
- - 5
- 0.355
- - 6
- 0.352
- - 7
- 0.348
- - 8
- 0.326
- - 9
- 0.294
- - 10
- 0.272
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.833
min_avg_word_length: 2
new_line_ratio: 0.067
stopwords:
- ko
- ma
- ya
- yo
- dima
- wike
- hamo
- 'no'
- god
- gyo
- kru
- ka
- swa
- ho
- yesu
- kyo
- me
- hokan
- gu
top_n_grams:
- - 2
- 0.553
- - 3
- 0.547
- - 4
- 0.517
================================================
FILE: configs/awx_Latn.yml
================================================
dup_line_frac: 0.471
dup_n_grams:
- - 5
- 0.321
- - 6
- 0.314
- - 7
- 0.3
- - 8
- 0.283
- - 9
- 0.265
- - 10
- 0.24
language_score: 0.33
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.688
min_avg_word_length: 4
new_line_ratio: 0.091
stopwords:
- yang
- "tiw\xE4n"
- using
- inikut
- "hikng\xE4"
- "nan\xE4"
- ge
- yangu
- "puy\xE4"
- "tiw\xE4n\xE4"
top_n_grams:
- - 2
- 0.843
- - 3
- 0.85
- - 4
- 0.732
================================================
FILE: configs/ayo_Latn.yml
================================================
dup_line_frac: 0.673
dup_n_grams:
- - 5
- 0.639
- - 6
- 0.6
- - 7
- 0.616
- - 8
- 0.598
- - 9
- 0.536
- - 10
- 0.493
language_score: 0.315
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.833
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- ore
- uje
- enga
- ome
- ujetiga
- dupade
- iji
- mu
- chi
- u
- "j\xE9"
- a
- to
- ga
- jesus
- jne
- que
- aja
- "ut\xE9"
- "r\u0129"
- udore
- uaque
- ca
- cucha
top_n_grams:
- - 2
- 1.266
- - 3
- 1.251
- - 4
- 1.26
================================================
FILE: configs/ayp_Arab.yml
================================================
dup_line_frac: 0.672
dup_n_grams:
- - 5
- 0.706
- - 6
- 0.707
- - 7
- 0.676
- - 8
- 0.667
- - 9
- 0.663
- - 10
- 0.64
language_score: 0.311
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.769
min_avg_word_length: 3
new_line_ratio: 0.111
stopwords:
- "\u060C"
- "\u0644\u064E"
- "\u0645\u0646\u0652"
- "\u062A\u064E"
- "\u0641"
- "\u0645\u0648\u064F"
- "\u0627\u064E\u0644\u0644\u0647"
- "\u0643\u0627\u0646\u0652"
- "\u0639\u064E\u0644\u0649"
- "\u0641\u064E"
- "\u0634\u064A"
- "\u0645\u0627"
- "\u0648\u0627\u0650"
top_n_grams:
- - 2
- 0.485
- - 3
- 0.463
- - 4
- 0.361
================================================
FILE: configs/ayr_Latn.yml
================================================
dup_line_frac: 0.594
dup_n_grams:
- - 5
- 0.222
- - 6
- 0.196
- - 7
- 0.177
- - 8
- 0.16
- - 9
- 0.143
- - 10
- 0.127
language_score: 0.3
line_punct_thr: 0.059
max_avg_word_length: 34
max_non_alpha_words_ratio: 0.655
min_avg_word_length: 3
new_line_ratio: 0.394
stopwords:
- jisk'a
- suyu
- t'aqa
- de
- piruw
- jach'a
- jaqinaka
- marka
- mara
- la
- asu
top_n_grams:
- - 2
- 0.788
- - 3
- 0.69
- - 4
- 0.568
================================================
FILE: configs/azb_Arab.yml
================================================
dup_line_frac: 0.379
dup_n_grams:
- - 5
- 0.225
- - 6
- 0.2
- - 7
- 0.179
- - 8
- 0.16
- - 9
- 0.144
- - 10
- 0.129
language_score: 0.3
line_punct_thr: 0.111
max_avg_word_length: 14
max_non_alpha_words_ratio: 0.719
min_avg_word_length: 3
new_line_ratio: 0.25
stopwords:
- "\u060C"
- "\u0648"
- "\u0627\u06CC\u0646\u06AF\u06CC\u0644\u06CC\u0633\u062C\u0647"
- "\u0628\u06CC\u0631"
- "\u0642\u0627\u06CC\u0646\u0627\u0642\u200C\u0644\u0627\u0631"
- "\u062A\u0627\u0631\u06CC\u062E\u06CC\u0646\u062F\u0647"
- "\u0637\u0631\u0641\u06CC\u0646\u062F\u0646"
- "\u0627\u06CC\u0634\u0644\u062F\u0646\u0644\u0631\u06CC"
- "\u0645\u0642\u0627\u0644\u0647\u200C\u0633\u06CC\u0646\u062F\u0646"
- "\u06AF\u0624\u062A\u0648\u0631\u0648\u0644\u0648\u0628\u062F\u0648\u0631"
- "\u0648\u06CC\u06A9\u06CC\u200C\u067E\u062F\u06CC\u0627\u0633\u06CC\u200C\u0646\u06CC\
\u0646"
- "\u06CC\u0648\u0652\u062E\u0644\u0627\u0646\u06CC\u0644\u06CC\u0628\u062F\u06CC\u0631\
)."
- "\u062F\u06CC\u0631"
- "\u0628\u06C7"
top_n_grams:
- - 2
- 0.403
- - 3
- 0.33
- - 4
- 0.245
================================================
FILE: configs/azg_Latn.yml
================================================
dup_line_frac: 0.696
dup_n_grams:
- - 5
- 0.344
- - 6
- 0.346
- - 7
- 0.3
- - 8
- 0.163
- - 9
- 0.147
- - 10
- 0.134
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.667
min_avg_word_length: 3
new_line_ratio: 0.043
stopwords:
- na
- jon
- juu
- ndo
- nn'an
- yo
- ntyja
- nquii
- "j\xF1'oon"
- tyo'ts'on
- nnon
- "jnd\xEB"
- vaa
- naan
top_n_grams:
- - 2
- 0.543
- - 3
- 0.436
- - 4
- 0.395
================================================
FILE: configs/azj_Cyrl.yml
================================================
dup_line_frac: 0.297
dup_n_grams:
- - 5
- 0.15
- - 6
- 0.144
- - 7
- 0.137
- - 8
- 0.13
- - 9
- 0.12
- - 10
- 0.111
language_score: 0.891
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.714
min_avg_word_length: 3
new_line_ratio: 0.1
stopwords:
- "\u0432\u04D9"
- "\u043E"
- "\u0431\u0443"
- "\u0431\u0438\u0440"
- "\u043A\u0438"
- "\u0434\u04D9"
- "\u0458\u0435\u04BB\u043E\u0432\u0430"
- "\u04AF\u0447\u04AF\u043D"
top_n_grams:
- - 2
- 0.257
- - 3
- 0.266
- - 4
- 0.231
================================================
FILE: configs/azj_Latn.yml
================================================
dup_line_frac: 0.879
dup_n_grams:
- - 5
- 0.3
- - 6
- 0.271
- - 7
- 0.252
- - 8
- 0.227
- - 9
- 0.202
- - 10
- 0.179
language_score: 0.3
line_punct_thr: 0.188
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.725
min_avg_word_length: 3
new_line_ratio: 0.179
stopwords:
- "v\u0259"
- "il\u0259"
- "ild\u0259"
- bir
- bu
- "az\u0259rbaycan"
- olan
- "\xFC\xE7\xFCn"
- sonra
- "d\u0259"
- kimi
- il
- "is\u0259"
- o
- "g\xF6r\u0259"
- da
- "t\u0259r\u0259find\u0259n"
- "\xE7ox"
- ki
- onun
- edir
- idi
top_n_grams:
- - 2
- 0.514
- - 3
- 0.475
- - 4
- 0.405
================================================
FILE: configs/azz_Latn.yml
================================================
dup_line_frac: 0.756
dup_n_grams:
- - 5
- 0.476
- - 6
- 0.451
- - 7
- 0.405
- - 8
- 0.386
- - 9
- 0.372
- - 10
- 0.326
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.854
min_avg_word_length: 4
new_line_ratio: 0.053
stopwords:
- huan
- in
- ne
- de
- ten
- dios
- ya
- amo
- ica
- que
- 'no'
- "ijc\xF3n"
- ma
- nochi
- "jes\xFAs"
- se
- "por\xEDn"
- "ijcuac\xF3n"
- para
- yejuan
- cuac
- queme
- "ijcu\xEDn"
- tech
top_n_grams:
- - 2
- 1.041
- - 3
- 1.044
- - 4
- 0.915
================================================
FILE: configs/bak_Cyrl.yml
================================================
dup_line_frac: 0.217
dup_n_grams:
- - 5
- 0.128
- - 6
- 0.12
- - 7
- 0.103
- - 8
- 0.092
- - 9
- 0.084
- - 10
- 0.077
language_score: 0.9
line_punct_thr: 0.222
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.72
min_avg_word_length: 3
new_line_ratio: 0.134
stopwords:
- "\u04BB\u04D9\u043C"
- "\u0431\u0443\u0439\u044B\u043D\u0441\u0430"
- "\u04BB\u044B\u0443"
- "\u043C\u0435\u043D\u04D9\u043D"
- "\u0439\u044B\u043B\u0493\u0430"
- "\u0439\u044B\u043B\u0434\u0430"
- "\u0431\u0430\u0441\u0441\u0435\u0439\u043D\u044B"
- "\u0439\u044B\u043B\u0434\u044B\u04A3"
- "\u0440\u04D9\u0441\u04D9\u0439"
- "\u0434\u04D9\u04AF\u043B\u04D9\u0442"
- "\u0442\u0438\u043A\u043B\u0435\u043C"
- "\u0431\u0443\u043B\u0430"
- "\u043A\u043E\u0434\u044B"
- "\u04E9\u0441\u04E9\u043D"
- "\u0431\u0435\u0440"
- "\u0433\u04E9"
- "\u043A\u043C"
- "\u0431\u044B\u043B"
- "\u0443\u043B"
- "\u0443\u04A1"
- "\u0439\u044B\u043B"
- "\u0443\u043D\u044B\u04A3"
- "\u0443\u0440\u044B\u043D\u043B\u0430\u0448\u04A1\u0430\u043D"
- "\u0445\u0430\u043B\u044B\u04A1"
- "\u0442\u0438\u043F"
top_n_grams:
- - 2
- 0.221
- - 3
- 0.171
- - 4
- 0.133
================================================
FILE: configs/bam_Latn.yml
================================================
dup_line_frac: 0.632
dup_n_grams:
- - 5
- 0.431
- - 6
- 0.332
- - 7
- 0.386
- - 8
- 0.325
- - 9
- 0.342
- - 10
- 0.333
language_score: 0.3
line_punct_thr: 0.0
max_avg_word_length: 17
max_non_alpha_words_ratio: 0.826
min_avg_word_length: 2
new_line_ratio: 0.25
stopwords:
- ye
- ka
- a
- ni
- la
- "b\u025B"
- na
- min
- ani
- o
- kan
- san
- dugu
top_n_grams:
- - 2
- 0.882
- - 3
- 0.781
- - 4
- 0.716
================================================
FILE: configs/ban_Latn.yml
================================================
dup_line_frac: 0.69
dup_n_grams:
- - 5
- 0.431
- - 6
- 0.422
- - 7
- 0.39
- - 8
- 0.352
- - 9
- 0.357
- - 10
- 0.296
language_score: 0.3
line_punct_thr: 0.056
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.799
min_avg_word_length: 2
new_line_ratio: 0.367
stopwords:
- ring
- punika
- "san\xE9"
- inggih
- miwah
- kecamatan
- "d\xE9sa"
- bali
- puniki
- silih
- tunggil
- "indon\xE9sia"
- "kabupat\xE9n"
- aksara
- saking
top_n_grams:
- - 2
- 1.088
- - 3
- 0.979
- - 4
- 1.0
================================================
FILE: configs/bao_Latn.yml
================================================
dup_line_frac: 0.306
dup_n_grams:
- - 5
- 0.223
- - 6
- 0.204
- - 7
- 0.187
- - 8
- 0.178
- - 9
- 0.159
- - 10
- 0.148
language_score: 0.739
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.761
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- ca
- "c\u0289\u0303"
- biro
- to
- "y\u0289"
- "c\u0289\u0303ja"
- "m\u0289ja"
- "\u0129i"
- "\u0289m\u0289reco"
- tii
- "pac\u0289"
- nii
- "c\u0289\u0303re"
- pea
- mena
- bii
- o
top_n_grams:
- - 2
- 0.483
- - 3
- 0.44
- - 4
- 0.364
================================================
FILE: configs/bar_Latn.yml
================================================
dup_line_frac: 0.591
dup_n_grams:
- - 5
- 0.38
- - 6
- 0.356
- - 7
- 0.326
- - 8
- 0.301
- - 9
- 0.274
- - 10
- 0.247
language_score: 0.3
line_punct_thr: 0.0
max_avg_word_length: 17
max_non_alpha_words_ratio: 0.772
min_avg_word_length: 2
new_line_ratio: 0.25
stopwords:
- da
- de
- und
- in
- vo
- a
- is
- im
- des
- hod
top_n_grams:
- - 2
- 0.681
- - 3
- 0.635
- - 4
- 0.529
================================================
FILE: configs/bas_Latn.yml
================================================
dup_line_frac: 0.487
dup_n_grams:
- - 5
- 0.295
- - 6
- 0.27
- - 7
- 0.247
- - 8
- 0.228
- - 9
- 0.209
- - 10
- 0.194
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.091
stopwords:
- i
- a
- ba
- bi
- le
- ni
- "b\xE9"
- di
- "y\xE9"
- u
- ma
- inyu
- "y\xE9h\xF4va"
- li
- "ng\xE9da"
- "b\xF4t"
- me
top_n_grams:
- - 2
- 1.295
- - 3
- 1.161
- - 4
- 1.074
================================================
FILE: configs/bav_Latn.yml
================================================
dup_line_frac: 0.326
dup_n_grams:
- - 5
- 0.301
- - 6
- 0.256
- - 7
- 0.237
- - 8
- 0.223
- - 9
- 0.201
- - 10
- 0.204
language_score: 0.658
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.767
min_avg_word_length: 2
new_line_ratio: 0.05
stopwords:
- "n\u0259"
- "fa\u014B"
- "\u014Bw\u0259"
- laa
- nwi
- "v\u0259\u014B"
- "v\u0268\u0268"
- "vi\u014B"
- maa
- "t\u0268\u0301"
- "k\u0268"
- me
- taa
- nu
- "m\u0259"
- "f\u0268"
- kee
- luu
- "w\u0259"
- "l\xF9u"
- "gh\u0254"
- baa
- "v\u0268"
- yeso
top_n_grams:
- - 2
- 0.756
- - 3
- 0.768
- - 4
- 0.617
================================================
FILE: configs/bba_Latn.yml
================================================
dup_line_frac: 0.098
dup_n_grams:
- - 5
- 0.086
- - 6
- 0.082
- - 7
- 0.069
- - 8
- 0.065
- - 9
- 0.06
- - 10
- 0.053
language_score: 0.709
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.841
min_avg_word_length: 2
new_line_ratio: 0.071
stopwords:
- u
- ka
- ba
- n
- "k\u0251"
- bu
- i
- "b\u0251"
- ye
- win
- "s\u0254\u0254"
- ma
- "n\u025B\u025B"
- wi
- be
- "m\u025B"
- "gusun\u0254"
- koo
- yinni
- a
- ko
top_n_grams:
- - 2
- 0.208
- - 3
- 0.212
- - 4
- 0.203
================================================
FILE: configs/bbb_Latn.yml
================================================
dup_line_frac: 0.196
dup_n_grams:
- - 5
- 0.108
- - 6
- 0.097
- - 7
- 0.089
- - 8
- 0.085
- - 9
- 0.073
- - 10
- 0.068
language_score: 0.662
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.912
min_avg_word_length: 3
new_line_ratio: 0.05
stopwords:
- ije
- e
- fu
- bu
- ro
- ijia
- ijadufuo
- na
- ijiege
- una
- vua
- ja
- kuae
- fuone
- ma
- 'no'
- godi
- boeje
- ire
- fune
- areme
top_n_grams:
- - 2
- 0.466
- - 3
- 0.415
- - 4
- 0.333
================================================
FILE: configs/bbc_Latn.yml
================================================
dup_line_frac: 0.429
dup_n_grams:
- - 5
- 0.295
- - 6
- 0.286
- - 7
- 0.274
- - 8
- 0.258
- - 9
- 0.243
- - 10
- 0.228
language_score: 0.778
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.769
min_avg_word_length: 3
new_line_ratio: 0.1
stopwords:
- na
- do
- ni
- ma
- i
- tu
- di
- si
- jala
- ibana
- nasida
- dohot
- sian
- halak
- jahowa
- angka
- hamu
- songon
top_n_grams:
- - 2
- 0.674
- - 3
- 0.559
- - 4
- 0.445
================================================
FILE: configs/bbj_Latn.yml
================================================
dup_line_frac: 0.623
dup_n_grams:
- - 5
- 0.259
- - 6
- 0.248
- - 7
- 0.234
- - 8
- 0.212
- - 9
- 0.192
- - 10
- 0.178
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.792
min_avg_word_length: 1
new_line_ratio: 0.059
stopwords:
- a
- "n\u0259"
- e
- "b\u0251"
- "p\u0251"
- "g\u0251"
- "l\u0259"
- "y\u0259"
- pu
- bi
- wap
- po
- pa
- "t\u0259"
- "g\u0254"
- si
- m
- "p\u0251\u0301"
- mo
- "py\u0259"
- "p\u0254"
- ba
- "s\u0254"
- "yw\u0259"
top_n_grams:
- - 2
- 0.375
- - 3
- 0.362
- - 4
- 0.311
================================================
FILE: configs/bbk_Latn.yml
================================================
dup_line_frac: 0.216
dup_n_grams:
- - 5
- 0.188
- - 6
- 0.182
- - 7
- 0.168
- - 8
- 0.158
- - 9
- 0.141
- - 10
- 0.132
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.871
min_avg_word_length: 2
new_line_ratio: 0.05
stopwords:
- a
- "\u0259"
- la
- "gh\u0259\u0300"
- "gh\u0259\u0300\u014B"
- "v\u0259"
- "k\u0259"
- "vi\u02BCi"
- "di\u02BC"
- "nyi\u0300ngo\u0300\u014B"
- wen
- "v\u0259wen\u0259"
- "n\u0259\u0300"
- to
- 'no'
- ko
- li
- "a\u0300"
- "\u0259\u0300"
- "s\u0259"
- fa
- ando
- be
top_n_grams:
- - 2
- 0.263
- - 3
- 0.244
- - 4
- 0.082
================================================
FILE: configs/bbo_Latn.yml
================================================
dup_line_frac: 0.773
dup_n_grams:
- - 5
- 0.572
- - 6
- 0.58
- - 7
- 0.531
- - 8
- 0.509
- - 9
- 0.476
- - 10
- 0.446
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.852
min_avg_word_length: 2
new_line_ratio: 0.062
stopwords:
- na
- "h\xF5"
- ma
- ye
- a
- ta
- "ngw\xF5"
- da
- ka
- "k\u0254"
- ne
- "m\u025B"
- ga
- wuro
- ngwona
- mane
- "ngw\u0129"
- "s\u0254ma"
- ya
- ha
- "nem\u025B"
- pepe
- yesu
- be
- ti
top_n_grams:
- - 2
- 1.148
- - 3
- 1.355
- - 4
- 0.962
================================================
FILE: configs/bbr_Latn.yml
================================================
dup_line_frac: 0.363
dup_n_grams:
- - 5
- 0.357
- - 6
- 0.351
- - 7
- 0.341
- - 8
- 0.325
- - 9
- 0.31
- - 10
- 0.291
language_score: 0.666
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.762
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- kiro
- ak
- ko
- anut
- wa
- "\xE4m\xE4n"
- roasiret
- nukan
- akan
- is
- kon
- roat
- onok
- nukas
- ro
- pak
- opok
- orip
- jisas
- ik
- aru
- akas
- karauk
- epar
- kar
- eposek
top_n_grams:
- - 2
- 0.315
- - 3
- 0.311
- - 4
- 0.296
================================================
FILE: configs/bch_Latn.yml
================================================
dup_line_frac: 0.108
dup_n_grams:
- - 5
- 0.149
- - 6
- 0.125
- - 7
- 0.096
- - 8
- 0.086
- - 9
- 0.079
- - 10
- 0.067
language_score: 0.663
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.821
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- ngan
- ga
- ta
- toa
- be
- gid
- mao
- ei
- aea
- deo
- ele
- panua
- ne
- gimi
- posanga
- pade
- kadonga
- oa
- gau
- eaba
- eine
- ede
- mambe
top_n_grams:
- - 2
- 0.449
- - 3
- 0.349
- - 4
- 0.307
================================================
FILE: configs/bci_Latn.yml
================================================
dup_line_frac: 0.393
dup_n_grams:
- - 5
- 0.244
- - 6
- 0.234
- - 7
- 0.215
- - 8
- 0.2
- - 9
- 0.18
- - 10
- 0.167
language_score: 0.671
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.077
stopwords:
- be
- i
- "\u0254"
- "k\u025B"
- e
- su
- nga
- "y\u025B"
- ti
- nun
- nin
- "\u0272anmi\u025Bn"
- sa
- sran
- yo
- naan
- "b\xE9"
- wun
top_n_grams:
- - 2
- 0.779
- - 3
- 0.71
- - 4
- 0.624
================================================
FILE: configs/bcl_Latn.yml
================================================
dup_line_frac: 0.292
dup_n_grams:
- - 5
- 0.198
- - 6
- 0.185
- - 7
- 0.167
- - 8
- 0.147
- - 9
- 0.132
- - 10
- 0.119
language_score: 0.3
line_punct_thr: 0.078
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.826
min_avg_word_length: 3
new_line_ratio: 0.245
stopwords:
- sa
- na
- an
- kan
- mga
- nin
- asin
- sarong
- si
- iyo
top_n_grams:
- - 2
- 0.821
- - 3
- 0.682
- - 4
- 0.571
================================================
FILE: configs/bco_Latn.yml
================================================
dup_line_frac: 0.001
dup_n_grams:
- - 5
- 0.021
- - 6
- 0.016
- - 7
- 0.012
- - 8
- 0.009
- - 9
- 0.008
- - 10
- 0.007
language_score: 0.871
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.794
min_avg_word_length: 4
new_line_ratio: 0.059
stopwords:
- "a\uA789no\uA789"
- kalu
- "ko\uA789lo\uA789"
- e
- to
- "amio\uA789"
- "o\uA789lia\uA789"
- "a\uA789la\uA789ta\uA789ga\uA789"
- "a\uA789na"
- "eyo\uA789"
- man
- "godeya\uA789"
- "kaluka\uA789isale"
- "iyo\uA789"
- ne
- "ko\uA789sega"
top_n_grams:
- - 2
- 0.067
- - 3
- 0.071
- - 4
- 0.033
================================================
FILE: configs/bcw_Latn.yml
================================================
dup_line_frac: 0.129
dup_n_grams:
- - 5
- 0.169
- - 6
- 0.109
- - 7
- 0.093
- - 8
- 0.086
- - 9
- 0.075
- - 10
- 0.074
language_score: 0.806
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 3
new_line_ratio: 0.042
stopwords:
- na
- va
- ka
- tsa
- "kw\u0259ma"
- ma
- "mb\u0259"
- ta
- "ghw\u0259y"
- "k\u0259"
- "gh\u0259shi"
- dza
- hyala
- "l\u0259"
- shi
- sa
- "mb\u0259zli"
- mba'a
- a
- "t\u0259"
- "nd\u0259"
- kaa
- "yes\u0259w"
- nza
- ya
- niy
- "ts\u0259gha"
- kwa
top_n_grams:
- - 2
- 0.203
- - 3
- 0.297
- - 4
- 0.253
================================================
FILE: configs/bdd_Latn.yml
================================================
dup_line_frac: 0.277
dup_n_grams:
- - 5
- 0.173
- - 6
- 0.165
- - 7
- 0.158
- - 8
- 0.153
- - 9
- 0.125
- - 10
- 0.119
language_score: 0.783
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.643
min_avg_word_length: 4
new_line_ratio: 0.071
stopwords:
- ma
- ta
- weyahina
- wete
- yehoba
- geya
- yesu
- ina
- bewa
- oina
- oinega
- hesi
- "\uA78Cina"
- coinega
- tauna
- "\uA78Coina"
top_n_grams:
- - 2
- 0.837
- - 3
- 0.813
- - 4
- 0.719
================================================
FILE: configs/bdh_Latn.yml
================================================
dup_line_frac: 0.41
dup_n_grams:
- - 5
- 0.396
- - 6
- 0.39
- - 7
- 0.381
- - 8
- 0.366
- - 9
- 0.35
- - 10
- 0.332
language_score: 0.832
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.833
min_avg_word_length: 2
new_line_ratio: 0.045
stopwords:
- "b\u0268"
- "n\xED"
- ledre
- "z\u0268\u0301"
- "g\u0268"
- "\uA78Cy\u1ECB"
- e
- "k\u0268\u0301"
- "\uA78Cb\u0268"
- "n\xE9e"
- ga
- "s\u0268m\u0268"
- lomo
- "z\u0268\u0301a"
- go
- "w\xE1"
- "n\u0268"
- do
- "k\u0268\u0301d\xED"
- ro
- a
- "y\xE9s\u1EE5"
- "en\xE9"
- "k\xF3o"
- "k\xE1a"
- "z\u0268\u0301ye"
top_n_grams:
- - 2
- 0.144
- - 3
- 0.149
- - 4
- 0.155
================================================
FILE: configs/bdq_Latn.yml
================================================
dup_line_frac: 0.552
dup_n_grams:
- - 5
- 0.418
- - 6
- 0.4
- - 7
- 0.373
- - 8
- 0.354
- - 9
- 0.335
- - 10
- 0.308
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.736
min_avg_word_length: 2
new_line_ratio: 0.042
stopwords:
- "\u0306"
- "k\u01A1"
- "s\u01B0"
- lu
- "b\u01A1ngai"
- n
- "t\u01A1drong"
- ng
- inh
- "b\u01A1"
- "i\u0115m"
- noh
- bok kei
- dei
- "m\u0103"
- "w\u0103"
- na
- "\u01B0h"
- "t\u01A1"
- thoi
- khan
- "p\u01A1m"
- m
- "p\u0103ng"
top_n_grams:
- - 2
- 0.821
- - 3
- 0.822
- - 4
- 0.752
================================================
FILE: configs/bea_Latn.yml
================================================
dup_line_frac: 0.436
dup_n_grams:
- - 5
- 0.265
- - 6
- 0.242
- - 7
- 0.224
- - 8
- 0.215
- - 9
- 0.192
- - 10
- 0.177
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.759
min_avg_word_length: 4
new_line_ratio: 0.091
stopwords:
- kahchu
- chu
- atu
- kwa
- ihe
- ayi
- ooli
- tsi
- yehti
- tane
- toowe
- otsi
- ahwole
- jesus
- oochu
- gha
- ate
top_n_grams:
- - 2
- 1.41
- - 3
- 1.221
- - 4
- 1.024
================================================
FILE: configs/bef_Latn.yml
================================================
dup_line_frac: 0.98
dup_n_grams:
- - 5
- 0.753
- - 6
- 0.749
- - 7
- 0.735
- - 8
- 0.712
- - 9
- 0.684
- - 10
- 0.652
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.88
min_avg_word_length: 4
new_line_ratio: 0.059
stopwords:
- to
- huto
- luto
- ya
- yabe
- lu
- ai
- ya'ma
- hiti
- bo
- enali
- lite
- ana
- li
- hite
- lenali
- ma
- ka
top_n_grams:
- - 2
- 3.16
- - 3
- 3.364
- - 4
- 3.316
================================================
FILE: configs/bel_Cyrl.yml
================================================
dup_line_frac: 0.261
dup_n_grams:
- - 5
- 0.124
- - 6
- 0.116
- - 7
- 0.103
- - 8
- 0.094
- - 9
- 0.084
- - 10
- 0.075
language_score: 0.892
line_punct_thr: 0.143
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.72
min_avg_word_length: 3
new_line_ratio: 0.216
stopwords:
- "\u0456"
- "\u0443"
- "\u045E"
- "\u0437"
- "\u043D\u0430"
- "\u0433\u043E\u0434\u0430"
- "\u0434\u0430"
- "\u0433\u043E\u0434\u0437\u0435"
- "\u043F\u0430"
- "\u0430\u0434"
- "\u0437\u0430"
- "\u0431\u044B\u045E"
- "\u043D\u0435"
- "\u0448\u0442\u043E"
- "\u0433."
- "\u0434\u043B\u044F"
- "\u0442\u0430\u043A\u0441\u0430\u043C\u0430"
- "\u0430"
- "\u044F\u0433\u043E"
- "\u044F\u043A"
- "\u0432\u043E\u0431\u043B\u0430\u0441\u0446\u0456"
- "\u043F\u0430\u0441\u043B\u044F"
top_n_grams:
- - 2
- 0.196
- - 3
- 0.153
- - 4
- 0.135
================================================
FILE: configs/bem_Latn.yml
================================================
dup_line_frac: 0.335
dup_n_grams:
- - 5
- 0.215
- - 6
- 0.205
- - 7
- 0.189
- - 8
- 0.174
- - 9
- 0.16
- - 10
- 0.145
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 3
new_line_ratio: 0.111
stopwords:
- mu
- pa
- na
- ku
- kuti
- 'no'
- kwa
- ukuti
- kabili
- ya
- nga
- wa
- yehova
- lesa
- ca
- e
- ne
top_n_grams:
- - 2
- 1.376
- - 3
- 1.081
- - 4
- 0.946
================================================
FILE: configs/ben_Beng.yml
================================================
dup_line_frac: 0.203
dup_n_grams:
- - 5
- 0.118
- - 6
- 0.108
- - 7
- 0.099
- - 8
- 0.09
- - 9
- 0.082
- - 10
- 0.073
language_score: 0.872
line_punct_thr: 0.125
max_avg_word_length: 24
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.171
stopwords:
- "\u098F\u09AC\u0982"
- "\u0993"
- "\u09B9\u09AF\u09BC"
- "\u0995\u09B0\u09C7"
- "\u098F\u0995\u099F\u09BF"
- "\u09A4\u09BF\u09A8\u09BF"
- "\u0995\u09B0\u09BE"
- "\u09A5\u09C7\u0995\u09C7"
top_n_grams:
- - 2
- 0.177
- - 3
- 0.158
- - 4
- 0.147
================================================
FILE: configs/ben_Latn.yml
================================================
dup_line_frac: 0.47
dup_n_grams:
- - 5
- 0.331
- - 6
- 0.31
- - 7
- 0.286
- - 8
- 0.266
- - 9
- 0.245
- - 10
- 0.222
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 14
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.143
stopwords:
- o
- ebong
- hoy
- kore
- tini
- koren
- ei
- ekti
- er
- kora
- theke
- saale
- tar
- jonno
top_n_grams:
- - 2
- 1.06
- - 3
- 0.886
- - 4
- 0.735
================================================
FILE: configs/beq_Latn.yml
================================================
dup_line_frac: 0.828
dup_n_grams:
- - 5
- 0.578
- - 6
- 0.563
- - 7
- 0.554
- - 8
- 0.515
- - 9
- 0.504
- - 10
- 0.49
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 3
new_line_ratio: 0.071
stopwords:
- mu
- na
- ti
- kuri
- me
- nde
- ngo
- beenu
- nzaambi
- bo
- ha
- ko
- ku
- bu
- ya
- yesu
- ma
top_n_grams:
- - 2
- 0.748
- - 3
- 0.813
- - 4
- 0.813
================================================
FILE: configs/bew_Latn.yml
================================================
dup_line_frac: 0.517
dup_n_grams:
- - 5
- 0.311
- - 6
- 0.29
- - 7
- 0.27
- - 8
- 0.248
- - 9
- 0.229
- - 10
- 0.209
language_score: 0.411
line_punct_thr: -1
max_avg_word_length: 12
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.077
stopwords:
- nyang
- di
- yang
- aye
- dan
- kagak
- orang
- kalo
- buat
- kite
- dari
- ntu
top_n_grams:
- - 2
- 0.381
- - 3
- 0.346
- - 4
- 0.298
================================================
FILE: configs/bex_Latn.yml
================================================
dup_line_frac: 0.18
dup_n_grams:
- - 5
- 0.226
- - 6
- 0.166
- - 7
- 0.15
- - 8
- 0.15
- - 9
- 0.133
- - 10
- 0.116
language_score: 0.83
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.829
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- ma
- "r\u0254"
- bo
- ti
- ne
- "m\xEF"
- "\uA78Cba"
- kina
- ga
- "\u014Bg\xEF"
- na
- mo
- "b\u0254"
- ame
- lende
- "g\u0254"
- te
- "l\xEFj\xEB"
- "\uA78Cdeni"
- "d\u0254"
- nima
- di
- nime
- tine
- "b\u0254ko\uA78Cba"
- zi
- "d\xEB"
- ba
top_n_grams:
- - 2
- 0.175
- - 3
- 0.292
- - 4
- 0.256
================================================
FILE: configs/bfd_Latn.yml
================================================
dup_line_frac: 0.231
dup_n_grams:
- - 5
- 0.206
- - 6
- 0.183
- - 7
- 0.151
- - 8
- 0.143
- - 9
- 0.132
- - 10
- 0.124
language_score: 0.882
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.857
min_avg_word_length: 2
new_line_ratio: 0.048
stopwords:
- a
- "m\u0259"
- aa
- "l\u025B"
- "n\u0268"
- "b\u0268"
- bo
- "n\u0268\u0302"
- "\xE0"
- mbo
- "a\u0300"
- "n\u0268\u0300"
- ka
- "m\u0259\u0300"
- "\u0268"
- kaa
- ghu
- "y\xECi"
- "yi\u0300i"
- yi
top_n_grams:
- - 2
- 0.139
- - 3
- 0.19
- - 4
- 0.162
================================================
FILE: configs/bfo_Latn.yml
================================================
dup_line_frac: 0.519
dup_n_grams:
- - 5
- 0.349
- - 6
- 0.392
- - 7
- 0.184
- - 8
- 0.175
- - 9
- 0.166
- - 10
- 0.154
language_score: 0.635
line_punct_thr: -1
max_avg_word_length: 5
max_non_alpha_words_ratio: 0.81
min_avg_word_length: 2
new_line_ratio: 0.05
stopwords:
- a
- na
- "\u028B"
- "\u0269\u0303"
- "n\u0269"
- ba
- "\u0269"
- wa
- "ny\u0269"
- ma
- "naa\u014Bm\u0269n"
- ala
- "s\u0269"
- be
- "l\u025B"
- "m\u0269"
- yel
top_n_grams:
- - 2
- 1.558
- - 3
- 1.999
- - 4
- 2.181
================================================
FILE: configs/bgr_Latn.yml
================================================
dup_line_frac: 0.234
dup_n_grams:
- - 5
- 0.187
- - 6
- 0.184
- - 7
- 0.166
- - 8
- 0.159
- - 9
- 0.148
- - 10
- 0.138
language_score: 0.712
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.059
stopwords:
- a
- hen
- chun
- chu
- an
- tla
- mi
- nih
- le
- ka
- ah
- ti
- asi
- nan
- lo
- na
- ding
- sinah
- leh
- hawng
- um
- rawh
- hi
- pathian
- lai
- kan
- thu
top_n_grams:
- - 2
- 0.263
- - 3
- 0.224
- - 4
- 0.208
================================================
FILE: configs/bgs_Latn.yml
================================================
dup_line_frac: 0.401
dup_n_grams:
- - 5
- 0.402
- - 6
- 0.395
- - 7
- 0.383
- - 8
- 0.367
- - 9
- 0.352
- - 10
- 0.329
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- "t\xF4"
- na
- ka
- "kat\xF4"
- mga
- ta
- tun
- asta
- din
- dan
- manama
- si
- "manub\xF9"
- ku
- sikandin
- su
- yu
- asal
- "\xE1nd\xE0"
- "k\xF3"
- ki
top_n_grams:
- - 2
- 0.592
- - 3
- 0.592
- - 4
- 0.542
================================================
FILE: configs/bgt_Latn.yml
================================================
dup_line_frac: 0.943
dup_n_grams:
- - 5
- 0.829
- - 6
- 0.827
- - 7
- 0.851
- - 8
- 0.751
- - 9
- 0.806
- - 10
- 0.744
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.846
min_avg_word_length: 3
new_line_ratio: 0.05
stopwords:
- na
- ke
- a
- komi
- kena
- kori
- eigna
- god
- keda
- tinoni
- boi
- imanea
- inau
- ma
- fata
- me
- gi
- ku
- eia
- iangeni
- mono
top_n_grams:
- - 2
- 3.47
- - 3
- 3.78
- - 4
- 3.803
================================================
FILE: configs/bgz_Latn.yml
================================================
dup_line_frac: 0.678
dup_n_grams:
- - 5
- 0.562
- - 6
- 0.563
- - 7
- 0.561
- - 8
- 0.54
- - 9
- 0.534
- - 10
- 0.521
language_score: 0.616
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.767
min_avg_word_length: 4
new_line_ratio: 0.067
stopwords:
- doi
- tukon
- mo
- mian
- yana
- bisa
- yanila
- yaku
- komuyu
- yesus
- komian
- aki
- kona
- doiya
- do
- ko
- maka
- koidan
- bai
- sabab
- daano
- komo
- sulano
- naikon
- sasaibino
top_n_grams:
- - 2
- 1.187
- - 3
- 0.803
- - 4
- 0.759
================================================
FILE: configs/bhg_Latn.yml
================================================
dup_line_frac: 0.29
dup_n_grams:
- - 5
- 0.953
- - 6
- 0.939
- - 7
- 0.946
- - 8
- 0.908
- - 9
- 0.871
- - 10
- 0.846
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.778
min_avg_word_length: 3
new_line_ratio: 0.059
stopwords:
- edo
- awa
- embo
- da
- ainda
- ango
- yai
- ge
- mi
- yesu
- god
- ae
- sisina
- imo
- de
- ari
- ata
- ami
- iji
- na
top_n_grams:
- - 2
- 1.858
- - 3
- 2.133
- - 4
- 2.299
================================================
FILE: configs/bhl_Latn.yml
================================================
dup_line_frac: 0.285
dup_n_grams:
- - 5
- 0.47
- - 6
- 0.454
- - 7
- 0.434
- - 8
- 0.409
- - 9
- 0.388
- - 10
- 0.363
language_score: 0.631
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.732
min_avg_word_length: 3
new_line_ratio: 0.038
stopwords:
- e
- te
- em
- kunum
- so
- be
- dim
- weng
- kale
- mak
- alik
- sunbin
- fian
- got
- ibolow
- kawtiw
- i
- elo
- kuw
- beem
- ding
- kasike
- yu
- keko
- waneng
- im
top_n_grams:
- - 2
- 1.094
- - 3
- 1.065
- - 4
- 0.917
================================================
FILE: configs/bho_Deva.yml
================================================
dup_line_frac: 0.294
dup_n_grams:
- - 5
- 0.163
- - 6
- 0.143
- - 7
- 0.131
- - 8
- 0.12
- - 9
- 0.111
- - 10
- 0.1
language_score: 0.315
line_punct_thr: 0.143
max_avg_word_length: 13
max_non_alpha_words_ratio: 0.849
min_avg_word_length: 2
new_line_ratio: 0.212
stopwords:
- "\u0915\u0947"
- "\u092E\u0947\u0902"
- "\u0906"
- "\u0938\u0947"
- "\u092C\u093E"
- "\u0908"
- "\u092C\u093E\u091F\u0947"
- "\u0938\u092D"
- "\u090F\u0917\u094B"
top_n_grams:
- - 2
- 0.333
- - 3
- 0.274
- - 4
- 0.237
================================================
FILE: configs/bhp_Latn.yml
================================================
dup_line_frac: 0.65
dup_n_grams:
- - 5
- 0.474
- - 6
- 0.453
- - 7
- 0.418
- - 8
- 0.376
- - 9
- 0.351
- - 10
- 0.323
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.78
min_avg_word_length: 3
new_line_ratio: 0.067
stopwords:
- "\xAFdi"
- dou
- "\xAFba"
- ma
- ruma
- ede
- ro
- ra
- nahu
- sia
- "nggomi\xAFdoho"
- "sia\xAFdoho"
- wati
- hatalla
- isa
- la
- ade
- kai
- "\xAFbara"
- ake
top_n_grams:
- - 2
- 0.815
- - 3
- 0.809
- - 4
- 0.728
================================================
FILE: configs/bhw_Latn.yml
================================================
dup_line_frac: 0.237
dup_n_grams:
- - 5
- 0.191
- - 6
- 0.176
- - 7
- 0.17
- - 8
- 0.159
- - 9
- 0.148
- - 10
- 0.134
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.769
min_avg_word_length: 3
new_line_ratio: 0.1
stopwords:
- ro
- ma
- fa
- na
- yahwe
- "\u1E07e"
- faro
- "\u1E07a"
- roi
- kaku
- ya
- i
- kuker
- rosai
- snonkaku
- sya
- nari
- allah
- kwar
top_n_grams:
- - 2
- 1.736
- - 3
- 1.51
- - 4
- 1.339
================================================
FILE: configs/bhz_Latn.yml
================================================
dup_line_frac: 0.381
dup_n_grams:
- - 5
- 0.284
- - 6
- 0.259
- - 7
- 0.236
- - 8
- 0.211
- - 9
- 0.189
- - 10
- 0.165
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.621
min_avg_word_length: 3
new_line_ratio: 0.062
stopwords:
- i
- to
- iti
- pue
- hai
- tauna
- ala
- iesu
- ina
- kai
- ti'ara
- upu
- "ag\xE1i\xE1n\xE1"
- "l\xE1wi"
- lia
- hane'i
- ara
- bona
top_n_grams:
- - 2
- 0.675
- - 3
- 0.505
- - 4
- 0.291
================================================
FILE: configs/bib_Latn.yml
================================================
dup_line_frac: 0.245
dup_n_grams:
- - 5
- 0.242
- - 6
- 0.192
- - 7
- 0.16
- - 8
- 0.153
- - 9
- 0.145
- - 10
- 0.134
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 1
new_line_ratio: 0.053
stopwords:
- a
- "b\u0269"
- "\u028B"
- m
- n
- "\u014B"
- "w\u0254\u0254"
- ma
- "k\u028B"
- k'a
- an
- "n\u0269"
- "m\u0254\u0254"
- "\u028A"
- "k\u0269"
- kan
- ba
- woso
- "aw\u0254\u0254"
- ka
- "\u0269"
- da
- n'a
- y'a
top_n_grams:
- - 2
- 0.18
- - 3
- 0.301
- - 4
- 0.268
================================================
FILE: configs/big_Latn.yml
================================================
dup_line_frac: 0.238
dup_n_grams:
- - 5
- 0.231
- - 6
- 0.214
- - 7
- 0.187
- - 8
- 0.179
- - 9
- 0.166
- - 10
- 0.149
language_score: 0.637
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.878
min_avg_word_length: 4
new_line_ratio: 0.056
stopwords:
- logo
- keya
- purik
- ono
- miza
- puwili
- mizi
- ne
- pi
- ini
- pelik
- ngago
- kapura
top_n_grams:
- - 2
- 0.974
- - 3
- 0.824
- - 4
- 0.652
================================================
FILE: configs/bim_Latn.yml
================================================
dup_line_frac: 0.352
dup_n_grams:
- - 5
- 0.297
- - 6
- 0.274
- - 7
- 0.261
- - 8
- 0.243
- - 9
- 0.232
- - 10
- 0.213
language_score: 0.741
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 2
new_line_ratio: 0.067
stopwords:
- ki
- na
- nan
- a
- u
- nba
- n
- tee
- bi
- ni
- yennu
- li
- i
- saa
- din
- "\u014Baan"
- kur
- paak
- be
top_n_grams:
- - 2
- 0.717
- - 3
- 0.631
- - 4
- 0.562
================================================
FILE: configs/bin_Latn.yml
================================================
dup_line_frac: 0.95
dup_n_grams:
- - 5
- 0.643
- - 6
- 0.608
- - 7
- 0.587
- - 8
- 0.565
- - 9
- 0.541
- - 10
- 0.508
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.083
stopwords:
- ne
- vbe
- gha
- na
- ya
- "\u1ECD"
- ima
- "n\u1ECD"
- iran
- "\u1EB9re"
- "w\u1EB9\u1EB9"
- e
- ma
- emwi
- ru
- ghi
- "mw\u1EB9"
- "\u1ECDghe"
- emwa
- jehova
- ye
- keghi
- ni
- i
- khian
- rre
top_n_grams:
- - 2
- 1.046
- - 3
- 1.054
- - 4
- 0.992
================================================
FILE: configs/bis_Latn.yml
================================================
dup_line_frac: 0.41
dup_n_grams:
- - 5
- 0.447
- - 6
- 0.432
- - 7
- 0.415
- - 8
- 0.398
- - 9
- 0.377
- - 10
- 0.352
language_score: 0.516
line_punct_thr: 0.25
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.87
min_avg_word_length: 3
new_line_ratio: 0.25
stopwords:
- blong
- i
- long
- ol
- hem
- wan
- stet
- mo
- yunaeted
- em
- bin
- pipol
- stap
- man
- akta
- amerika
- we
- singsing
top_n_grams:
- - 2
- 1.695
- - 3
- 1.722
- - 4
- 1.649
================================================
FILE: configs/biu_Latn.yml
================================================
dup_line_frac: 0.603
dup_n_grams:
- - 5
- 0.573
- - 6
- 0.549
- - 7
- 0.541
- - 8
- 0.516
- - 9
- 0.487
- - 10
- 0.46
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.062
stopwords:
- a
- an
- nit
- chu
- khah
- khan
- ti
- nin
- ki
- neh
- "t\xE2k"
- mi
- pathian
- om
- ni
- kha
- ziangah
- rang
top_n_grams:
- - 2
- 2.066
- - 3
- 2.192
- - 4
- 2.149
================================================
FILE: configs/biv_Latn.yml
================================================
dup_line_frac: 0.157
dup_n_grams:
- - 5
- 0.206
- - 6
- 0.128
- - 7
- 0.106
- - 8
- 0.101
- - 9
- 0.096
- - 10
- 0.085
language_score: 0.822
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- a
- na
- ba
- "l\u025B"
- "w\u028B"
- ka
- "y\u0269"
- "\u025B"
- "\u0269"
- "n\u0269"
- "y\u025Br"
- "n\xE3a\u014Bm\u0269n"
- naa
- jaa
- n
- "p\u0254"
- wa
- be
- "s\u0269"
- "t\u0269"
- "\u0269ka"
- "l\u0254"
- ma
top_n_grams:
- - 2
- 0.221
- - 3
- 0.352
- - 4
- 0.312
================================================
FILE: configs/bjn_Arab.yml
================================================
dup_line_frac: 0.63
dup_n_grams:
- - 5
- 0.499
- - 6
- 0.476
- - 7
- 0.458
- - 8
- 0.426
- - 9
- 0.396
- - 10
- 0.361
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.771
min_avg_word_length: 3
new_line_ratio: 0.091
stopwords:
- "\u060C"
- "\u0646\u06A0"
- "\u0648\u0627\u0646"
- "\u0644\u0627\u0648\u0646"
- "\u062F"
- "\u062F\u064A"
- "\u062F\u0627\u0644\u0645"
- "\u062F\u0631\u064A"
- "\u0643\u0627\u062F\u0627"
- "\u0646\u0627\u06A0"
top_n_grams:
- - 2
- 1.108
- - 3
- 1.168
- - 4
- 1.086
================================================
FILE: configs/bjn_Latn.yml
================================================
dup_line_frac: 0.856
dup_n_grams:
- - 5
- 0.497
- - 6
- 0.406
- - 7
- 0.388
- - 8
- 0.355
- - 9
- 0.327
- - 10
- 0.303
language_score: 0.3
line_punct_thr: 0.25
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.778
min_avg_word_length: 3
new_line_ratio: 0.18
stopwords:
- di
- nang
- wan
- adalah
- kacamatan
- indunisia
- kampung
- prupinsi
- kabupatin
- kalimantan
- lawan
- matan
- dalam
- sabuah
top_n_grams:
- - 2
- 0.703
- - 3
- 0.685
- - 4
- 0.598
================================================
FILE: configs/bjp_Latn.yml
================================================
dup_line_frac: 0.349
dup_n_grams:
- - 5
- 0.512
- - 6
- 0.499
- - 7
- 0.493
- - 8
- 0.476
- - 9
- 0.456
- - 10
- 0.433
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.809
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- ka
- i
- na
- ri
- le
- ke
- ae
- u
- foron
- gam
- biil
- ta
- ma
- isi
- e
- la
- iesu
- in
- tom
- ia
- lo
- ini
- aragii
- iau
- fanu
top_n_grams:
- - 2
- 2.227
- - 3
- 2.477
- - 4
- 2.503
================================================
FILE: configs/bjr_Latn.yml
================================================
dup_line_frac: 0.089
dup_n_grams:
- - 5
- 0.09
- - 6
- 0.084
- - 7
- 0.078
- - 8
- 0.071
- - 9
- 0.066
- - 10
- 0.057
language_score: 0.841
line_punct_thr: -1
max_avg_word_length: 11
max_non_alpha_words_ratio: 0.862
min_avg_word_length: 4
new_line_ratio: 0.067
stopwords:
- faqa
- "s\xEDa"
- mi
- ufa
- "min\xE1"
- "mis\xE1"
- "nar\xED"
- "qin\xE9e"
- "\xEDnnee"
- "maas\xE1"
- kai
- "faiq\xED"
- "\xE1nutuna"
- "m\xE1ridanoo"
- "qin\xED"
- fee
- "q\xEDmasee"
top_n_grams:
- - 2
- 0.129
- - 3
- 0.114
- - 4
- 0.094
================================================
FILE: configs/bjv_Latn.yml
================================================
dup_line_frac: 0.177
dup_n_grams:
- - 5
- 0.149
- - 6
- 0.144
- - 7
- 0.12
- - 8
- 0.112
- - 9
- 0.105
- - 10
- 0.096
language_score: 0.787
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.786
min_avg_word_length: 2
new_line_ratio: 0.048
stopwords:
- "k\u0268"
- "t\u0268"
- je
- "\u0259"
- "kad\u0268"
- e
- ta
- "k\u0268n"
- m
- a
- "n\u0259"
- "luw\u0259"
- al
- "ne\u0330"
- me
- "d\u0254"
- "d\u0268je"
- "n\u0268ng\u0259"
- "l\u0259"
- ra
- "ad\u0268"
- "d\u0259w"
top_n_grams:
- - 2
- 0.15
- - 3
- 0.224
- - 4
- 0.119
================================================
FILE: configs/bkd_Latn.yml
================================================
dup_line_frac: 0.297
dup_n_grams:
- - 5
- 0.302
- - 6
- 0.282
- - 7
- 0.284
- - 8
- 0.26
- - 9
- 0.252
- - 10
- 0.237
language_score: 0.334
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.857
min_avg_word_length: 3
new_line_ratio: 0.062
stopwords:
- ha
- hu
- sa
- daw
- ta
- mga
- ku
- din
- duun
- en
- dios
- gayed
- ba
- iyan
- su
- nuy
- si
- daan
- "har\xEC"
- dan
- "diy\xE0"
- etaw
- haena
- sidan
- hi
top_n_grams:
- - 2
- 1.005
- - 3
- 0.909
- - 4
- 0.744
================================================
FILE: configs/bkl_Latn.yml
================================================
dup_line_frac: 0.521
dup_n_grams:
- - 5
- 0.359
- - 6
- 0.332
- - 7
- 0.314
- - 8
- 0.293
- - 9
- 0.273
- - 10
- 0.255
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.793
min_avg_word_length: 3
new_line_ratio: 0.045
stopwords:
- jei
- ga
- angtane
- aa
- ane
- jeiserem
- ai
- jam
- uwa
- aamei
- gam
- jes
- ne
- ge
- jem
- temawer
- yesus
- sanbagiri
- taterisi
- seyafter
top_n_grams:
- - 2
- 0.88
- - 3
- 0.804
- - 4
- 0.605
================================================
FILE: configs/bkq_Latn.yml
================================================
dup_line_frac: 0.033
dup_n_grams:
- - 5
- 0.027
- - 6
- 0.026
- - 7
- 0.025
- - 8
- 0.024
- - 9
- 0.022
- - 10
- 0.02
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.722
min_avg_word_length: 4
new_line_ratio: 0.062
stopwords:
- deus
- modo
- "war\xE2"
- jesus
- myani
- ise
- "w\xE2g\xE2"
- "ol\xE2"
- awyly
- xina
- ara
- "m\xE2k\xE2"
- kely
- "lel\xE2"
- aguely
- "ur\xE2"
top_n_grams:
- - 2
- 0.119
- - 3
- 0.116
- - 4
- 0.109
================================================
FILE: configs/bku_Latn.yml
================================================
dup_line_frac: 0.405
dup_n_grams:
- - 5
- 0.309
- - 6
- 0.297
- - 7
- 0.271
- - 8
- 0.258
- - 9
- 0.236
- - 10
- 0.221
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.81
min_avg_word_length: 3
new_line_ratio: 0.062
stopwords:
- manga
- ka
- fag
- ha
- is
- taw
- diyos
- 'no'
- has
- in
- wa
- hanggan
- hisos
- kitay
- hanya
- ham
- it
- hayo
- wan
- yadi
- idwa
- dapat
- ta
- angko
- tam
top_n_grams:
- - 2
- 0.944
- - 3
- 0.777
- - 4
- 0.662
================================================
FILE: configs/bkv_Latn.yml
================================================
dup_line_frac: 0.426
dup_n_grams:
- - 5
- 0.493
- - 6
- 0.463
- - 7
- 0.451
- - 8
- 0.429
- - 9
- 0.422
- - 10
- 0.376
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.808
min_avg_word_length: 2
new_line_ratio: 0.053
stopwords:
- e
- a
- dee
- yi
- i
- he
- eni
- ba
- ngin
- ka
- amin
- abe
- iyem
- re
- atabuchi
- imin
- "\xE8"
- kung
- angin
- ne
- shi
- woo
- be
- ab'e
- mang
top_n_grams:
- - 2
- 1.973
- - 3
- 2.015
- - 4
- 1.854
================================================
FILE: configs/bla_Latn.yml
================================================
dup_line_frac: 0.455
dup_n_grams:
- - 5
- 0.917
- - 6
- 0.917
- - 7
- 0.914
- - 8
- 0.907
- - 9
- 0.897
- - 10
- 0.885
language_score: 0.505
line_punct_thr: -1
max_avg_word_length: 21
max_non_alpha_words_ratio: 0.667
min_avg_word_length: 4
new_line_ratio: 0.143
stopwords:
- ki
- jesus
- "ann\u014Fk"
- an'iu
- spots'im
- nin'a
- annik
- "an'\u012Dstsiuax"
- matap'pix
- okku'i
- an'iau
- anniks'isk
- "n\u012Dn'au"
- "an'\u012Dstsiuaie"
top_n_grams:
- - 2
- 3.919
- - 3
- 5.521
- - 4
- 6.787
================================================
FILE: configs/blh_Latn.yml
================================================
dup_line_frac: 0.204
dup_n_grams:
- - 5
- 0.169
- - 6
- 0.165
- - 7
- 0.138
- - 8
- 0.129
- - 9
- 0.122
- - 10
- 0.111
language_score: 0.9
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.848
min_avg_word_length: 2
new_line_ratio: 0.053
stopwords:
- "d\xE8"
- "w\u0254\u0300"
- "w\u0254"
- "n\u025B\u0300"
- "\xE8"
- "n\xF9"
- "w\xF2"
- "n\xE0"
- e
- "\u014Bg\xE0la"
- wo
- "w\u0254\u0300l\u0254\u0301"
- de
- "gb\u01D0n"
- ve
- "\xE8\xEC"
- "jis\u025B\u0300"
- "s\u025Bl\u025B"
- "d\xED"
- "d\u0254\u0300\u0254\u0300"
- na
- "\u014Bw\xF9n\xF9"
- "m\xE1"
top_n_grams:
- - 2
- 0.184
- - 3
- 0.26
- - 4
- 0.129
================================================
FILE: configs/blk_Mymr.yml
================================================
dup_line_frac: 0.848
dup_n_grams:
- - 5
- 0.198
- - 6
- 0.187
- - 7
- 0.171
- - 8
- 0.15
- - 9
- 0.141
- - 10
- 0.12
language_score: 0.529
line_punct_thr: 0.381
max_avg_word_length: 20
max_non_alpha_words_ratio: 0.734
min_avg_word_length: 4
new_line_ratio: 0.13
stopwords:
- "\uAA7B"
- "\u108F"
- "\u1000"
- "\u1000\u102D\u102F"
- "\u1010\u1032\u1037"
- "\u1004\u102B"
- "\u1011\u102D\u102F"
- "\u1015\u102B"
- "\u101E\u103D\u1030"
top_n_grams:
- - 2
- 0.432
- - 3
- 0.418
- - 4
- 0.38
================================================
FILE: configs/blt_Latn.yml
================================================
dup_line_frac: 0.487
dup_n_grams:
- - 5
- 0.427
- - 6
- 0.413
- - 7
- 0.403
- - 8
- 0.375
- - 9
- 0.357
- - 10
- 0.322
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 10
max_non_alpha_words_ratio: 0.571
min_avg_word_length: 3
new_line_ratio: 0.04
stopwords:
- "ch\u1EA3u"
- "ph\u1EE7"
- "h\u1EA3\u01B0"
- "c\u1ECD"
- "\u0111\u1EA3y"
- "c\u1ED1n"
- "p\xEAn"
- "n\u1EB7n"
- tan
- "ch\xED"
- "p\u1EE9ng"
- "m\xED"
- pua
- "m\xE1"
- "gi\xEA\u2011'su"
- "ph\u1EA1"
- "h\xE1u"
- "n\u1ECDng"
- "ch\u1EAFng"
- "s\u01B0\u1EDBng"
- "kh\u1ECFi"
- pay
- "l\u1EB9o"
- "qu\xE1m"
- au
- "d\xFA"
- sau
- "cha\u01B0"
- "d\u1EC7t"
top_n_grams:
- - 2
- 1.096
- - 3
- 1.08
- - 4
- 0.418
================================================
FILE: configs/blw_Latn.yml
================================================
dup_line_frac: 0.63
dup_n_grams:
- - 5
- 0.54
- - 6
- 0.52
- - 7
- 0.492
- - 8
- 0.46
- - 9
- 0.427
- - 10
- 0.394
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.805
min_avg_word_length: 3
new_line_ratio: 0.05
stopwords:
- hen
- way
- an
- ah
- yag
- anchi
- ya
- "ag\xE9"
- te
- apudyus
- wat
- anchichay
- cha
- ammag
- ta
- hiya
top_n_grams:
- - 2
- 1.1
- - 3
- 1.135
- - 4
- 1.046
================================================
FILE: configs/blz_Latn.yml
================================================
dup_line_frac: 0.129
dup_n_grams:
- - 5
- 0.139
- - 6
- 0.127
- - 7
- 0.113
- - 8
- 0.105
- - 9
- 0.095
- - 10
- 0.085
language_score: 0.875
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.695
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- men
- i
- na
- ka
- mian
- ia
- iya'a
- a
- raaya'a
- kuu
- alaata'ala
- yaku
- bo
- yesus
- sian
- kasee
- se
- koi
- upa
- gause
- tia
top_n_grams:
- - 2
- 0.139
- - 3
- 0.138
- - 4
- 0.128
================================================
FILE: configs/bmh_Latn.yml
================================================
dup_line_frac: 0.481
dup_n_grams:
- - 5
- 0.354
- - 6
- 0.341
- - 7
- 0.334
- - 8
- 0.31
- - 9
- 0.282
- - 10
- 0.266
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.765
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- go
- ag
- ze
- nug
- uwait
- duailel
- nugau
- gonugau
- du
- iz
- igul
- dudu
- ebu
- agal
- i
- mui
- yesus
- ig
- eg
- en
- ipal
- petak
- tam
- tub
- naliu
top_n_grams:
- - 2
- 1.553
- - 3
- 1.534
- - 4
- 1.427
================================================
FILE: configs/bmk_Latn.yml
================================================
dup_line_frac: 0.62
dup_n_grams:
- - 5
- 0.472
- - 6
- 0.464
- - 7
- 0.45
- - 8
- 0.433
- - 9
- 0.415
- - 10
- 0.388
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 8
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 3
new_line_ratio: 0.071
stopwords:
- ma
- ina
- da
- na
- yesu
- ivi
- rava
- iya
- ku
- touna
- bade
- ivavo
- meimeituwa
- sago
- ita
- bo
- nuke
- asi
- kubina
top_n_grams:
- - 2
- 2.283
- - 3
- 2.377
- - 4
- 2.286
================================================
FILE: configs/bmq_Latn.yml
================================================
dup_line_frac: 0.611
dup_n_grams:
- - 5
- 0.511
- - 6
- 0.483
- - 7
- 0.469
- - 8
- 0.453
- - 9
- 0.441
- - 10
- 0.423
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.821
min_avg_word_length: 2
new_line_ratio: 0.062
stopwords:
- a
- lo
- mi
- "\u0253a"
- "n\u025B"
- ma
- mu
- "\u0253\u025B\u025B"
- li
- ho
- wa
- na
- un
- bun
- yi
- we
- han
- "dee\u0253enu"
- o
- waa
- wo
- biyo
top_n_grams:
- - 2
- 1.3
- - 3
- 1.257
- - 4
- 1.142
================================================
FILE: configs/bmr_Latn.yml
================================================
dup_line_frac: 0.312
dup_n_grams:
- - 5
- 0.336
- - 6
- 0.309
- - 7
- 0.294
- - 8
- 0.303
- - 9
- 0.271
- - 10
- 0.273
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 15
max_non_alpha_words_ratio: 0.75
min_avg_word_length: 5
new_line_ratio: 0.1
stopwords:
- bu
- moocaani
- icano
- "am\u0268\u0268hai"
- nooboro
- uujoho
- jaanegui
- "m\u0268\u0268ro"
- "jaanot\u0268"
- "\xBF"
- jaabo
- imino
- jesu
- diiboco
- "jill\u0268"
- "sihid\u0268"
- "am\u0268\u0268haico"
- "pary\u0268"
top_n_grams:
- - 2
- 1.229
- - 3
- 1.326
- - 4
- 1.303
================================================
FILE: configs/bmu_Latn.yml
================================================
dup_line_frac: 0.218
dup_n_grams:
- - 5
- 0.071
- - 6
- 0.057
- - 7
- 0.053
- - 8
- 0.048
- - 9
- 0.04
- - 10
- 0.034
language_score: 0.859
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.795
min_avg_word_length: 4
new_line_ratio: 0.062
stopwords:
- mi
- "m\xF6n\xF6"
- "mew\xF6"
- aka
- "qah\xF6"
- keu
- "kew\xF6"
- dop
- ambazip
top_n_grams:
- - 2
- 0.227
- - 3
- 0.193
- - 4
- 0.163
================================================
FILE: configs/bmv_Latn.yml
================================================
dup_line_frac: 0.37
dup_n_grams:
- - 5
- 0.341
- - 6
- 0.336
- - 7
- 0.338
- - 8
- 0.321
- - 9
- 0.296
- - 10
- 0.265
language_score: 0.34
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.862
min_avg_word_length: 2
new_line_ratio: 0.053
stopwords:
- a
- na
- hi
- yi
- ha
- "gha\u0300n"
- "a\u0300"
- mu
- "wu\u0300"
- "k\u0259"
- "mo\u0302"
- "gh\u0268"
- ma
- "gh\u0268na"
- "ni\u0300"
- wu
- ni
- gha
- "gh\u0268t"
- te
- "hi\u0300"
- "wu\u0302n"
- "wu\u0300t"
- "mo\u0300"
- "na\u0302"
top_n_grams:
- - 2
- 0.577
- - 3
- 0.505
- - 4
- 0.494
================================================
FILE: configs/bnj_Latn.yml
================================================
dup_line_frac: 0.775
dup_n_grams:
- - 5
- 0.407
- - 6
- 0.432
- - 7
- 0.407
- - 8
- 0.43
- - 9
- 0.347
- - 10
- 0.278
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 7
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 3
new_line_ratio: 0.056
stopwords:
- at
- ay
- fag
- taw
- nu
- ngay
- sa
- te
- sik
- sas
- funbalugu
- e
- isus
- am
- ban
- anway
- ku
- anya
- kanya
- tam
- laman
- tuwa
- wa
- ka
top_n_grams:
- - 2
- 0.864
- - 3
- 0.957
- - 4
- 0.941
================================================
FILE: configs/bno_Latn.yml
================================================
dup_line_frac: 0.593
dup_n_grams:
- - 5
- 0.451
- - 6
- 0.431
- - 7
- 0.419
- - 8
- 0.396
- - 9
- 0.376
- - 10
- 0.355
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.821
min_avg_word_length: 3
new_line_ratio: 0.05
stopwords:
- sa
- it
- nak
- kag
- ay
- ag
- mga
- ako
- ida
- o
- dios
- inro
- sida
- ra
- inra
- dahil
top_n_grams:
- - 2
- 1.288
- - 3
- 1.349
- - 4
- 1.282
================================================
FILE: configs/bnp_Latn.yml
================================================
dup_line_frac: 0.176
dup_n_grams:
- - 5
- 0.174
- - 6
- 0.151
- - 7
- 0.122
- - 8
- 0.11
- - 9
- 0.101
- - 10
- 0.089
language_score: 0.896
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.812
min_avg_word_length: 2
new_line_ratio: 0.056
stopwords:
- a
- i
- e
- na
- ri
- huriki
- ne
- ni
- ge
- vona
- mu
- bakovi
- mua
- vure
- o
- ria
- uka
- ma
- pali
- ta
- lakea
- bara
- dagi
- gi
top_n_grams:
- - 2
- 0.198
- - 3
- 0.176
- - 4
- 0.138
================================================
FILE: configs/boa_Latn.yml
================================================
dup_line_frac: 0.114
dup_n_grams:
- - 5
- 0.046
- - 6
- 0.041
- - 7
- 0.031
- - 8
- 0.03
- - 9
- 0.028
- - 10
- 0.023
language_score: 0.656
line_punct_thr: -1
max_avg_word_length: 14
max_non_alpha_words_ratio: 0.8
min_avg_word_length: 4
new_line_ratio: 0.1
stopwords:
- "muur\xE1"
- o
- "\xE1muha"
- "ts\xE1"
- dibye
- "d\xED\xEDbyeke"
- ditye
- "\xE1m\xFAhakye"
- "\xF3"
- ihdyu
top_n_grams:
- - 2
- 0.37
- - 3
- 0.338
- - 4
- 0.234
================================================
FILE: configs/bod_Tibt.yml
================================================
dup_line_frac: 0.261
dup_n_grams:
- - 5
- 0.174
- - 6
- 0.153
- - 7
- 0.14
- - 8
- 0.129
- - 9
- 0.115
- - 10
- 0.102
language_score: 0.682
line_punct_thr: 0.0
max_avg_word_length: 23
max_non_alpha_words_ratio: 0.824
min_avg_word_length: 1
new_line_ratio: 0.417
stopwords:
- "\u0F0D"
- "\u0F51\u0F44\u0F0B"
- "\u0F0D \u0F0D"
- "\u0F63\u0F0B"
- "\u0F40\u0FB1\u0F72\u0F0B"
- "\u0F51\u0F74\u0F0B"
- "\u0F53\u0F66\u0F0B"
- "\u0F42\u0F72\u0F0B"
- "\u0F42\u0FB1\u0F72\u0F0B"
- "\u0F53\u0F72\u0F0B"
top_n_grams:
- - 2
- 0.206
- - 3
- 0.205
- - 4
- 0.175
================================================
FILE: configs/boj_Latn.yml
================================================
dup_line_frac: 0.353
dup_n_grams:
- - 5
- 0.283
- - 6
- 0.264
- - 7
- 0.241
- - 8
- 0.227
- - 9
- 0.199
- - 10
- 0.186
language_score: 0.407
line_punct_thr: -1
max_avg_word_length: 9
max_non_alpha_words_ratio: 0.821
min_avg_word_length: 3
new_line_ratio: 0.053
stopwords:
- "na\u014Bgi"
- di
- a
- tamo
- na
- aqa
- "ni\u014Bgi"
- qotei
- e
- anjam
- deqa
- qaji
- yesus
- iga
- qa
- ti
- "na\u014Bgo"
- bei
- bole
- segi
- ni
- kumbra
- koba
- kalil
top_n_grams:
- - 2
- 0.768
- - 3
- 0.711
- - 4
- 0.604
================================================
FILE: configs/bom_Latn.yml
================================================
dup_line_frac: 0.45
dup_n_grams:
- - 5
- 0.283
- - 6
- 0.276
- - 7
- 0.266
- - 8
- 0.248
- - 9
- 0.223
- - 10
- 0.208
language_score: 0.3
line_punct_thr: -1
max_avg_word_length: 6
max_non_alpha_words_ratio: 0.826
min_avg_word_length: 2
new_line_ratio: 0.045
stopwords:
- a
- e
- de
- na
- ko
- "s\xE9"
- ba
- ra
- yin
- dagwi
- "y\u025Bn"
- "w\u025Bt"
- o
- yaga
- be
- me
- "m\u025B"
- mo
- wot
- bemat
- ma
- "y\u025B"
top_n_grams:
- - 2
- 0.613
- - 3
- 0.566
- - 4
- 0.509
================================================
FILE: configs/bon_Latn.yml
================================================
dup_line_frac: 0.655
dup_n_grams:
- - 5
- 0.488
- - 6
- 0.4
Showing preview only (276K chars total). Download the full file or copy to clipboard to get everything.
gitextract_xum9dop4/
├── LICENSE
├── README.md
├── ablations/
│ ├── evaluation/
│ │ ├── launch_evals.py
│ │ ├── launch_random_evals.py
│ │ └── run_all_missing_evals.sh
│ ├── tokenization/
│ │ └── launch_tokenization.py
│ └── training/
│ └── launch_exp.py
├── configs/
│ ├── aai_Latn.yml
│ ├── aak_Latn.yml
│ ├── aau_Latn.yml
│ ├── aaz_Latn.yml
│ ├── aba_Latn.yml
│ ├── abi_Latn.yml
│ ├── abk_Cyrl.yml
│ ├── abn_Latn.yml
│ ├── abq_Cyrl.yml
│ ├── abs_Latn.yml
│ ├── abt_Latn.yml
│ ├── abx_Latn.yml
│ ├── aby_Latn.yml
│ ├── abz_Latn.yml
│ ├── aca_Latn.yml
│ ├── acd_Latn.yml
│ ├── ace_Arab.yml
│ ├── ace_Latn.yml
│ ├── acf_Latn.yml
│ ├── ach_Latn.yml
│ ├── acm_Arab.yml
│ ├── acn_Latn.yml
│ ├── acr_Latn.yml
│ ├── acu_Latn.yml
│ ├── ada_Latn.yml
│ ├── ade_Latn.yml
│ ├── adh_Latn.yml
│ ├── adi_Latn.yml
│ ├── adj_Latn.yml
│ ├── adl_Latn.yml
│ ├── ady_Cyrl.yml
│ ├── adz_Latn.yml
│ ├── aeb_Arab.yml
│ ├── aer_Latn.yml
│ ├── aeu_Latn.yml
│ ├── aey_Latn.yml
│ ├── afr_Latn.yml
│ ├── agd_Latn.yml
│ ├── agg_Latn.yml
│ ├── agm_Latn.yml
│ ├── agn_Latn.yml
│ ├── agr_Latn.yml
│ ├── agt_Latn.yml
│ ├── agu_Latn.yml
│ ├── agw_Latn.yml
│ ├── agx_Cyrl.yml
│ ├── aha_Latn.yml
│ ├── ahk_Latn.yml
│ ├── aia_Latn.yml
│ ├── aii_Syrc.yml
│ ├── aim_Latn.yml
│ ├── ain_Latn.yml
│ ├── ajg_Latn.yml
│ ├── aji_Latn.yml
│ ├── ajz_Latn.yml
│ ├── akb_Latn.yml
│ ├── ake_Latn.yml
│ ├── akh_Latn.yml
│ ├── akp_Latn.yml
│ ├── ald_Latn.yml
│ ├── alj_Latn.yml
│ ├── aln_Latn.yml
│ ├── alp_Latn.yml
│ ├── alq_Latn.yml
│ ├── als_Latn.yml
│ ├── alt_Cyrl.yml
│ ├── aly_Latn.yml
│ ├── alz_Latn.yml
│ ├── ame_Latn.yml
│ ├── amf_Latn.yml
│ ├── amh_Ethi.yml
│ ├── ami_Latn.yml
│ ├── amk_Latn.yml
│ ├── amm_Latn.yml
│ ├── amn_Latn.yml
│ ├── amp_Latn.yml
│ ├── amr_Latn.yml
│ ├── amu_Latn.yml
│ ├── amx_Latn.yml
│ ├── ang_Latn.yml
│ ├── anm_Latn.yml
│ ├── ann_Latn.yml
│ ├── anp_Deva.yml
│ ├── anv_Latn.yml
│ ├── any_Latn.yml
│ ├── aoi_Latn.yml
│ ├── aoj_Latn.yml
│ ├── aom_Latn.yml
│ ├── aoz_Latn.yml
│ ├── apb_Latn.yml
│ ├── apc_Arab.yml
│ ├── ape_Latn.yml
│ ├── apn_Latn.yml
│ ├── apr_Latn.yml
│ ├── apt_Latn.yml
│ ├── apu_Latn.yml
│ ├── apw_Latn.yml
│ ├── apy_Latn.yml
│ ├── apz_Latn.yml
│ ├── aqz_Latn.yml
│ ├── arb_Arab.yml
│ ├── arb_Latn.yml
│ ├── are_Latn.yml
│ ├── arg_Latn.yml
│ ├── arl_Latn.yml
│ ├── arn_Latn.yml
│ ├── arp_Latn.yml
│ ├── arq_Arab.yml
│ ├── arr_Latn.yml
│ ├── ars_Arab.yml
│ ├── ary_Arab.yml
│ ├── arz_Arab.yml
│ ├── asg_Latn.yml
│ ├── asm_Beng.yml
│ ├── asm_Latn.yml
│ ├── aso_Latn.yml
│ ├── ast_Latn.yml
│ ├── ata_Latn.yml
│ ├── atb_Latn.yml
│ ├── atd_Latn.yml
│ ├── atg_Latn.yml
│ ├── ati_Latn.yml
│ ├── atj_Latn.yml
│ ├── atq_Latn.yml
│ ├── att_Latn.yml
│ ├── auc_Latn.yml
│ ├── aui_Latn.yml
│ ├── auy_Latn.yml
│ ├── ava_Cyrl.yml
│ ├── avk_Latn.yml
│ ├── avn_Latn.yml
│ ├── avt_Latn.yml
│ ├── avu_Latn.yml
│ ├── awa_Deva.yml
│ ├── awb_Latn.yml
│ ├── awi_Latn.yml
│ ├── awx_Latn.yml
│ ├── ayo_Latn.yml
│ ├── ayp_Arab.yml
│ ├── ayr_Latn.yml
│ ├── azb_Arab.yml
│ ├── azg_Latn.yml
│ ├── azj_Cyrl.yml
│ ├── azj_Latn.yml
│ ├── azz_Latn.yml
│ ├── bak_Cyrl.yml
│ ├── bam_Latn.yml
│ ├── ban_Latn.yml
│ ├── bao_Latn.yml
│ ├── bar_Latn.yml
│ ├── bas_Latn.yml
│ ├── bav_Latn.yml
│ ├── bba_Latn.yml
│ ├── bbb_Latn.yml
│ ├── bbc_Latn.yml
│ ├── bbj_Latn.yml
│ ├── bbk_Latn.yml
│ ├── bbo_Latn.yml
│ ├── bbr_Latn.yml
│ ├── bch_Latn.yml
│ ├── bci_Latn.yml
│ ├── bcl_Latn.yml
│ ├── bco_Latn.yml
│ ├── bcw_Latn.yml
│ ├── bdd_Latn.yml
│ ├── bdh_Latn.yml
│ ├── bdq_Latn.yml
│ ├── bea_Latn.yml
│ ├── bef_Latn.yml
│ ├── bel_Cyrl.yml
│ ├── bem_Latn.yml
│ ├── ben_Beng.yml
│ ├── ben_Latn.yml
│ ├── beq_Latn.yml
│ ├── bew_Latn.yml
│ ├── bex_Latn.yml
│ ├── bfd_Latn.yml
│ ├── bfo_Latn.yml
│ ├── bgr_Latn.yml
│ ├── bgs_Latn.yml
│ ├── bgt_Latn.yml
│ ├── bgz_Latn.yml
│ ├── bhg_Latn.yml
│ ├── bhl_Latn.yml
│ ├── bho_Deva.yml
│ ├── bhp_Latn.yml
│ ├── bhw_Latn.yml
│ ├── bhz_Latn.yml
│ ├── bib_Latn.yml
│ ├── big_Latn.yml
│ ├── bim_Latn.yml
│ ├── bin_Latn.yml
│ ├── bis_Latn.yml
│ ├── biu_Latn.yml
│ ├── biv_Latn.yml
│ ├── bjn_Arab.yml
│ ├── bjn_Latn.yml
│ ├── bjp_Latn.yml
│ ├── bjr_Latn.yml
│ ├── bjv_Latn.yml
│ ├── bkd_Latn.yml
│ ├── bkl_Latn.yml
│ ├── bkq_Latn.yml
│ ├── bku_Latn.yml
│ ├── bkv_Latn.yml
│ ├── bla_Latn.yml
│ ├── blh_Latn.yml
│ ├── blk_Mymr.yml
│ ├── blt_Latn.yml
│ ├── blw_Latn.yml
│ ├── blz_Latn.yml
│ ├── bmh_Latn.yml
│ ├── bmk_Latn.yml
│ ├── bmq_Latn.yml
│ ├── bmr_Latn.yml
│ ├── bmu_Latn.yml
│ ├── bmv_Latn.yml
│ ├── bnj_Latn.yml
│ ├── bno_Latn.yml
│ ├── bnp_Latn.yml
│ ├── boa_Latn.yml
│ ├── bod_Tibt.yml
│ ├── boj_Latn.yml
│ ├── bom_Latn.yml
│ ├── bon_Latn.yml
│ ├── bor_Latn.yml
│ ├── bos_Latn.yml
│ ├── bov_Latn.yml
│ ├── box_Latn.yml
│ ├── bpr_Latn.yml
│ ├── bps_Latn.yml
│ ├── bpy_Beng.yml
│ ├── bqc_Latn.yml
│ ├── bqj_Latn.yml
│ ├── bqp_Latn.yml
│ ├── bre_Latn.yml
│ ├── brh_Arab.yml
│ ├── bru_Latn.yml
│ ├── brx_Deva.yml
│ ├── brx_Latn.yml
│ ├── bsc_Latn.yml
│ ├── bsn_Latn.yml
│ ├── bsp_Latn.yml
│ ├── bsq_Latn.yml
│ ├── bss_Latn.yml
│ ├── btd_Latn.yml
│ ├── bth_Latn.yml
│ ├── bts_Latn.yml
│ ├── btt_Latn.yml
│ ├── btx_Latn.yml
│ ├── bud_Latn.yml
│ ├── bug_Latn.yml
│ ├── buk_Latn.yml
│ ├── bul_Cyrl.yml
│ ├── bum_Latn.yml
│ ├── bus_Latn.yml
│ ├── bvc_Latn.yml
│ ├── bvd_Latn.yml
│ ├── bvr_Latn.yml
│ ├── bvz_Latn.yml
│ ├── bwd_Latn.yml
│ ├── bwi_Latn.yml
│ ├── bwq_Latn.yml
│ ├── bwu_Latn.yml
│ ├── bxh_Latn.yml
│ ├── bxr_Cyrl.yml
│ ├── byr_Latn.yml
│ ├── byv_Latn.yml
│ ├── byx_Latn.yml
│ ├── bzd_Latn.yml
│ ├── bzh_Latn.yml
│ ├── bzi_Thai.yml
│ ├── bzj_Latn.yml
│ ├── caa_Latn.yml
│ ├── cab_Latn.yml
│ ├── cac_Latn.yml
│ ├── caf_Latn.yml
│ ├── cag_Latn.yml
│ ├── cak_Latn.yml
│ ├── cao_Latn.yml
│ ├── cap_Latn.yml
│ ├── caq_Latn.yml
│ ├── car_Latn.yml
│ ├── cas_Latn.yml
│ ├── cat_Latn.yml
│ ├── cav_Latn.yml
│ ├── cax_Latn.yml
│ ├── cbc_Latn.yml
│ ├── cbi_Latn.yml
│ ├── cbk_Latn.yml
│ ├── cbr_Latn.yml
│ ├── cbs_Latn.yml
│ ├── cbt_Latn.yml
│ ├── cbu_Latn.yml
│ ├── cbv_Latn.yml
│ ├── cce_Latn.yml
│ ├── cco_Latn.yml
│ ├── ccp_Latn.yml
│ ├── cdf_Latn.yml
│ ├── ceb_Latn.yml
│ ├── ceg_Latn.yml
│ ├── cek_Latn.yml
│ ├── ces_Latn.yml
│ ├── cfm_Latn.yml
│ ├── cgc_Latn.yml
│ ├── cgg_Latn.yml
│ ├── cha_Latn.yml
│ ├── chd_Latn.yml
│ ├── che_Cyrl.yml
│ ├── chf_Latn.yml
│ ├── chj_Latn.yml
│ ├── chk_Latn.yml
│ ├── cho_Latn.yml
│ ├── chq_Latn.yml
│ ├── chr_Cher.yml
│ ├── chr_Latn.yml
│ ├── chu_Cyrl.yml
│ ├── chv_Cyrl.yml
│ ├── chw_Latn.yml
│ ├── chz_Latn.yml
│ ├── cjk_Latn.yml
│ ├── cjo_Latn.yml
│ ├── cjp_Latn.yml
│ ├── cjs_Cyrl.yml
│ ├── cjv_Latn.yml
│ ├── ckb_Arab.yml
│ ├── cko_Latn.yml
│ ├── ckt_Cyrl.yml
│ ├── cle_Latn.yml
│ ├── clu_Latn.yml
│ ├── cly_Latn.yml
│ ├── cme_Latn.yml
│ ├── cmn_Hani.yml
│ ├── cmo_Khmr.yml
│ ├── cmo_Latn.yml
│ ├── cmr_Latn.yml
│ ├── cnh_Latn.yml
│ ├── cni_Latn.yml
│ ├── cnk_Latn.yml
│ ├── cnl_Latn.yml
│ ├── cnt_Latn.yml
│ ├── cnw_Latn.yml
│ ├── coe_Latn.yml
│ ├── cof_Latn.yml
│ ├── cok_Latn.yml
│ ├── con_Latn.yml
│ ├── cop_Copt.yml
│ ├── cor_Latn.yml
│ ├── cos_Latn.yml
│ ├── cot_Latn.yml
│ ├── cou_Latn.yml
│ ├── cpa_Latn.yml
│ ├── cpb_Latn.yml
│ ├── cpc_Latn.yml
│ ├── cpu_Latn.yml
│ ├── cpy_Latn.yml
│ ├── crh_Cyrl.yml
│ ├── crh_Latn.yml
│ ├── cri_Latn.yml
│ ├── crj_Cans.yml
│ ├── crk_Cans.yml
│ ├── crk_Latn.yml
│ ├── crl_Cans.yml
│ ├── crm_Cans.yml
│ ├── crn_Latn.yml
│ ├── crs_Latn.yml
│ ├── crt_Latn.yml
│ ├── crx_Latn.yml
│ ├── csb_Latn.yml
│ ├── csk_Latn.yml
│ ├── cso_Latn.yml
│ ├── csw_Latn.yml
│ ├── csy_Latn.yml
│ ├── cta_Latn.yml
│ ├── ctd_Latn.yml
│ ├── cto_Latn.yml
│ ├── ctp_Latn.yml
│ ├── ctu_Latn.yml
│ ├── cub_Latn.yml
│ ├── cuc_Latn.yml
│ ├── cui_Latn.yml
│ ├── cuk_Latn.yml
│ ├── cul_Latn.yml
│ ├── cut_Latn.yml
│ ├── cux_Latn.yml
│ ├── cwe_Latn.yml
│ ├── cwt_Latn.yml
│ ├── cya_Latn.yml
│ ├── cym_Latn.yml
│ ├── czt_Latn.yml
│ ├── daa_Latn.yml
│ ├── dad_Latn.yml
│ ├── daf_Latn.yml
│ ├── dag_Latn.yml
│ ├── dah_Latn.yml
│ ├── dak_Latn.yml
│ ├── dan_Latn.yml
│ ├── dar_Cyrl.yml
│ ├── dbq_Latn.yml
│ ├── ddg_Latn.yml
│ ├── ddn_Latn.yml
│ ├── ded_Latn.yml
│ ├── des_Latn.yml
│ ├── deu_Latn.yml
│ ├── dga_Latn.yml
│ ├── dgc_Latn.yml
│ ├── dgi_Latn.yml
│ ├── dgr_Latn.yml
│ ├── dgz_Latn.yml
│ ├── dhg_Latn.yml
│ ├── dhm_Latn.yml
│ ├── dhv_Latn.yml
│ ├── did_Latn.yml
│ ├── dig_Latn.yml
│ ├── dik_Latn.yml
│ ├── dip_Latn.yml
│ ├── diq_Latn.yml
│ ├── dis_Latn.yml
│ ├── diu_Latn.yml
│ ├── div_Thaa.yml
│ ├── dje_Latn.yml
│ ├── djk_Latn.yml
│ ├── djr_Latn.yml
│ ├── dks_Latn.yml
│ ├── dln_Latn.yml
│ ├── dng_Cyrl.yml
│ ├── dnj_Latn.yml
│ ├── dnw_Latn.yml
│ ├── dob_Latn.yml
│ ├── doi_Deva.yml
│ ├── dop_Latn.yml
│ ├── dos_Latn.yml
│ ├── dow_Latn.yml
│ ├── drg_Latn.yml
│ ├── dru_Latn.yml
│ ├── dsb_Latn.yml
│ ├── dsh_Latn.yml
│ ├── dtb_Latn.yml
│ ├── dtp_Latn.yml
│ ├── dts_Latn.yml
│ ├── dty_Deva.yml
│ ├── dua_Latn.yml
│ ├── due_Latn.yml
│ ├── dug_Latn.yml
│ ├── duo_Latn.yml
│ ├── dur_Latn.yml
│ ├── dwr_Latn.yml
│ ├── dww_Latn.yml
│ ├── dyi_Latn.yml
│ ├── dyo_Latn.yml
│ ├── dyu_Latn.yml
│ ├── dzo_Tibt.yml
│ ├── ebk_Latn.yml
│ ├── efi_Latn.yml
│ ├── eka_Latn.yml
│ ├── ekk_Latn.yml
│ ├── eko_Latn.yml
│ ├── ell_Grek.yml
│ ├── eme_Latn.yml
│ ├── emi_Latn.yml
│ ├── eml_Latn.yml
│ ├── emp_Latn.yml
│ ├── enb_Latn.yml
│ ├── enl_Latn.yml
│ ├── enm_Latn.yml
│ ├── enq_Latn.yml
│ ├── enx_Latn.yml
│ ├── epo_Latn.yml
│ ├── eri_Latn.yml
│ ├── ese_Latn.yml
│ ├── esi_Latn.yml
│ ├── esk_Latn.yml
│ ├── ess_Latn.yml
│ ├── esu_Latn.yml
│ ├── eto_Latn.yml
│ ├── etr_Latn.yml
│ ├── etu_Latn.yml
│ ├── eus_Latn.yml
│ ├── eve_Cyrl.yml
│ ├── ewe_Latn.yml
│ ├── ewo_Latn.yml
│ ├── ext_Latn.yml
│ ├── eza_Latn.yml
│ ├── faa_Latn.yml
│ ├── fad_Latn.yml
│ ├── fai_Latn.yml
│ ├── fal_Latn.yml
│ ├── fan_Latn.yml
│ ├── fao_Latn.yml
│ ├── far_Latn.yml
│ ├── fas_Arab.yml
│ ├── fat_Latn.yml
│ ├── ffm_Latn.yml
│ ├── fij_Latn.yml
│ ├── fil_Latn.yml
│ ├── fin_Latn.yml
│ ├── fit_Latn.yml
│ ├── fkv_Latn.yml
│ ├── fmu_Deva.yml
│ ├── fon_Latn.yml
│ ├── for_Latn.yml
│ ├── fra_Latn.yml
│ ├── frd_Latn.yml
│ ├── fro_Latn.yml
│ ├── frp_Latn.yml
│ ├── frr_Latn.yml
│ ├── fry_Latn.yml
│ ├── fub_Latn.yml
│ ├── fud_Latn.yml
│ ├── fue_Latn.yml
│ ├── fuf_Latn.yml
│ ├── fuh_Latn.yml
│ ├── fuq_Latn.yml
│ ├── fur_Latn.yml
│ ├── fuv_Arab.yml
│ ├── fuv_Latn.yml
│ ├── gaa_Latn.yml
│ ├── gag_Cyrl.yml
│ ├── gag_Latn.yml
│ ├── gah_Latn.yml
│ ├── gai_Latn.yml
│ ├── gam_Latn.yml
│ ├── gaw_Latn.yml
│ ├── gaz_Latn.yml
│ ├── gbi_Latn.yml
│ ├── gbo_Latn.yml
│ ├── gbr_Latn.yml
│ ├── gcf_Latn.yml
│ ├── gcr_Latn.yml
│ ├── gde_Latn.yml
│ ├── gdg_Latn.yml
│ ├── gdn_Latn.yml
│ ├── gdr_Latn.yml
│ ├── geb_Latn.yml
│ ├── gej_Latn.yml
│ ├── gfk_Latn.yml
│ ├── ghe_Deva.yml
│ ├── ghs_Latn.yml
│ ├── gid_Latn.yml
│ ├── gil_Latn.yml
│ ├── giz_Latn.yml
│ ├── gjn_Latn.yml
│ ├── gkn_Latn.yml
│ ├── gla_Latn.yml
│ ├── gle_Latn.yml
│ ├── glg_Latn.yml
│ ├── glk_Arab.yml
│ ├── glv_Latn.yml
│ ├── gmh_Latn.yml
│ ├── gmv_Ethi.yml
│ ├── gmv_Latn.yml
│ ├── gna_Latn.yml
│ ├── gnb_Latn.yml
│ ├── gnd_Latn.yml
│ ├── gng_Latn.yml
│ ├── gnn_Latn.yml
│ ├── gnw_Latn.yml
│ ├── goa_Latn.yml
│ ├── gof_Ethi.yml
│ ├── gof_Latn.yml
│ ├── gog_Latn.yml
│ ├── goh_Latn.yml
│ ├── gom_Deva.yml
│ ├── gom_Latn.yml
│ ├── gor_Latn.yml
│ ├── gos_Latn.yml
│ ├── got_Goth.yml
│ ├── got_Latn.yml
│ ├── gqr_Latn.yml
│ ├── grc_Grek.yml
│ ├── grt_Beng.yml
│ ├── gso_Latn.yml
│ ├── gsw_Latn.yml
│ ├── gub_Latn.yml
│ ├── guc_Latn.yml
│ ├── gud_Latn.yml
│ ├── gug_Latn.yml
│ ├── guh_Latn.yml
│ ├── gui_Latn.yml
│ ├── guj_Gujr.yml
│ ├── guj_Latn.yml
│ ├── guk_Ethi.yml
│ ├── gul_Latn.yml
│ ├── gum_Latn.yml
│ ├── gun_Latn.yml
│ ├── guo_Latn.yml
│ ├── guq_Latn.yml
│ ├── gur_Latn.yml
│ ├── guu_Latn.yml
│ ├── guw_Latn.yml
│ ├── gux_Latn.yml
│ ├── guz_Latn.yml
│ ├── gvc_Latn.yml
│ ├── gvf_Latn.yml
│ ├── gvl_Latn.yml
│ ├── gvn_Latn.yml
│ ├── gwi_Latn.yml
│ ├── gwr_Latn.yml
│ ├── gya_Latn.yml
│ ├── gym_Latn.yml
│ ├── gyr_Latn.yml
│ ├── hac_Arab.yml
│ ├── hae_Latn.yml
│ ├── hag_Latn.yml
│ ├── hak_Hani.yml
│ ├── hak_Latn.yml
│ ├── hat_Latn.yml
│ ├── hau_Latn.yml
│ ├── hav_Latn.yml
│ ├── haw_Latn.yml
│ ├── hay_Latn.yml
│ ├── hbo_Hebr.yml
│ ├── hch_Latn.yml
│ ├── heb_Hebr.yml
│ ├── heg_Latn.yml
│ ├── heh_Latn.yml
│ ├── her_Latn.yml
│ ├── hif_Latn.yml
│ ├── hig_Latn.yml
│ ├── hil_Latn.yml
│ ├── hin_Deva.yml
│ ├── hin_Latn.yml
│ ├── hix_Latn.yml
│ ├── hla_Latn.yml
│ ├── hlt_Latn.yml
│ ├── hmo_Latn.yml
│ ├── hmr_Latn.yml
│ ├── hne_Deva.yml
│ ├── hnj_Latn.yml
│ ├── hnn_Latn.yml
│ ├── hns_Latn.yml
│ ├── hoc_Latn.yml
│ ├── hoc_Wara.yml
│ ├── hop_Latn.yml
│ ├── hot_Latn.yml
│ ├── hra_Latn.yml
│ ├── hrv_Latn.yml
│ ├── hrx_Latn.yml
│ ├── hsb_Latn.yml
│ ├── hto_Latn.yml
│ ├── hub_Latn.yml
│ ├── hui_Latn.yml
│ ├── hun_Latn.yml
│ ├── hus_Latn.yml
│ ├── huu_Latn.yml
│ ├── huv_Latn.yml
│ ├── hvn_Latn.yml
│ ├── hwc_Latn.yml
│ ├── hye_Armn.yml
│ ├── hyw_Armn.yml
│ ├── ian_Latn.yml
│ ├── iba_Latn.yml
│ ├── ibg_Latn.yml
│ ├── ibo_Latn.yml
│ ├── icr_Latn.yml
│ ├── ido_Latn.yml
│ ├── idu_Latn.yml
│ ├── ifa_Latn.yml
│ ├── ifb_Latn.yml
│ ├── ife_Latn.yml
│ ├── ifk_Latn.yml
│ ├── ifu_Latn.yml
│ ├── ify_Latn.yml
│ ├── ige_Latn.yml
│ ├── ign_Latn.yml
│ ├── ike_Cans.yml
│ ├── ikk_Latn.yml
│ ├── ikt_Latn.yml
│ ├── ikw_Latn.yml
│ ├── ilb_Latn.yml
│ ├── ile_Latn.yml
│ ├── ilo_Latn.yml
│ ├── imo_Latn.yml
│ ├── ina_Latn.yml
│ ├── inb_Latn.yml
│ ├── ind_Latn.yml
│ ├── inh_Cyrl.yml
│ ├── ino_Latn.yml
│ ├── iou_Latn.yml
│ ├── ipi_Latn.yml
│ ├── iqw_Latn.yml
│ ├── iri_Latn.yml
│ ├── irk_Latn.yml
│ ├── iry_Latn.yml
│ ├── isd_Latn.yml
│ ├── ish_Latn.yml
│ ├── isl_Latn.yml
│ ├── iso_Latn.yml
│ ├── ita_Latn.yml
│ ├── itl_Cyrl.yml
│ ├── itv_Latn.yml
│ ├── ium_Latn.yml
│ ├── ivb_Latn.yml
│ ├── ivv_Latn.yml
│ ├── iws_Latn.yml
│ ├── ixl_Latn.yml
│ ├── izr_Latn.yml
│ ├── izz_Latn.yml
│ ├── jaa_Latn.yml
│ ├── jac_Latn.yml
│ ├── jae_Latn.yml
│ ├── jam_Latn.yml
│ ├── jav_Latn.yml
│ ├── jbo_Latn.yml
│ ├── jbu_Latn.yml
│ ├── jic_Latn.yml
│ ├── jiv_Latn.yml
│ ├── jmc_Latn.yml
│ ├── jpn_Jpan.yml
│ ├── jra_Latn.yml
│ ├── jun_Orya.yml
│ ├── jvn_Latn.yml
│ ├── kaa_Cyrl.yml
│ ├── kaa_Latn.yml
│ ├── kab_Latn.yml
│ ├── kac_Latn.yml
│ ├── kak_Latn.yml
│ ├── kal_Latn.yml
│ ├── kam_Latn.yml
│ ├── kan_Knda.yml
│ ├── kan_Latn.yml
│ ├── kao_Latn.yml
│ ├── kap_Cyrl.yml
│ ├── kaq_Latn.yml
│ ├── kas_Arab.yml
│ ├── kas_Deva.yml
│ ├── kas_Latn.yml
│ ├── kat_Geor.yml
│ ├── kaz_Cyrl.yml
│ ├── kbc_Latn.yml
│ ├── kbd_Cyrl.yml
│ ├── kbh_Latn.yml
│ ├── kbm_Latn.yml
│ ├── kbo_Latn.yml
│ ├── kbp_Latn.yml
│ ├── kbq_Latn.yml
│ ├── kbr_Latn.yml
│ ├── kby_Latn.yml
│ ├── kca_Cyrl.yml
│ ├── kcg_Latn.yml
│ ├── kck_Latn.yml
│ ├── kdc_Latn.yml
│ ├── kde_Latn.yml
│ ├── kdh_Latn.yml
│ ├── kdi_Latn.yml
│ ├── kdj_Latn.yml
│ ├── kdl_Latn.yml
│ ├── kdr_Latn.yml
│ ├── kea_Latn.yml
│ ├── kei_Latn.yml
│ ├── kek_Latn.yml
│ ├── ken_Latn.yml
│ ├── keo_Latn.yml
│ ├── ker_Latn.yml
│ ├── kew_Latn.yml
│ ├── kex_Deva.yml
│ ├── kez_Latn.yml
│ ├── kff_Telu.yml
│ ├── kgf_Latn.yml
│ ├── kgk_Latn.yml
│ ├── kgp_Latn.yml
│ ├── kgr_Latn.yml
│ ├── kha_Latn.yml
│ ├── khk_Cyrl.yml
│ ├── khm_Khmr.yml
│ ├── khq_Latn.yml
│ ├── khs_Latn.yml
│ ├── khy_Latn.yml
│ ├── khz_Latn.yml
│ ├── kia_Latn.yml
│ ├── kij_Latn.yml
│ ├── kik_Latn.yml
│ ├── kin_Latn.yml
│ ├── kir_Cyrl.yml
│ ├── kiu_Latn.yml
│ ├── kix_Latn.yml
│ ├── kjb_Latn.yml
│ ├── kje_Latn.yml
│ ├── kjh_Cyrl.yml
│ ├── kjs_Latn.yml
│ ├── kkc_Latn.yml
│ ├── kki_Latn.yml
│ ├── kkj_Latn.yml
│ ├── kkl_Latn.yml
│ ├── kle_Deva.yml
│ ├── klt_Latn.yml
│ ├── klv_Latn.yml
│ ├── kma_Latn.yml
│ ├── kmb_Latn.yml
│ ├── kmd_Latn.yml
│ ├── kmg_Latn.yml
│ ├── kmh_Latn.yml
│ ├── kmk_Latn.yml
│ ├── kmm_Latn.yml
│ ├── kmo_Latn.yml
│ ├── kmr_Cyrl.yml
│ ├── kmr_Latn.yml
│ ├── kms_Latn.yml
│ ├── kmu_Latn.yml
│ ├── kmy_Latn.yml
│ ├── knc_Arab.yml
│ ├── knc_Latn.yml
│ ├── kne_Latn.yml
│ ├── knf_Latn.yml
│ ├── kng_Latn.yml
│ ├── knj_Latn.yml
│ ├── knk_Latn.yml
│ ├── kno_Latn.yml
│ ├── knv_Latn.yml
│ ├── knx_Latn.yml
│ ├── kny_Latn.yml
│ ├── kog_Latn.yml
│ ├── koi_Cyrl.yml
│ ├── koo_Latn.yml
│ ├── kor_Hang.yml
│ ├── kos_Latn.yml
│ ├── kpe_Latn.yml
│ ├── kpf_Latn.yml
│ ├── kpg_Latn.yml
│ ├── kpj_Latn.yml
│ ├── kpq_Latn.yml
│ ├── kpr_Latn.yml
│ ├── kpv_Cyrl.yml
│ ├── kpw_Latn.yml
│ ├── kpx_Latn.yml
│ ├── kpz_Latn.yml
│ ├── kqa_Latn.yml
│ ├── kqc_Latn.yml
│ ├── kqe_Latn.yml
│ ├── kqf_Latn.yml
│ ├── kql_Latn.yml
│ ├── kqn_Latn.yml
│ ├── kqo_Latn.yml
│ ├── kqp_Latn.yml
│ ├── kqs_Latn.yml
│ ├── kqw_Latn.yml
│ ├── kqy_Ethi.yml
│ ├── krc_Cyrl.yml
│ ├── kri_Latn.yml
│ ├── krj_Latn.yml
│ ├── krl_Latn.yml
│ ├── kru_Deva.yml
│ ├── krx_Latn.yml
│ ├── ksb_Latn.yml
│ ├── ksc_Latn.yml
│ ├── ksd_Latn.yml
│ ├── ksf_Latn.yml
│ ├── ksh_Latn.yml
│ ├── ksj_Latn.yml
│ ├── ksp_Latn.yml
│ ├── ksr_Latn.yml
│ ├── kss_Latn.yml
│ ├── ksw_Mymr.yml
│ ├── ktb_Ethi.yml
│ ├── ktj_Latn.yml
│ ├── ktm_Latn.yml
│ ├── kto_Latn.yml
│ ├── ktu_Latn.yml
│ ├── ktz_Latn.yml
│ ├── kua_Latn.yml
│ ├── kub_Latn.yml
│ ├── kud_Latn.yml
│ ├── kue_Latn.yml
│ ├── kuj_Latn.yml
│ ├── kum_Cyrl.yml
│ ├── kup_Latn.yml
│ ├── kus_Latn.yml
│ ├── kvg_Latn.yml
│ ├── kvj_Latn.yml
│ ├── kvn_Latn.yml
│ ├── kwd_Latn.yml
│ ├── kwf_Latn.yml
│ ├── kwi_Latn.yml
│ ├── kwj_Latn.yml
│ ├── kwn_Latn.yml
│ ├── kwy_Latn.yml
│ ├── kxc_Ethi.yml
│ ├── kxm_Thai.yml
│ ├── kxw_Latn.yml
│ ├── kyc_Latn.yml
│ ├── kyf_Latn.yml
│ ├── kyg_Latn.yml
│ ├── kyq_Latn.yml
│ ├── kyu_Kali.yml
│ ├── kyu_Latn.yml
│ ├── kyu_Mymr.yml
│ ├── kyz_Latn.yml
│ ├── kze_Latn.yml
│ ├── kzf_Latn.yml
│ ├── kzj_Latn.yml
│ ├── kzn_Latn.yml
│ ├── lac_Latn.yml
│ ├── lad_Hebr.yml
│ ├── lad_Latn.yml
│ ├── lai_Latn.yml
│ ├── laj_Latn.yml
│ ├── lam_Latn.yml
│ ├── lao_Laoo.yml
│ ├── lap_Latn.yml
│ ├── las_Latn.yml
│ ├── lat_Latn.yml
│ ├── law_Latn.yml
│ ├── lbb_Latn.yml
│ ├── lbe_Cyrl.yml
│ ├── lbj_Tibt.yml
│ ├── lbk_Latn.yml
│ ├── lcm_Latn.yml
│ ├── lcp_Thai.yml
│ ├── ldi_Latn.yml
│ ├── ldn_Latn.yml
│ ├── lea_Latn.yml
│ ├── led_Latn.yml
│ ├── lee_Latn.yml
│ ├── lef_Latn.yml
│ ├── leh_Latn.yml
│ ├── lem_Latn.yml
│ ├── leu_Latn.yml
│ ├── lew_Latn.yml
│ ├── lex_Latn.yml
│ ├── lez_Cyrl.yml
│ ├── lfn_Cyrl.yml
│ ├── lfn_Latn.yml
│ ├── lgg_Latn.yml
│ ├── lgl_Latn.yml
│ ├── lgm_Latn.yml
│ ├── lhi_Latn.yml
│ ├── lhu_Latn.yml
│ ├── lia_Latn.yml
│ ├── lid_Latn.yml
│ ├── lif_Deva.yml
│ ├── lif_Limb.yml
│ ├── lij_Latn.yml
│ ├── lim_Latn.yml
│ ├── lin_Latn.yml
│ ├── lip_Latn.yml
│ ├── lis_Lisu.yml
│ ├── lit_Latn.yml
│ ├── liv_Latn.yml
│ ├── ljp_Latn.yml
│ ├── lki_Arab.yml
│ ├── llb_Latn.yml
│ ├── lld_Latn.yml
│ ├── llg_Latn.yml
│ ├── lln_Latn.yml
│ ├── lmk_Latn.yml
│ ├── lmo_Latn.yml
│ ├── lmp_Latn.yml
│ ├── lnd_Latn.yml
│ ├── lob_Latn.yml
│ ├── loe_Latn.yml
│ ├── log_Latn.yml
│ ├── lok_Latn.yml
│ ├── lol_Latn.yml
│ ├── lom_Latn.yml
│ ├── loq_Latn.yml
│ ├── loz_Latn.yml
│ ├── lrc_Arab.yml
│ ├── lsi_Latn.yml
│ ├── lsm_Latn.yml
│ ├── ltg_Latn.yml
│ ├── ltz_Latn.yml
│ ├── lua_Latn.yml
│ ├── lub_Latn.yml
│ ├── luc_Latn.yml
│ ├── lud_Latn.yml
│ ├── lue_Latn.yml
│ ├── lug_Latn.yml
│ ├── lun_Latn.yml
│ ├── luo_Latn.yml
│ ├── lus_Latn.yml
│ ├── lvs_Latn.yml
│ ├── lwg_Latn.yml
│ ├── lwo_Latn.yml
│ ├── lww_Latn.yml
│ ├── lzh_Hani.yml
│ ├── maa_Latn.yml
│ ├── mad_Latn.yml
│ ├── maf_Latn.yml
│ ├── mag_Deva.yml
│ ├── mah_Latn.yml
│ ├── mai_Deva.yml
│ ├── maj_Latn.yml
│ ├── mak_Latn.yml
│ ├── mal_Latn.yml
│ ├── mal_Mlym.yml
│ ├── mam_Latn.yml
│ ├── maq_Latn.yml
│ ├── mar_Deva.yml
│ ├── mar_Latn.yml
│ ├── mas_Latn.yml
│ ├── mau_Latn.yml
│ ├── mav_Latn.yml
│ ├── maw_Latn.yml
│ ├── max_Latn.yml
│ ├── maz_Latn.yml
│ ├── mbb_Latn.yml
│ ├── mbc_Latn.yml
│ ├── mbd_Latn.yml
│ ├── mbf_Latn.yml
│ ├── mbh_Latn.yml
│ ├── mbi_Latn.yml
│ ├── mbj_Latn.yml
│ ├── mbl_Latn.yml
│ ├── mbs_Latn.yml
│ ├── mbt_Latn.yml
│ ├── mca_Latn.yml
│ ├── mcb_Latn.yml
│ ├── mcd_Latn.yml
│ ├── mcf_Latn.yml
│ ├── mck_Latn.yml
│ ├── mcn_Latn.yml
│ ├── mco_Latn.yml
│ ├── mcp_Latn.yml
│ ├── mcq_Latn.yml
│ ├── mcu_Latn.yml
│ ├── mda_Latn.yml
│ ├── mdf_Cyrl.yml
│ ├── mdy_Ethi.yml
│ ├── med_Latn.yml
│ ├── mee_Latn.yml
│ ├── mej_Latn.yml
│ ├── mek_Latn.yml
│ ├── men_Latn.yml
│ ├── meq_Latn.yml
│ ├── mer_Latn.yml
│ ├── met_Latn.yml
│ ├── meu_Latn.yml
│ ├── mev_Latn.yml
│ ├── mfe_Latn.yml
│ ├── mfg_Latn.yml
│ ├── mfh_Latn.yml
│ ├── mfi_Latn.yml
│ ├── mfk_Latn.yml
│ ├── mfq_Latn.yml
│ ├── mfy_Latn.yml
│ ├── mfz_Latn.yml
│ ├── mgc_Latn.yml
│ ├── mgh_Latn.yml
│ ├── mgm_Latn.yml
│ ├── mgo_Latn.yml
│ ├── mgr_Latn.yml
│ ├── mhi_Latn.yml
│ ├── mhl_Latn.yml
│ ├── mhr_Cyrl.yml
│ ├── mhw_Latn.yml
│ ├── mhx_Latn.yml
│ ├── mhy_Latn.yml
│ ├── mib_Latn.yml
│ ├── mic_Latn.yml
│ ├── mie_Latn.yml
│ ├── mif_Latn.yml
│ ├── mig_Latn.yml
│ ├── mih_Latn.yml
│ ├── mil_Latn.yml
│ ├── mim_Latn.yml
│ ├── min_Arab.yml
│ ├── min_Latn.yml
│ ├── mio_Latn.yml
│ ├── mip_Latn.yml
│ ├── miq_Latn.yml
│ ├── mir_Latn.yml
│ ├── mit_Latn.yml
│ ├── miy_Latn.yml
│ ├── miz_Latn.yml
│ ├── mjc_Latn.yml
│ ├── mjw_Latn.yml
│ ├── mkd_Cyrl.yml
│ ├── mkl_Latn.yml
│ ├── mkn_Latn.yml
│ ├── mks_Latn.yml
│ ├── mkz_Latn.yml
│ ├── mlh_Latn.yml
│ ├── mlp_Latn.yml
│ ├── mlt_Latn.yml
│ ├── mlu_Latn.yml
│ ├── mmn_Latn.yml
│ ├── mmo_Latn.yml
│ ├── mmx_Latn.yml
│ ├── mna_Latn.yml
│ ├── mnb_Latn.yml
│ ├── mnf_Latn.yml
│ ├── mni_Beng.yml
│ ├── mni_Latn.yml
│ ├── mni_Mtei.yml
│ ├── mnk_Latn.yml
│ ├── mns_Cyrl.yml
│ ├── mnw_Mymr.yml
│ ├── mnx_Latn.yml
│ ├── mny_Latn.yml
│ ├── moa_Latn.yml
│ ├── moc_Latn.yml
│ ├── mog_Latn.yml
│ ├── moh_Latn.yml
│ ├── mop_Latn.yml
│ ├── mor_Latn.yml
│ ├── mos_Latn.yml
│ ├── mox_Latn.yml
│ ├── mpg_Latn.yml
│ ├── mph_Latn.yml
│ ├── mpm_Latn.yml
│ ├── mpp_Latn.yml
│ ├── mps_Latn.yml
│ ├── mpt_Latn.yml
│ ├── mpx_Latn.yml
│ ├── mqb_Latn.yml
│ ├── mqj_Latn.yml
│ ├── mqy_Latn.yml
│ ├── mrg_Latn.yml
│ ├── mri_Latn.yml
│ ├── mrj_Cyrl.yml
│ ├── mrq_Latn.yml
│ ├── mrv_Latn.yml
│ ├── mrw_Latn.yml
│ ├── msb_Latn.yml
│ ├── msc_Latn.yml
│ ├── mse_Latn.yml
│ ├── msk_Latn.yml
│ ├── msy_Latn.yml
│ ├── mta_Latn.yml
│ ├── mtg_Latn.yml
│ ├── mti_Latn.yml
│ ├── mtj_Latn.yml
│ ├── mto_Latn.yml
│ ├── mtp_Latn.yml
│ ├── mua_Latn.yml
│ ├── mug_Latn.yml
│ ├── muh_Latn.yml
│ ├── mui_Latn.yml
│ ├── mup_Deva.yml
│ ├── mur_Latn.yml
│ ├── mus_Latn.yml
│ ├── mux_Latn.yml
│ ├── muy_Latn.yml
│ ├── mva_Latn.yml
│ ├── mvn_Latn.yml
│ ├── mvp_Latn.yml
│ ├── mwc_Latn.yml
│ ├── mwf_Latn.yml
│ ├── mwl_Latn.yml
│ ├── mwm_Latn.yml
│ ├── mwn_Latn.yml
│ ├── mwp_Latn.yml
│ ├── mwq_Latn.yml
│ ├── mwv_Latn.yml
│ ├── mww_Latn.yml
│ ├── mxb_Latn.yml
│ ├── mxp_Latn.yml
│ ├── mxq_Latn.yml
│ ├── mxt_Latn.yml
│ ├── mxv_Latn.yml
│ ├── mya_Mymr.yml
│ ├── myb_Latn.yml
│ ├── myk_Latn.yml
│ ├── myu_Latn.yml
│ ├── myv_Cyrl.yml
│ ├── myw_Latn.yml
│ ├── myx_Latn.yml
│ ├── myy_Latn.yml
│ ├── mza_Latn.yml
│ ├── mzh_Latn.yml
│ ├── mzk_Latn.yml
│ ├── mzl_Latn.yml
│ ├── mzm_Latn.yml
│ ├── mzn_Arab.yml
│ ├── mzw_Latn.yml
│ ├── mzz_Latn.yml
│ ├── nab_Latn.yml
│ ├── naf_Latn.yml
│ ├── nah_Latn.yml
│ ├── nak_Latn.yml
│ ├── nan_Latn.yml
│ ├── nap_Latn.yml
│ ├── naq_Latn.yml
│ ├── nas_Latn.yml
│ ├── nav_Latn.yml
│ ├── naw_Latn.yml
│ ├── nba_Latn.yml
│ ├── nbc_Latn.yml
│ ├── nbe_Latn.yml
│ ├── nbl_Latn.yml
│ ├── nbq_Latn.yml
│ ├── nbu_Latn.yml
│ ├── nca_Latn.yml
│ ├── nch_Latn.yml
│ ├── ncj_Latn.yml
│ ├── ncl_Latn.yml
│ ├── ncq_Laoo.yml
│ ├── nct_Latn.yml
│ ├── ncu_Latn.yml
│ ├── ncx_Latn.yml
│ ├── ndc_Latn.yml
│ ├── nde_Latn.yml
│ ├── ndh_Latn.yml
│ ├── ndi_Latn.yml
│ ├── ndj_Latn.yml
│ ├── ndo_Latn.yml
│ ├── ndp_Latn.yml
│ ├── nds_Latn.yml
│ ├── ndy_Latn.yml
│ ├── ndz_Latn.yml
│ ├── neb_Latn.yml
│ ├── new_Deva.yml
│ ├── nfa_Latn.yml
│ ├── nfr_Latn.yml
│ ├── ngb_Latn.yml
│ ├── ngc_Latn.yml
│ ├── ngl_Latn.yml
│ ├── ngp_Latn.yml
│ ├── ngu_Latn.yml
│ ├── nhd_Latn.yml
│ ├── nhe_Latn.yml
│ ├── nhg_Latn.yml
│ ├── nhi_Latn.yml
│ ├── nhk_Latn.yml
│ ├── nho_Latn.yml
│ ├── nhr_Latn.yml
│ ├── nhu_Latn.yml
│ ├── nhw_Latn.yml
│ ├── nhx_Latn.yml
│ ├── nhy_Latn.yml
│ ├── nia_Latn.yml
│ ├── nif_Latn.yml
│ ├── nii_Latn.yml
│ ├── nij_Latn.yml
│ ├── nim_Latn.yml
│ ├── nin_Latn.yml
│ ├── nio_Cyrl.yml
│ ├── niq_Latn.yml
│ ├── niu_Latn.yml
│ ├── niy_Latn.yml
│ ├── njb_Latn.yml
│ ├── njm_Latn.yml
│ ├── njn_Latn.yml
│ ├── njo_Latn.yml
│ ├── njz_Latn.yml
│ ├── nkf_Latn.yml
│ ├── nki_Latn.yml
│ ├── nko_Latn.yml
│ ├── nla_Latn.yml
│ ├── nlc_Latn.yml
│ ├── nld_Latn.yml
│ ├── nlg_Latn.yml
│ ├── nma_Latn.yml
│ ├── nmf_Latn.yml
│ ├── nmh_Latn.yml
│ ├── nmo_Latn.yml
│ ├── nmw_Latn.yml
│ ├── nmz_Latn.yml
│ ├── nnb_Latn.yml
│ ├── nng_Latn.yml
│ ├── nnh_Latn.yml
│ ├── nnl_Latn.yml
│ ├── nno_Latn.yml
│ ├── nnp_Latn.yml
│ ├── nnq_Latn.yml
│ ├── nnw_Latn.yml
│ ├── noa_Latn.yml
│ ├── nob_Latn.yml
│ ├── nod_Thai.yml
│ ├── nog_Cyrl.yml
│ ├── non_Latn.yml
│ ├── nop_Latn.yml
│ ├── not_Latn.yml
│ ├── nou_Latn.yml
│ ├── nov_Latn.yml
│ ├── nph_Latn.yml
│ ├── npi_Deva.yml
│ ├── npi_Latn.yml
│ ├── npl_Latn.yml
│ ├── npo_Latn.yml
│ ├── npy_Latn.yml
│ ├── nqo_Nkoo.yml
│ ├── nre_Latn.yml
│ ├── nrf_Latn.yml
│ ├── nri_Latn.yml
│ ├── nrm_Latn.yml
│ ├── nsa_Latn.yml
│ ├── nse_Latn.yml
│ ├── nsm_Latn.yml
│ ├── nsn_Latn.yml
│ ├── nso_Latn.yml
│ ├── nss_Latn.yml
│ ├── nst_Latn.yml
│ ├── nsu_Latn.yml
│ ├── ntp_Latn.yml
│ ├── ntr_Latn.yml
│ ├── ntu_Latn.yml
│ ├── nuj_Latn.yml
│ ├── nus_Latn.yml
│ ├── nuy_Latn.yml
│ ├── nuz_Latn.yml
│ ├── nvm_Latn.yml
│ ├── nwb_Latn.yml
│ ├── nwi_Latn.yml
│ ├── nwx_Deva.yml
│ ├── nxd_Latn.yml
│ ├── nya_Latn.yml
│ ├── nyf_Latn.yml
│ ├── nyk_Latn.yml
│ ├── nyn_Latn.yml
│ ├── nyo_Latn.yml
│ ├── nyu_Latn.yml
│ ├── nyy_Latn.yml
│ ├── nza_Latn.yml
│ ├── nzi_Latn.yml
│ ├── nzm_Latn.yml
│ ├── obo_Latn.yml
│ ├── oci_Latn.yml
│ ├── ogo_Latn.yml
│ ├── ojb_Cans.yml
│ ├── ojb_Latn.yml
│ ├── oke_Latn.yml
│ ├── oku_Latn.yml
│ ├── okv_Latn.yml
│ ├── old_Latn.yml
│ ├── olo_Latn.yml
│ ├── omb_Latn.yml
│ ├── omw_Latn.yml
│ ├── ong_Latn.yml
│ ├── ons_Latn.yml
│ ├── ood_Latn.yml
│ ├── opm_Latn.yml
│ ├── orv_Cyrl.yml
│ ├── ory_Latn.yml
│ ├── ory_Orya.yml
│ ├── oss_Cyrl.yml
│ ├── ota_Arab.yml
│ ├── otd_Latn.yml
│ ├── ote_Latn.yml
│ ├── otm_Latn.yml
│ ├── otn_Latn.yml
│ ├── oto_Latn.yml
│ ├── otq_Latn.yml
│ ├── ots_Latn.yml
│ ├── otw_Latn.yml
│ ├── oym_Latn.yml
│ ├── ozm_Latn.yml
│ ├── pab_Latn.yml
│ ├── pad_Latn.yml
│ ├── pag_Latn.yml
│ ├── pah_Latn.yml
│ ├── pam_Latn.yml
│ ├── pan_Guru.yml
│ ├── pan_Latn.yml
│ ├── pao_Latn.yml
│ ├── pap_Latn.yml
│ ├── pau_Latn.yml
│ ├── pbb_Latn.yml
│ ├── pbc_Latn.yml
│ ├── pbi_Latn.yml
│ ├── pbt_Arab.yml
│ ├── pcd_Latn.yml
│ ├── pck_Latn.yml
│ ├── pcm_Latn.yml
│ ├── pdc_Latn.yml
│ ├── pdt_Latn.yml
│ ├── pem_Latn.yml
│ ├── pfe_Latn.yml
│ ├── pfl_Latn.yml
│ ├── phm_Latn.yml
│ ├── pib_Latn.yml
│ ├── pio_Latn.yml
│ ├── pir_Latn.yml
│ ├── pis_Latn.yml
│ ├── pjt_Latn.yml
│ ├── pkb_Latn.yml
│ ├── plg_Latn.yml
│ ├── pls_Latn.yml
│ ├── plt_Latn.yml
│ ├── plu_Latn.yml
│ ├── plw_Latn.yml
│ ├── pma_Latn.yml
│ ├── pmf_Latn.yml
│ ├── pmq_Latn.yml
│ ├── pms_Latn.yml
│ ├── pmx_Latn.yml
│ ├── pnb_Arab.yml
│ ├── pne_Latn.yml
│ ├── pnt_Grek.yml
│ ├── pny_Latn.yml
│ ├── poe_Latn.yml
│ ├── poh_Latn.yml
│ ├── poi_Latn.yml
│ ├── pol_Latn.yml
│ ├── pon_Latn.yml
│ ├── por_Latn.yml
│ ├── pos_Latn.yml
│ ├── pot_Latn.yml
│ ├── pov_Latn.yml
│ ├── poy_Latn.yml
│ ├── ppk_Latn.yml
│ ├── ppo_Latn.yml
│ ├── pps_Latn.yml
│ ├── prf_Latn.yml
│ ├── prg_Latn.yml
│ ├── pri_Latn.yml
│ ├── prq_Latn.yml
│ ├── pse_Latn.yml
│ ├── pss_Latn.yml
│ ├── ptp_Latn.yml
│ ├── ptu_Latn.yml
│ ├── pua_Latn.yml
│ ├── pui_Latn.yml
│ ├── pwg_Latn.yml
│ ├── pwn_Latn.yml
│ ├── pww_Thai.yml
│ ├── pxm_Latn.yml
│ ├── qub_Latn.yml
│ ├── quc_Latn.yml
│ ├── quf_Latn.yml
│ ├── qug_Latn.yml
│ ├── quh_Latn.yml
│ ├── qul_Latn.yml
│ ├── qup_Latn.yml
│ ├── qus_Latn.yml
│ ├── quw_Latn.yml
│ ├── quy_Latn.yml
│ ├── quz_Latn.yml
│ ├── qva_Latn.yml
│ ├── qvc_Latn.yml
│ ├── qve_Latn.yml
│ ├── qvh_Latn.yml
│ ├── qvi_Latn.yml
│ ├── qvm_Latn.yml
│ ├── qvn_Latn.yml
│ ├── qvo_Latn.yml
│ ├── qvs_Latn.yml
│ ├── qvw_Latn.yml
│ ├── qvz_Latn.yml
│ ├── qwh_Latn.yml
│ ├── qxh_Latn.yml
│ ├── qxl_Latn.yml
│ ├── qxn_Latn.yml
│ ├── qxo_Latn.yml
│ ├── qxr_Latn.yml
│ ├── rad_Latn.yml
│ ├── rai_Latn.yml
│ ├── rap_Latn.yml
│ ├── rar_Latn.yml
│ ├── rav_Deva.yml
│ ├── raw_Latn.yml
│ ├── rcf_Latn.yml
│ ├── rej_Latn.yml
│ ├── rel_Latn.yml
│ ├── rgu_Latn.yml
│ ├── rhg_Latn.yml
│ ├── ria_Latn.yml
│ ├── rim_Latn.yml
│ ├── rjs_Deva.yml
│ ├── rkb_Latn.yml
│ ├── rmc_Latn.yml
│ ├── rme_Latn.yml
│ ├── rml_Latn.yml
│ ├── rmn_Cyrl.yml
│ ├── rmn_Grek.yml
│ ├── rmn_Latn.yml
│ ├── rmo_Latn.yml
│ ├── rmq_Latn.yml
│ ├── rmy_Cyrl.yml
│ ├── rmy_Latn.yml
│ ├── rnd_Latn.yml
│ ├── rng_Latn.yml
│ ├── rnl_Latn.yml
│ ├── roh_Latn.yml
│ ├── ron_Cyrl.yml
│ ├── ron_Latn.yml
│ ├── roo_Latn.yml
│ ├── rop_Latn.yml
│ ├── row_Latn.yml
│ ├── rro_Latn.yml
│ ├── rtm_Latn.yml
│ ├── rub_Latn.yml
│ ├── rue_Cyrl.yml
│ ├── ruf_Latn.yml
│ ├── rug_Latn.yml
│ ├── run_Latn.yml
│ ├── rup_Latn.yml
│ ├── rus_Cyrl.yml
│ ├── rwo_Latn.yml
│ ├── sab_Latn.yml
│ ├── sag_Latn.yml
│ ├── sah_Cyrl.yml
│ ├── saj_Latn.yml
│ ├── san_Deva.yml
│ ├── san_Latn.yml
│ ├── sas_Latn.yml
│ ├── sat_Latn.yml
│ ├── sat_Olck.yml
│ ├── say_Latn.yml
│ ├── sba_Latn.yml
│ ├── sbd_Latn.yml
│ ├── sbe_Latn.yml
│ ├── sbl_Latn.yml
│ ├── sbs_Latn.yml
│ ├── sby_Latn.yml
│ ├── sck_Deva.yml
│ ├── scn_Latn.yml
│ ├── sco_Latn.yml
│ ├── sda_Latn.yml
│ ├── sdc_Latn.yml
│ ├── sdh_Arab.yml
│ ├── sdo_Latn.yml
│ ├── sdq_Latn.yml
│ ├── seh_Latn.yml
│ ├── sel_Cyrl.yml
│ ├── ses_Latn.yml
│ ├── sey_Latn.yml
│ ├── sfw_Latn.yml
│ ├── sgb_Latn.yml
│ ├── sgc_Latn.yml
│ ├── sgh_Cyrl.yml
│ ├── sgs_Latn.yml
│ ├── sgw_Ethi.yml
│ ├── sgz_Latn.yml
│ ├── shi_Latn.yml
│ ├── shk_Latn.yml
│ ├── shn_Mymr.yml
│ ├── shp_Latn.yml
│ ├── shu_Arab.yml
│ ├── sid_Latn.yml
│ ├── sig_Latn.yml
│ ├── sil_Latn.yml
│ ├── sim_Latn.yml
│ ├── sin_Sinh.yml
│ ├── sja_Latn.yml
│ ├── sjo_Mong.yml
│ ├── sju_Latn.yml
│ ├── skg_Latn.yml
│ ├── skr_Arab.yml
│ ├── sld_Latn.yml
│ ├── slk_Latn.yml
│ ├── sll_Latn.yml
│ ├── slv_Latn.yml
│ ├── sma_Latn.yml
│ ├── sme_Latn.yml
│ ├── smj_Latn.yml
│ ├── smk_Latn.yml
│ ├── sml_Latn.yml
│ ├── smn_Latn.yml
│ ├── smo_Latn.yml
│ ├── sms_Latn.yml
│ ├── smt_Latn.yml
│ ├── sna_Latn.yml
│ ├── snc_Latn.yml
│ ├── snd_Arab.yml
│ ├── snd_Deva.yml
│ ├── snd_Latn.yml
│ ├── snf_Latn.yml
│ ├── snn_Latn.yml
│ ├── snp_Latn.yml
│ ├── snw_Latn.yml
│ ├── sny_Latn.yml
│ ├── soe_Latn.yml
│ ├── som_Latn.yml
│ ├── sop_Latn.yml
│ ├── soq_Latn.yml
│ ├── sot_Latn.yml
│ ├── soy_Latn.yml
│ ├── spa_Latn.yml
│ ├── spl_Latn.yml
│ ├── spm_Latn.yml
│ ├── spp_Latn.yml
│ ├── sps_Latn.yml
│ ├── spy_Latn.yml
│ ├── srd_Latn.yml
│ ├── sri_Latn.yml
│ ├── srm_Latn.yml
│ ├── srn_Latn.yml
│ ├── srp_Cyrl.yml
│ ├── srp_Latn.yml
│ ├── srq_Latn.yml
│ ├── srr_Latn.yml
│ ├── ssd_Latn.yml
│ ├── ssg_Latn.yml
│ ├── ssw_Latn.yml
│ ├── ssx_Latn.yml
│ ├── stn_Latn.yml
│ ├── stp_Latn.yml
│ ├── stq_Latn.yml
│ ├── sua_Latn.yml
│ ├── suc_Latn.yml
│ ├── sue_Latn.yml
│ ├── suk_Latn.yml
│ ├── sun_Latn.yml
│ ├── sur_Latn.yml
│ ├── sus_Arab.yml
│ ├── sus_Latn.yml
│ ├── suz_Deva.yml
│ ├── swb_Latn.yml
│ ├── swc_Latn.yml
│ ├── swe_Latn.yml
│ ├── swg_Latn.yml
│ ├── swh_Latn.yml
│ ├── swk_Latn.yml
│ ├── swp_Latn.yml
│ ├── sxb_Latn.yml
│ ├── sxn_Latn.yml
│ ├── syb_Latn.yml
│ ├── syc_Syrc.yml
│ ├── syl_Beng.yml
│ ├── syl_Latn.yml
│ ├── szb_Latn.yml
│ ├── szl_Latn.yml
│ ├── szy_Latn.yml
│ ├── tab_Cyrl.yml
│ ├── tac_Latn.yml
│ ├── tah_Latn.yml
│ ├── taj_Deva.yml
│ ├── tam_Latn.yml
│ ├── tam_Taml.yml
│ ├── tap_Latn.yml
│ ├── taq_Latn.yml
│ ├── taq_Tfng.yml
│ ├── tar_Latn.yml
│ ├── tat_Cyrl.yml
│ ├── tat_Latn.yml
│ ├── tav_Latn.yml
│ ├── taw_Latn.yml
│ ├── tay_Latn.yml
│ ├── tbc_Latn.yml
│ ├── tbg_Latn.yml
│ ├── tbk_Latn.yml
│ ├── tbl_Latn.yml
│ ├── tbo_Latn.yml
│ ├── tbw_Latn.yml
│ ├── tby_Latn.yml
│ ├── tbz_Latn.yml
│ ├── tca_Latn.yml
│ ├── tcc_Latn.yml
│ ├── tcf_Latn.yml
│ ├── tcs_Latn.yml
│ ├── tcy_Knda.yml
│ ├── tcz_Latn.yml
│ ├── tdx_Latn.yml
│ ├── ted_Latn.yml
│ ├── tee_Latn.yml
│ ├── tel_Latn.yml
│ ├── tel_Telu.yml
│ ├── tem_Latn.yml
│ ├── teo_Latn.yml
│ ├── ter_Latn.yml
│ ├── tet_Latn.yml
│ ├── tew_Latn.yml
│ ├── tfr_Latn.yml
│ ├── tgk_Cyrl.yml
│ ├── tgo_Latn.yml
│ ├── tgp_Latn.yml
│ ├── tha_Thai.yml
│ ├── thk_Latn.yml
│ ├── thl_Deva.yml
│ ├── thv_Latn.yml
│ ├── tif_Latn.yml
│ ├── tig_Ethi.yml
│ ├── tih_Latn.yml
│ ├── tik_Latn.yml
│ ├── tim_Latn.yml
│ ├── tir_Ethi.yml
│ ├── tiv_Latn.yml
│ ├── tiy_Latn.yml
│ ├── tke_Latn.yml
│ ├── tkl_Latn.yml
│ ├── tkr_Cyrl.yml
│ ├── tku_Latn.yml
│ ├── tlb_Latn.yml
│ ├── tlf_Latn.yml
│ ├── tlh_Latn.yml
│ ├── tlj_Latn.yml
│ ├── tll_Latn.yml
│ ├── tly_Latn.yml
│ ├── tmc_Latn.yml
│ ├── tmd_Latn.yml
│ ├── tna_Latn.yml
│ ├── tnc_Latn.yml
│ ├── tnk_Latn.yml
│ ├── tnn_Latn.yml
│ ├── tnp_Latn.yml
│ ├── tnr_Latn.yml
│ ├── tob_Latn.yml
│ ├── toc_Latn.yml
│ ├── tod_Latn.yml
│ ├── tog_Latn.yml
│ ├── toh_Latn.yml
│ ├── toi_Latn.yml
│ ├── toj_Latn.yml
│ ├── tok_Latn.yml
│ ├── ton_Latn.yml
│ ├── too_Latn.yml
│ ├── top_Latn.yml
│ ├── tos_Latn.yml
│ ├── tpa_Latn.yml
│ ├── tpi_Latn.yml
│ ├── tpm_Latn.yml
│ ├── tpn_Latn.yml
│ ├── tpp_Latn.yml
│ ├── tpt_Latn.yml
│ ├── tpw_Latn.yml
│ ├── tpz_Latn.yml
│ ├── tqo_Latn.yml
│ ├── trc_Latn.yml
│ ├── trn_Latn.yml
│ ├── tro_Latn.yml
│ ├── trp_Latn.yml
│ ├── trq_Latn.yml
│ ├── trs_Latn.yml
│ ├── trv_Latn.yml
│ ├── tsc_Latn.yml
│ ├── tsg_Latn.yml
│ ├── tsn_Latn.yml
│ ├── tso_Latn.yml
│ ├── tsw_Latn.yml
│ ├── tsz_Latn.yml
│ ├── ttc_Latn.yml
│ ├── tte_Latn.yml
│ ├── ttj_Latn.yml
│ ├── ttq_Latn.yml
│ ├── ttq_Tfng.yml
│ ├── tuc_Latn.yml
│ ├── tue_Latn.yml
│ ├── tuf_Latn.yml
│ ├── tui_Latn.yml
│ ├── tuk_Arab.yml
│ ├── tuk_Cyrl.yml
│ ├── tuk_Latn.yml
│ ├── tul_Latn.yml
│ ├── tum_Latn.yml
│ ├── tuo_Latn.yml
│ ├── tur_Latn.yml
│ ├── tuv_Latn.yml
│ ├── tvk_Latn.yml
│ ├── tvl_Latn.yml
│ ├── twb_Latn.yml
│ ├── twi_Latn.yml
│ ├── twu_Latn.yml
│ ├── twx_Latn.yml
│ ├── txq_Latn.yml
│ ├── txu_Latn.yml
│ ├── tyv_Cyrl.yml
│ ├── tzh_Latn.yml
│ ├── tzj_Latn.yml
│ ├── tzl_Latn.yml
│ ├── tzm_Tfng.yml
│ ├── tzo_Latn.yml
│ ├── ubr_Latn.yml
│ ├── ubu_Latn.yml
│ ├── udm_Cyrl.yml
│ ├── udu_Latn.yml
│ ├── uig_Arab.yml
│ ├── uig_Cyrl.yml
│ ├── uig_Latn.yml
│ ├── ukr_Cyrl.yml
│ ├── umb_Latn.yml
│ ├── upv_Latn.yml
│ ├── ura_Latn.yml
│ ├── urb_Latn.yml
│ ├── urd_Arab.yml
│ ├── urd_Latn.yml
│ ├── urh_Latn.yml
│ ├── uri_Latn.yml
│ ├── urk_Thai.yml
│ ├── urt_Latn.yml
│ ├── urw_Latn.yml
│ ├── ury_Latn.yml
│ ├── usa_Latn.yml
│ ├── usp_Latn.yml
│ ├── uth_Latn.yml
│ ├── uvh_Latn.yml
│ ├── uvl_Latn.yml
│ ├── uzn_Cyrl.yml
│ ├── uzn_Latn.yml
│ ├── uzs_Arab.yml
│ ├── vag_Latn.yml
│ ├── vap_Latn.yml
│ ├── var_Latn.yml
│ ├── vec_Latn.yml
│ ├── ven_Latn.yml
│ ├── vep_Latn.yml
│ ├── vid_Latn.yml
│ ├── vie_Latn.yml
│ ├── viv_Latn.yml
│ ├── vls_Latn.yml
│ ├── vmk_Latn.yml
│ ├── vmw_Latn.yml
│ ├── vmy_Latn.yml
│ ├── vol_Latn.yml
│ ├── vot_Latn.yml
│ ├── vro_Latn.yml
│ ├── vun_Latn.yml
│ ├── vut_Latn.yml
│ ├── waj_Latn.yml
│ ├── wal_Ethi.yml
│ ├── wal_Latn.yml
│ ├── wap_Latn.yml
│ ├── war_Latn.yml
│ ├── wat_Latn.yml
│ ├── way_Latn.yml
│ ├── wba_Latn.yml
│ ├── wbm_Latn.yml
│ ├── wbp_Latn.yml
│ ├── wed_Latn.yml
│ ├── wer_Latn.yml
│ ├── wes_Latn.yml
│ ├── wew_Latn.yml
│ ├── whg_Latn.yml
│ ├── whk_Latn.yml
│ ├── wib_Latn.yml
│ ├── wim_Latn.yml
│ ├── wiu_Latn.yml
│ ├── wln_Latn.yml
│ ├── wls_Latn.yml
│ ├── wlv_Latn.yml
│ ├── wlx_Latn.yml
│ ├── wmt_Latn.yml
│ ├── wmw_Latn.yml
│ ├── wnc_Latn.yml
│ ├── wnu_Latn.yml
│ ├── wob_Latn.yml
│ ├── wol_Latn.yml
│ ├── wos_Latn.yml
│ ├── wrk_Latn.yml
│ ├── wrs_Latn.yml
│ ├── wsg_Telu.yml
│ ├── wsk_Latn.yml
│ ├── wuu_Hani.yml
│ ├── wuv_Latn.yml
│ ├── wwa_Latn.yml
│ ├── xal_Cyrl.yml
│ ├── xav_Latn.yml
│ ├── xbi_Latn.yml
│ ├── xbr_Latn.yml
│ ├── xed_Latn.yml
│ ├── xho_Latn.yml
│ ├── xla_Latn.yml
│ ├── xmf_Geor.yml
│ ├── xmm_Latn.yml
│ ├── xmv_Latn.yml
│ ├── xnn_Latn.yml
│ ├── xog_Latn.yml
│ ├── xon_Latn.yml
│ ├── xrb_Latn.yml
│ ├── xsb_Latn.yml
│ ├── xsi_Latn.yml
│ ├── xsm_Latn.yml
│ ├── xsr_Deva.yml
│ ├── xsu_Latn.yml
│ ├── xtd_Latn.yml
│ ├── xtm_Latn.yml
│ ├── xtn_Latn.yml
│ ├── xum_Latn.yml
│ ├── xuo_Latn.yml
│ ├── yaa_Latn.yml
│ ├── yad_Latn.yml
│ ├── yal_Latn.yml
│ ├── yam_Latn.yml
│ ├── yan_Latn.yml
│ ├── yao_Latn.yml
│ ├── yap_Latn.yml
│ ├── yaq_Latn.yml
│ ├── yas_Latn.yml
│ ├── yat_Latn.yml
│ ├── yaz_Latn.yml
│ ├── ybb_Latn.yml
│ ├── yby_Latn.yml
│ ├── ycn_Latn.yml
│ ├── ydd_Hebr.yml
│ ├── yim_Latn.yml
│ ├── yka_Latn.yml
│ ├── yle_Latn.yml
│ ├── yli_Latn.yml
│ ├── yml_Latn.yml
│ ├── yom_Latn.yml
│ ├── yon_Latn.yml
│ ├── yor_Latn.yml
│ ├── yrb_Latn.yml
│ ├── yre_Latn.yml
│ ├── yrk_Cyrl.yml
│ ├── yrl_Latn.yml
│ ├── yss_Latn.yml
│ ├── yua_Latn.yml
│ ├── yue_Hani.yml
│ ├── yuj_Latn.yml
│ ├── yup_Latn.yml
│ ├── yut_Latn.yml
│ ├── yuw_Latn.yml
│ ├── yuz_Latn.yml
│ ├── yva_Latn.yml
│ ├── zaa_Latn.yml
│ ├── zab_Latn.yml
│ ├── zac_Latn.yml
│ ├── zad_Latn.yml
│ ├── zae_Latn.yml
│ ├── zai_Latn.yml
│ ├── zam_Latn.yml
│ ├── zao_Latn.yml
│ ├── zar_Latn.yml
│ ├── zas_Latn.yml
│ ├── zat_Latn.yml
│ ├── zav_Latn.yml
│ ├── zaw_Latn.yml
│ ├── zca_Latn.yml
│ ├── zdj_Latn.yml
│ ├── zea_Latn.yml
│ ├── zgh_Tfng.yml
│ ├── zia_Latn.yml
│ ├── ziw_Latn.yml
│ ├── zne_Latn.yml
│ ├── zoc_Latn.yml
│ ├── zom_Latn.yml
│ ├── zos_Latn.yml
│ ├── zpa_Latn.yml
│ ├── zpc_Latn.yml
│ ├── zpg_Latn.yml
│ ├── zpi_Latn.yml
│ ├── zpj_Latn.yml
│ ├── zpl_Latn.yml
│ ├── zpm_Latn.yml
│ ├── zpo_Latn.yml
│ ├── zpq_Latn.yml
│ ├── zpt_Latn.yml
│ ├── zpu_Latn.yml
│ ├── zpv_Latn.yml
│ ├── zpz_Latn.yml
│ ├── zsm_Arab.yml
│ ├── zsm_Latn.yml
│ ├── zsr_Latn.yml
│ ├── ztq_Latn.yml
│ ├── zty_Latn.yml
│ ├── zul_Latn.yml
│ ├── zyb_Latn.yml
│ └── zyp_Latn.yml
├── fineweb-2-pipeline.py
├── fineweb2-language-distribution.csv
└── misc/
├── precision_filtering/
│ ├── README.md
│ ├── audits/
│ │ ├── ary_Arab.tsv
│ │ ├── bar_Latn.tsv
│ │ ├── glk_Arab.tsv
│ │ ├── pcm_Latn.csv
│ │ └── pcm_Latn.tsv
│ ├── cont_scores.json
│ ├── count_common.py
│ ├── run_precision_filtering.py
│ ├── slurm_count_word.py
│ ├── url_whitelist.json
│ ├── wordlist_gen.py
│ ├── wordlist_score.py
│ ├── wordlists-0.85/
│ │ ├── aai_Latn.txt
│ │ ├── aak_Latn.txt
│ │ ├── aau_Latn.txt
│ │ ├── aaz_Latn.txt
│ │ ├── aba_Latn.txt
│ │ ├── abi_Latn.txt
│ │ ├── abk_Cyrl.txt
│ │ ├── abn_Latn.txt
│ │ ├── abq_Cyrl.txt
│ │ ├── abs_Latn.txt
│ │ ├── abt_Latn.txt
│ │ ├── abx_Latn.txt
│ │ ├── aby_Latn.txt
│ │ ├── abz_Latn.txt
│ │ ├── aca_Latn.txt
│ │ ├── acd_Latn.txt
│ │ ├── ace_Arab.txt
│ │ ├── ace_Latn.txt
│ │ ├── acf_Latn.txt
│ │ ├── ach_Latn.txt
│ │ ├── acm_Arab.txt
│ │ ├── acn_Latn.txt
│ │ ├── acr_Latn.txt
│ │ ├── acu_Latn.txt
│ │ ├── ada_Latn.txt
│ │ ├── ade_Latn.txt
│ │ ├── adh_Latn.txt
│ │ ├── adi_Latn.txt
│ │ ├── adj_Latn.txt
│ │ ├── adl_Latn.txt
│ │ ├── ady_Cyrl.txt
│ │ ├── adz_Latn.txt
│ │ ├── aeb_Arab.txt
│ │ ├── aer_Latn.txt
│ │ ├── aeu_Latn.txt
│ │ ├── aey_Latn.txt
│ │ ├── afr_Latn.txt
│ │ ├── agd_Latn.txt
│ │ ├── agg_Latn.txt
│ │ ├── agm_Latn.txt
│ │ ├── agn_Latn.txt
│ │ ├── agr_Latn.txt
│ │ ├── agt_Latn.txt
│ │ ├── agu_Latn.txt
│ │ ├── agw_Latn.txt
│ │ ├── agx_Cyrl.txt
│ │ ├── aha_Latn.txt
│ │ ├── ahk_Latn.txt
│ │ ├── aia_Latn.txt
│ │ ├── aii_Syrc.txt
│ │ ├── aim_Latn.txt
│ │ ├── ain_Latn.txt
│ │ ├── ajg_Latn.txt
│ │ ├── aji_Latn.txt
│ │ ├── ajz_Latn.txt
│ │ ├── akb_Latn.txt
│ │ ├── ake_Latn.txt
│ │ ├── akh_Latn.txt
│ │ ├── akp_Latn.txt
│ │ ├── ald_Latn.txt
│ │ ├── alj_Latn.txt
│ │ ├── aln_Latn.txt
│ │ ├── alp_Latn.txt
│ │ ├── alq_Latn.txt
│ │ ├── als_Latn.txt
│ │ ├── alt_Cyrl.txt
│ │ ├── aly_Latn.txt
│ │ ├── alz_Latn.txt
│ │ ├── ame_Latn.txt
│ │ ├── amf_Latn.txt
│ │ ├── amh_Ethi.txt
│ │ ├── ami_Latn.txt
│ │ ├── amk_Latn.txt
│ │ ├── amm_Latn.txt
│ │ ├── amn_Latn.txt
│ │ ├── amp_Latn.txt
│ │ ├── amr_Latn.txt
│ │ ├── amu_Latn.txt
│ │ ├── amx_Latn.txt
│ │ ├── ang_Latn.txt
│ │ ├── anm_Latn.txt
│ │ ├── ann_Latn.txt
│ │ ├── anp_Deva.txt
│ │ ├── anv_Latn.txt
│ │ ├── any_Latn.txt
│ │ ├── aoi_Latn.txt
│ │ ├── aoj_Latn.txt
│ │ ├── aom_Latn.txt
│ │ ├── aoz_Latn.txt
│ │ ├── apb_Latn.txt
│ │ ├── apc_Arab.txt
│ │ ├── ape_Latn.txt
│ │ ├── apn_Latn.txt
│ │ ├── apr_Latn.txt
│ │ ├── apt_Latn.txt
│ │ ├── apu_Latn.txt
│ │ ├── apw_Latn.txt
│ │ ├── apy_Latn.txt
│ │ ├── apz_Latn.txt
│ │ ├── aqz_Latn.txt
│ │ ├── arb_Arab.txt
│ │ ├── arb_Latn.txt
│ │ ├── are_Latn.txt
│ │ ├── arg_Latn.txt
│ │ ├── arl_Latn.txt
│ │ ├── arn_Latn.txt
│ │ ├── arp_Latn.txt
│ │ ├── arq_Arab.txt
│ │ ├── arr_Latn.txt
│ │ ├── ars_Arab.txt
│ │ ├── ary_Arab.txt
│ │ ├── arz_Arab.txt
│ │ ├── asg_Latn.txt
│ │ ├── asm_Beng.txt
│ │ ├── asm_Latn.txt
│ │ ├── aso_Latn.txt
│ │ ├── ast_Latn.txt
│ │ ├── ata_Latn.txt
│ │ ├── atb_Latn.txt
│ │ ├── atd_Latn.txt
│ │ ├── atg_Latn.txt
│ │ ├── ati_Latn.txt
│ │ ├── atj_Latn.txt
│ │ ├── atq_Latn.txt
│ │ ├── att_Latn.txt
│ │ ├── auc_Latn.txt
│ │ ├── aui_Latn.txt
│ │ ├── auy_Latn.txt
│ │ ├── ava_Cyrl.txt
│ │ ├── avk_Latn.txt
│ │ ├── avn_Latn.txt
│ │ ├── avt_Latn.txt
│ │ ├── avu_Latn.txt
│ │ ├── awa_Deva.txt
│ │ ├── awb_Latn.txt
│ │ ├── awi_Latn.txt
│ │ ├── awx_Latn.txt
│ │ ├── ayo_Latn.txt
│ │ ├── ayp_Arab.txt
│ │ ├── ayr_Latn.txt
│ │ ├── azb_Arab.txt
│ │ ├── azg_Latn.txt
│ │ ├── azj_Cyrl.txt
│ │ ├── azj_Latn.txt
│ │ ├── azz_Latn.txt
│ │ ├── bak_Cyrl.txt
│ │ ├── bal_Arab.txt
│ │ ├── bam_Latn.txt
│ │ ├── ban_Latn.txt
│ │ ├── bao_Latn.txt
│ │ ├── bar_Latn.txt
│ │ ├── bas_Latn.txt
│ │ ├── bav_Latn.txt
│ │ ├── bba_Latn.txt
│ │ ├── bbb_Latn.txt
│ │ ├── bbc_Latn.txt
│ │ ├── bbj_Latn.txt
│ │ ├── bbk_Latn.txt
│ │ ├── bbo_Latn.txt
│ │ ├── bbr_Latn.txt
│ │ ├── bcc_Arab.txt
│ │ ├── bch_Latn.txt
│ │ ├── bci_Latn.txt
│ │ ├── bcl_Latn.txt
│ │ ├── bco_Latn.txt
│ │ ├── bcw_Latn.txt
│ │ ├── bdd_Latn.txt
│ │ ├── bdh_Latn.txt
│ │ ├── bdq_Latn.txt
│ │ ├── bea_Latn.txt
│ │ ├── bef_Latn.txt
│ │ ├── bel_Cyrl.txt
│ │ ├── bem_Latn.txt
│ │ ├── ben_Beng.txt
│ │ ├── ben_Latn.txt
│ │ ├── beq_Latn.txt
│ │ ├── bew_Latn.txt
│ │ ├── bex_Latn.txt
│ │ ├── bfd_Latn.txt
│ │ ├── bfo_Latn.txt
│ │ ├── bgr_Latn.txt
│ │ ├── bgs_Latn.txt
│ │ ├── bgt_Latn.txt
│ │ ├── bgz_Latn.txt
│ │ ├── bhg_Latn.txt
│ │ ├── bhl_Latn.txt
│ │ ├── bho_Deva.txt
│ │ ├── bhp_Latn.txt
│ │ ├── bhw_Latn.txt
│ │ ├── bhz_Latn.txt
│ │ ├── bib_Latn.txt
│ │ ├── big_Latn.txt
│ │ ├── bim_Latn.txt
│ │ ├── bin_Latn.txt
│ │ ├── bis_Latn.txt
│ │ ├── biu_Latn.txt
│ │ ├── biv_Latn.txt
│ │ ├── bjn_Arab.txt
│ │ ├── bjn_Latn.txt
│ │ ├── bjp_Latn.txt
│ │ ├── bjr_Latn.txt
│ │ ├── bjv_Latn.txt
│ │ ├── bkd_Latn.txt
│ │ ├── bkl_Latn.txt
│ │ ├── bkq_Latn.txt
│ │ ├── bku_Latn.txt
│ │ ├── bkv_Latn.txt
│ │ ├── bla_Latn.txt
│ │ ├── blh_Latn.txt
│ │ ├── blk_Mymr.txt
│ │ ├── blt_Latn.txt
│ │ ├── blw_Latn.txt
│ │ ├── blz_Latn.txt
│ │ ├── bmh_Latn.txt
│ │ ├── bmk_Latn.txt
│ │ ├── bmq_Latn.txt
│ │ ├── bmr_Latn.txt
│ │ ├── bmu_Latn.txt
│ │ ├── bmv_Latn.txt
│ │ ├── bnj_Latn.txt
│ │ ├── bno_Latn.txt
│ │ ├── bnp_Latn.txt
│ │ ├── boa_Latn.txt
│ │ ├── bod_Tibt.txt
│ │ ├── boj_Latn.txt
│ │ ├── bom_Latn.txt
│ │ ├── bon_Latn.txt
│ │ ├── bor_Latn.txt
│ │ ├── bov_Latn.txt
│ │ ├── box_Latn.txt
│ │ ├── bpr_Latn.txt
│ │ ├── bps_Latn.txt
│ │ ├── bpy_Beng.txt
│ │ ├── bqc_Latn.txt
│ │ ├── bqj_Latn.txt
│ │ ├── bqp_Latn.txt
│ │ ├── bre_Latn.txt
│ │ ├── brh_Arab.txt
│ │ ├── bru_Latn.txt
│ │ ├── brx_Deva.txt
│ │ ├── brx_Latn.txt
│ │ ├── bsc_Latn.txt
│ │ ├── bsn_Latn.txt
│ │ ├── bsp_Latn.txt
│ │ ├── bsq_Latn.txt
│ │ ├── bss_Latn.txt
│ │ ├── btd_Latn.txt
│ │ ├── bth_Latn.txt
│ │ ├── bts_Latn.txt
│ │ ├── btt_Latn.txt
│ │ ├── btx_Latn.txt
│ │ ├── bud_Latn.txt
│ │ ├── bug_Latn.txt
│ │ ├── buk_Latn.txt
│ │ ├── bul_Cyrl.txt
│ │ ├── bum_Latn.txt
│ │ ├── bus_Latn.txt
│ │ ├── bvc_Latn.txt
│ │ ├── bvd_Latn.txt
│ │ ├── bvr_Latn.txt
│ │ ├── bvz_Latn.txt
│ │ ├── bwd_Latn.txt
│ │ ├── bwi_Latn.txt
│ │ ├── bwq_Latn.txt
│ │ ├── bwu_Latn.txt
│ │ ├── bxh_Latn.txt
│ │ ├── bxr_Cyrl.txt
│ │ ├── byr_Latn.txt
│ │ ├── byv_Latn.txt
│ │ ├── byx_Latn.txt
│ │ ├── bzd_Latn.txt
│ │ ├── bzh_Latn.txt
│ │ ├── bzi_Thai.txt
│ │ ├── bzj_Latn.txt
│ │ ├── caa_Latn.txt
│ │ ├── cab_Latn.txt
│ │ ├── cac_Latn.txt
│ │ ├── caf_Latn.txt
│ │ ├── cag_Latn.txt
│ │ ├── cak_Latn.txt
│ │ ├── cao_Latn.txt
│ │ ├── cap_Latn.txt
│ │ ├── caq_Latn.txt
│ │ ├── car_Latn.txt
│ │ ├── cas_Latn.txt
│ │ ├── cat_Latn.txt
│ │ ├── cav_Latn.txt
│ │ ├── cax_Latn.txt
│ │ ├── cbc_Latn.txt
│ │ ├── cbi_Latn.txt
│ │ ├── cbk_Latn.txt
│ │ ├── cbr_Latn.txt
│ │ ├── cbs_Latn.txt
│ │ ├── cbt_Latn.txt
│ │ ├── cbu_Latn.txt
│ │ ├── cbv_Latn.txt
│ │ ├── cce_Latn.txt
│ │ ├── cco_Latn.txt
│ │ ├── ccp_Latn.txt
│ │ ├── cdf_Latn.txt
│ │ ├── ceb_Latn.txt
│ │ ├── ceg_Latn.txt
│ │ ├── cek_Latn.txt
│ │ ├── ces_Latn.txt
│ │ ├── cfm_Latn.txt
│ │ ├── cgc_Latn.txt
│ │ ├── cgg_Latn.txt
│ │ ├── cha_Latn.txt
│ │ ├── chd_Latn.txt
│ │ ├── che_Cyrl.txt
│ │ ├── chf_Latn.txt
│ │ ├── chj_Latn.txt
│ │ ├── chk_Latn.txt
│ │ ├── cho_Latn.txt
│ │ ├── chq_Latn.txt
│ │ ├── chr_Cher.txt
│ │ ├── chr_Latn.txt
│ │ ├── chu_Cyrl.txt
│ │ ├── chv_Cyrl.txt
│ │ ├── chw_Latn.txt
│ │ ├── chz_Latn.txt
│ │ ├── cjk_Latn.txt
│ │ ├── cjo_Latn.txt
│ │ ├── cjp_Latn.txt
│ │ ├── cjs_Cyrl.txt
│ │ ├── cjv_Latn.txt
│ │ ├── ckb_Arab.txt
│ │ ├── cko_Latn.txt
│ │ ├── ckt_Cyrl.txt
│ │ ├── cle_Latn.txt
│ │ ├── clu_Latn.txt
│ │ ├── cly_Latn.txt
│ │ ├── cme_Latn.txt
│ │ ├── cmn_Hani.txt
│ │ ├── cmo_Khmr.txt
│ │ ├── cmo_Latn.txt
│ │ ├── cmr_Latn.txt
│ │ ├── cnh_Latn.txt
│ │ ├── cni_Latn.txt
│ │ ├── cnk_Latn.txt
│ │ ├── cnl_Latn.txt
│ │ ├── cnt_Latn.txt
│ │ ├── cnw_Latn.txt
│ │ ├── coe_Latn.txt
│ │ ├── cof_Latn.txt
│ │ ├── cok_Latn.txt
│ │ ├── con_Latn.txt
│ │ ├── cop_Copt.txt
│ │ ├── cor_Latn.txt
│ │ ├── cos_Latn.txt
│ │ ├── cot_Latn.txt
│ │ ├── cou_Latn.txt
│ │ ├── cpa_Latn.txt
│ │ ├── cpb_Latn.txt
│ │ ├── cpc_Latn.txt
│ │ ├── cpu_Latn.txt
│ │ ├── cpy_Latn.txt
│ │ ├── crh_Cyrl.txt
│ │ ├── crh_Latn.txt
│ │ ├── cri_Latn.txt
│ │ ├── crj_Cans.txt
│ │ ├── crk_Cans.txt
│ │ ├── crk_Latn.txt
│ │ ├── crl_Cans.txt
│ │ ├── crm_Cans.txt
│ │ ├── crn_Latn.txt
│ │ ├── crs_Latn.txt
│ │ ├── crt_Latn.txt
│ │ ├── crx_Latn.txt
│ │ ├── csb_Latn.txt
│ │ ├── csk_Latn.txt
│ │ ├── cso_Latn.txt
│ │ ├── csw_Latn.txt
│ │ ├── csy_Latn.txt
│ │ ├── cta_Latn.txt
│ │ ├── ctd_Latn.txt
│ │ ├── cto_Latn.txt
│ │ ├── ctp_Latn.txt
│ │ ├── ctu_Latn.txt
│ │ ├── cub_Latn.txt
│ │ ├── cuc_Latn.txt
│ │ ├── cui_Latn.txt
│ │ ├── cuk_Latn.txt
│ │ ├── cul_Latn.txt
│ │ ├── cut_Latn.txt
│ │ ├── cux_Latn.txt
│ │ ├── cwd_Cans.txt
│ │ ├── cwe_Latn.txt
│ │ ├── cwt_Latn.txt
│ │ ├── cya_Latn.txt
│ │ ├── cym_Latn.txt
│ │ ├── czt_Latn.txt
│ │ ├── daa_Latn.txt
│ │ ├── dad_Latn.txt
│ │ ├── daf_Latn.txt
│ │ ├── dag_Latn.txt
│ │ ├── dah_Latn.txt
│ │ ├── dak_Latn.txt
│ │ ├── dan_Latn.txt
│ │ ├── dar_Cyrl.txt
│ │ ├── dbq_Latn.txt
│ │ ├── ddg_Latn.txt
│ │ ├── ddn_Latn.txt
│ │ ├── ded_Latn.txt
│ │ ├── des_Latn.txt
│ │ ├── deu_Latn.txt
│ │ ├── dga_Latn.txt
│ │ ├── dgc_Latn.txt
│ │ ├── dgi_Latn.txt
│ │ ├── dgr_Latn.txt
│ │ ├── dgz_Latn.txt
│ │ ├── dhg_Latn.txt
│ │ ├── dhm_Latn.txt
│ │ ├── dhv_Latn.txt
│ │ ├── did_Latn.txt
│ │ ├── dig_Latn.txt
│ │ ├── dik_Latn.txt
│ │ ├── dip_Latn.txt
│ │ ├── diq_Latn.txt
│ │ ├── dis_Latn.txt
│ │ ├── diu_Latn.txt
│ │ ├── div_Thaa.txt
│ │ ├── dje_Latn.txt
│ │ ├── djk_Latn.txt
│ │ ├── djr_Latn.txt
│ │ ├── dks_Latn.txt
│ │ ├── dln_Latn.txt
│ │ ├── dng_Cyrl.txt
│ │ ├── dnj_Latn.txt
│ │ ├── dnw_Latn.txt
│ │ ├── dob_Latn.txt
│ │ ├── doi_Deva.txt
│ │ ├── dop_Latn.txt
│ │ ├── dos_Latn.txt
│ │ ├── dow_Latn.txt
│ │ ├── drg_Latn.txt
│ │ ├── dru_Latn.txt
│ │ ├── dsb_Latn.txt
│ │ ├── dsh_Latn.txt
│ │ ├── dtb_Latn.txt
│ │ ├── dtp_Latn.txt
│ │ ├── dts_Latn.txt
│ │ ├── dty_Deva.txt
│ │ ├── dua_Latn.txt
│ │ ├── due_Latn.txt
│ │ ├── dug_Latn.txt
│ │ ├── duo_Latn.txt
│ │ ├── dur_Latn.txt
│ │ ├── dwr_Latn.txt
│ │ ├── dww_Latn.txt
│ │ ├── dyi_Latn.txt
│ │ ├── dyo_Latn.txt
│ │ ├── dyu_Latn.txt
│ │ ├── dzo_Tibt.txt
│ │ ├── ebk_Latn.txt
│ │ ├── efi_Latn.txt
│ │ ├── eka_Latn.txt
│ │ ├── ekk_Latn.txt
│ │ ├── eko_Latn.txt
│ │ ├── ell_Grek.txt
│ │ ├── eme_Latn.txt
│ │ ├── emi_Latn.txt
│ │ ├── eml_Latn.txt
│ │ ├── emp_Latn.txt
│ │ ├── enb_Latn.txt
│ │ ├── eng_Latn.txt
│ │ ├── enl_Latn.txt
│ │ ├── enm_Latn.txt
│ │ ├── enq_Latn.txt
│ │ ├── enx_Latn.txt
│ │ ├── epo_Latn.txt
│ │ ├── eri_Latn.txt
│ │ ├── ese_Latn.txt
│ │ ├── esi_Latn.txt
│ │ ├── esk_Latn.txt
│ │ ├── ess_Latn.txt
│ │ ├── esu_Latn.txt
│ │ ├── eto_Latn.txt
│ │ ├── etr_Latn.txt
│ │ ├── etu_Latn.txt
│ │ ├── eus_Latn.txt
│ │ ├── eve_Cyrl.txt
│ │ ├── ewe_Latn.txt
│ │ ├── ewo_Latn.txt
│ │ ├── ext_Latn.txt
│ │ ├── eza_Latn.txt
│ │ ├── faa_Latn.txt
│ │ ├── fad_Latn.txt
│ │ ├── fai_Latn.txt
│ │ ├── fal_Latn.txt
│ │ ├── fan_Latn.txt
│ │ ├── fao_Latn.txt
│ │ ├── far_Latn.txt
│ │ ├── fas_Arab.txt
│ │ ├── fat_Latn.txt
│ │ ├── ffm_Latn.txt
│ │ ├── fij_Latn.txt
│ │ ├── fil_Latn.txt
│ │ ├── fin_Latn.txt
│ │ ├── fit_Latn.txt
│ │ ├── fkv_Latn.txt
│ │ ├── fmu_Deva.txt
│ │ ├── fon_Latn.txt
│ │ ├── for_Latn.txt
│ │ ├── fra_Latn.txt
│ │ ├── frd_Latn.txt
│ │ ├── fro_Latn.txt
│ │ ├── frp_Latn.txt
│ │ ├── frr_Latn.txt
│ │ ├── fry_Latn.txt
│ │ ├── fub_Latn.txt
│ │ ├── fud_Latn.txt
│ │ ├── fue_Latn.txt
│ │ ├── fuf_Latn.txt
│ │ ├── fuh_Latn.txt
│ │ ├── fuq_Latn.txt
│ │ ├── fur_Latn.txt
│ │ ├── fuv_Arab.txt
│ │ ├── fuv_Latn.txt
│ │ ├── gaa_Latn.txt
│ │ ├── gag_Cyrl.txt
│ │ ├── gag_Latn.txt
│ │ ├── gah_Latn.txt
│ │ ├── gai_Latn.txt
│ │ ├── gam_Latn.txt
│ │ ├── gaw_Latn.txt
│ │ ├── gaz_Latn.txt
│ │ ├── gbi_Latn.txt
│ │ ├── gbo_Latn.txt
│ │ ├── gbr_Latn.txt
│ │ ├── gcf_Latn.txt
│ │ ├── gcr_Latn.txt
│ │ ├── gde_Latn.txt
│ │ ├── gdg_Latn.txt
│ │ ├── gdn_Latn.txt
│ │ ├── gdr_Latn.txt
│ │ ├── geb_Latn.txt
│ │ ├── gej_Latn.txt
│ │ ├── gfk_Latn.txt
│ │ ├── ghe_Deva.txt
│ │ ├── ghs_Latn.txt
│ │ ├── gid_Latn.txt
│ │ ├── gil_Latn.txt
│ │ ├── giz_Latn.txt
│ │ ├── gjn_Latn.txt
│ │ ├── gkn_Latn.txt
│ │ ├── gla_Latn.txt
│ │ ├── gle_Latn.txt
│ │ ├── glg_Latn.txt
│ │ ├── glk_Arab.txt
│ │ ├── glv_Latn.txt
│ │ ├── gmh_Latn.txt
│ │ ├── gmv_Ethi.txt
│ │ ├── gmv_Latn.txt
│ │ ├── gna_Latn.txt
│ │ ├── gnb_Latn.txt
│ │ ├── gnd_Latn.txt
│ │ ├── gng_Latn.txt
│ │ ├── gnn_Latn.txt
│ │ ├── gnw_Latn.txt
│ │ ├── goa_Latn.txt
│ │ ├── gof_Ethi.txt
│ │ ├── gof_Latn.txt
│ │ ├── gog_Latn.txt
│ │ ├── goh_Latn.txt
│ │ ├── gom_Deva.txt
│ │ ├── gom_Latn.txt
│ │ ├── gor_Latn.txt
│ │ ├── gos_Latn.txt
│ │ ├── got_Goth.txt
│ │ ├── got_Latn.txt
│ │ ├── gqr_Latn.txt
│ │ ├── grc_Grek.txt
│ │ ├── grt_Beng.txt
│ │ ├── gso_Latn.txt
│ │ ├── gsw_Latn.txt
│ │ ├── gub_Latn.txt
│ │ ├── guc_Latn.txt
│ │ ├── gud_Latn.txt
│ │ ├── gug_Latn.txt
│ │ ├── guh_Latn.txt
│ │ ├── gui_Latn.txt
│ │ ├── guj_Gujr.txt
│ │ ├── guj_Latn.txt
│ │ ├── guk_Ethi.txt
│ │ ├── gul_Latn.txt
│ │ ├── gum_Latn.txt
│ │ ├── gun_Latn.txt
│ │ ├── guo_Latn.txt
│ │ ├── guq_Latn.txt
│ │ ├── gur_Latn.txt
│ │ ├── guu_Latn.txt
│ │ ├── guw_Latn.txt
│ │ ├── gux_Latn.txt
│ │ ├── guz_Latn.txt
│ │ ├── gvc_Latn.txt
│ │ ├── gvf_Latn.txt
│ │ ├── gvl_Latn.txt
│ │ ├── gvn_Latn.txt
│ │ ├── gwi_Latn.txt
│ │ ├── gwr_Latn.txt
│ │ ├── gya_Latn.txt
│ │ ├── gym_Latn.txt
│ │ ├── gyr_Latn.txt
│ │ ├── hac_Arab.txt
│ │ ├── hae_Latn.txt
│ │ ├── hag_Latn.txt
│ │ ├── hak_Hani.txt
│ │ ├── hak_Latn.txt
│ │ ├── hat_Latn.txt
│ │ ├── hau_Latn.txt
│ │ ├── hav_Latn.txt
│ │ ├── haw_Latn.txt
│ │ ├── hay_Latn.txt
│ │ ├── hbo_Hebr.txt
│ │ ├── hbs_Latn.txt
│ │ ├── hch_Latn.txt
│ │ ├── heb_Hebr.txt
│ │ ├── heg_Latn.txt
│ │ ├── heh_Latn.txt
│ │ ├── her_Latn.txt
│ │ ├── hif_Latn.txt
│ │ ├── hig_Latn.txt
│ │ ├── hil_Latn.txt
│ │ ├── hin_Deva.txt
│ │ ├── hin_Latn.txt
│ │ ├── hix_Latn.txt
│ │ ├── hla_Latn.txt
│ │ ├── hlt_Latn.txt
│ │ ├── hmo_Latn.txt
│ │ ├── hmr_Latn.txt
│ │ ├── hne_Deva.txt
│ │ ├── hnj_Latn.txt
│ │ ├── hnn_Latn.txt
│ │ ├── hns_Latn.txt
│ │ ├── hoc_Latn.txt
│ │ ├── hoc_Wara.txt
│ │ ├── hop_Latn.txt
│ │ ├── hot_Latn.txt
│ │ ├── hra_Latn.txt
│ │ ├── hrv_Latn.txt
│ │ ├── hrx_Latn.txt
│ │ ├── hsb_Latn.txt
│ │ ├── hto_Latn.txt
│ │ ├── hub_Latn.txt
│ │ ├── hui_Latn.txt
│ │ ├── hun_Latn.txt
│ │ ├── hus_Latn.txt
│ │ ├── huu_Latn.txt
│ │ ├── huv_Latn.txt
│ │ ├── hvn_Latn.txt
│ │ ├── hwc_Latn.txt
│ │ ├── hye_Armn.txt
│ │ ├── hyw_Armn.txt
│ │ ├── ian_Latn.txt
│ │ ├── iba_Latn.txt
│ │ ├── ibg_Latn.txt
│ │ ├── ibo_Latn.txt
│ │ ├── icr_Latn.txt
│ │ ├── ido_Latn.txt
│ │ ├── idu_Latn.txt
│ │ ├── ifa_Latn.txt
│ │ ├── ifb_Latn.txt
│ │ ├── ife_Latn.txt
│ │ ├── ifk_Latn.txt
│ │ ├── ifu_Latn.txt
│ │ ├── ify_Latn.txt
│ │ ├── ige_Latn.txt
│ │ ├── ign_Latn.txt
│ │ ├── ike_Cans.txt
│ │ ├── ikk_Latn.txt
│ │ ├── ikt_Latn.txt
│ │ ├── ikw_Latn.txt
│ │ ├── ilb_Latn.txt
│ │ ├── ile_Latn.txt
│ │ ├── ilo_Latn.txt
│ │ ├── imo_Latn.txt
│ │ ├── ina_Latn.txt
│ │ ├── inb_Latn.txt
│ │ ├── ind_Latn.txt
│ │ ├── inh_Cyrl.txt
│ │ ├── ino_Latn.txt
│ │ ├── iou_Latn.txt
│ │ ├── ipi_Latn.txt
│ │ ├── iqw_Latn.txt
│ │ ├── iri_Latn.txt
│ │ ├── irk_Latn.txt
│ │ ├── iry_Latn.txt
│ │ ├── isd_Latn.txt
│ │ ├── ish_Latn.txt
│ │ ├── isl_Latn.txt
│ │ ├── iso_Latn.txt
│ │ ├── ita_Latn.txt
│ │ ├── itl_Cyrl.txt
│ │ ├── itv_Latn.txt
│ │ ├── ium_Latn.txt
│ │ ├── ivb_Latn.txt
│ │ ├── ivv_Latn.txt
│ │ ├── iws_Latn.txt
│ │ ├── ixl_Latn.txt
│ │ ├── izr_Latn.txt
│ │ ├── izz_Latn.txt
│ │ ├── jaa_Latn.txt
│ │ ├── jac_Latn.txt
│ │ ├── jae_Latn.txt
│ │ ├── jam_Latn.txt
│ │ ├── jav_Latn.txt
│ │ ├── jbo_Latn.txt
│ │ ├── jbu_Latn.txt
│ │ ├── jic_Latn.txt
│ │ ├── jiv_Latn.txt
│ │ ├── jmc_Latn.txt
│ │ ├── jpn_Jpan.txt
│ │ ├── jra_Latn.txt
│ │ ├── jun_Orya.txt
│ │ ├── jvn_Latn.txt
│ │ ├── kaa_Cyrl.txt
│ │ ├── kaa_Latn.txt
│ │ ├── kab_Latn.txt
│ │ ├── kac_Latn.txt
│ │ ├── kak_Latn.txt
│ │ ├── kal_Latn.txt
│ │ ├── kam_Latn.txt
│ │ ├── kan_Knda.txt
│ │ ├── kan_Latn.txt
│ │ ├── kao_Latn.txt
│ │ ├── kap_Cyrl.txt
│ │ ├── kaq_Latn.txt
│ │ ├── kas_Arab.txt
│ │ ├── kas_Deva.txt
│ │ ├── kas_Latn.txt
│ │ ├── kat_Geor.txt
│ │ ├── kaz_Cyrl.txt
│ │ ├── kbc_Latn.txt
│ │ ├── kbd_Cyrl.txt
│ │ ├── kbh_Latn.txt
│ │ ├── kbm_Latn.txt
│ │ ├── kbo_Latn.txt
│ │ ├── kbp_Latn.txt
│ │ ├── kbq_Latn.txt
│ │ ├── kbr_Latn.txt
│ │ ├── kby_Latn.txt
│ │ ├── kca_Cyrl.txt
│ │ ├── kcg_Latn.txt
│ │ ├── kck_Latn.txt
│ │ ├── kdc_Latn.txt
│ │ ├── kde_Latn.txt
│ │ ├── kdh_Latn.txt
│ │ ├── kdi_Latn.txt
│ │ ├── kdj_Latn.txt
│ │ ├── kdl_Latn.txt
│ │ ├── kdr_Latn.txt
│ │ ├── kea_Latn.txt
│ │ ├── kei_Latn.txt
│ │ ├── kek_Latn.txt
│ │ ├── ken_Latn.txt
│ │ ├── keo_Latn.txt
│ │ ├── ker_Latn.txt
│ │ ├── kew_Latn.txt
│ │ ├── kex_Deva.txt
│ │ ├── kez_Latn.txt
│ │ ├── kff_Telu.txt
│ │ ├── kgf_Latn.txt
│ │ ├── kgk_Latn.txt
│ │ ├── kgp_Latn.txt
│ │ ├── kgr_Latn.txt
│ │ ├── kha_Latn.txt
│ │ ├── khk_Cyrl.txt
│ │ ├── khm_Khmr.txt
│ │ ├── khq_Latn.txt
│ │ ├── khs_Latn.txt
│ │ ├── khy_Latn.txt
│ │ ├── khz_Latn.txt
│ │ ├── kia_Latn.txt
│ │ ├── kij_Latn.txt
│ │ ├── kik_Latn.txt
│ │ ├── kin_Latn.txt
│ │ ├── kir_Cyrl.txt
│ │ ├── kiu_Latn.txt
│ │ ├── kix_Latn.txt
│ │ ├── kjb_Latn.txt
│ │ ├── kje_Latn.txt
│ │ ├── kjh_Cyrl.txt
│ │ ├── kjs_Latn.txt
│ │ ├── kkc_Latn.txt
│ │ ├── kki_Latn.txt
│ │ ├── kkj_Latn.txt
│ │ ├── kkl_Latn.txt
│ │ ├── kle_Deva.txt
│ │ ├── klt_Latn.txt
│ │ ├── klv_Latn.txt
│ │ ├── kma_Latn.txt
│ │ ├── kmb_Latn.txt
│ │ ├── kmd_Latn.txt
│ │ ├── kmg_Latn.txt
│ │ ├── kmh_Latn.txt
│ │ ├── kmk_Latn.txt
│ │ ├── kmm_Latn.txt
│ │ ├── kmo_Latn.txt
│ │ ├── kmr_Cyrl.txt
│ │ ├── kmr_Latn.txt
│ │ ├── kms_Latn.txt
│ │ ├── kmu_Latn.txt
│ │ ├── kmy_Latn.txt
│ │ ├── knc_Arab.txt
│ │ ├── knc_Latn.txt
│ │ ├── kne_Latn.txt
│ │ ├── knf_Latn.txt
│ │ ├── kng_Latn.txt
│ │ ├── knj_Latn.txt
│ │ ├── knk_Latn.txt
│ │ ├── kno_Latn.txt
│ │ ├── knv_Latn.txt
│ │ ├── knx_Latn.txt
│ │ ├── kny_Latn.txt
│ │ ├── kog_Latn.txt
│ │ ├── koi_Cyrl.txt
│ │ ├── koo_Latn.txt
│ │ ├── kor_Hang.txt
│ │ ├── kos_Latn.txt
│ │ ├── kpe_Latn.txt
│ │ ├── kpf_Latn.txt
│ │ ├── kpg_Latn.txt
│ │ ├── kpj_Latn.txt
│ │ ├── kpq_Latn.txt
│ │ ├── kpr_Latn.txt
│ │ ├── kpv_Cyrl.txt
│ │ ├── kpw_Latn.txt
│ │ ├── kpx_Latn.txt
│ │ ├── kpz_Latn.txt
│ │ ├── kqa_Latn.txt
│ │ ├── kqc_Latn.txt
│ │ ├── kqe_Latn.txt
│ │ ├── kqf_Latn.txt
│ │ ├── kql_Latn.txt
│ │ ├── kqn_Latn.txt
│ │ ├── kqo_Latn.txt
│ │ ├── kqp_Latn.txt
│ │ ├── kqs_Latn.txt
│ │ ├── kqw_Latn.txt
│ │ ├── kqy_Ethi.txt
│ │ ├── krc_Cyrl.txt
│ │ ├── kri_Latn.txt
│ │ ├── krj_Latn.txt
│ │ ├── krl_Latn.txt
│ │ ├── kru_Deva.txt
│ │ ├── krx_Latn.txt
│ │ ├── ksb_Latn.txt
│ │ ├── ksc_Latn.txt
│ │ ├── ksd_Latn.txt
│ │ ├── ksf_Latn.txt
│ │ ├── ksh_Latn.txt
│ │ ├── ksj_Latn.txt
│ │ ├── ksp_Latn.txt
│ │ ├── ksr_Latn.txt
│ │ ├── kss_Latn.txt
│ │ ├── ksw_Mymr.txt
│ │ ├── ktb_Ethi.txt
│ │ ├── ktj_Latn.txt
│ │ ├── ktm_Latn.txt
│ │ ├── kto_Latn.txt
│ │ ├── ktu_Latn.txt
│ │ ├── ktz_Latn.txt
│ │ ├── kua_Latn.txt
│ │ ├── kub_Latn.txt
│ │ ├── kud_Latn.txt
│ │ ├── kue_Latn.txt
│ │ ├── kuj_Latn.txt
│ │ ├── kum_Cyrl.txt
│ │ ├── kup_Latn.txt
│ │ ├── kus_Latn.txt
│ │ ├── kvg_Latn.txt
│ │ ├── kvj_Latn.txt
│ │ ├── kvn_Latn.txt
│ │ ├── kwd_Latn.txt
│ │ ├── kwf_Latn.txt
│ │ ├── kwi_Latn.txt
│ │ ├── kwj_Latn.txt
│ │ ├── kwn_Latn.txt
│ │ ├── kwy_Latn.txt
│ │ ├── kxc_Ethi.txt
│ │ ├── kxm_Thai.txt
│ │ ├── kxw_Latn.txt
│ │ ├── kyc_Latn.txt
│ │ ├── kyf_Latn.txt
│ │ ├── kyg_Latn.txt
│ │ ├── kyq_Latn.txt
│ │ ├── kyu_Kali.txt
│ │ ├── kyu_Latn.txt
│ │ ├── kyu_Mymr.txt
│ │ ├── kyz_Latn.txt
│ │ ├── kze_Latn.txt
│ │ ├── kzf_Latn.txt
│ │ ├── kzj_Latn.txt
│ │ ├── kzn_Latn.txt
│ │ ├── lac_Latn.txt
│ │ ├── lad_Hebr.txt
│ │ ├── lad_Latn.txt
│ │ ├── lai_Latn.txt
│ │ ├── laj_Latn.txt
│ │ ├── lam_Latn.txt
│ │ ├── lao_Laoo.txt
│ │ ├── lap_Latn.txt
│ │ ├── las_Latn.txt
│ │ ├── lat_Latn.txt
│ │ ├── law_Latn.txt
│ │ ├── lbb_Latn.txt
│ │ ├── lbe_Cyrl.txt
│ │ ├── lbj_Tibt.txt
│ │ ├── lbk_Latn.txt
│ │ ├── lcm_Latn.txt
│ │ ├── lcp_Thai.txt
│ │ ├── ldi_Latn.txt
│ │ ├── ldn_Latn.txt
│ │ ├── lea_Latn.txt
│ │ ├── led_Latn.txt
│ │ ├── lee_Latn.txt
│ │ ├── lef_Latn.txt
│ │ ├── leh_Latn.txt
│ │ ├── lem_Latn.txt
│ │ ├── leu_Latn.txt
│ │ ├── lew_Latn.txt
│ │ ├── lex_Latn.txt
│ │ ├── lez_Cyrl.txt
│ │ ├── lfn_Cyrl.txt
│ │ ├── lfn_Latn.txt
│ │ ├── lgg_Latn.txt
│ │ ├── lgl_Latn.txt
│ │ ├── lgm_Latn.txt
│ │ ├── lhi_Latn.txt
│ │ ├── lhu_Latn.txt
│ │ ├── lia_Latn.txt
│ │ ├── lid_Latn.txt
│ │ ├── lif_Deva.txt
│ │ ├── lif_Limb.txt
│ │ ├── lij_Latn.txt
│ │ ├── lim_Latn.txt
│ │ ├── lin_Latn.txt
│ │ ├── lip_Latn.txt
│ │ ├── lis_Lisu.txt
│ │ ├── lit_Latn.txt
│ │ ├── liv_Latn.txt
│ │ ├── ljp_Latn.txt
│ │ ├── lki_Arab.txt
│ │ ├── llb_Latn.txt
│ │ ├── lld_Latn.txt
│ │ ├── llg_Latn.txt
│ │ ├── lln_Latn.txt
│ │ ├── lmk_Latn.txt
│ │ ├── lmo_Latn.txt
│ │ ├── lmp_Latn.txt
│ │ ├── lnd_Latn.txt
│ │ ├── lob_Latn.txt
│ │ ├── loe_Latn.txt
│ │ ├── log_Latn.txt
│ │ ├── lok_Latn.txt
│ │ ├── lol_Latn.txt
│ │ ├── lom_Latn.txt
│ │ ├── loq_Latn.txt
│ │ ├── loz_Latn.txt
│ │ ├── lrc_Arab.txt
│ │ ├── lsi_Latn.txt
│ │ ├── lsm_Latn.txt
│ │ ├── ltg_Latn.txt
│ │ ├── ltz_Latn.txt
│ │ ├── lua_Latn.txt
│ │ ├── lub_Latn.txt
│ │ ├── luc_Latn.txt
│ │ ├── lud_Latn.txt
│ │ ├── lue_Latn.txt
│ │ ├── lug_Latn.txt
│ │ ├── lun_Latn.txt
│ │ ├── luo_Latn.txt
│ │ ├── lus_Latn.txt
│ │ ├── lvs_Latn.txt
│ │ ├── lwg_Latn.txt
│ │ ├── lwo_Latn.txt
│ │ ├── lww_Latn.txt
│ │ ├── lzh_Hani.txt
│ │ ├── maa_Latn.txt
│ │ ├── mad_Latn.txt
│ │ ├── maf_Latn.txt
│ │ ├── mag_Deva.txt
│ │ ├── mah_Latn.txt
│ │ ├── mai_Deva.txt
│ │ ├── maj_Latn.txt
│ │ ├── mak_Latn.txt
│ │ ├── mal_Latn.txt
│ │ ├── mal_Mlym.txt
│ │ ├── mam_Latn.txt
│ │ ├── maq_Latn.txt
│ │ ├── mar_Deva.txt
│ │ ├── mar_Latn.txt
│ │ ├── mas_Latn.txt
│ │ ├── mau_Latn.txt
│ │ ├── mav_Latn.txt
│ │ ├── maw_Latn.txt
│ │ ├── max_Latn.txt
│ │ ├── maz_Latn.txt
│ │ ├── mbb_Latn.txt
│ │ ├── mbc_Latn.txt
│ │ ├── mbd_Latn.txt
│ │ ├── mbf_Latn.txt
│ │ ├── mbh_Latn.txt
│ │ ├── mbi_Latn.txt
│ │ ├── mbj_Latn.txt
│ │ ├── mbl_Latn.txt
│ │ ├── mbs_Latn.txt
│ │ ├── mbt_Latn.txt
│ │ ├── mca_Latn.txt
│ │ ├── mcb_Latn.txt
│ │ ├── mcd_Latn.txt
│ │ ├── mcf_Latn.txt
│ │ ├── mck_Latn.txt
│ │ ├── mcn_Latn.txt
│ │ ├── mco_Latn.txt
│ │ ├── mcp_Latn.txt
│ │ ├── mcq_Latn.txt
│ │ ├── mcu_Latn.txt
│ │ ├── mda_Latn.txt
│ │ ├── mdf_Cyrl.txt
│ │ ├── mdy_Ethi.txt
│ │ ├── med_Latn.txt
│ │ ├── mee_Latn.txt
│ │ ├── mej_Latn.txt
│ │ ├── mek_Latn.txt
│ │ ├── men_Latn.txt
│ │ ├── meq_Latn.txt
│ │ ├── mer_Latn.txt
│ │ ├── met_Latn.txt
│ │ ├── meu_Latn.txt
│ │ ├── mev_Latn.txt
│ │ ├── mfe_Latn.txt
│ │ ├── mfg_Latn.txt
│ │ ├── mfh_Latn.txt
│ │ ├── mfi_Latn.txt
│ │ ├── mfk_Latn.txt
│ │ ├── mfq_Latn.txt
│ │ ├── mfy_Latn.txt
│ │ ├── mfz_Latn.txt
│ │ ├── mgc_Latn.txt
│ │ ├── mgh_Latn.txt
│ │ ├── mgm_Latn.txt
│ │ ├── mgo_Latn.txt
│ │ ├── mgr_Latn.txt
│ │ ├── mhi_Latn.txt
│ │ ├── mhl_Latn.txt
│ │ ├── mhr_Cyrl.txt
│ │ ├── mhw_Latn.txt
│ │ ├── mhx_Latn.txt
│ │ ├── mhy_Latn.txt
│ │ ├── mib_Latn.txt
│ │ ├── mic_Latn.txt
│ │ ├── mie_Latn.txt
│ │ ├── mif_Latn.txt
│ │ ├── mig_Latn.txt
│ │ ├── mih_Latn.txt
│ │ ├── mil_Latn.txt
│ │ ├── mim_Latn.txt
│ │ ├── min_Arab.txt
│ │ ├── min_Latn.txt
│ │ ├── mio_Latn.txt
│ │ ├── mip_Latn.txt
│ │ ├── miq_Latn.txt
│ │ ├── mir_Latn.txt
│ │ ├── mit_Latn.txt
│ │ ├── miy_Latn.txt
│ │ ├── miz_Latn.txt
│ │ ├── mjc_Latn.txt
│ │ ├── mjw_Latn.txt
│ │ ├── mkd_Cyrl.txt
│ │ ├── mkl_Latn.txt
│ │ ├── mkn_Latn.txt
│ │ ├── mks_Latn.txt
│ │ ├── mkz_Latn.txt
│ │ ├── mlh_Latn.txt
│ │ ├── mlp_Latn.txt
│ │ ├── mlt_Latn.txt
│ │ ├── mlu_Latn.txt
│ │ ├── mmn_Latn.txt
│ │ ├── mmo_Latn.txt
│ │ ├── mmx_Latn.txt
│ │ ├── mna_Latn.txt
│ │ ├── mnb_Latn.txt
│ │ ├── mnf_Latn.txt
│ │ ├── mni_Beng.txt
│ │ ├── mni_Latn.txt
│ │ ├── mni_Mtei.txt
│ │ ├── mnk_Latn.txt
│ │ ├── mns_Cyrl.txt
│ │ ├── mnw_Mymr.txt
│ │ ├── mnx_Latn.txt
│ │ ├── mny_Latn.txt
│ │ ├── moa_Latn.txt
│ │ ├── moc_Latn.txt
│ │ ├── mog_Latn.txt
│ │ ├── moh_Latn.txt
│ │ ├── mop_Latn.txt
│ │ ├── mor_Latn.txt
│ │ ├── mos_Latn.txt
│ │ ├── mox_Latn.txt
│ │ ├── mpg_Latn.txt
│ │ ├── mph_Latn.txt
│ │ ├── mpm_Latn.txt
│ │ ├── mpp_Latn.txt
│ │ ├── mps_Latn.txt
│ │ ├── mpt_Latn.txt
│ │ ├── mpx_Latn.txt
│ │ ├── mqb_Latn.txt
│ │ ├── mqj_Latn.txt
│ │ ├── mqy_Latn.txt
│ │ ├── mrg_Latn.txt
│ │ ├── mri_Latn.txt
│ │ ├── mrj_Cyrl.txt
│ │ ├── mrq_Latn.txt
│ │ ├── mrv_Latn.txt
│ │ ├── mrw_Latn.txt
│ │ ├── msb_Latn.txt
│ │ ├── msc_Latn.txt
│ │ ├── mse_Latn.txt
│ │ ├── msk_Latn.txt
│ │ ├── msm_Latn.txt
│ │ ├── msy_Latn.txt
│ │ ├── mta_Latn.txt
│ │ ├── mtg_Latn.txt
│ │ ├── mti_Latn.txt
│ │ ├── mtj_Latn.txt
│ │ ├── mto_Latn.txt
│ │ ├── mtp_Latn.txt
│ │ ├── mua_Latn.txt
│ │ ├── mug_Latn.txt
│ │ ├── muh_Latn.txt
│ │ ├── mui_Latn.txt
│ │ ├── mup_Deva.txt
│ │ ├── mur_Latn.txt
│ │ ├── mus_Latn.txt
│ │ ├── mux_Latn.txt
│ │ ├── muy_Latn.txt
│ │ ├── mva_Latn.txt
│ │ ├── mvn_Latn.txt
│ │ ├── mvp_Latn.txt
│ │ ├── mwc_Latn.txt
│ │ ├── mwf_Latn.txt
│ │ ├── mwl_Latn.txt
│ │ ├── mwm_Latn.txt
│ │ ├── mwn_Latn.txt
│ │ ├── mwp_Latn.txt
│ │ ├── mwq_Latn.txt
│ │ ├── mwv_Latn.txt
│ │ ├── mww_Latn.txt
│ │ ├── mxb_Latn.txt
│ │ ├── mxp_Latn.txt
│ │ ├── mxq_Latn.txt
│ │ ├── mxt_Latn.txt
│ │ ├── mxv_Latn.txt
│ │ ├── mya_Mymr.txt
│ │ ├── myb_Latn.txt
│ │ ├── myk_Latn.txt
│ │ ├── myu_Latn.txt
│ │ ├── myv_Cyrl.txt
│ │ ├── myw_Latn.txt
│ │ ├── myx_Latn.txt
│ │ ├── myy_Latn.txt
│ │ ├── mza_Latn.txt
│ │ ├── mzh_Latn.txt
│ │ ├── mzk_Latn.txt
│ │ ├── mzl_Latn.txt
│ │ ├── mzm_Latn.txt
│ │ ├── mzn_Arab.txt
│ │ ├── mzw_Latn.txt
│ │ ├── mzz_Latn.txt
│ │ ├── nab_Latn.txt
│ │ ├── naf_Latn.txt
│ │ ├── nah_Latn.txt
│ │ ├── nak_Latn.txt
│ │ ├── nan_Latn.txt
│ │ ├── nap_Latn.txt
│ │ ├── naq_Latn.txt
│ │ ├── nas_Latn.txt
│ │ ├── nav_Latn.txt
│ │ ├── naw_Latn.txt
│ │ ├── nba_Latn.txt
│ │ ├── nbc_Latn.txt
│ │ ├── nbe_Latn.txt
│ │ ├── nbl_Latn.txt
│ │ ├── nbq_Latn.txt
│ │ ├── nbu_Latn.txt
│ │ ├── nca_Latn.txt
│ │ ├── nch_Latn.txt
│ │ ├── ncj_Latn.txt
│ │ ├── ncl_Latn.txt
│ │ ├── ncq_Laoo.txt
│ │ ├── nct_Latn.txt
│ │ ├── ncu_Latn.txt
│ │ ├── ncx_Latn.txt
│ │ ├── ndc_Latn.txt
│ │ ├── nde_Latn.txt
│ │ ├── ndh_Latn.txt
│ │ ├── ndi_Latn.txt
│ │ ├── ndj_Latn.txt
│ │ ├── ndo_Latn.txt
│ │ ├── ndp_Latn.txt
│ │ ├── nds_Latn.txt
│ │ ├── ndy_Latn.txt
│ │ ├── ndz_Latn.txt
│ │ ├── neb_Latn.txt
│ │ ├── new_Deva.txt
│ │ ├── nfa_Latn.txt
│ │ ├── nfr_Latn.txt
│ │ ├── ngb_Latn.txt
│ │ ├── ngc_Latn.txt
│ │ ├── ngl_Latn.txt
│ │ ├── ngp_Latn.txt
│ │ ├── ngu_Latn.txt
│ │ ├── nhd_Latn.txt
│ │ ├── nhe_Latn.txt
│ │ ├── nhg_Latn.txt
│ │ ├── nhi_Latn.txt
│ │ ├── nhk_Latn.txt
│ │ ├── nho_Latn.txt
│ │ ├── nhr_Latn.txt
│ │ ├── nhu_Latn.txt
│ │ ├── nhw_Latn.txt
│ │ ├── nhx_Latn.txt
│ │ ├── nhy_Latn.txt
│ │ ├── nia_Latn.txt
│ │ ├── nif_Latn.txt
│ │ ├── nii_Latn.txt
│ │ ├── nij_Latn.txt
│ │ ├── nim_Latn.txt
│ │ ├── nin_Latn.txt
│ │ ├── nio_Cyrl.txt
│ │ ├── niq_Latn.txt
│ │ ├── niu_Latn.txt
│ │ ├── niy_Latn.txt
│ │ ├── njb_Latn.txt
│ │ ├── njm_Latn.txt
│ │ ├── njn_Latn.txt
│ │ ├── njo_Latn.txt
│ │ ├── njz_Latn.txt
│ │ ├── nkf_Latn.txt
│ │ ├── nki_Latn.txt
│ │ ├── nko_Latn.txt
│ │ ├── nla_Latn.txt
│ │ ├── nlc_Latn.txt
│ │ ├── nld_Latn.txt
│ │ ├── nlg_Latn.txt
│ │ ├── nma_Latn.txt
│ │ ├── nmf_Latn.txt
│ │ ├── nmh_Latn.txt
│ │ ├── nmo_Latn.txt
│ │ ├── nmw_Latn.txt
│ │ ├── nmz_Latn.txt
│ │ ├── nnb_Latn.txt
│ │ ├── nng_Latn.txt
│ │ ├── nnh_Latn.txt
│ │ ├── nnl_Latn.txt
│ │ ├── nno_Latn.txt
│ │ ├── nnp_Latn.txt
│ │ ├── nnq_Latn.txt
│ │ ├── nnw_Latn.txt
│ │ ├── noa_Latn.txt
│ │ ├── nob_Latn.txt
│ │ ├── nod_Thai.txt
│ │ ├── nog_Cyrl.txt
│ │ ├── non_Latn.txt
│ │ ├── nop_Latn.txt
│ │ ├── not_Latn.txt
│ │ ├── nou_Latn.txt
│ │ ├── nov_Latn.txt
│ │ ├── nph_Latn.txt
│ │ ├── npi_Deva.txt
│ │ ├── npi_Latn.txt
│ │ ├── npl_Latn.txt
│ │ ├── npo_Latn.txt
│ │ ├── npy_Latn.txt
│ │ ├── nqo_Nkoo.txt
│ │ ├── nre_Latn.txt
│ │ ├── nrf_Latn.txt
│ │ ├── nri_Latn.txt
│ │ ├── nsa_Latn.txt
│ │ ├── nse_Latn.txt
│ │ ├── nsm_Latn.txt
│ │ ├── nsn_Latn.txt
│ │ ├── nso_Latn.txt
│ │ ├── nss_Latn.txt
│ │ ├── nst_Latn.txt
│ │ ├── nsu_Latn.txt
│ │ ├── ntp_Latn.txt
│ │ ├── ntr_Latn.txt
│ │ ├── ntu_Latn.txt
│ │ ├── nuj_Latn.txt
│ │ ├── nus_Latn.txt
│ │ ├── nuy_Latn.txt
│ │ ├── nuz_Latn.txt
│ │ ├── nvm_Latn.txt
│ │ ├── nwb_Latn.txt
│ │ ├── nwi_Latn.txt
│ │ ├── nwx_Deva.txt
│ │ ├── nxd_Latn.txt
│ │ ├── nya_Latn.txt
│ │ ├── nyf_Latn.txt
│ │ ├── nyk_Latn.txt
│ │ ├── nyn_Latn.txt
│ │ ├── nyo_Latn.txt
│ │ ├── nyu_Latn.txt
│ │ ├── nyy_Latn.txt
│ │ ├── nza_Latn.txt
│ │ ├── nzi_Latn.txt
│ │ ├── nzm_Latn.txt
│ │ ├── obo_Latn.txt
│ │ ├── oci_Latn.txt
│ │ ├── ogo_Latn.txt
│ │ ├── ojb_Cans.txt
│ │ ├── ojb_Latn.txt
│ │ ├── oke_Latn.txt
│ │ ├── oku_Latn.txt
│ │ ├── okv_Latn.txt
│ │ ├── old_Latn.txt
│ │ ├── olo_Latn.txt
│ │ ├── omb_Latn.txt
│ │ ├── omw_Latn.txt
│ │ ├── ong_Latn.txt
│ │ ├── ons_Latn.txt
│ │ ├── ood_Latn.txt
│ │ ├── opm_Latn.txt
│ │ ├── orv_Cyrl.txt
│ │ ├── ory_Latn.txt
│ │ ├── ory_Orya.txt
│ │ ├── oss_Cyrl.txt
│ │ ├── ota_Arab.txt
│ │ ├── otd_Latn.txt
│ │ ├── ote_Latn.txt
│ │ ├── otm_Latn.txt
│ │ ├── otn_Latn.txt
│ │ ├── oto_Latn.txt
│ │ ├── otq_Latn.txt
│ │ ├── ots_Latn.txt
│ │ ├── otw_Latn.txt
│ │ ├── oym_Latn.txt
│ │ ├── ozm_Latn.txt
│ │ ├── pab_Latn.txt
│ │ ├── pad_Latn.txt
│ │ ├── pag_Latn.txt
│ │ ├── pah_Latn.txt
│ │ ├── pam_Latn.txt
│ │ ├── pan_Guru.txt
│ │ ├── pan_Latn.txt
│ │ ├── pao_Latn.txt
│ │ ├── pap_Latn.txt
│ │ ├── pau_Latn.txt
│ │ ├── pbb_Latn.txt
│ │ ├── pbc_Latn.txt
│ │ ├── pbi_Latn.txt
│ │ ├── pbt_Arab.txt
│ │ ├── pcd_Latn.txt
│ │ ├── pck_Latn.txt
│ │ ├── pcm_Latn.txt
│ │ ├── pdc_Latn.txt
│ │ ├── pdt_Latn.txt
│ │ ├── pem_Latn.txt
│ │ ├── pfe_Latn.txt
│ │ ├── pfl_Latn.txt
│ │ ├── phm_Latn.txt
│ │ ├── pib_Latn.txt
│ │ ├── pio_Latn.txt
│ │ ├── pir_Latn.txt
│ │ ├── pis_Latn.txt
│ │ ├── pjt_Latn.txt
│ │ ├── pkb_Latn.txt
│ │ ├── plg_Latn.txt
│ │ ├── pls_Latn.txt
│ │ ├── plt_Latn.txt
│ │ ├── plu_Latn.txt
│ │ ├── plw_Latn.txt
│ │ ├── pma_Latn.txt
│ │ ├── pmf_Latn.txt
│ │ ├── pmq_Latn.txt
│ │ ├── pms_Latn.txt
│ │ ├── pmx_Latn.txt
│ │ ├── pnb_Arab.txt
│ │ ├── pne_Latn.txt
│ │ ├── pnt_Grek.txt
│ │ ├── pny_Latn.txt
│ │ ├── poe_Latn.txt
│ │ ├── poh_Latn.txt
│ │ ├── poi_Latn.txt
│ │ ├── pol_Latn.txt
│ │ ├── pon_Latn.txt
│ │ ├── por_Latn.txt
│ │ ├── pos_Latn.txt
│ │ ├── pot_Latn.txt
│ │ ├── pov_Latn.txt
│ │ ├── poy_Latn.txt
│ │ ├── ppk_Latn.txt
│ │ ├── ppo_Latn.txt
│ │ ├── pps_Latn.txt
│ │ ├── prf_Latn.txt
│ │ ├── prg_Latn.txt
│ │ ├── pri_Latn.txt
│ │ ├── prq_Latn.txt
│ │ ├── pse_Latn.txt
│ │ ├── pss_Latn.txt
│ │ ├── ptp_Latn.txt
│ │ ├── ptu_Latn.txt
│ │ ├── pua_Latn.txt
│ │ ├── pui_Latn.txt
│ │ ├── pwg_Latn.txt
│ │ ├── pwn_Latn.txt
│ │ ├── pww_Thai.txt
│ │ ├── pxm_Latn.txt
│ │ ├── qub_Latn.txt
│ │ ├── quc_Latn.txt
│ │ ├── quf_Latn.txt
│ │ ├── qug_Latn.txt
│ │ ├── quh_Latn.txt
│ │ ├── qul_Latn.txt
│ │ ├── qup_Latn.txt
│ │ ├── qus_Latn.txt
│ │ ├── quw_Latn.txt
│ │ ├── quy_Latn.txt
│ │ ├── quz_Latn.txt
│ │ ├── qva_Latn.txt
│ │ ├── qvc_Latn.txt
│ │ ├── qve_Latn.txt
│ │ ├── qvh_Latn.txt
│ │ ├── qvi_Latn.txt
│ │ ├── qvm_Latn.txt
│ │ ├── qvn_Latn.txt
│ │ ├── qvo_Latn.txt
│ │ ├── qvs_Latn.txt
│ │ ├── qvw_Latn.txt
│ │ ├── qvz_Latn.txt
│ │ ├── qwh_Latn.txt
│ │ ├── qxh_Latn.txt
│ │ ├── qxl_Latn.txt
│ │ ├── qxn_Latn.txt
│ │ ├── qxo_Latn.txt
│ │ ├── qxr_Latn.txt
│ │ ├── rad_Latn.txt
│ │ ├── rai_Latn.txt
│ │ ├── rap_Latn.txt
│ │ ├── rar_Latn.txt
│ │ ├── rav_Deva.txt
│ │ ├── raw_Latn.txt
│ │ ├── rcf_Latn.txt
│ │ ├── rej_Latn.txt
│ │ ├── rel_Latn.txt
│ │ ├── rgu_Latn.txt
│ │ ├── rhg_Latn.txt
│ │ ├── ria_Latn.txt
│ │ ├── rim_Latn.txt
│ │ ├── rjs_Deva.txt
│ │ ├── rkb_Latn.txt
│ │ ├── rmc_Latn.txt
│ │ ├── rme_Latn.txt
│ │ ├── rml_Latn.txt
│ │ ├── rmn_Cyrl.txt
│ │ ├── rmn_Grek.txt
│ │ ├── rmn_Latn.txt
│ │ ├── rmo_Latn.txt
│ │ ├── rmq_Latn.txt
│ │ ├── rmy_Cyrl.txt
│ │ ├── rmy_Latn.txt
│ │ ├── rnd_Latn.txt
│ │ ├── rng_Latn.txt
│ │ ├── rnl_Latn.txt
│ │ ├── roh_Latn.txt
│ │ ├── ron_Cyrl.txt
│ │ ├── ron_Latn.txt
│ │ ├── roo_Latn.txt
│ │ ├── rop_Latn.txt
│ │ ├── row_Latn.txt
│ │ ├── rro_Latn.txt
│ │ ├── rtm_Latn.txt
│ │ ├── rub_Latn.txt
│ │ ├── rue_Cyrl.txt
│ │ ├── ruf_Latn.txt
│ │ ├── rug_Latn.txt
│ │ ├── run_Latn.txt
│ │ ├── rup_Latn.txt
│ │ ├── rus_Cyrl.txt
│ │ ├── rwo_Latn.txt
│ │ ├── sab_Latn.txt
│ │ ├── sag_Latn.txt
│ │ ├── sah_Cyrl.txt
│ │ ├── saj_Latn.txt
│ │ ├── san_Deva.txt
│ │ ├── san_Latn.txt
│ │ ├── sas_Latn.txt
│ │ ├── sat_Latn.txt
│ │ ├── sat_Olck.txt
│ │ ├── say_Latn.txt
│ │ ├── sba_Latn.txt
│ │ ├── sbd_Latn.txt
│ │ ├── sbe_Latn.txt
│ │ ├── sbl_Latn.txt
│ │ ├── sbs_Latn.txt
│ │ ├── sby_Latn.txt
│ │ ├── sck_Deva.txt
│ │ ├── scn_Latn.txt
│ │ ├── sco_Latn.txt
│ │ ├── sda_Latn.txt
│ │ ├── sdc_Latn.txt
│ │ ├── sdh_Arab.txt
│ │ ├── sdo_Latn.txt
│ │ ├── sdq_Latn.txt
│ │ ├── seh_Latn.txt
│ │ ├── sel_Cyrl.txt
│ │ ├── ses_Latn.txt
│ │ ├── sey_Latn.txt
│ │ ├── sfw_Latn.txt
│ │ ├── sgb_Latn.txt
│ │ ├── sgc_Latn.txt
│ │ ├── sgh_Cyrl.txt
│ │ ├── sgs_Latn.txt
│ │ ├── sgw_Ethi.txt
│ │ ├── sgz_Latn.txt
│ │ ├── shi_Latn.txt
│ │ ├── shk_Latn.txt
│ │ ├── shn_Mymr.txt
│ │ ├── shp_Latn.txt
│ │ ├── shr_Latn.txt
│ │ ├── shu_Arab.txt
│ │ ├── sid_Latn.txt
│ │ ├── sig_Latn.txt
│ │ ├── sil_Latn.txt
│ │ ├── sim_Latn.txt
│ │ ├── sin_Sinh.txt
│ │ ├── sja_Latn.txt
│ │ ├── sjo_Mong.txt
│ │ ├── sju_Latn.txt
│ │ ├── skg_Latn.txt
│ │ ├── skr_Arab.txt
│ │ ├── sld_Latn.txt
│ │ ├── slk_Latn.txt
│ │ ├── sll_Latn.txt
│ │ ├── slv_Latn.txt
│ │ ├── sma_Latn.txt
│ │ ├── sme_Latn.txt
│ │ ├── smj_Latn.txt
│ │ ├── smk_Latn.txt
│ │ ├── sml_Latn.txt
│ │ ├── smn_Latn.txt
│ │ ├── smo_Latn.txt
│ │ ├── sms_Latn.txt
│ │ ├── smt_Latn.txt
│ │ ├── sna_Latn.txt
│ │ ├── snc_Latn.txt
│ │ ├── snd_Arab.txt
│ │ ├── snd_Deva.txt
│ │ ├── snd_Latn.txt
│ │ ├── snf_Latn.txt
│ │ ├── snn_Latn.txt
│ │ ├── snp_Latn.txt
│ │ ├── snw_Latn.txt
│ │ ├── sny_Latn.txt
│ │ ├── soe_Latn.txt
│ │ ├── som_Latn.txt
│ │ ├── sop_Latn.txt
│ │ ├── soq_Latn.txt
│ │ ├── sot_Latn.txt
│ │ ├── soy_Latn.txt
│ │ ├── spa_Latn.txt
│ │ ├── spl_Latn.txt
│ │ ├── spm_Latn.txt
│ │ ├── spp_Latn.txt
│ │ ├── sps_Latn.txt
│ │ ├── spy_Latn.txt
│ │ ├── srd_Latn.txt
│ │ ├── sri_Latn.txt
│ │ ├── srm_Latn.txt
│ │ ├── srn_Latn.txt
│ │ ├── srp_Cyrl.txt
│ │ ├── srp_Latn.txt
│ │ ├── srq_Latn.txt
│ │ ├── srr_Latn.txt
│ │ ├── ssd_Latn.txt
│ │ ├── ssg_Latn.txt
│ │ ├── ssw_Latn.txt
│ │ ├── ssx_Latn.txt
│ │ ├── stn_Latn.txt
│ │ ├── stp_Latn.txt
│ │ ├── stq_Latn.txt
│ │ ├── sua_Latn.txt
│ │ ├── suc_Latn.txt
│ │ ├── sue_Latn.txt
│ │ ├── suk_Latn.txt
│ │ ├── sun_Latn.txt
│ │ ├── sur_Latn.txt
│ │ ├── sus_Arab.txt
│ │ ├── sus_Latn.txt
│ │ ├── suz_Deva.txt
│ │ ├── swb_Latn.txt
│ │ ├── swc_Latn.txt
│ │ ├── swe_Latn.txt
│ │ ├── swg_Latn.txt
│ │ ├── swh_Latn.txt
│ │ ├── swk_Latn.txt
│ │ ├── swp_Latn.txt
│ │ ├── sxb_Latn.txt
│ │ ├── sxn_Latn.txt
│ │ ├── syb_Latn.txt
│ │ ├── syc_Syrc.txt
│ │ ├── syl_Beng.txt
│ │ ├── syl_Latn.txt
│ │ ├── szb_Latn.txt
│ │ ├── szl_Latn.txt
│ │ ├── szy_Latn.txt
│ │ ├── tab_Cyrl.txt
│ │ ├── tac_Latn.txt
│ │ ├── tah_Latn.txt
│ │ ├── taj_Deva.txt
│ │ ├── tam_Latn.txt
│ │ ├── tam_Taml.txt
│ │ ├── tap_Latn.txt
│ │ ├── taq_Latn.txt
│ │ ├── taq_Tfng.txt
│ │ ├── tar_Latn.txt
│ │ ├── tat_Cyrl.txt
│ │ ├── tat_Latn.txt
│ │ ├── tav_Latn.txt
│ │ ├── taw_Latn.txt
│ │ ├── tay_Latn.txt
│ │ ├── tbc_Latn.txt
│ │ ├── tbg_Latn.txt
│ │ ├── tbk_Latn.txt
│ │ ├── tbl_Latn.txt
│ │ ├── tbo_Latn.txt
│ │ ├── tbw_Latn.txt
│ │ ├── tby_Latn.txt
│ │ ├── tbz_Latn.txt
│ │ ├── tca_Latn.txt
│ │ ├── tcc_Latn.txt
│ │ ├── tcf_Latn.txt
│ │ ├── tcs_Latn.txt
│ │ ├── tcy_Knda.txt
│ │ ├── tcz_Latn.txt
│ │ ├── tdx_Latn.txt
│ │ ├── ted_Latn.txt
│ │ ├── tee_Latn.txt
│ │ ├── tel_Latn.txt
│ │ ├── tel_Telu.txt
│ │ ├── tem_Latn.txt
│ │ ├── teo_Latn.txt
│ │ ├── ter_Latn.txt
│ │ ├── tet_Latn.txt
│ │ ├── tew_Latn.txt
│ │ ├── tfr_Latn.txt
│ │ ├── tgk_Cyrl.txt
│ │ ├── tgo_Latn.txt
│ │ ├── tgp_Latn.txt
│ │ ├── tha_Thai.txt
│ │ ├── thk_Latn.txt
│ │ ├── thl_Deva.txt
│ │ ├── thv_Latn.txt
│ │ ├── tif_Latn.txt
│ │ ├── tig_Ethi.txt
│ │ ├── tih_Latn.txt
│ │ ├── tik_Latn.txt
│ │ ├── tim_Latn.txt
│ │ ├── tir_Ethi.txt
│ │ ├── tiv_Latn.txt
│ │ ├── tiy_Latn.txt
│ │ ├── tke_Latn.txt
│ │ ├── tkl_Latn.txt
│ │ ├── tkr_Cyrl.txt
│ │ ├── tku_Latn.txt
│ │ ├── tlb_Latn.txt
│ │ ├── tlf_Latn.txt
│ │ ├── tlh_Latn.txt
│ │ ├── tlj_Latn.txt
│ │ ├── tll_Latn.txt
│ │ ├── tly_Latn.txt
│ │ ├── tmc_Latn.txt
│ │ ├── tmd_Latn.txt
│ │ ├── tna_Latn.txt
│ │ ├── tnc_Latn.txt
│ │ ├── tnk_Latn.txt
│ │ ├── tnn_Latn.txt
│ │ ├── tnp_Latn.txt
│ │ ├── tnr_Latn.txt
│ │ ├── tob_Latn.txt
│ │ ├── toc_Latn.txt
│ │ ├── tod_Latn.txt
│ │ ├── tog_Latn.txt
│ │ ├── toh_Latn.txt
│ │ ├── toi_Latn.txt
│ │ ├── toj_Latn.txt
│ │ ├── tok_Latn.txt
│ │ ├── ton_Latn.txt
│ │ ├── too_Latn.txt
│ │ ├── top_Latn.txt
│ │ ├── tos_Latn.txt
│ │ ├── tpa_Latn.txt
│ │ ├── tpi_Latn.txt
│ │ ├── tpm_Latn.txt
│ │ ├── tpn_Latn.txt
│ │ ├── tpp_Latn.txt
│ │ ├── tpt_Latn.txt
│ │ ├── tpw_Latn.txt
│ │ ├── tpz_Latn.txt
│ │ ├── tqo_Latn.txt
│ │ ├── trc_Latn.txt
│ │ ├── trn_Latn.txt
│ │ ├── tro_Latn.txt
│ │ ├── trp_Latn.txt
│ │ ├── trq_Latn.txt
│ │ ├── trs_Latn.txt
│ │ ├── trv_Latn.txt
│ │ ├── tsc_Latn.txt
│ │ ├── tsg_Latn.txt
│ │ ├── tsn_Latn.txt
│ │ ├── tso_Latn.txt
│ │ ├── tsw_Latn.txt
│ │ ├── tsz_Latn.txt
│ │ ├── ttc_Latn.txt
│ │ ├── tte_Latn.txt
│ │ ├── ttj_Latn.txt
│ │ ├── ttq_Latn.txt
│ │ ├── ttq_Tfng.txt
│ │ ├── tuc_Latn.txt
│ │ ├── tue_Latn.txt
│ │ ├── tuf_Latn.txt
│ │ ├── tui_Latn.txt
│ │ ├── tuk_Arab.txt
│ │ ├── tuk_Cyrl.txt
│ │ ├── tuk_Latn.txt
│ │ ├── tul_Latn.txt
│ │ ├── tum_Latn.txt
│ │ ├── tuo_Latn.txt
│ │ ├── tur_Latn.txt
│ │ ├── tuv_Latn.txt
│ │ ├── tvk_Latn.txt
│ │ ├── tvl_Latn.txt
│ │ ├── twb_Latn.txt
│ │ ├── twi_Latn.txt
│ │ ├── twu_Latn.txt
│ │ ├── twx_Latn.txt
│ │ ├── txq_Latn.txt
│ │ ├── txu_Latn.txt
│ │ ├── tyv_Cyrl.txt
│ │ ├── tzh_Latn.txt
│ │ ├── tzj_Latn.txt
│ │ ├── tzl_Latn.txt
│ │ ├── tzm_Tfng.txt
│ │ ├── tzo_Latn.txt
│ │ ├── ubr_Latn.txt
│ │ ├── ubu_Latn.txt
│ │ ├── udm_Cyrl.txt
│ │ ├── udu_Latn.txt
│ │ ├── uig_Arab.txt
│ │ ├── uig_Cyrl.txt
│ │ ├── uig_Latn.txt
│ │ ├── ukr_Cyrl.txt
│ │ ├── umb_Latn.txt
│ │ ├── upv_Latn.txt
│ │ ├── ura_Latn.txt
│ │ ├── urb_Latn.txt
│ │ ├── urd_Arab.txt
│ │ ├── urd_Latn.txt
│ │ ├── urh_Latn.txt
│ │ ├── uri_Latn.txt
│ │ ├── urk_Thai.txt
│ │ ├── urt_Latn.txt
│ │ ├── urw_Latn.txt
│ │ ├── ury_Latn.txt
│ │ ├── usa_Latn.txt
│ │ ├── usp_Latn.txt
│ │ ├── uth_Latn.txt
│ │ ├── uvh_Latn.txt
│ │ ├── uvl_Latn.txt
│ │ ├── uzn_Cyrl.txt
│ │ ├── uzn_Latn.txt
│ │ ├── uzs_Arab.txt
│ │ ├── vag_Latn.txt
│ │ ├── vap_Latn.txt
│ │ ├── var_Latn.txt
│ │ ├── vec_Latn.txt
│ │ ├── ven_Latn.txt
│ │ ├── vep_Latn.txt
│ │ ├── vid_Latn.txt
│ │ ├── vie_Latn.txt
│ │ ├── viv_Latn.txt
│ │ ├── vls_Latn.txt
│ │ ├── vmk_Latn.txt
│ │ ├── vmw_Latn.txt
│ │ ├── vmy_Latn.txt
│ │ ├── vol_Latn.txt
│ │ ├── vot_Latn.txt
│ │ ├── vro_Latn.txt
│ │ ├── vun_Latn.txt
│ │ ├── vut_Latn.txt
│ │ ├── waj_Latn.txt
│ │ ├── wal_Ethi.txt
│ │ ├── wal_Latn.txt
│ │ ├── wap_Latn.txt
│ │ ├── war_Latn.txt
│ │ ├── wat_Latn.txt
│ │ ├── way_Latn.txt
│ │ ├── wba_Latn.txt
│ │ ├── wbm_Latn.txt
│ │ ├── wbp_Latn.txt
│ │ ├── wed_Latn.txt
│ │ ├── wer_Latn.txt
│ │ ├── wes_Latn.txt
│ │ ├── wew_Latn.txt
│ │ ├── whg_Latn.txt
│ │ ├── whk_Latn.txt
│ │ ├── wib_Latn.txt
│ │ ├── wim_Latn.txt
│ │ ├── wiu_Latn.txt
│ │ ├── wln_Latn.txt
│ │ ├── wls_Latn.txt
│ │ ├── wlv_Latn.txt
│ │ ├── wlx_Latn.txt
│ │ ├── wmt_Latn.txt
│ │ ├── wmw_Latn.txt
│ │ ├── wnc_Latn.txt
│ │ ├── wnu_Latn.txt
│ │ ├── wob_Latn.txt
│ │ ├── wol_Latn.txt
│ │ ├── wos_Latn.txt
│ │ ├── wrk_Latn.txt
│ │ ├── wrs_Latn.txt
│ │ ├── wsg_Telu.txt
│ │ ├── wsk_Latn.txt
│ │ ├── wuu_Hani.txt
│ │ ├── wuv_Latn.txt
│ │ ├── wwa_Latn.txt
│ │ ├── xal_Cyrl.txt
│ │ ├── xav_Latn.txt
│ │ ├── xbi_Latn.txt
│ │ ├── xbr_Latn.txt
│ │ ├── xed_Latn.txt
│ │ ├── xho_Latn.txt
│ │ ├── xla_Latn.txt
│ │ ├── xmf_Geor.txt
│ │ ├── xmm_Latn.txt
│ │ ├── xmv_Latn.txt
│ │ ├── xnn_Latn.txt
│ │ ├── xog_Latn.txt
│ │ ├── xon_Latn.txt
│ │ ├── xrb_Latn.txt
│ │ ├── xsb_Latn.txt
│ │ ├── xsi_Latn.txt
│ │ ├── xsm_Latn.txt
│ │ ├── xsr_Deva.txt
│ │ ├── xsu_Latn.txt
│ │ ├── xtd_Latn.txt
│ │ ├── xtm_Latn.txt
│ │ ├── xtn_Latn.txt
│ │ ├── xum_Latn.txt
│ │ ├── xuo_Latn.txt
│ │ ├── yaa_Latn.txt
│ │ ├── yad_Latn.txt
│ │ ├── yal_Latn.txt
│ │ ├── yam_Latn.txt
│ │ ├── yan_Latn.txt
│ │ ├── yao_Latn.txt
│ │ ├── yap_Latn.txt
│ │ ├── yaq_Latn.txt
│ │ ├── yas_Latn.txt
│ │ ├── yat_Latn.txt
│ │ ├── yaz_Latn.txt
│ │ ├── ybb_Latn.txt
│ │ ├── yby_Latn.txt
│ │ ├── ycn_Latn.txt
│ │ ├── ydd_Hebr.txt
│ │ ├── yim_Latn.txt
│ │ ├── yka_Latn.txt
│ │ ├── yle_Latn.txt
│ │ ├── yli_Latn.txt
│ │ ├── yml_Latn.txt
│ │ ├── yom_Latn.txt
│ │ ├── yon_Latn.txt
│ │ ├── yor_Latn.txt
│ │ ├── yrb_Latn.txt
│ │ ├── yre_Latn.txt
│ │ ├── yrk_Cyrl.txt
│ │ ├── yrl_Latn.txt
│ │ ├── yss_Latn.txt
│ │ ├── yua_Latn.txt
│ │ ├── yue_Hani.txt
│ │ ├── yuj_Latn.txt
│ │ ├── yup_Latn.txt
│ │ ├── yut_Latn.txt
│ │ ├── yuw_Latn.txt
│ │ ├── yuz_Latn.txt
│ │ ├── yva_Latn.txt
│ │ ├── zaa_Latn.txt
│ │ ├── zab_Latn.txt
│ │ ├── zac_Latn.txt
│ │ ├── zad_Latn.txt
│ │ ├── zae_Latn.txt
│ │ ├── zai_Latn.txt
│ │ ├── zam_Latn.txt
│ │ ├── zao_Latn.txt
│ │ ├── zar_Latn.txt
│ │ ├── zas_Latn.txt
│ │ ├── zat_Latn.txt
│ │ ├── zav_Latn.txt
│ │ ├── zaw_Latn.txt
│ │ ├── zca_Latn.txt
│ │ ├── zdj_Latn.txt
│ │ ├── zea_Latn.txt
│ │ ├── zgh_Tfng.txt
│ │ ├── zho_Hani.txt
│ │ ├── zia_Latn.txt
│ │ ├── ziw_Latn.txt
│ │ ├── zne_Latn.txt
│ │ ├── zoc_Latn.txt
│ │ ├── zom_Latn.txt
│ │ ├── zos_Latn.txt
│ │ ├── zpa_Latn.txt
│ │ ├── zpc_Latn.txt
│ │ ├── zpg_Latn.txt
│ │ ├── zpi_Latn.txt
│ │ ├── zpj_Latn.txt
│ │ ├── zpl_Latn.txt
│ │ ├── zpm_Latn.txt
│ │ ├── zpo_Latn.txt
│ │ ├── zpq_Latn.txt
│ │ ├── zpt_Latn.txt
│ │ ├── zpu_Latn.txt
│ │ ├── zpv_Latn.txt
│ │ ├── zpz_Latn.txt
│ │ ├── zsm_Arab.txt
│ │ ├── zsm_Latn.txt
│ │ ├── zsr_Latn.txt
│ │ ├── ztq_Latn.txt
│ │ ├── zty_Latn.txt
│ │ ├── zul_Latn.txt
│ │ ├── zyb_Latn.txt
│ │ └── zyp_Latn.txt
│ └── wordlists-0.95/
│ ├── aai_Latn.txt
│ ├── aak_Latn.txt
│ ├── aau_Latn.txt
│ ├── aaz_Latn.txt
│ ├── aba_Latn.txt
│ ├── abi_Latn.txt
│ ├── abk_Cyrl.txt
│ ├── abn_Latn.txt
│ ├── abq_Cyrl.txt
│ ├── abs_Latn.txt
│ ├── abt_Latn.txt
│ ├── abx_Latn.txt
│ ├── aby_Latn.txt
│ ├── abz_Latn.txt
│ ├── aca_Latn.txt
│ ├── acd_Latn.txt
│ ├── ace_Arab.txt
│ ├── ace_Latn.txt
│ ├── acf_Latn.txt
│ ├── ach_Latn.txt
│ ├── acm_Arab.txt
│ ├── acn_Latn.txt
│ ├── acr_Latn.txt
│ ├── acu_Latn.txt
│ ├── ada_Latn.txt
│ ├── ade_Latn.txt
│ ├── adh_Latn.txt
│ ├── adi_Latn.txt
│ ├── adj_Latn.txt
│ ├── adl_Latn.txt
│ ├── ady_Cyrl.txt
│ ├── adz_Latn.txt
│ ├── aeb_Arab.txt
│ ├── aer_Latn.txt
│ ├── aeu_Latn.txt
│ ├── aey_Latn.txt
│ ├── afr_Latn.txt
│ ├── agd_Latn.txt
│ ├── agg_Latn.txt
│ ├── agm_Latn.txt
│ ├── agn_Latn.txt
│ ├── agr_Latn.txt
│ ├── agt_Latn.txt
│ ├── agu_Latn.txt
│ ├── agw_Latn.txt
│ ├── agx_Cyrl.txt
│ ├── aha_Latn.txt
│ ├── ahk_Latn.txt
│ ├── aia_Latn.txt
│ ├── aii_Syrc.txt
│ ├── aim_Latn.txt
│ ├── ain_Latn.txt
│ ├── ajg_Latn.txt
│ ├── aji_Latn.txt
│ ├── ajz_Latn.txt
│ ├── akb_Latn.txt
│ ├── ake_Latn.txt
│ ├── akh_Latn.txt
│ ├── akp_Latn.txt
│ ├── ald_Latn.txt
│ ├── alj_Latn.txt
│ ├── aln_Latn.txt
│ ├── alp_Latn.txt
│ ├── alq_Latn.txt
│ ├── als_Latn.txt
│ ├── alt_Cyrl.txt
│ ├── aly_Latn.txt
│ ├── alz_Latn.txt
│ ├── ame_Latn.txt
│ ├── amf_Latn.txt
│ ├── amh_Ethi.txt
│ ├── ami_Latn.txt
│ ├── amk_Latn.txt
│ ├── amm_Latn.txt
│ ├── amn_Latn.txt
│ ├── amp_Latn.txt
│ ├── amr_Latn.txt
│ ├── amu_Latn.txt
│ ├── amx_Latn.txt
│ ├── ang_Latn.txt
│ ├── anm_Latn.txt
│ ├── ann_Latn.txt
│ ├── anp_Deva.txt
│ ├── anv_Latn.txt
│ ├── any_Latn.txt
│ ├── aoi_Latn.txt
│ ├── aoj_Latn.txt
│ ├── aom_Latn.txt
│ ├── aoz_Latn.txt
│ ├── apb_Latn.txt
│ ├── apc_Arab.txt
│ ├── ape_Latn.txt
│ ├── apn_Latn.txt
│ ├── apr_Latn.txt
│ ├── apt_Latn.txt
│ ├── apu_Latn.txt
│ ├── apw_Latn.txt
│ ├── apy_Latn.txt
│ ├── apz_Latn.txt
│ ├── aqz_Latn.txt
│ ├── arb_Arab.txt
│ ├── arb_Latn.txt
│ ├── are_Latn.txt
│ ├── arg_Latn.txt
│ ├── arl_Latn.txt
│ ├── arn_Latn.txt
│ ├── arp_Latn.txt
│ ├── arq_Arab.txt
│ ├── arr_Latn.txt
│ ├── ars_Arab.txt
│ ├── ary_Arab.txt
│ ├── arz_Arab.txt
│ ├── asg_Latn.txt
│ ├── asm_Beng.txt
│ ├── asm_Latn.txt
│ ├── aso_Latn.txt
│ ├── ast_Latn.txt
│ ├── ata_Latn.txt
│ ├── atb_Latn.txt
│ ├── atd_Latn.txt
│ ├── atg_Latn.txt
│ ├── ati_Latn.txt
│ ├── atj_Latn.txt
│ ├── atq_Latn.txt
│ ├── att_Latn.txt
│ ├── auc_Latn.txt
│ ├── aui_Latn.txt
│ ├── auy_Latn.txt
│ ├── ava_Cyrl.txt
│ ├── avk_Latn.txt
│ ├── avn_Latn.txt
│ ├── avt_Latn.txt
│ ├── avu_Latn.txt
│ ├── awa_Deva.txt
│ ├── awb_Latn.txt
│ ├── awi_Latn.txt
│ ├── awx_Latn.txt
│ ├── ayo_Latn.txt
│ ├── ayp_Arab.txt
│ ├── ayr_Latn.txt
│ ├── azb_Arab.txt
│ ├── azg_Latn.txt
│ ├── azj_Cyrl.txt
│ ├── azj_Latn.txt
│ ├── azz_Latn.txt
│ ├── bak_Cyrl.txt
│ ├── bal_Arab.txt
│ ├── bam_Latn.txt
│ ├── ban_Latn.txt
│ ├── bao_Latn.txt
│ ├── bar_Latn.txt
│ ├── bas_Latn.txt
│ ├── bav_Latn.txt
│ ├── bba_Latn.txt
│ ├── bbb_Latn.txt
│ ├── bbc_Latn.txt
│ ├── bbj_Latn.txt
│ ├── bbk_Latn.txt
│ ├── bbo_Latn.txt
│ ├── bbr_Latn.txt
│ ├── bcc_Arab.txt
│ ├── bch_Latn.txt
│ ├── bci_Latn.txt
│ ├── bcl_Latn.txt
│ ├── bco_Latn.txt
│ ├── bcw_Latn.txt
│ ├── bdd_Latn.txt
│ ├── bdh_Latn.txt
│ ├── bdq_Latn.txt
│ ├── bea_Latn.txt
│ ├── bef_Latn.txt
│ ├── bel_Cyrl.txt
│ ├── bem_Latn.txt
│ ├── ben_Beng.txt
│ ├── ben_Latn.txt
│ ├── beq_Latn.txt
│ ├── bew_Latn.txt
│ ├── bex_Latn.txt
│ ├── bfd_Latn.txt
│ ├── bfo_Latn.txt
│ ├── bgr_Latn.txt
│ ├── bgs_Latn.txt
│ ├── bgt_Latn.txt
│ ├── bgz_Latn.txt
│ ├── bhg_Latn.txt
│ ├── bhl_Latn.txt
│ ├── bho_Deva.txt
│ ├── bhp_Latn.txt
│ ├── bhw_Latn.txt
│ ├── bhz_Latn.txt
│ ├── bib_Latn.txt
│ ├── big_Latn.txt
│ ├── bim_Latn.txt
│ ├── bin_Latn.txt
│ ├── bis_Latn.txt
│ ├── biu_Latn.txt
│ ├── biv_Latn.txt
│ ├── bjn_Arab.txt
│ ├── bjn_Latn.txt
│ ├── bjp_Latn.txt
│ ├── bjr_Latn.txt
│ ├── bjv_Latn.txt
│ ├── bkd_Latn.txt
│ ├── bkl_Latn.txt
│ ├── bkq_Latn.txt
│ ├── bku_Latn.txt
│ ├── bkv_Latn.txt
│ ├── bla_Latn.txt
│ ├── blh_Latn.txt
│ ├── blk_Mymr.txt
│ ├── blt_Latn.txt
│ ├── blw_Latn.txt
│ ├── blz_Latn.txt
│ ├── bmh_Latn.txt
│ ├── bmk_Latn.txt
│ ├── bmq_Latn.txt
│ ├── bmr_Latn.txt
│ ├── bmu_Latn.txt
│ ├── bmv_Latn.txt
│ ├── bnj_Latn.txt
│ ├── bno_Latn.txt
│ ├── bnp_Latn.txt
│ ├── boa_Latn.txt
│ ├── bod_Tibt.txt
│ ├── boj_Latn.txt
│ ├── bom_Latn.txt
│ ├── bon_Latn.txt
│ ├── bor_Latn.txt
│ ├── bos_Latn.txt
│ ├── bov_Latn.txt
│ ├── box_Latn.txt
│ ├── bpr_Latn.txt
│ ├── bps_Latn.txt
│ ├── bpy_Beng.txt
│ ├── bqc_Latn.txt
│ ├── bqj_Latn.txt
│ ├── bqp_Latn.txt
│ ├── bre_Latn.txt
│ ├── brh_Arab.txt
│ ├── bru_Latn.txt
│ ├── brx_Deva.txt
│ ├── brx_Latn.txt
│ ├── bsc_Latn.txt
│ ├── bsn_Latn.txt
│ ├── bsp_Latn.txt
│ ├── bsq_Latn.txt
│ ├── bss_Latn.txt
│ ├── btd_Latn.txt
│ ├── bth_Latn.txt
│ ├── bts_Latn.txt
│ ├── btt_Latn.txt
│ ├── btx_Latn.txt
│ ├── bud_Latn.txt
│ ├── bug_Latn.txt
│ ├── buk_Latn.txt
│ ├── bul_Cyrl.txt
│ ├── bum_Latn.txt
│ ├── bus_Latn.txt
│ ├── bvc_Latn.txt
│ ├── bvd_Latn.txt
│ ├── bvr_Latn.txt
│ ├── bvz_Latn.txt
│ ├── bwd_Latn.txt
│ ├── bwi_Latn.txt
│ ├── bwq_Latn.txt
│ ├── bwu_Latn.txt
│ ├── bxh_Latn.txt
│ ├── bxr_Cyrl.txt
│ ├── byr_Latn.txt
│ ├── byv_Latn.txt
│ ├── byx_Latn.txt
│ ├── bzd_Latn.txt
│ ├── bzh_Latn.txt
│ ├── bzi_Thai.txt
│ ├── bzj_Latn.txt
│ ├── caa_Latn.txt
│ ├── cab_Latn.txt
│ ├── cac_Latn.txt
│ ├── caf_Latn.txt
│ ├── cag_Latn.txt
│ ├── cak_Latn.txt
│ ├── cao_Latn.txt
│ ├── cap_Latn.txt
│ ├── caq_Latn.txt
│ ├── car_Latn.txt
│ ├── cas_Latn.txt
│ ├── cat_Latn.txt
│ ├── cav_Latn.txt
│ ├── cax_Latn.txt
│ ├── cbc_Latn.txt
│ ├── cbi_Latn.txt
│ ├── cbk_Latn.txt
│ ├── cbr_Latn.txt
│ ├── cbs_Latn.txt
│ ├── cbt_Latn.txt
│ ├── cbu_Latn.txt
│ ├── cbv_Latn.txt
│ ├── cce_Latn.txt
│ ├── cco_Latn.txt
│ ├── ccp_Latn.txt
│ ├── cdf_Latn.txt
│ ├── ceb_Latn.txt
│ ├── ceg_Latn.txt
│ ├── cek_Latn.txt
│ ├── ces_Latn.txt
│ ├── cfm_Latn.txt
│ ├── cgc_Latn.txt
│ ├── cgg_Latn.txt
│ ├── cha_Latn.txt
│ ├── chd_Latn.txt
│ ├── che_Cyrl.txt
│ ├── chf_Latn.txt
│ ├── chj_Latn.txt
│ ├── chk_Latn.txt
│ ├── cho_Latn.txt
│ ├── chq_Latn.txt
│ ├── chr_Cher.txt
│ ├── chr_Latn.txt
│ ├── chu_Cyrl.txt
│ ├── chv_Cyrl.txt
│ ├── chw_Latn.txt
│ ├── chz_Latn.txt
│ ├── cjk_Latn.txt
│ ├── cjo_Latn.txt
│ ├── cjp_Latn.txt
│ ├── cjs_Cyrl.txt
│ ├── cjv_Latn.txt
│ ├── ckb_Arab.txt
│ ├── cko_Latn.txt
│ ├── ckt_Cyrl.txt
│ ├── cle_Latn.txt
│ ├── clu_Latn.txt
│ ├── cly_Latn.txt
│ ├── cme_Latn.txt
│ ├── cmn_Hani.txt
│ ├── cmo_Khmr.txt
│ ├── cmo_Latn.txt
│ ├── cmr_Latn.txt
│ ├── cnh_Latn.txt
│ ├── cni_Latn.txt
│ ├── cnk_Latn.txt
│ ├── cnl_Latn.txt
│ ├── cnt_Latn.txt
│ ├── cnw_Latn.txt
│ ├── coe_Latn.txt
│ ├── cof_Latn.txt
│ ├── cok_Latn.txt
│ ├── con_Latn.txt
│ ├── cop_Copt.txt
│ ├── cor_Latn.txt
│ ├── cos_Latn.txt
│ ├── cot_Latn.txt
│ ├── cou_Latn.txt
│ ├── cpa_Latn.txt
│ ├── cpb_Latn.txt
│ ├── cpc_Latn.txt
│ ├── cpu_Latn.txt
│ ├── cpy_Latn.txt
│ ├── crh_Cyrl.txt
│ ├── crh_Latn.txt
│ ├── cri_Latn.txt
│ ├── crj_Cans.txt
│ ├── crk_Cans.txt
│ ├── crk_Latn.txt
│ ├── crl_Cans.txt
│ ├── crm_Cans.txt
│ ├── crn_Latn.txt
│ ├── crs_Latn.txt
│ ├── crt_Latn.txt
│ ├── crx_Latn.txt
│ ├── csb_Latn.txt
│ ├── csk_Latn.txt
│ ├── cso_Latn.txt
│ ├── csw_Latn.txt
│ ├── csy_Latn.txt
│ ├── cta_Latn.txt
│ ├── ctd_Latn.txt
│ ├── cto_Latn.txt
│ ├── ctp_Latn.txt
│ ├── ctu_Latn.txt
│ ├── cub_Latn.txt
│ ├── cuc_Latn.txt
│ ├── cui_Latn.txt
│ ├── cuk_Latn.txt
│ ├── cul_Latn.txt
│ ├── cut_Latn.txt
│ ├── cux_Latn.txt
│ ├── cwd_Cans.txt
│ ├── cwe_Latn.txt
│ ├── cwt_Latn.txt
│ ├── cya_Latn.txt
│ ├── cym_Latn.txt
│ ├── czt_Latn.txt
│ ├── daa_Latn.txt
│ ├── dad_Latn.txt
│ ├── daf_Latn.txt
│ ├── dag_Latn.txt
│ ├── dah_Latn.txt
│ ├── dak_Latn.txt
│ ├── dan_Latn.txt
│ ├── dar_Cyrl.txt
│ ├── dbq_Latn.txt
│ ├── ddg_Latn.txt
│ ├── ddn_Latn.txt
│ ├── ded_Latn.txt
│ ├── des_Latn.txt
│ ├── deu_Latn.txt
│ ├── dga_Latn.txt
│ ├── dgc_Latn.txt
│ ├── dgi_Latn.txt
│ ├── dgr_Latn.txt
│ ├── dgz_Latn.txt
│ ├── dhg_Latn.txt
│ ├── dhm_Latn.txt
│ ├── dhv_Latn.txt
│ ├── did_Latn.txt
│ ├── dig_Latn.txt
│ ├── dik_Latn.txt
│ ├── dip_Latn.txt
│ ├── diq_Latn.txt
│ ├── dis_Latn.txt
│ ├── diu_Latn.txt
│ ├── div_Thaa.txt
│ ├── dje_Latn.txt
│ ├── djk_Latn.txt
│ ├── djr_Latn.txt
│ ├── dks_Latn.txt
│ ├── dln_Latn.txt
│ ├── dng_Cyrl.txt
│ ├── dnj_Latn.txt
│ ├── dnw_Latn.txt
│ ├── dob_Latn.txt
│ ├── doi_Deva.txt
│ ├── dop_Latn.txt
│ ├── dos_Latn.txt
│ ├── dow_Latn.txt
│ ├── drg_Latn.txt
│ ├── dru_Latn.txt
│ ├── dsb_Latn.txt
│ ├── dsh_Latn.txt
│ ├── dtb_Latn.txt
│ ├── dtp_Latn.txt
│ ├── dts_Latn.txt
│ ├── dty_Deva.txt
│ ├── dua_Latn.txt
│ ├── due_Latn.txt
│ ├── dug_Latn.txt
│ ├── duo_Latn.txt
│ ├── dur_Latn.txt
│ ├── dwr_Latn.txt
│ ├── dww_Latn.txt
│ ├── dyi_Latn.txt
│ ├── dyo_Latn.txt
│ ├── dyu_Latn.txt
│ ├── dzo_Tibt.txt
│ ├── ebk_Latn.txt
│ ├── efi_Latn.txt
│ ├── eka_Latn.txt
│ ├── ekk_Latn.txt
│ ├── eko_Latn.txt
│ ├── ell_Grek.txt
│ ├── eme_Latn.txt
│ ├── emi_Latn.txt
│ ├── eml_Latn.txt
│ ├── emp_Latn.txt
│ ├── enb_Latn.txt
│ ├── eng_Latn.txt
│ ├── enl_Latn.txt
│ ├── enm_Latn.txt
│ ├── enq_Latn.txt
│ ├── enx_Latn.txt
│ ├── epo_Latn.txt
│ ├── eri_Latn.txt
│ ├── ese_Latn.txt
│ ├── esi_Latn.txt
│ ├── esk_Latn.txt
│ ├── ess_Latn.txt
│ ├── esu_Latn.txt
│ ├── eto_Latn.txt
│ ├── etr_Latn.txt
│ ├── etu_Latn.txt
│ ├── eus_Latn.txt
│ ├── eve_Cyrl.txt
│ ├── ewe_Latn.txt
│ ├── ewo_Latn.txt
│ ├── ext_Latn.txt
│ ├── eza_Latn.txt
│ ├── faa_Latn.txt
│ ├── fad_Latn.txt
│ ├── fai_Latn.txt
│ ├── fal_Latn.txt
│ ├── fan_Latn.txt
│ ├── fao_Latn.txt
│ ├── far_Latn.txt
│ ├── fas_Arab.txt
│ ├── fat_Latn.txt
│ ├── ffm_Latn.txt
│ ├── fij_Latn.txt
│ ├── fil_Latn.txt
│ ├── fin_Latn.txt
│ ├── fit_Latn.txt
│ ├── fkv_Latn.txt
│ ├── fmu_Deva.txt
│ ├── fon_Latn.txt
│ ├── for_Latn.txt
│ ├── fra_Latn.txt
│ ├── frd_Latn.txt
│ ├── fro_Latn.txt
│ ├── frp_Latn.txt
│ ├── frr_Latn.txt
│ ├── fry_Latn.txt
│ ├── fub_Latn.txt
│ ├── fud_Latn.txt
│ ├── fue_Latn.txt
│ ├── fuf_Latn.txt
│ ├── fuh_Latn.txt
│ ├── fuq_Latn.txt
│ ├── fur_Latn.txt
│ ├── fuv_Arab.txt
│ ├── fuv_Latn.txt
│ ├── gaa_Latn.txt
│ ├── gag_Cyrl.txt
│ ├── gag_Latn.txt
│ ├── gah_Latn.txt
│ ├── gai_Latn.txt
│ ├── gam_Latn.txt
│ ├── gaw_Latn.txt
│ ├── gaz_Latn.txt
│ ├── gbi_Latn.txt
│ ├── gbo_Latn.txt
│ ├── gbr_Latn.txt
│ ├── gcf_Latn.txt
│ ├── gcr_Latn.txt
│ ├── gde_Latn.txt
│ ├── gdg_Latn.txt
│ ├── gdn_Latn.txt
│ ├── gdr_Latn.txt
│ ├── geb_Latn.txt
│ ├── gej_Latn.txt
│ ├── gfk_Latn.txt
│ ├── ghe_Deva.txt
│ ├── ghs_Latn.txt
│ ├── gid_Latn.txt
│ ├── gil_Latn.txt
│ ├── giz_Latn.txt
│ ├── gjn_Latn.txt
│ ├── gkn_Latn.txt
│ ├── gla_Latn.txt
│ ├── gle_Latn.txt
│ ├── glg_Latn.txt
│ ├── glk_Arab.txt
│ ├── glv_Latn.txt
│ ├── gmh_Latn.txt
│ ├── gmv_Ethi.txt
│ ├── gmv_Latn.txt
│ ├── gna_Latn.txt
│ ├── gnb_Latn.txt
│ ├── gnd_Latn.txt
│ ├── gng_Latn.txt
│ ├── gnn_Latn.txt
│ ├── gnw_Latn.txt
│ ├── goa_Latn.txt
│ ├── gof_Ethi.txt
│ ├── gof_Latn.txt
│ ├── gog_Latn.txt
│ ├── goh_Latn.txt
│ ├── gom_Deva.txt
│ ├── gom_Latn.txt
│ ├── gor_Latn.txt
│ ├── gos_Latn.txt
│ ├── got_Latn.txt
│ ├── gqr_Latn.txt
│ ├── grc_Grek.txt
│ ├── grt_Beng.txt
│ ├── gso_Latn.txt
│ ├── gsw_Latn.txt
│ ├── gub_Latn.txt
│ ├── guc_Latn.txt
│ ├── gud_Latn.txt
│ ├── gug_Latn.txt
│ ├── guh_Latn.txt
│ ├── gui_Latn.txt
│ ├── guj_Gujr.txt
│ ├── guj_Latn.txt
│ ├── guk_Ethi.txt
│ ├── gul_Latn.txt
│ ├── gum_Latn.txt
│ ├── gun_Latn.txt
│ ├── guo_Latn.txt
│ ├── guq_Latn.txt
│ ├── gur_Latn.txt
│ ├── guu_Latn.txt
│ ├── guw_Latn.txt
│ ├── gux_Latn.txt
│ ├── guz_Latn.txt
│ ├── gvc_Latn.txt
│ ├── gvf_Latn.txt
│ ├── gvl_Latn.txt
│ ├── gvn_Latn.txt
│ ├── gwi_Latn.txt
│ ├── gwr_Latn.txt
│ ├── gya_Latn.txt
│ ├── gym_Latn.txt
│ ├── gyr_Latn.txt
│ ├── hac_Arab.txt
│ ├── hae_Latn.txt
│ ├── hag_Latn.txt
│ ├── hak_Hani.txt
│ ├── hak_Latn.txt
│ ├── hat_Latn.txt
│ ├── hau_Latn.txt
│ ├── hav_Latn.txt
│ ├── haw_Latn.txt
│ ├── hay_Latn.txt
│ ├── hbo_Hebr.txt
│ ├── hbs_Latn.txt
│ ├── hch_Latn.txt
│ ├── heb_Hebr.txt
│ ├── heg_Latn.txt
│ ├── heh_Latn.txt
│ ├── her_Latn.txt
│ ├── hif_Latn.txt
│ ├── hig_Latn.txt
│ ├── hil_Latn.txt
│ ├── hin_Deva.txt
│ ├── hin_Latn.txt
│ ├── hix_Latn.txt
│ ├── hla_Latn.txt
│ ├── hlt_Latn.txt
│ ├── hmo_Latn.txt
│ ├── hmr_Latn.txt
│ ├── hne_Deva.txt
│ ├── hnj_Latn.txt
│ ├── hnn_Latn.txt
│ ├── hns_Latn.txt
│ ├── hoc_Latn.txt
│ ├── hop_Latn.txt
│ ├── hot_Latn.txt
│ ├── hra_Latn.txt
│ ├── hrv_Latn.txt
│ ├── hrx_Latn.txt
│ ├── hsb_Latn.txt
│ ├── hto_Latn.txt
│ ├── hub_Latn.txt
│ ├── hui_Latn.txt
│ ├── hun_Latn.txt
│ ├── hus_Latn.txt
│ ├── huu_Latn.txt
│ ├── huv_Latn.txt
│ ├── hvn_Latn.txt
│ ├── hwc_Latn.txt
│ ├── hye_Armn.txt
│ ├── hyw_Armn.txt
│ ├── ian_Latn.txt
│ ├── iba_Latn.txt
│ ├── ibg_Latn.txt
│ ├── ibo_Latn.txt
│ ├── icr_Latn.txt
│ ├── ido_Latn.txt
│ ├── idu_Latn.txt
│ ├── ifa_Latn.txt
│ ├── ifb_Latn.txt
│ ├── ife_Latn.txt
│ ├── ifk_Latn.txt
│ ├── ifu_Latn.txt
│ ├── ify_Latn.txt
│ ├── ige_Latn.txt
│ ├── ign_Latn.txt
│ ├── ike_Cans.txt
│ ├── ikk_Latn.txt
│ ├── ikt_Latn.txt
│ ├── ikw_Latn.txt
│ ├── ilb_Latn.txt
│ ├── ile_Latn.txt
│ ├── ilo_Latn.txt
│ ├── imo_Latn.txt
│ ├── ina_Latn.txt
│ ├── inb_Latn.txt
│ ├── ind_Latn.txt
│ ├── inh_Cyrl.txt
│ ├── ino_Latn.txt
│ ├── iou_Latn.txt
│ ├── ipi_Latn.txt
│ ├── iqw_Latn.txt
│ ├── iri_Latn.txt
│ ├── irk_Latn.txt
│ ├── iry_Latn.txt
│ ├── isd_Latn.txt
│ ├── ish_Latn.txt
│ ├── isl_Latn.txt
│ ├── iso_Latn.txt
│ ├── ita_Latn.txt
│ ├── itl_Cyrl.txt
│ ├── itv_Latn.txt
│ ├── ium_Latn.txt
│ ├── ivb_Latn.txt
│ ├── ivv_Latn.txt
│ ├── iws_Latn.txt
│ ├── ixl_Latn.txt
│ ├── izr_Latn.txt
│ ├── izz_Latn.txt
│ ├── jaa_Latn.txt
│ ├── jac_Latn.txt
│ ├── jae_Latn.txt
│ ├── jam_Latn.txt
│ ├── jav_Latn.txt
│ ├── jbo_Latn.txt
│ ├── jbu_Latn.txt
│ ├── jic_Latn.txt
│ ├── jiv_Latn.txt
│ ├── jmc_Latn.txt
│ ├── jpn_Jpan.txt
│ ├── jra_Latn.txt
│ ├── jun_Orya.txt
│ ├── jvn_Latn.txt
│ ├── kaa_Cyrl.txt
│ ├── kaa_Latn.txt
│ ├── kab_Latn.txt
│ ├── kac_Latn.txt
│ ├── kak_Latn.txt
│ ├── kal_Latn.txt
│ ├── kam_Latn.txt
│ ├── kan_Knda.txt
│ ├── kan_Latn.txt
│ ├── kao_Latn.txt
│ ├── kap_Cyrl.txt
│ ├── kaq_Latn.txt
│ ├── kas_Arab.txt
│ ├── kas_Deva.txt
│ ├── kas_Latn.txt
│ ├── kat_Geor.txt
│ ├── kaz_Cyrl.txt
│ ├── kbc_Latn.txt
│ ├── kbd_Cyrl.txt
│ ├── kbh_Latn.txt
│ ├── kbm_Latn.txt
│ ├── kbo_Latn.txt
│ ├── kbp_Latn.txt
│ ├── kbq_Latn.txt
│ ├── kbr_Latn.txt
│ ├── kby_Latn.txt
│ ├── kca_Cyrl.txt
│ ├── kcg_Latn.txt
│ ├── kck_Latn.txt
│ ├── kdc_Latn.txt
│ ├── kde_Latn.txt
│ ├── kdh_Latn.txt
│ ├── kdi_Latn.txt
│ ├── kdj_Latn.txt
│ ├── kdl_Latn.txt
│ ├── kdr_Latn.txt
│ ├── kea_Latn.txt
│ ├── kei_Latn.txt
│ ├── kek_Latn.txt
│ ├── ken_Latn.txt
│ ├── keo_Latn.txt
│ ├── ker_Latn.txt
│ ├── kew_Latn.txt
│ ├── kex_Deva.txt
│ ├── kez_Latn.txt
│ ├── kff_Telu.txt
│ ├── kgf_Latn.txt
│ ├── kgk_Latn.txt
│ ├── kgp_Latn.txt
│ ├── kgr_Latn.txt
│ ├── kha_Latn.txt
│ ├── khk_Cyrl.txt
│ ├── khm_Khmr.txt
│ ├── khq_Latn.txt
│ ├── khs_Latn.txt
│ ├── khy_Latn.txt
│ ├── khz_Latn.txt
│ ├── kia_Latn.txt
│ ├── kij_Latn.txt
│ ├── kik_Latn.txt
│ ├── kin_Latn.txt
│ ├── kir_Cyrl.txt
│ ├── kiu_Latn.txt
│ ├── kix_Latn.txt
│ ├── kjb_Latn.txt
│ ├── kje_Latn.txt
│ ├── kjh_Cyrl.txt
│ ├── kjs_Latn.txt
│ ├── kkc_Latn.txt
│ ├── kki_Latn.txt
│ ├── kkj_Latn.txt
│ ├── kkl_Latn.txt
│ ├── kle_Deva.txt
│ ├── klt_Latn.txt
│ ├── klv_Latn.txt
│ ├── kma_Latn.txt
│ ├── kmb_Latn.txt
│ ├── kmd_Latn.txt
│ ├── kmg_Latn.txt
│ ├── kmh_Latn.txt
│ ├── kmk_Latn.txt
│ ├── kmm_Latn.txt
│ ├── kmo_Latn.txt
│ ├── kmr_Cyrl.txt
│ ├── kmr_Latn.txt
│ ├── kms_Latn.txt
│ ├── kmu_Latn.txt
│ ├── kmy_Latn.txt
│ ├── knc_Arab.txt
│ ├── knc_Latn.txt
│ ├── kne_Latn.txt
│ ├── knf_Latn.txt
│ ├── kng_Latn.txt
│ ├── knj_Latn.txt
│ ├── knk_Latn.txt
│ ├── kno_Latn.txt
│ ├── knv_Latn.txt
│ ├── knx_Latn.txt
│ ├── kny_Latn.txt
│ ├── kog_Latn.txt
│ ├── koi_Cyrl.txt
│ ├── koo_Latn.txt
│ ├── kor_Hang.txt
│ ├── kos_Latn.txt
│ ├── kpe_Latn.txt
│ ├── kpf_Latn.txt
│ ├── kpg_Latn.txt
│ ├── kpj_Latn.txt
│ ├── kpq_Latn.txt
│ ├── kpr_Latn.txt
│ ├── kpv_Cyrl.txt
│ ├── kpw_Latn.txt
│ ├── kpx_Latn.txt
│ ├── kpz_Latn.txt
│ ├── kqa_Latn.txt
│ ├── kqc_Latn.txt
│ ├── kqe_Latn.txt
│ ├── kqf_Latn.txt
│ ├── kql_Latn.txt
│ ├── kqn_Latn.txt
│ ├── kqo_Latn.txt
│ ├── kqp_Latn.txt
│ ├── kqs_Latn.txt
│ ├── kqw_Latn.txt
│ ├── kqy_Ethi.txt
│ ├── krc_Cyrl.txt
│ ├── kri_Latn.txt
│ ├── krj_Latn.txt
│ ├── krl_Latn.txt
│ ├── kru_Deva.txt
│ ├── krx_Latn.txt
│ ├── ksb_Latn.txt
│ ├── ksc_Latn.txt
│ ├── ksd_Latn.txt
│ ├── ksf_Latn.txt
│ ├── ksh_Latn.txt
│ ├── ksj_Latn.txt
│ ├── ksp_Latn.txt
│ ├── ksr_Latn.txt
│ ├── kss_Latn.txt
│ ├── ksw_Mymr.txt
│ ├── ktb_Ethi.txt
│ ├── ktj_Latn.txt
│ ├── ktm_Latn.txt
│ ├── kto_Latn.txt
│ ├── ktu_Latn.txt
│ ├── ktz_Latn.txt
│ ├── kua_Latn.txt
│ ├── kub_Latn.txt
│ ├── kud_Latn.txt
│ ├── kue_Latn.txt
│ ├── kuj_Latn.txt
│ ├── kum_Cyrl.txt
│ ├── kup_Latn.txt
│ ├── kus_Latn.txt
│ ├── kvg_Latn.txt
│ ├── kvj_Latn.txt
│ ├── kvn_Latn.txt
│ ├── kwd_Latn.txt
│ ├── kwf_Latn.txt
│ ├── kwi_Latn.txt
│ ├── kwj_Latn.txt
│ ├── kwn_Latn.txt
│ ├── kwy_Latn.txt
│ ├── kxc_Ethi.txt
│ ├── kxm_Thai.txt
│ ├── kxw_Latn.txt
│ ├── kyc_Latn.txt
│ ├── kyf_Latn.txt
│ ├── kyg_Latn.txt
│ ├── kyq_Latn.txt
│ ├── kyu_Kali.txt
│ ├── kyu_Latn.txt
│ ├── kyu_Mymr.txt
│ ├── kyz_Latn.txt
│ ├── kze_Latn.txt
│ ├── kzf_Latn.txt
│ ├── kzj_Latn.txt
│ ├── kzn_Latn.txt
│ ├── lac_Latn.txt
│ ├── lad_Hebr.txt
│ ├── lad_Latn.txt
│ ├── lai_Latn.txt
│ ├── laj_Latn.txt
│ ├── lam_Latn.txt
│ ├── lao_Laoo.txt
│ ├── lap_Latn.txt
│ ├── las_Latn.txt
│ ├── lat_Latn.txt
│ ├── law_Latn.txt
│ ├── lbb_Latn.txt
│ ├── lbe_Cyrl.txt
│ ├── lbj_Tibt.txt
│ ├── lbk_Latn.txt
│ ├── lcm_Latn.txt
│ ├── lcp_Thai.txt
│ ├── ldi_Latn.txt
│ ├── ldn_Latn.txt
│ ├── lea_Latn.txt
│ ├── led_Latn.txt
│ ├── lee_Latn.txt
│ ├── lef_Latn.txt
│ ├── leh_Latn.txt
│ ├── lem_Latn.txt
│ ├── leu_Latn.txt
│ ├── lew_Latn.txt
│ ├── lex_Latn.txt
│ ├── lez_Cyrl.txt
│ ├── lfn_Cyrl.txt
│ ├── lfn_Latn.txt
│ ├── lgg_Latn.txt
│ ├── lgl_Latn.txt
│ ├── lgm_Latn.txt
│ ├── lhi_Latn.txt
│ ├── lhu_Latn.txt
│ ├── lia_Latn.txt
│ ├── lid_Latn.txt
│ ├── lif_Deva.txt
│ ├── lif_Limb.txt
│ ├── lij_Latn.txt
│ ├── lim_Latn.txt
│ ├── lin_Latn.txt
│ ├── lip_Latn.txt
│ ├── lis_Lisu.txt
│ ├── lit_Latn.txt
│ ├── liv_Latn.txt
│ ├── ljp_Latn.txt
│ ├── lki_Arab.txt
│ ├── llb_Latn.txt
│ ├── lld_Latn.txt
│ ├── llg_Latn.txt
│ ├── lln_Latn.txt
│ ├── lmk_Latn.txt
│ ├── lmo_Latn.txt
│ ├── lmp_Latn.txt
│ ├── lnd_Latn.txt
│ ├── lob_Latn.txt
│ ├── loe_Latn.txt
│ ├── log_Latn.txt
│ ├── lok_Latn.txt
│ ├── lol_Latn.txt
│ ├── lom_Latn.txt
│ ├── loq_Latn.txt
│ ├── loz_Latn.txt
│ ├── lrc_Arab.txt
│ ├── lsi_Latn.txt
│ ├── lsm_Latn.txt
│ ├── ltg_Latn.txt
│ ├── ltz_Latn.txt
│ ├── lua_Latn.txt
│ ├── lub_Latn.txt
│ ├── luc_Latn.txt
│ ├── lud_Latn.txt
│ ├── lue_Latn.txt
│ ├── lug_Latn.txt
│ ├── lun_Latn.txt
│ ├── luo_Latn.txt
│ ├── lus_Latn.txt
│ ├── lvs_Latn.txt
│ ├── lwg_Latn.txt
│ ├── lwo_Latn.txt
│ ├── lww_Latn.txt
│ ├── lzh_Hani.txt
│ ├── maa_Latn.txt
│ ├── mad_Latn.txt
│ ├── maf_Latn.txt
│ ├── mag_Deva.txt
│ ├── mah_Latn.txt
│ ├── mai_Deva.txt
│ ├── maj_Latn.txt
│ ├── mak_Latn.txt
│ ├── mal_Latn.txt
│ ├── mal_Mlym.txt
│ ├── mam_Latn.txt
│ ├── maq_Latn.txt
│ ├── mar_Deva.txt
│ ├── mar_Latn.txt
│ ├── mas_Latn.txt
│ ├── mau_Latn.txt
│ ├── mav_Latn.txt
│ ├── maw_Latn.txt
│ ├── max_Latn.txt
│ ├── maz_Latn.txt
│ ├── mbb_Latn.txt
│ ├── mbc_Latn.txt
│ ├── mbd_Latn.txt
│ ├── mbf_Latn.txt
│ ├── mbh_Latn.txt
│ ├── mbi_Latn.txt
│ ├── mbj_Latn.txt
│ ├── mbl_Latn.txt
│ ├── mbs_Latn.txt
│ ├── mbt_Latn.txt
│ ├── mca_Latn.txt
│ ├── mcb_Latn.txt
│ ├── mcd_Latn.txt
│ ├── mcf_Latn.txt
│ ├── mck_Latn.txt
│ ├── mcn_Latn.txt
│ ├── mco_Latn.txt
│ ├── mcp_Latn.txt
│ ├── mcq_Latn.txt
│ ├── mcu_Latn.txt
│ ├── mda_Latn.txt
│ ├── mdf_Cyrl.txt
│ ├── mdy_Ethi.txt
│ ├── med_Latn.txt
│ ├── mee_Latn.txt
│ ├── mej_Latn.txt
│ ├── mek_Latn.txt
│ ├── men_Latn.txt
│ ├── meq_Latn.txt
│ ├── mer_Latn.txt
│ ├── met_Latn.txt
│ ├── meu_Latn.txt
│ ├── mev_Latn.txt
│ ├── mfe_Latn.txt
│ ├── mfg_Latn.txt
│ ├── mfh_Latn.txt
│ ├── mfi_Latn.txt
│ ├── mfk_Latn.txt
│ ├── mfq_Latn.txt
│ ├── mfy_Latn.txt
│ ├── mfz_Latn.txt
│ ├── mgc_Latn.txt
│ ├── mgh_Latn.txt
│ ├── mgm_Latn.txt
│ ├── mgo_Latn.txt
│ ├── mgr_Latn.txt
│ ├── mhi_Latn.txt
│ ├── mhl_Latn.txt
│ ├── mhr_Cyrl.txt
│ ├── mhw_Latn.txt
│ ├── mhx_Latn.txt
│ ├── mhy_Latn.txt
│ ├── mib_Latn.txt
│ ├── mic_Latn.txt
│ ├── mie_Latn.txt
│ ├── mif_Latn.txt
│ ├── mig_Latn.txt
│ ├── mih_Latn.txt
│ ├── mil_Latn.txt
│ ├── mim_Latn.txt
│ ├── min_Arab.txt
│ ├── min_Latn.txt
│ ├── mio_Latn.txt
│ ├── mip_Latn.txt
│ ├── miq_Latn.txt
│ ├── mir_Latn.txt
│ ├── mit_Latn.txt
│ ├── miy_Latn.txt
│ ├── miz_Latn.txt
│ ├── mjc_Latn.txt
│ ├── mjw_Latn.txt
│ ├── mkd_Cyrl.txt
│ ├── mkl_Latn.txt
│ ├── mkn_Latn.txt
│ ├── mks_Latn.txt
│ ├── mkz_Latn.txt
│ ├── mlh_Latn.txt
│ ├── mlp_Latn.txt
│ ├── mlt_Latn.txt
│ ├── mlu_Latn.txt
│ ├── mmn_Latn.txt
│ ├── mmo_Latn.txt
│ ├── mmx_Latn.txt
│ ├── mna_Latn.txt
│ ├── mnb_Latn.txt
│ ├── mnf_Latn.txt
│ ├── mni_Beng.txt
│ ├── mni_Latn.txt
│ ├── mni_Mtei.txt
│ ├── mnk_Latn.txt
│ ├── mns_Cyrl.txt
│ ├── mnw_Mymr.txt
│ ├── mnx_Latn.txt
│ ├── mny_Latn.txt
│ ├── moa_Latn.txt
│ ├── moc_Latn.txt
│ ├── mog_Latn.txt
│ ├── moh_Latn.txt
│ ├── mop_Latn.txt
│ ├── mor_Latn.txt
│ ├── mos_Latn.txt
│ ├── mox_Latn.txt
│ ├── mpg_Latn.txt
│ ├── mph_Latn.txt
│ ├── mpm_Latn.txt
│ ├── mpp_Latn.txt
│ ├── mps_Latn.txt
│ ├── mpt_Latn.txt
│ ├── mpx_Latn.txt
│ ├── mqb_Latn.txt
│ ├── mqj_Latn.txt
│ ├── mqy_Latn.txt
│ ├── mrg_Latn.txt
│ ├── mri_Latn.txt
│ ├── mrj_Cyrl.txt
│ ├── mrq_Latn.txt
│ ├── mrv_Latn.txt
│ ├── mrw_Latn.txt
│ ├── msb_Latn.txt
│ ├── msc_Latn.txt
│ ├── mse_Latn.txt
│ ├── msk_Latn.txt
│ ├── msm_Latn.txt
│ ├── msy_Latn.txt
│ ├── mta_Latn.txt
│ ├── mtg_Latn.txt
│ ├── mti_Latn.txt
│ ├── mtj_Latn.txt
│ ├── mto_Latn.txt
│ ├── mtp_Latn.txt
│ ├── mua_Latn.txt
│ ├── mug_Latn.txt
│ ├── muh_Latn.txt
│ ├── mui_Latn.txt
│ ├── mup_Deva.txt
│ ├── mur_Latn.txt
│ ├── mus_Latn.txt
│ ├── mux_Latn.txt
│ ├── muy_Latn.txt
│ ├── mva_Latn.txt
│ ├── mvn_Latn.txt
│ ├── mvp_Latn.txt
│ ├── mwc_Latn.txt
│ ├── mwf_Latn.txt
│ ├── mwl_Latn.txt
│ ├── mwm_Latn.txt
│ ├── mwn_Latn.txt
│ ├── mwp_Latn.txt
│ ├── mwq_Latn.txt
│ ├── mwv_Latn.txt
│ ├── mww_Latn.txt
│ ├── mxb_Latn.txt
│ ├── mxp_Latn.txt
│ ├── mxq_Latn.txt
│ ├── mxt_Latn.txt
│ ├── mxv_Latn.txt
│ ├── mya_Mymr.txt
│ ├── myb_Latn.txt
│ ├── myk_Latn.txt
│ ├── myu_Latn.txt
│ ├── myv_Cyrl.txt
│ ├── myw_Latn.txt
│ ├── myx_Latn.txt
│ ├── myy_Latn.txt
│ ├── mza_Latn.txt
│ ├── mzh_Latn.txt
│ ├── mzk_Latn.txt
│ ├── mzl_Latn.txt
│ ├── mzm_Latn.txt
│ ├── mzn_Arab.txt
│ ├── mzw_Latn.txt
│ ├── mzz_Latn.txt
│ ├── nab_Latn.txt
│ ├── naf_Latn.txt
│ ├── nah_Latn.txt
│ ├── nak_Latn.txt
│ ├── nan_Latn.txt
│ ├── nap_Latn.txt
│ ├── naq_Latn.txt
│ ├── nas_Latn.txt
│ ├── nav_Latn.txt
│ ├── naw_Latn.txt
│ ├── nba_Latn.txt
│ ├── nbc_Latn.txt
│ ├── nbe_Latn.txt
│ ├── nbl_Latn.txt
│ ├── nbq_Latn.txt
│ ├── nbu_Latn.txt
│ ├── nca_Latn.txt
│ ├── nch_Latn.txt
│ ├── ncj_Latn.txt
│ ├── ncl_Latn.txt
│ ├── ncq_Laoo.txt
│ ├── nct_Latn.txt
│ ├── ncu_Latn.txt
│ ├── ncx_Latn.txt
│ ├── ndc_Latn.txt
│ ├── nde_Latn.txt
│ ├── ndh_Latn.txt
│ ├── ndi_Latn.txt
│ ├── ndj_Latn.txt
│ ├── ndo_Latn.txt
│ ├── ndp_Latn.txt
│ ├── nds_Latn.txt
│ ├── ndy_Latn.txt
│ ├── ndz_Latn.txt
│ ├── neb_Latn.txt
│ ├── new_Deva.txt
│ ├── nfa_Latn.txt
│ ├── nfr_Latn.txt
│ ├── ngb_Latn.txt
│ ├── ngc_Latn.txt
│ ├── ngl_Latn.txt
│ ├── ngp_Latn.txt
│ ├── ngu_Latn.txt
│ ├── nhd_Latn.txt
│ ├── nhe_Latn.txt
│ ├── nhg_Latn.txt
│ ├── nhi_Latn.txt
│ ├── nhk_Latn.txt
│ ├── nho_Latn.txt
│ ├── nhr_Latn.txt
│ ├── nhu_Latn.txt
│ ├── nhw_Latn.txt
│ ├── nhx_Latn.txt
│ ├── nhy_Latn.txt
│ ├── nia_Latn.txt
│ ├── nif_Latn.txt
│ ├── nii_Latn.txt
│ ├── nij_Latn.txt
│ ├── nim_Latn.txt
│ ├── nin_Latn.txt
│ ├── nio_Cyrl.txt
│ ├── niq_Latn.txt
│ ├── niu_Latn.txt
│ ├── niy_Latn.txt
│ ├── njb_Latn.txt
│ ├── njm_Latn.txt
│ ├── njn_Latn.txt
│ ├── njo_Latn.txt
│ ├── njz_Latn.txt
│ ├── nkf_Latn.txt
│ ├── nki_Latn.txt
│ ├── nko_Latn.txt
│ ├── nla_Latn.txt
│ ├── nlc_Latn.txt
│ ├── nld_Latn.txt
│ ├── nlg_Latn.txt
│ ├── nma_Latn.txt
│ ├── nmf_Latn.txt
│ ├── nmh_Latn.txt
│ ├── nmo_Latn.txt
│ ├── nmw_Latn.txt
│ ├── nmz_Latn.txt
│ ├── nnb_Latn.txt
│ ├── nng_Latn.txt
│ ├── nnh_Latn.txt
│ ├── nnl_Latn.txt
│ ├── nno_Latn.txt
│ ├── nnp_Latn.txt
│ ├── nnq_Latn.txt
│ ├── nnw_Latn.txt
│ ├── noa_Latn.txt
│ ├── nob_Latn.txt
│ ├── nod_Thai.txt
│ ├── nog_Cyrl.txt
│ ├── non_Latn.txt
│ ├── nop_Latn.txt
│ ├── not_Latn.txt
│ ├── nou_Latn.txt
│ ├── nov_Latn.txt
│ ├── nph_Latn.txt
│ ├── npi_Deva.txt
│ ├── npi_Latn.txt
│ ├── npl_Latn.txt
│ ├── npo_Latn.txt
│ ├── npy_Latn.txt
│ ├── nqo_Nkoo.txt
│ ├── nre_Latn.txt
│ ├── nrf_Latn.txt
│ ├── nri_Latn.txt
│ ├── nsa_Latn.txt
│ ├── nse_Latn.txt
│ ├── nsm_Latn.txt
│ ├── nsn_Latn.txt
│ ├── nso_Latn.txt
│ ├── nss_Latn.txt
│ ├── nst_Latn.txt
│ ├── nsu_Latn.txt
│ ├── ntp_Latn.txt
│ ├── ntr_Latn.txt
│ ├── ntu_Latn.txt
│ ├── nuj_Latn.txt
│ ├── nus_Latn.txt
│ ├── nuy_Latn.txt
│ ├── nuz_Latn.txt
│ ├── nvm_Latn.txt
│ ├── nwb_Latn.txt
│ ├── nwi_Latn.txt
│ ├── nwx_Deva.txt
│ ├── nxd_Latn.txt
│ ├── nya_Latn.txt
│ ├── nyf_Latn.txt
│ ├── nyk_Latn.txt
│ ├── nyn_Latn.txt
│ ├── nyo_Latn.txt
│ ├── nyu_Latn.txt
│ ├── nyy_Latn.txt
│ ├── nza_Latn.txt
│ ├── nzi_Latn.txt
│ ├── nzm_Latn.txt
│ ├── obo_Latn.txt
│ ├── oci_Latn.txt
│ ├── ogo_Latn.txt
│ ├── ojb_Cans.txt
│ ├── ojb_Latn.txt
│ ├── oke_Latn.txt
│ ├── oku_Latn.txt
│ ├── okv_Latn.txt
│ ├── old_Latn.txt
│ ├── olo_Latn.txt
│ ├── omb_Latn.txt
│ ├── omw_Latn.txt
│ ├── ong_Latn.txt
│ ├── ons_Latn.txt
│ ├── ood_Latn.txt
│ ├── opm_Latn.txt
│ ├── orv_Cyrl.txt
│ ├── ory_Latn.txt
│ ├── ory_Orya.txt
│ ├── oss_Cyrl.txt
│ ├── ota_Arab.txt
│ ├── otd_Latn.txt
│ ├── ote_Latn.txt
│ ├── otm_Latn.txt
│ ├── otn_Latn.txt
│ ├── oto_Latn.txt
│ ├── otq_Latn.txt
│ ├── ots_Latn.txt
│ ├── otw_Latn.txt
│ ├── oym_Latn.txt
│ ├── ozm_Latn.txt
│ ├── pab_Latn.txt
│ ├── pad_Latn.txt
│ ├── pag_Latn.txt
│ ├── pah_Latn.txt
│ ├── pam_Latn.txt
│ ├── pan_Guru.txt
│ ├── pan_Latn.txt
│ ├── pao_Latn.txt
│ ├── pap_Latn.txt
│ ├── pau_Latn.txt
│ ├── pbb_Latn.txt
│ ├── pbc_Latn.txt
│ ├── pbi_Latn.txt
│ ├── pbt_Arab.txt
│ ├── pcd_Latn.txt
│ ├── pck_Latn.txt
│ ├── pcm_Latn.txt
│ ├── pdc_Latn.txt
│ ├── pdt_Latn.txt
│ ├── pem_Latn.txt
│ ├── pfe_Latn.txt
│ ├── pfl_Latn.txt
│ ├── phm_Latn.txt
│ ├── pib_Latn.txt
│ ├── pio_Latn.txt
│ ├── pir_Latn.txt
│ ├── pis_Latn.txt
│ ├── pjt_Latn.txt
│ ├── pkb_Latn.txt
│ ├── plg_Latn.txt
│ ├── pls_Latn.txt
│ ├── plt_Latn.txt
│ ├── plu_Latn.txt
│ ├── plw_Latn.txt
│ ├── pma_Latn.txt
│ ├── pmf_Latn.txt
│ ├── pmq_Latn.txt
│ ├── pms_Latn.txt
│ ├── pmx_Latn.txt
│ ├── pnb_Arab.txt
│ ├── pne_Latn.txt
│ ├── pnt_Grek.txt
│ ├── pny_Latn.txt
│ ├── poe_Latn.txt
│ ├── poh_Latn.txt
│ ├── poi_Latn.txt
│ ├── pol_Latn.txt
│ ├── pon_Latn.txt
│ ├── por_Latn.txt
│ ├── pos_Latn.txt
│ ├── pot_Latn.txt
│ ├── pov_Latn.txt
│ ├── poy_Latn.txt
│ ├── ppk_Latn.txt
│ ├── ppo_Latn.txt
│ ├── pps_Latn.txt
│ ├── prf_Latn.txt
│ ├── prg_Latn.txt
│ ├── pri_Latn.txt
│ ├── prq_Latn.txt
│ ├── pse_Latn.txt
│ ├── pss_Latn.txt
│ ├── ptp_Latn.txt
│ ├── ptu_Latn.txt
│ ├── pua_Latn.txt
│ ├── pui_Latn.txt
│ ├── pwg_Latn.txt
│ ├── pwn_Latn.txt
│ ├── pww_Thai.txt
│ ├── pxm_Latn.txt
│ ├── qub_Latn.txt
│ ├── quc_Latn.txt
│ ├── quf_Latn.txt
│ ├── qug_Latn.txt
│ ├── quh_Latn.txt
│ ├── qul_Latn.txt
│ ├── qup_Latn.txt
│ ├── qus_Latn.txt
│ ├── quw_Latn.txt
│ ├── quy_Latn.txt
│ ├── quz_Latn.txt
│ ├── qva_Latn.txt
│ ├── qvc_Latn.txt
│ ├── qve_Latn.txt
│ ├── qvh_Latn.txt
│ ├── qvi_Latn.txt
│ ├── qvm_Latn.txt
│ ├── qvn_Latn.txt
│ ├── qvo_Latn.txt
│ ├── qvs_Latn.txt
│ ├── qvw_Latn.txt
│ ├── qvz_Latn.txt
│ ├── qwh_Latn.txt
│ ├── qxh_Latn.txt
│ ├── qxl_Latn.txt
│ ├── qxn_Latn.txt
│ ├── qxo_Latn.txt
│ ├── qxr_Latn.txt
│ ├── rad_Latn.txt
│ ├── rai_Latn.txt
│ ├── rap_Latn.txt
│ ├── rar_Latn.txt
│ ├── rav_Deva.txt
│ ├── raw_Latn.txt
│ ├── rcf_Latn.txt
│ ├── rej_Latn.txt
│ ├── rel_Latn.txt
│ ├── rgu_Latn.txt
│ ├── rhg_Latn.txt
│ ├── ria_Latn.txt
│ ├── rim_Latn.txt
│ ├── rjs_Deva.txt
│ ├── rkb_Latn.txt
│ ├── rmc_Latn.txt
│ ├── rme_Latn.txt
│ ├── rml_Latn.txt
│ ├── rmn_Cyrl.txt
│ ├── rmn_Grek.txt
│ ├── rmn_Latn.txt
│ ├── rmo_Latn.txt
│ ├── rmq_Latn.txt
│ ├── rmy_Cyrl.txt
│ ├── rmy_Latn.txt
│ ├── rnd_Latn.txt
│ ├── rng_Latn.txt
│ ├── rnl_Latn.txt
│ ├── roh_Latn.txt
│ ├── ron_Cyrl.txt
│ ├── ron_Latn.txt
│ ├── roo_Latn.txt
│ ├── rop_Latn.txt
│ ├── row_Latn.txt
│ ├── rro_Latn.txt
│ ├── rtm_Latn.txt
│ ├── rub_Latn.txt
│ ├── rue_Cyrl.txt
│ ├── ruf_Latn.txt
│ ├── rug_Latn.txt
│ ├── run_Latn.txt
│ ├── rup_Latn.txt
│ ├── rus_Cyrl.txt
│ ├── rwo_Latn.txt
│ ├── sab_Latn.txt
│ ├── sag_Latn.txt
│ ├── sah_Cyrl.txt
│ ├── saj_Latn.txt
│ ├── san_Deva.txt
│ ├── san_Latn.txt
│ ├── sas_Latn.txt
│ ├── sat_Latn.txt
│ ├── sat_Olck.txt
│ ├── say_Latn.txt
│ ├── sba_Latn.txt
│ ├── sbd_Latn.txt
│ ├── sbe_Latn.txt
│ ├── sbl_Latn.txt
│ ├── sbs_Latn.txt
│ ├── sby_Latn.txt
│ ├── sck_Deva.txt
│ ├── scn_Latn.txt
│ ├── sco_Latn.txt
│ ├── sda_Latn.txt
│ ├── sdc_Latn.txt
│ ├── sdh_Arab.txt
│ ├── sdo_Latn.txt
│ ├── sdq_Latn.txt
│ ├── seh_Latn.txt
│ ├── sel_Cyrl.txt
│ ├── ses_Latn.txt
│ ├── sey_Latn.txt
│ ├── sfw_Latn.txt
│ ├── sgb_Latn.txt
│ ├── sgc_Latn.txt
│ ├── sgh_Cyrl.txt
│ ├── sgs_Latn.txt
│ ├── sgw_Ethi.txt
│ ├── sgz_Latn.txt
│ ├── shi_Latn.txt
│ ├── shk_Latn.txt
│ ├── shn_Mymr.txt
│ ├── shp_Latn.txt
│ ├── shr_Latn.txt
│ ├── shu_Arab.txt
│ ├── sid_Latn.txt
│ ├── sig_Latn.txt
│ ├── sil_Latn.txt
│ ├── sim_Latn.txt
│ ├── sin_Sinh.txt
│ ├── sja_Latn.txt
│ ├── sjo_Mong.txt
│ ├── sju_Latn.txt
│ ├── skg_Latn.txt
│ ├── skr_Arab.txt
│ ├── sld_Latn.txt
│ ├── slk_Latn.txt
│ ├── sll_Latn.txt
│ ├── slv_Latn.txt
│ ├── sma_Latn.txt
│ ├── sme_Latn.txt
│ ├── smj_Latn.txt
│ ├── smk_Latn.txt
│ ├── sml_Latn.txt
│ ├── smn_Latn.txt
│ ├── smo_Latn.txt
│ ├── sms_Latn.txt
│ ├── smt_Latn.txt
│ ├── sna_Latn.txt
│ ├── snc_Latn.txt
│ ├── snd_Arab.txt
│ ├── snd_Deva.txt
│ ├── snd_Latn.txt
│ ├── snf_Latn.txt
│ ├── snn_Latn.txt
│ ├── snp_Latn.txt
│ ├── snw_Latn.txt
│ ├── sny_Latn.txt
│ ├── soe_Latn.txt
│ ├── som_Latn.txt
│ ├── sop_Latn.txt
│ ├── soq_Latn.txt
│ ├── sot_Latn.txt
│ ├── soy_Latn.txt
│ ├── spa_Latn.txt
│ ├── spl_Latn.txt
│ ├── spm_Latn.txt
│ ├── spp_Latn.txt
│ ├── sps_Latn.txt
│ ├── spy_Latn.txt
│ ├── srd_Latn.txt
│ ├── sri_Latn.txt
│ ├── srm_Latn.txt
│ ├── srn_Latn.txt
│ ├── srp_Cyrl.txt
│ ├── srp_Latn.txt
│ ├── srq_Latn.txt
│ ├── srr_Latn.txt
│ ├── ssd_Latn.txt
│ ├── ssg_Latn.txt
│ ├── ssw_Latn.txt
│ ├── ssx_Latn.txt
│ ├── stn_Latn.txt
│ ├── stp_Latn.txt
│ ├── stq_Latn.txt
│ ├── sua_Latn.txt
│ ├── suc_Latn.txt
│ ├── sue_Latn.txt
│ ├── suk_Latn.txt
│ ├── sun_Latn.txt
│ ├── sur_Latn.txt
│ ├── sus_Arab.txt
│ ├── sus_Latn.txt
│ ├── suz_Deva.txt
│ ├── swb_Latn.txt
│ ├── swc_Latn.txt
│ ├── swe_Latn.txt
│ ├── swg_Latn.txt
│ ├── swh_Latn.txt
│ ├── swk_Latn.txt
│ ├── swp_Latn.txt
│ ├── sxb_Latn.txt
│ ├── sxn_Latn.txt
│ ├── syb_Latn.txt
│ ├── syc_Syrc.txt
│ ├── syl_Beng.txt
│ ├── syl_Latn.txt
│ ├── szb_Latn.txt
│ ├── szl_Latn.txt
│ ├── szy_Latn.txt
│ ├── tab_Cyrl.txt
│ ├── tac_Latn.txt
│ ├── tah_Latn.txt
│ ├── taj_Deva.txt
│ ├── tam_Latn.txt
│ ├── tam_Taml.txt
│ ├── tap_Latn.txt
│ ├── taq_Latn.txt
│ ├── taq_Tfng.txt
│ ├── tar_Latn.txt
│ ├── tat_Cyrl.txt
│ ├── tat_Latn.txt
│ ├── tav_Latn.txt
│ ├── taw_Latn.txt
│ ├── tay_Latn.txt
│ ├── tbc_Latn.txt
│ ├── tbg_Latn.txt
│ ├── tbk_Latn.txt
│ ├── tbl_Latn.txt
│ ├── tbo_Latn.txt
│ ├── tbw_Latn.txt
│ ├── tby_Latn.txt
│ ├── tbz_Latn.txt
│ ├── tca_Latn.txt
│ ├── tcc_Latn.txt
│ ├── tcf_Latn.txt
│ ├── tcs_Latn.txt
│ ├── tcy_Knda.txt
│ ├── tcz_Latn.txt
│ ├── tdx_Latn.txt
│ ├── ted_Latn.txt
│ ├── tee_Latn.txt
│ ├── tel_Latn.txt
│ ├── tel_Telu.txt
│ ├── tem_Latn.txt
│ ├── teo_Latn.txt
│ ├── ter_Latn.txt
│ ├── tet_Latn.txt
│ ├── tew_Latn.txt
│ ├── tfr_Latn.txt
│ ├── tgk_Cyrl.txt
│ ├── tgo_Latn.txt
│ ├── tgp_Latn.txt
│ ├── tha_Thai.txt
│ ├── thk_Latn.txt
│ ├── thl_Deva.txt
│ ├── thv_Latn.txt
│ ├── tif_Latn.txt
│ ├── tig_Ethi.txt
│ ├── tih_Latn.txt
│ ├── tik_Latn.txt
│ ├── tim_Latn.txt
│ ├── tir_Ethi.txt
│ ├── tiv_Latn.txt
│ ├── tiy_Latn.txt
│ ├── tke_Latn.txt
│ ├── tkl_Latn.txt
│ ├── tkr_Cyrl.txt
│ ├── tku_Latn.txt
│ ├── tlb_Latn.txt
│ ├── tlf_Latn.txt
│ ├── tlh_Latn.txt
│ ├── tlj_Latn.txt
│ ├── tll_Latn.txt
│ ├── tly_Latn.txt
│ ├── tmc_Latn.txt
│ ├── tmd_Latn.txt
│ ├── tna_Latn.txt
│ ├── tnc_Latn.txt
│ ├── tnk_Latn.txt
│ ├── tnn_Latn.txt
│ ├── tnp_Latn.txt
│ ├── tnr_Latn.txt
│ ├── tob_Latn.txt
│ ├── toc_Latn.txt
│ ├── tod_Latn.txt
│ ├── tog_Latn.txt
│ ├── toh_Latn.txt
│ ├── toi_Latn.txt
│ ├── toj_Latn.txt
│ ├── tok_Latn.txt
│ ├── ton_Latn.txt
│ ├── too_Latn.txt
│ ├── top_Latn.txt
│ ├── tos_Latn.txt
│ ├── tpa_Latn.txt
│ ├── tpi_Latn.txt
│ ├── tpm_Latn.txt
│ ├── tpn_Latn.txt
│ ├── tpp_Latn.txt
│ ├── tpt_Latn.txt
│ ├── tpw_Latn.txt
│ ├── tpz_Latn.txt
│ ├── tqo_Latn.txt
│ ├── trc_Latn.txt
│ ├── trn_Latn.txt
│ ├── tro_Latn.txt
│ ├── trp_Latn.txt
│ ├── trq_Latn.txt
│ ├── trs_Latn.txt
│ ├── trv_Latn.txt
│ ├── tsc_Latn.txt
│ ├── tsg_Latn.txt
│ ├── tsn_Latn.txt
│ ├── tso_Latn.txt
│ ├── tsw_Latn.txt
│ ├── tsz_Latn.txt
│ ├── ttc_Latn.txt
│ ├── tte_Latn.txt
│ ├── ttj_Latn.txt
│ ├── ttq_Latn.txt
│ ├── ttq_Tfng.txt
│ ├── tuc_Latn.txt
│ ├── tue_Latn.txt
│ ├── tuf_Latn.txt
│ ├── tui_Latn.txt
│ ├── tuk_Arab.txt
│ ├── tuk_Cyrl.txt
│ ├── tuk_Latn.txt
│ ├── tul_Latn.txt
│ ├── tum_Latn.txt
│ ├── tuo_Latn.txt
│ ├── tur_Latn.txt
│ ├── tuv_Latn.txt
│ ├── tvk_Latn.txt
│ ├── tvl_Latn.txt
│ ├── twb_Latn.txt
│ ├── twi_Latn.txt
│ ├── twu_Latn.txt
│ ├── twx_Latn.txt
│ ├── txq_Latn.txt
│ ├── txu_Latn.txt
│ ├── tyv_Cyrl.txt
│ ├── tzh_Latn.txt
│ ├── tzj_Latn.txt
│ ├── tzl_Latn.txt
│ ├── tzm_Tfng.txt
│ ├── tzo_Latn.txt
│ ├── ubr_Latn.txt
│ ├── ubu_Latn.txt
│ ├── udm_Cyrl.txt
│ ├── udu_Latn.txt
│ ├── uig_Arab.txt
│ ├── uig_Cyrl.txt
│ ├── uig_Latn.txt
│ ├── ukr_Cyrl.txt
│ ├── umb_Latn.txt
│ ├── upv_Latn.txt
│ ├── ura_Latn.txt
│ ├── urb_Latn.txt
│ ├── urd_Arab.txt
│ ├── urd_Latn.txt
│ ├── urh_Latn.txt
│ ├── uri_Latn.txt
│ ├── urk_Thai.txt
│ ├── urt_Latn.txt
│ ├── urw_Latn.txt
│ ├── ury_Latn.txt
│ ├── usa_Latn.txt
│ ├── usp_Latn.txt
│ ├── uth_Latn.txt
│ ├── uvh_Latn.txt
│ ├── uvl_Latn.txt
│ ├── uzn_Cyrl.txt
│ ├── uzn_Latn.txt
│ ├── uzs_Arab.txt
│ ├── vag_Latn.txt
│ ├── vap_Latn.txt
│ ├── var_Latn.txt
│ ├── vec_Latn.txt
│ ├── ven_Latn.txt
│ ├── vep_Latn.txt
│ ├── vid_Latn.txt
│ ├── vie_Latn.txt
│ ├── viv_Latn.txt
│ ├── vls_Latn.txt
│ ├── vmk_Latn.txt
│ ├── vmw_Latn.txt
│ ├── vmy_Latn.txt
│ ├── vol_Latn.txt
│ ├── vot_Latn.txt
│ ├── vro_Latn.txt
│ ├── vun_Latn.txt
│ ├── vut_Latn.txt
│ ├── waj_Latn.txt
│ ├── wal_Ethi.txt
│ ├── wal_Latn.txt
│ ├── wap_Latn.txt
│ ├── war_Latn.txt
│ ├── wat_Latn.txt
│ ├── way_Latn.txt
│ ├── wba_Latn.txt
│ ├── wbm_Latn.txt
│ ├── wbp_Latn.txt
│ ├── wed_Latn.txt
│ ├── wer_Latn.txt
│ ├── wes_Latn.txt
│ ├── wew_Latn.txt
│ ├── whg_Latn.txt
│ ├── whk_Latn.txt
│ ├── wib_Latn.txt
│ ├── wim_Latn.txt
│ ├── wiu_Latn.txt
│ ├── wln_Latn.txt
│ ├── wls_Latn.txt
│ ├── wlv_Latn.txt
│ ├── wlx_Latn.txt
│ ├── wmt_Latn.txt
│ ├── wmw_Latn.txt
│ ├── wnc_Latn.txt
│ ├── wnu_Latn.txt
│ ├── wob_Latn.txt
│ ├── wol_Latn.txt
│ ├── wos_Latn.txt
│ ├── wrk_Latn.txt
│ ├── wrs_Latn.txt
│ ├── wsg_Telu.txt
│ ├── wsk_Latn.txt
│ ├── wuu_Hani.txt
│ ├── wuv_Latn.txt
│ ├── wwa_Latn.txt
│ ├── xal_Cyrl.txt
│ ├── xav_Latn.txt
│ ├── xbi_Latn.txt
│ ├── xbr_Latn.txt
│ ├── xed_Latn.txt
│ ├── xho_Latn.txt
│ ├── xla_Latn.txt
│ ├── xmf_Geor.txt
│ ├── xmm_Latn.txt
│ ├── xmv_Latn.txt
│ ├── xnn_Latn.txt
│ ├── xog_Latn.txt
│ ├── xon_Latn.txt
│ ├── xrb_Latn.txt
│ ├── xsb_Latn.txt
│ ├── xsi_Latn.txt
│ ├── xsm_Latn.txt
│ ├── xsr_Deva.txt
│ ├── xsu_Latn.txt
│ ├── xtd_Latn.txt
│ ├── xtm_Latn.txt
│ ├── xtn_Latn.txt
│ ├── xum_Latn.txt
│ ├── xuo_Latn.txt
│ ├── yaa_Latn.txt
│ ├── yad_Latn.txt
│ ├── yal_Latn.txt
│ ├── yam_Latn.txt
│ ├── yan_Latn.txt
│ ├── yao_Latn.txt
│ ├── yap_Latn.txt
│ ├── yaq_Latn.txt
│ ├── yas_Latn.txt
│ ├── yat_Latn.txt
│ ├── yaz_Latn.txt
│ ├── ybb_Latn.txt
│ ├── yby_Latn.txt
│ ├── ycn_Latn.txt
│ ├── ydd_Hebr.txt
│ ├── yim_Latn.txt
│ ├── yka_Latn.txt
│ ├── yle_Latn.txt
│ ├── yli_Latn.txt
│ ├── yml_Latn.txt
│ ├── yom_Latn.txt
│ ├── yon_Latn.txt
│ ├── yor_Latn.txt
│ ├── yrb_Latn.txt
│ ├── yre_Latn.txt
│ ├── yrk_Cyrl.txt
│ ├── yrl_Latn.txt
│ ├── yss_Latn.txt
│ ├── yua_Latn.txt
│ ├── yue_Hani.txt
│ ├── yuj_Latn.txt
│ ├── yup_Latn.txt
│ ├── yut_Latn.txt
│ ├── yuw_Latn.txt
│ ├── yuz_Latn.txt
│ ├── yva_Latn.txt
│ ├── zaa_Latn.txt
│ ├── zab_Latn.txt
│ ├── zac_Latn.txt
│ ├── zad_Latn.txt
│ ├── zae_Latn.txt
│ ├── zai_Latn.txt
│ ├── zam_Latn.txt
│ ├── zao_Latn.txt
│ ├── zar_Latn.txt
│ ├── zas_Latn.txt
│ ├── zat_Latn.txt
│ ├── zav_Latn.txt
│ ├── zaw_Latn.txt
│ ├── zca_Latn.txt
│ ├── zdj_Latn.txt
│ ├── zea_Latn.txt
│ ├── zgh_Tfng.txt
│ ├── zho_Hani.txt
│ ├── zia_Latn.txt
│ ├── ziw_Latn.txt
│ ├── zne_Latn.txt
│ ├── zoc_Latn.txt
│ ├── zom_Latn.txt
│ ├── zos_Latn.txt
│ ├── zpa_Latn.txt
│ ├── zpc_Latn.txt
│ ├── zpg_Latn.txt
│ ├── zpi_Latn.txt
│ ├── zpj_Latn.txt
│ ├── zpl_Latn.txt
│ ├── zpm_Latn.txt
│ ├── zpo_Latn.txt
│ ├── zpq_Latn.txt
│ ├── zpt_Latn.txt
│ ├── zpu_Latn.txt
│ ├── zpv_Latn.txt
│ ├── zpz_Latn.txt
│ ├── zsm_Arab.txt
│ ├── zsm_Latn.txt
│ ├── zsr_Latn.txt
│ ├── ztq_Latn.txt
│ ├── zty_Latn.txt
│ ├── zul_Latn.txt
│ ├── zyb_Latn.txt
│ └── zyp_Latn.txt
├── reference_datasets/
│ ├── monolingual/
│ │ ├── ar/
│ │ │ ├── download_101b_arabicwords.py
│ │ │ └── download_arabicweb24.py
│ │ ├── fr/
│ │ │ └── download_croissant.py
│ │ ├── hi/
│ │ │ ├── download_odaigen.py
│ │ │ └── download_sangraha.py
│ │ ├── te/
│ │ │ └── download_sangraha.py
│ │ ├── th/
│ │ │ └── download_sea_commoncrawl.py
│ │ ├── tr/
│ │ │ └── download_vngrs.py
│ │ └── zh/
│ │ ├── download_mapcc.py
│ │ ├── download_mnbvc.py
│ │ └── download_tigerbot.py
│ └── multilingual/
│ ├── copy_raw_data.py
│ ├── download_cc-100.py
│ ├── download_culturax.py
│ ├── download_hplt.py
│ ├── download_hplt_split.py
│ ├── download_mc4.py
│ └── part jsons.py
└── rehydration/
├── README.md
├── distributions/
│ ├── aai_Latn.json
│ ├── aak_Latn.json
│ ├── aau_Latn.json
│ ├── aaz_Latn.json
│ ├── aba_Latn.json
│ ├── abi_Latn.json
│ ├── abk_Cyrl.json
│ ├── abn_Latn.json
│ ├── abq_Cyrl.json
│ ├── abs_Latn.json
│ ├── abt_Latn.json
│ ├── abx_Latn.json
│ ├── aby_Latn.json
│ ├── abz_Latn.json
│ ├── aca_Latn.json
│ ├── acd_Latn.json
│ ├── ace_Latn.json
│ ├── acf_Latn.json
│ ├── ach_Latn.json
│ ├── acm_Arab.json
│ ├── acn_Latn.json
│ ├── acr_Latn.json
│ ├── acu_Latn.json
│ ├── ada_Latn.json
│ ├── ade_Latn.json
│ ├── adh_Latn.json
│ ├── adi_Latn.json
│ ├── adj_Latn.json
│ ├── adl_Latn.json
│ ├── ady_Cyrl.json
│ ├── adz_Latn.json
│ ├── aeb_Arab.json
│ ├── aer_Latn.json
│ ├── aeu_Latn.json
│ ├── aey_Latn.json
│ ├── afr_Latn.json
│ ├── agd_Latn.json
│ ├── agg_Latn.json
│ ├── agm_Latn.json
│ ├── agn_Latn.json
│ ├── agr_Latn.json
│ ├── agt_Latn.json
│ ├── agu_Latn.json
│ ├── agw_Latn.json
│ ├── agx_Cyrl.json
│ ├── aha_Latn.json
│ ├── ahk_Latn.json
│ ├── aia_Latn.json
│ ├── aii_Syrc.json
│ ├── aim_Latn.json
│ ├── ain_Latn.json
│ ├── ajg_Latn.json
│ ├── aji_Latn.json
│ ├── ajz_Latn.json
│ ├── akb_Latn.json
│ ├── ake_Latn.json
│ ├── akh_Latn.json
│ ├── akp_Latn.json
│ ├── alj_Latn.json
│ ├── aln_Latn.json
│ ├── alp_Latn.json
│ ├── alq_Latn.json
│ ├── als_Latn.json
│ ├── alt_Cyrl.json
│ ├── aly_Latn.json
│ ├── alz_Latn.json
│ ├── ame_Latn.json
│ ├── amf_Latn.json
│ ├── amh_Ethi.json
│ ├── ami_Latn.json
│ ├── amk_Latn.json
│ ├── amm_Latn.json
│ ├── amn_Latn.json
│ ├── amp_Latn.json
│ ├── amr_Latn.json
│ ├── amu_Latn.json
│ ├── amx_Latn.json
│ ├── ang_Latn.json
│ ├── anm_Latn.json
│ ├── ann_Latn.json
│ ├── anp_Deva.json
│ ├── anv_Latn.json
│ ├── any_Latn.json
│ ├── aoi_Latn.json
│ ├── aoj_Latn.json
│ ├── aom_Latn.json
│ ├── aoz_Latn.json
│ ├── apb_Latn.json
│ ├── apc_Arab.json
│ ├── ape_Latn.json
│ ├── apn_Latn.json
│ ├── apr_Latn.json
│ ├── apt_Latn.json
│ ├── apu_Latn.json
│ ├── apw_Latn.json
│ ├── apy_Latn.json
│ ├── apz_Latn.json
│ ├── arb_Arab.json
│ ├── arb_Latn.json
│ ├── are_Latn.json
│ ├── arg_Latn.json
│ ├── arl_Latn.json
│ ├── arn_Latn.json
│ ├── arp_Latn.json
│ ├── arq_Arab.json
│ ├── ars_Arab.json
│ ├── ary_Arab.json
│ ├── arz_Arab.json
│ ├── asg_Latn.json
│ ├── asm_Beng.json
│ ├── asm_Latn.json
│ ├── aso_Latn.json
│ ├── ast_Latn.json
│ ├── ata_Latn.json
│ ├── atb_Latn.json
│ ├── atd_Latn.json
│ ├── atg_Latn.json
│ ├── ati_Latn.json
│ ├── atj_Latn.json
│ ├── atq_Latn.json
│ ├── att_Latn.json
│ ├── auc_Latn.json
│ ├── aui_Latn.json
│ ├── auy_Latn.json
│ ├── ava_Cyrl.json
│ ├── avk_Latn.json
│ ├── avn_Latn.json
│ ├── avt_Latn.json
│ ├── avu_Latn.json
│ ├── awa_Deva.json
│ ├── awb_Latn.json
│ ├── awx_Latn.json
│ ├── ayo_Latn.json
│ ├── ayp_Arab.json
│ ├── ayr_Latn.json
│ ├── azb_Arab.json
│ ├── azg_Latn.json
│ ├── azj_Cyrl.json
│ ├── azj_Latn.json
│ ├── azz_Latn.json
│ ├── bak_Cyrl.json
│ ├── bam_Latn.json
│ ├── ban_Latn.json
│ ├── bao_Latn.json
│ ├── bar_Latn.json
│ ├── bas_Latn.json
│ ├── bav_Latn.json
│ ├── bba_Latn.json
│ ├── bbb_Latn.json
│ ├── bbc_Latn.json
│ ├── bbj_Latn.json
│ ├── bbk_Latn.json
│ ├── bbr_Latn.json
│ ├── bch_Latn.json
│ ├── bci_Latn.json
│ ├── bcl_Latn.json
│ ├── bco_Latn.json
│ ├── bcw_Latn.json
│ ├── bdd_Latn.json
│ ├── bdh_Latn.json
│ ├── bdq_Latn.json
│ ├── bea_Latn.json
│ ├── bef_Latn.json
│ ├── bel_Cyrl.json
│ ├── bem_Latn.json
│ ├── ben_Beng.json
│ ├── ben_Latn.json
│ ├── beq_Latn.json
│ ├── bew_Latn.json
│ ├── bex_Latn.json
│ ├── bfd_Latn.json
│ ├── bfo_Latn.json
│ ├── bgr_Latn.json
│ ├── bgs_Latn.json
│ ├── bgt_Latn.json
│ ├── bgz_Latn.json
│ ├── bhg_Latn.json
│ ├── bhl_Latn.json
│ ├── bho_Deva.json
│ ├── bhp_Latn.json
│ ├── bhw_Latn.json
│ ├── bhz_Latn.json
│ ├── bib_Latn.json
│ ├── big_Latn.json
│ ├── bim_Latn.json
│ ├── bin_Latn.json
│ ├── bis_Latn.json
│ ├── biu_Latn.json
│ ├── biv_Latn.json
│ ├── bjn_Arab.json
│ ├── bjn_Latn.json
│ ├── bjp_Latn.json
│ ├── bjr_Latn.json
│ ├── bjv_Latn.json
│ ├── bkd_Latn.json
│ ├── bkl_Latn.json
│ ├── bkq_Latn.json
│ ├── bku_Latn.json
│ ├── bkv_Latn.json
│ ├── bla_Latn.json
│ ├── blh_Latn.json
│ ├── blk_Mymr.json
│ ├── blw_Latn.json
│ ├── blz_Latn.json
│ ├── bmh_Latn.json
│ ├── bmk_Latn.json
│ ├── bmq_Latn.json
│ ├── bmr_Latn.json
│ ├── bmu_Latn.json
│ ├── bmv_Latn.json
│ ├── bno_Latn.json
│ ├── bnp_Latn.json
│ ├── boa_Latn.json
│ ├── bod_Tibt.json
│ ├── boj_Latn.json
│ ├── bom_Latn.json
│ ├── bon_Latn.json
│ ├── bos_Latn.json
│ ├── bov_Latn.json
│ ├── box_Latn.json
│ ├── bpr_Latn.json
│ ├── bps_Latn.json
│ ├── bpy_Beng.json
│ ├── bqc_Latn.json
│ ├── bqj_Latn.json
│ ├── bqp_Latn.json
│ ├── bre_Latn.json
│ ├── brh_Arab.json
│ ├── bru_Latn.json
│ ├── brx_Deva.json
│ ├── bsc_Latn.json
│ ├── bsn_Latn.json
│ ├── bsp_Latn.json
│ ├── bsq_Latn.json
│ ├── bss_Latn.json
│ ├── btd_Latn.json
│ ├── bth_Latn.json
│ ├── bts_Latn.json
│ ├── btt_Latn.json
│ ├── btx_Latn.json
│ ├── bud_Latn.json
│ ├── bug_Latn.json
│ ├── buk_Latn.json
│ ├── bul_Cyrl.json
│ ├── bum_Latn.json
│ ├── bus_Latn.json
│ ├── bvc_Latn.json
│ ├── bvd_Latn.json
│ ├── bvr_Latn.json
│ ├── bvz_Latn.json
│ ├── bwd_Latn.json
│ ├── bwi_Latn.json
│ ├── bwq_Latn.json
│ ├── bwu_Latn.json
│ ├── bxh_Latn.json
│ ├── bxr_Cyrl.json
│ ├── byr_Latn.json
│ ├── byv_Latn.json
│ ├── byx_Latn.json
│ ├── bzd_Latn.json
│ ├── bzh_Latn.json
│ ├── bzi_Thai.json
│ ├── bzj_Latn.json
│ ├── caa_Latn.json
│ ├── cab_Latn.json
│ ├── cac_Latn.json
│ ├── caf_Latn.json
│ ├── cag_Latn.json
│ ├── cak_Latn.json
│ ├── cao_Latn.json
│ ├── cap_Latn.json
│ ├── caq_Latn.json
│ ├── car_Latn.json
│ ├── cas_Latn.json
│ ├── cat_Latn.json
│ ├── cav_Latn.json
│ ├── cax_Latn.json
│ ├── cbc_Latn.json
│ ├── cbi_Latn.json
│ ├── cbk_Latn.json
│ ├── cbr_Latn.json
│ ├── cbs_Latn.json
│ ├── cbt_Latn.json
│ ├── cbu_Latn.json
│ ├── cbv_Latn.json
│ ├── cce_Latn.json
│ ├── cco_Latn.json
│ ├── ccp_Latn.json
│ ├── ceb_Latn.json
│ ├── ceg_Latn.json
│ ├── cek_Latn.json
│ ├── ces_Latn.json
│ ├── cfm_Latn.json
│ ├── cgc_Latn.json
│ ├── cgg_Latn.json
│ ├── cha_Latn.json
│ ├── chd_Latn.json
│ ├── che_Cyrl.json
│ ├── chf_Latn.json
│ ├── chj_Latn.json
│ ├── chk_Latn.json
│ ├── cho_Latn.json
│ ├── chq_Latn.json
│ ├── chr_Cher.json
│ ├── chr_Latn.json
│ ├── chu_Cyrl.json
│ ├── chv_Cyrl.json
│ ├── chw_Latn.json
│ ├── chz_Latn.json
│ ├── cjk_Latn.json
│ ├── cjo_Latn.json
│ ├── cjp_Latn.json
│ ├── cjs_Cyrl.json
│ ├── cjv_Latn.json
│ ├── ckb_Arab.json
│ ├── cko_Latn.json
│ ├── ckt_Cyrl.json
│ ├── cle_Latn.json
│ ├── clu_Latn.json
│ ├── cly_Latn.json
│ ├── cme_Latn.json
│ ├── cmn_Hani.json
│ ├── cmo_Latn.json
│ ├── cmr_Latn.json
│ ├── cnh_Latn.json
│ ├── cni_Latn.json
│ ├── cnk_Latn.json
│ ├── cnl_Latn.json
│ ├── cnt_Latn.json
│ ├── cnw_Latn.json
│ ├── coe_Latn.json
│ ├── cof_Latn.json
│ ├── cok_Latn.json
│ ├── con_Latn.json
│ ├── cop_Copt.json
│ ├── cor_Latn.json
│ ├── cos_Latn.json
│ ├── cot_Latn.json
│ ├── cou_Latn.json
│ ├── cpa_Latn.json
│ ├── cpb_Latn.json
│ ├── cpc_Latn.json
│ ├── cpu_Latn.json
│ ├── cpy_Latn.json
│ ├── crh_Cyrl.json
│ ├── crh_Latn.json
│ ├── crj_Cans.json
│ ├── crk_Cans.json
│ ├── crk_Latn.json
│ ├── crl_Cans.json
│ ├── crm_Cans.json
│ ├── crn_Latn.json
│ ├── crs_Latn.json
│ ├── crt_Latn.json
│ ├── crx_Latn.json
│ ├── csb_Latn.json
│ ├── csk_Latn.json
│ ├── cso_Latn.json
│ ├── csw_Latn.json
│ ├── csy_Latn.json
│ ├── cta_Latn.json
│ ├── ctd_Latn.json
│ ├── cto_Latn.json
│ ├── ctp_Latn.json
│ ├── ctu_Latn.json
│ ├── cub_Latn.json
│ ├── cuc_Latn.json
│ ├── cui_Latn.json
│ ├── cuk_Latn.json
│ ├── cul_Latn.json
│ ├── cut_Latn.json
│ ├── cux_Latn.json
│ ├── cwe_Latn.json
│ ├── cwt_Latn.json
│ ├── cya_Latn.json
│ ├── cym_Latn.json
│ ├── czt_Latn.json
│ ├── daa_Latn.json
│ ├── dad_Latn.json
│ ├── daf_Latn.json
│ ├── dag_Latn.json
│ ├── dah_Latn.json
│ ├── dak_Latn.json
│ ├── dan_Latn.json
│ ├── dar_Cyrl.json
│ ├── ddg_Latn.json
│ ├── ddn_Latn.json
│ ├── ded_Latn.json
│ ├── des_Latn.json
│ ├── deu_Latn.json
│ ├── dga_Latn.json
│ ├── dgc_Latn.json
│ ├── dgi_Latn.json
│ ├── dgr_Latn.json
│ ├── dgz_Latn.json
│ ├── dhg_Latn.json
│ ├── dhm_Latn.json
│ ├── dhv_Latn.json
│ ├── did_Latn.json
│ ├── dig_Latn.json
│ ├── dik_Latn.json
│ ├── diq_Latn.json
│ ├── dis_Latn.json
│ ├── diu_Latn.json
│ ├── div_Thaa.json
│ ├── dje_Latn.json
│ ├── djk_Latn.json
│ ├── djr_Latn.json
│ ├── dks_Latn.json
│ ├── dln_Latn.json
│ ├── dng_Cyrl.json
│ ├── dnj_Latn.json
│ ├── dnw_Latn.json
│ ├── dob_Latn.json
│ ├── doi_Deva.json
│ ├── dop_Latn.json
│ ├── dos_Latn.json
│ ├── dow_Latn.json
│ ├── drg_Latn.json
│ ├── dru_Latn.json
│ ├── dsb_Latn.json
│ ├── dtb_Latn.json
│ ├── dtp_Latn.json
│ ├── dts_Latn.json
│ ├── dty_Deva.json
│ ├── dua_Latn.json
│ ├── due_Latn.json
│ ├── dug_Latn.json
│ ├── duo_Latn.json
│ ├── dur_Latn.json
│ ├── dwr_Latn.json
│ ├── dww_Latn.json
│ ├── dyi_Latn.json
│ ├── dyo_Latn.json
│ ├── dyu_Latn.json
│ ├── dzo_Tibt.json
│ ├── ebk_Latn.json
│ ├── efi_Latn.json
│ ├── eka_Latn.json
│ ├── ekk_Latn.json
│ ├── eko_Latn.json
│ ├── ell_Grek.json
│ ├── emi_Latn.json
│ ├── eml_Latn.json
│ ├── emp_Latn.json
│ ├── enb_Latn.json
│ ├── enl_Latn.json
│ ├── enm_Latn.json
│ ├── enq_Latn.json
│ ├── enx_Latn.json
│ ├── epo_Latn.json
│ ├── eri_Latn.json
│ ├── ese_Latn.json
│ ├── esi_Latn.json
│ ├── esk_Latn.json
│ ├── ess_Latn.json
│ ├── esu_Latn.json
│ ├── eto_Latn.json
│ ├── etr_Latn.json
│ ├── etu_Latn.json
│ ├── eus_Latn.json
│ ├── eve_Cyrl.json
│ ├── ewe_Latn.json
│ ├── ewo_Latn.json
│ ├── ext_Latn.json
│ ├── eza_Latn.json
│ ├── faa_Latn.json
│ ├── fad_Latn.json
│ ├── fai_Latn.json
│ ├── fal_Latn.json
│ ├── fan_Latn.json
│ ├── fao_Latn.json
│ ├── far_Latn.json
│ ├── fas_Arab.json
│ ├── fat_Latn.json
│ ├── ffm_Latn.json
│ ├── fij_Latn.json
│ ├── fil_Latn.json
│ ├── fin_Latn.json
│ ├── fit_Latn.json
│ ├── fkv_Latn.json
│ ├── fmu_Deva.json
│ ├── fon_Latn.json
│ ├── for_Latn.json
│ ├── fra_Latn.json
│ ├── frd_Latn.json
│ ├── fro_Latn.json
│ ├── frp_Latn.json
│ ├── frr_Latn.json
│ ├── fry_Latn.json
│ ├── fub_Latn.json
│ ├── fud_Latn.json
│ ├── fue_Latn.json
│ ├── fuf_Latn.json
│ ├── fuh_Latn.json
│ ├── fuq_Latn.json
│ ├── fur_Latn.json
│ ├── fuv_Arab.json
│ ├── fuv_Latn.json
│ ├── gaa_Latn.json
│ ├── gag_Cyrl.json
│ ├── gag_Latn.json
│ ├── gah_Latn.json
│ ├── gai_Latn.json
│ ├── gam_Latn.json
│ ├── gaw_Latn.json
│ ├── gaz_Latn.json
│ ├── gbi_Latn.json
│ ├── gbo_Latn.json
│ ├── gbr_Latn.json
│ ├── gcf_Latn.json
│ ├── gcr_Latn.json
│ ├── gde_Latn.json
│ ├── gdg_Latn.json
│ ├── gdn_Latn.json
│ ├── gdr_Latn.json
│ ├── geb_Latn.json
│ ├── gej_Latn.json
│ ├── gfk_Latn.json
│ ├── ghs_Latn.json
│ ├── gil_Latn.json
│ ├── giz_Latn.json
│ ├── gjn_Latn.json
│ ├── gkn_Latn.json
│ ├── gla_Latn.json
│ ├── gle_Latn.json
│ ├── glg_Latn.json
│ ├── glk_Arab.json
│ ├── glv_Latn.json
│ ├── gmh_Latn.json
│ ├── gmv_Ethi.json
│ ├── gmv_Latn.json
│ ├── gna_Latn.json
│ ├── gnb_Latn.json
│ ├── gnd_Latn.json
│ ├── gng_Latn.json
│ ├── gnn_Latn.json
│ ├── gnw_Latn.json
│ ├── goa_Latn.json
│ ├── gof_Ethi.json
│ ├── gof_Latn.json
│ ├── gog_Latn.json
│ ├── goh_Latn.json
│ ├── gom_Deva.json
│ ├── gom_Latn.json
│ ├── gor_Latn.json
│ ├── gos_Latn.json
│ ├── got_Goth.json
│ ├── gqr_Latn.json
│ ├── grc_Grek.json
│ ├── grt_Beng.json
│ ├── gso_Latn.json
│ ├── gsw_Latn.json
│ ├── gub_Latn.json
│ ├── guc_Latn.json
│ ├── gud_Latn.json
│ ├── gug_Latn.json
│ ├── guh_Latn.json
│ ├── gui_Latn.json
│ ├── guj_Gujr.json
│ ├── guj_Latn.json
│ ├── guk_Ethi.json
│ ├── gul_Latn.json
│ ├── gum_Latn.json
│ ├── gun_Latn.json
│ ├── guo_Latn.json
│ ├── guq_Latn.json
│ ├── gur_Latn.json
│ ├── guu_Latn.json
│ ├── guw_Latn.json
│ ├── gux_Latn.json
│ ├── guz_Latn.json
│ ├── gvc_Latn.json
│ ├── gvf_Latn.json
│ ├── gvl_Latn.json
│ ├── gvn_Latn.json
│ ├── gwi_Latn.json
│ ├── gwr_Latn.json
│ ├── gya_Latn.json
│ ├── gym_Latn.json
│ ├── gyr_Latn.json
│ ├── hac_Arab.json
│ ├── hae_Latn.json
│ ├── hag_Latn.json
│ ├── hak_Hani.json
│ ├── hak_Latn.json
│ ├── hat_Latn.json
│ ├── hav_Latn.json
│ ├── haw_Latn.json
│ ├── hay_Latn.json
│ ├── hbo_Hebr.json
│ ├── hch_Latn.json
│ ├── heb_Hebr.json
│ ├── heg_Latn.json
│ ├── heh_Latn.json
│ ├── her_Latn.json
│ ├── hif_Latn.json
│ ├── hig_Latn.json
│ ├── hil_Latn.json
│ ├── hin_Deva.json
│ ├── hin_Latn.json
│ ├── hix_Latn.json
│ ├── hla_Latn.json
│ ├── hmo_Latn.json
│ ├── hmr_Latn.json
│ ├── hne_Deva.json
│ ├── hnj_Latn.json
│ ├── hnn_Latn.json
│ ├── hns_Latn.json
│ ├── hop_Latn.json
│ ├── hot_Latn.json
│ ├── hra_Latn.json
│ ├── hrv_Latn.json
│ ├── hrx_Latn.json
│ ├── hsb_Latn.json
│ ├── hto_Latn.json
│ ├── hub_Latn.json
│ ├── hui_Latn.json
│ ├── hun_Latn.json
│ ├── hus_Latn.json
│ ├── huu_Latn.json
│ ├── huv_Latn.json
│ ├── hvn_Latn.json
│ ├── hwc_Latn.json
│ ├── hye_Armn.json
│ ├── hyw_Armn.json
│ ├── ian_Latn.json
│ ├── iba_Latn.json
│ ├── ibg_Latn.json
│ ├── ibo_Latn.json
│ ├── icr_Latn.json
│ ├── ido_Latn.json
│ ├── idu_Latn.json
│ ├── ifa_Latn.json
│ ├── ifb_Latn.json
│ ├── ife_Latn.json
│ ├── ifk_Latn.json
│ ├── ifu_Latn.json
│ ├── ify_Latn.json
│ ├── ige_Latn.json
│ ├── ign_Latn.json
│ ├── ike_Cans.json
│ ├── ikk_Latn.json
│ ├── ikt_Latn.json
│ ├── ikw_Latn.json
│ ├── ilb_Latn.json
│ ├── ile_Latn.json
│ ├── ilo_Latn.json
│ ├── imo_Latn.json
│ ├── ina_Latn.json
│ ├── inb_Latn.json
│ ├── ind_Latn.json
│ ├── inh_Cyrl.json
│ ├── ino_Latn.json
│ ├── iou_Latn.json
│ ├── ipi_Latn.json
│ ├── iqw_Latn.json
│ ├── iri_Latn.json
│ ├── irk_Latn.json
│ ├── iry_Latn.json
│ ├── isd_Latn.json
│ ├── ish_Latn.json
│ ├── isl_Latn.json
│ ├── iso_Latn.json
│ ├── ita_Latn.json
│ ├── itv_Latn.json
│ ├── ium_Latn.json
│ ├── ivb_Latn.json
│ ├── ivv_Latn.json
│ ├── iws_Latn.json
│ ├── ixl_Latn.json
│ ├── izr_Latn.json
│ ├── izz_Latn.json
│ ├── jaa_Latn.json
│ ├── jac_Latn.json
│ ├── jae_Latn.json
│ ├── jam_Latn.json
│ ├── jav_Latn.json
│ ├── jbo_Latn.json
│ ├── jbu_Latn.json
│ ├── jic_Latn.json
│ ├── jiv_Latn.json
│ ├── jmc_Latn.json
│ ├── jpn_Jpan.json
│ ├── jra_Latn.json
│ ├── jun_Orya.json
│ ├── jvn_Latn.json
│ ├── kaa_Cyrl.json
│ ├── kaa_Latn.json
│ ├── kab_Latn.json
│ ├── kac_Latn.json
│ ├── kak_Latn.json
│ ├── kal_Latn.json
│ ├── kam_Latn.json
│ ├── kan_Knda.json
│ ├── kan_Latn.json
│ ├── kao_Latn.json
│ ├── kaq_Latn.json
│ ├── kas_Arab.json
│ ├── kas_Deva.json
│ ├── kas_Latn.json
│ ├── kat_Geor.json
│ ├── kaz_Cyrl.json
│ ├── kbc_Latn.json
│ ├── kbd_Cyrl.json
│ ├── kbh_Latn.json
│ ├── kbm_Latn.json
│ ├── kbo_Latn.json
│ ├── kbp_Latn.json
│ ├── kbq_Latn.json
│ ├── kbr_Latn.json
│ ├── kby_Latn.json
│ ├── kca_Cyrl.json
│ ├── kcg_Latn.json
│ ├── kck_Latn.json
│ ├── kdc_Latn.json
│ ├── kde_Latn.json
│ ├── kdh_Latn.json
│ ├── kdi_Latn.json
│ ├── kdj_Latn.json
│ ├── kdl_Latn.json
│ ├── kdr_Latn.json
│ ├── kea_Latn.json
│ ├── kei_Latn.json
│ ├── kek_Latn.json
│ ├── ken_Latn.json
│ ├── keo_Latn.json
│ ├── ker_Latn.json
│ ├── kew_Latn.json
│ ├── kez_Latn.json
│ ├── kff_Telu.json
│ ├── kgf_Latn.json
│ ├── kgk_Latn.json
│ ├── kgp_Latn.json
│ ├── kgr_Latn.json
│ ├── kha_Latn.json
│ ├── khk_Cyrl.json
│ ├── khm_Khmr.json
│ ├── khs_Latn.json
│ ├── khz_Latn.json
│ ├── kia_Latn.json
│ ├── kij_Latn.json
│ ├── kik_Latn.json
│ ├── kin_Latn.json
│ ├── kir_Cyrl.json
│ ├── kiu_Latn.json
│ ├── kix_Latn.json
│ ├── kjb_Latn.json
│ ├── kje_Latn.json
│ ├── kjh_Cyrl.json
│ ├── kjs_Latn.json
│ ├── kkc_Latn.json
│ ├── kki_Latn.json
│ ├── kkj_Latn.json
│ ├── kkl_Latn.json
│ ├── kle_Deva.json
│ ├── klt_Latn.json
│ ├── klv_Latn.json
│ ├── kmb_Latn.json
│ ├── kmg_Latn.json
│ ├── kmh_Latn.json
│ ├── kmk_Latn.json
│ ├── kmm_Latn.json
│ ├── kmo_Latn.json
│ ├── kmr_Cyrl.json
│ ├── kmr_Latn.json
│ ├── kms_Latn.json
│ ├── kmu_Latn.json
│ ├── kmy_Latn.json
│ ├── knc_Latn.json
│ ├── kne_Latn.json
│ ├── knf_Latn.json
│ ├── kng_Latn.json
│ ├── knj_Latn.json
│ ├── knk_Latn.json
│ ├── kno_Latn.json
│ ├── knv_Latn.json
│ ├── knx_Latn.json
│ ├── kny_Latn.json
│ ├── kog_Latn.json
│ ├── koi_Cyrl.json
│ ├── koo_Latn.json
│ ├── kor_Hang.json
│ ├── kos_Latn.json
│ ├── kpe_Latn.json
│ ├── kpf_Latn.json
│ ├── kpg_Latn.json
│ ├── kpj_Latn.json
│ ├── kpq_Latn.json
│ ├── kpr_Latn.json
│ ├── kpv_Cyrl.json
│ ├── kpw_Latn.json
│ ├── kpx_Latn.json
│ ├── kpz_Latn.json
│ ├── kqc_Latn.json
│ ├── kqe_Latn.json
│ ├── kqf_Latn.json
│ ├── kql_Latn.json
│ ├── kqn_Latn.json
│ ├── kqo_Latn.json
│ ├── kqp_Latn.json
│ ├── kqs_Latn.json
│ ├── kqw_Latn.json
│ ├── kqy_Ethi.json
│ ├── krc_Cyrl.json
│ ├── kri_Latn.json
│ ├── krj_Latn.json
│ ├── krl_Latn.json
│ ├── kru_Deva.json
│ ├── krx_Latn.json
│ ├── ksb_Latn.json
│ ├── ksc_Latn.json
│ ├── ksd_Latn.json
│ ├── ksf_Latn.json
│ ├── ksh_Latn.json
│ ├── ksj_Latn.json
│ ├── ksp_Latn.json
│ ├── ksr_Latn.json
│ ├── kss_Latn.json
│ ├── ksw_Mymr.json
│ ├── ktb_Ethi.json
│ ├── ktj_Latn.json
│ ├── ktm_Latn.json
│ ├── kto_Latn.json
│ ├── ktu_Latn.json
│ ├── ktz_Latn.json
│ ├── kua_Latn.json
│ ├── kub_Latn.json
│ ├── kud_Latn.json
│ ├── kue_Latn.json
│ ├── kuj_Latn.json
│ ├── kum_Cyrl.json
│ ├── kup_Latn.json
│ ├── kus_Latn.json
│ ├── kvg_Latn.json
│ ├── kvj_Latn.json
│ ├── kvn_Latn.json
│ ├── kwd_Latn.json
│ ├── kwf_Latn.json
│ ├── kwi_Latn.json
│ ├── kwj_Latn.json
│ ├── kwn_Latn.json
│ ├── kwy_Latn.json
│ ├── kxc_Ethi.json
│ ├── kxm_Thai.json
│ ├── kxw_Latn.json
│ ├── kyc_Latn.json
│ ├── kyf_Latn.json
│ ├── kyg_Latn.json
│ ├── kyq_Latn.json
│ ├── kyu_Kali.json
│ ├── kyu_Latn.json
│ ├── kyu_Mymr.json
│ ├── kyz_Latn.json
│ ├── kze_Latn.json
│ ├── kzf_Latn.json
│ ├── kzj_Latn.json
│ ├── lac_Latn.json
│ ├── lad_Hebr.json
│ ├── lad_Latn.json
│ ├── lai_Latn.json
│ ├── laj_Latn.json
│ ├── lam_Latn.json
│ ├── lao_Laoo.json
│ ├── lap_Latn.json
│ ├── lat_Latn.json
│ ├── lbb_Latn.json
│ ├── lbe_Cyrl.json
│ ├── lbj_Tibt.json
│ ├── lbk_Latn.json
│ ├── lcm_Latn.json
│ ├── lcp_Thai.json
│ ├── ldi_Latn.json
│ ├── ldn_Latn.json
│ ├── lee_Latn.json
│ ├── lef_Latn.json
│ ├── leh_Latn.json
│ ├── lem_Latn.json
│ ├── leu_Latn.json
│ ├── lew_Latn.json
│ ├── lex_Latn.json
│ ├── lez_Cyrl.json
│ ├── lfn_Cyrl.json
│ ├── lfn_Latn.json
│ ├── lgg_Latn.json
│ ├── lgl_Latn.json
│ ├── lgm_Latn.json
│ ├── lhi_Latn.json
│ ├── lhu_Latn.json
│ ├── lia_Latn.json
│ ├── lid_Latn.json
│ ├── lif_Deva.json
│ ├── lif_Limb.json
│ ├── lij_Latn.json
│ ├── lim_Latn.json
│ ├── lin_Latn.json
│ ├── lip_Latn.json
│ ├── lis_Lisu.json
│ ├── lit_Latn.json
│ ├── liv_Latn.json
│ ├── ljp_Latn.json
│ ├── lki_Arab.json
│ ├── llb_Latn.json
│ ├── lld_Latn.json
│ ├── llg_Latn.json
│ ├── lln_Latn.json
│ ├── lmk_Latn.json
│ ├── lmo_Latn.json
│ ├── lmp_Latn.json
│ ├── lnd_Latn.json
│ ├── lob_Latn.json
│ ├── loe_Latn.json
│ ├── log_Latn.json
│ ├── lol_Latn.json
│ ├── lom_Latn.json
│ ├── loq_Latn.json
│ ├── loz_Latn.json
│ ├── lrc_Arab.json
│ ├── lsi_Latn.json
│ ├── lsm_Latn.json
│ ├── ltg_Latn.json
│ ├── ltz_Latn.json
│ ├── lua_Latn.json
│ ├── lub_Latn.json
│ ├── luc_Latn.json
│ ├── lud_Latn.json
│ ├── lue_Latn.json
│ ├── lug_Latn.json
│ ├── lun_Latn.json
│ ├── luo_Latn.json
│ ├── lus_Latn.json
│ ├── lvs_Latn.json
│ ├── lwg_Latn.json
│ ├── lwo_Latn.json
│ ├── lww_Latn.json
│ ├── lzh_Hani.json
│ ├── maa_Latn.json
│ ├── mad_Latn.json
│ ├── maf_Latn.json
│ ├── mag_Deva.json
│ ├── mah_Latn.json
│ ├── mai_Deva.json
│ ├── maj_Latn.json
│ ├── mak_Latn.json
│ ├── mal_Latn.json
│ ├── mal_Mlym.json
│ ├── mam_Latn.json
│ ├── maq_Latn.json
│ ├── mar_Deva.json
│ ├── mar_Latn.json
│ ├── mas_Latn.json
│ ├── mau_Latn.json
│ ├── mav_Latn.json
│ ├── maw_Latn.json
│ ├── maz_Latn.json
│ ├── mbb_Latn.json
│ ├── mbc_Latn.json
│ ├── mbd_Latn.json
│ ├── mbf_Latn.json
│ ├── mbh_Latn.json
│ ├── mbi_Latn.json
│ ├── mbj_Latn.json
│ ├── mbl_Latn.json
│ ├── mbs_Latn.json
│ ├── mbt_Latn.json
│ ├── mca_Latn.json
│ ├── mcb_Latn.json
│ ├── mcd_Latn.json
│ ├── mcf_Latn.json
│ ├── mck_Latn.json
│ ├── mcn_Latn.json
│ ├── mco_Latn.json
│ ├── mcp_Latn.json
│ ├── mcq_Latn.json
│ ├── mcu_Latn.json
│ ├── mda_Latn.json
│ ├── mdf_Cyrl.json
│ ├── mdy_Ethi.json
│ ├── med_Latn.json
│ ├── mee_Latn.json
│ ├── mej_Latn.json
│ ├── mek_Latn.json
│ ├── men_Latn.json
│ ├── meq_Latn.json
│ ├── mer_Latn.json
│ ├── met_Latn.json
│ ├── meu_Latn.json
│ ├── mev_Latn.json
│ ├── mfe_Latn.json
│ ├── mfg_Latn.json
│ ├── mfh_Latn.json
│ ├── mfi_Latn.json
│ ├── mfk_Latn.json
│ ├── mfq_Latn.json
│ ├── mfy_Latn.json
│ ├── mfz_Latn.json
│ ├── mgc_Latn.json
│ ├── mgh_Latn.json
│ ├── mgo_Latn.json
│ ├── mgr_Latn.json
│ ├── mhi_Latn.json
│ ├── mhl_Latn.json
│ ├── mhr_Cyrl.json
│ ├── mhw_Latn.json
│ ├── mhx_Latn.json
│ ├── mhy_Latn.json
│ ├── mib_Latn.json
│ ├── mic_Latn.json
│ ├── mie_Latn.json
│ ├── mif_Latn.json
│ ├── mig_Latn.json
│ ├── mih_Latn.json
│ ├── mil_Latn.json
│ ├── mim_Latn.json
│ ├── min_Latn.json
│ ├── mio_Latn.json
│ ├── mip_Latn.json
│ ├── miq_Latn.json
│ ├── mir_Latn.json
│ ├── mit_Latn.json
│ ├── miy_Latn.json
│ ├── miz_Latn.json
│ ├── mjc_Latn.json
│ ├── mjw_Latn.json
│ ├── mkd_Cyrl.json
│ ├── mkl_Latn.json
│ ├── mkn_Latn.json
│ ├── mks_Latn.json
│ ├── mkz_Latn.json
│ ├── mlh_Latn.json
│ ├── mlp_Latn.json
│ ├── mlt_Latn.json
│ ├── mlu_Latn.json
│ ├── mmn_Latn.json
│ ├── mmo_Latn.json
│ ├── mmx_Latn.json
│ ├── mna_Latn.json
│ ├── mnb_Latn.json
│ ├── mnf_Latn.json
│ ├── mni_Beng.json
│ ├── mni_Latn.json
│ ├── mni_Mtei.json
│ ├── mnk_Latn.json
│ ├── mns_Cyrl.json
│ ├── mnw_Mymr.json
│ ├── mnx_Latn.json
│ ├── mny_Latn.json
│ ├── moa_Latn.json
│ ├── moc_Latn.json
│ ├── mog_Latn.json
│ ├── moh_Latn.json
│ ├── mop_Latn.json
│ ├── mor_Latn.json
│ ├── mos_Latn.json
│ ├── mox_Latn.json
│ ├── mpg_Latn.json
│ ├── mph_Latn.json
│ ├── mpm_Latn.json
│ ├── mpp_Latn.json
│ ├── mps_Latn.json
│ ├── mpt_Latn.json
│ ├── mpx_Latn.json
│ ├── mqb_Latn.json
│ ├── mqj_Latn.json
│ ├── mqy_Latn.json
│ ├── mrg_Latn.json
│ ├── mri_Latn.json
│ ├── mrj_Cyrl.json
│ ├── mrq_Latn.json
│ ├── mrv_Latn.json
│ ├── mrw_Latn.json
│ ├── msb_Latn.json
│ ├── msc_Latn.json
│ ├── mse_Latn.json
│ ├── msk_Latn.json
│ ├── msy_Latn.json
│ ├── mta_Latn.json
│ ├── mtg_Latn.json
│ ├── mti_Latn.json
│ ├── mto_Latn.json
│ ├── mtp_Latn.json
│ ├── mua_Latn.json
│ ├── mug_Latn.json
│ ├── muh_Latn.json
│ ├── mui_Latn.json
│ ├── mup_Deva.json
│ ├── mur_Latn.json
│ ├── mus_Latn.json
│ ├── mux_Latn.json
│ ├── muy_Latn.json
│ ├── mva_Latn.json
│ ├── mvn_Latn.json
│ ├── mvp_Latn.json
│ ├── mwc_Latn.json
│ ├── mwl_Latn.json
│ ├── mwm_Latn.json
│ ├── mwn_Latn.json
│ ├── mwp_Latn.json
│ ├── mwq_Latn.json
│ ├── mwv_Latn.json
│ ├── mww_Latn.json
│ ├── mxb_Latn.json
│ ├── mxp_Latn.json
│ ├── mxq_Latn.json
│ ├── mxt_Latn.json
│ ├── mxv_Latn.json
│ ├── mya_Mymr.json
│ ├── myb_Latn.json
│ ├── myk_Latn.json
│ ├── myu_Latn.json
│ ├── myv_Cyrl.json
│ ├── myw_Latn.json
│ ├── myx_Latn.json
│ ├── myy_Latn.json
│ ├── mza_Latn.json
│ ├── mzh_Latn.json
│ ├── mzk_Latn.json
│ ├── mzl_Latn.json
│ ├── mzm_Latn.json
│ ├── mzn_Arab.json
│ ├── mzw_Latn.json
│ ├── mzz_Latn.json
│ ├── nab_Latn.json
│ ├── naf_Latn.json
│ ├── nah_Latn.json
│ ├── nak_Latn.json
│ ├── nap_Latn.json
│ ├── naq_Latn.json
│ ├── nas_Latn.json
│ ├── nav_Latn.json
│ ├── naw_Latn.json
│ ├── nba_Latn.json
│ ├── nbc_Latn.json
│ ├── nbe_Latn.json
│ ├── nbl_Latn.json
│ ├── nbq_Latn.json
│ ├── nbu_Latn.json
│ ├── nca_Latn.json
│ ├── nch_Latn.json
│ ├── ncj_Latn.json
│ ├── ncl_Latn.json
│ ├── ncq_Laoo.json
│ ├── nct_Latn.json
│ ├── ncu_Latn.json
│ ├── ncx_Latn.json
│ ├── ndc_Latn.json
│ ├── nde_Latn.json
│ ├── ndh_Latn.json
│ ├── ndi_Latn.json
│ ├── ndj_Latn.json
│ ├── ndo_Latn.json
│ ├── nds_Latn.json
│ ├── ndz_Latn.json
│ ├── neb_Latn.json
│ ├── new_Deva.json
│ ├── nfa_Latn.json
│ ├── nfr_Latn.json
│ ├── ngb_Latn.json
│ ├── ngc_Latn.json
│ ├── ngl_Latn.json
│ ├── ngp_Latn.json
│ ├── ngu_Latn.json
│ ├── nhd_Latn.json
│ ├── nhe_Latn.json
│ ├── nhg_Latn.json
│ ├── nhi_Latn.json
│ ├── nhk_Latn.json
│ ├── nho_Latn.json
│ ├── nhr_Latn.json
│ ├── nhu_Latn.json
│ ├── nhw_Latn.json
│ ├── nhx_Latn.json
│ ├── nhy_Latn.json
│ ├── nia_Latn.json
│ ├── nif_Latn.json
│ ├── nii_Latn.json
│ ├── nij_Latn.json
│ ├── nim_Latn.json
│ ├── nin_Latn.json
│ ├── nio_Cyrl.json
│ ├── niu_Latn.json
│ ├── niy_Latn.json
│ ├── njb_Latn.json
│ ├── njm_Latn.json
│ ├── njn_Latn.json
│ ├── njo_Latn.json
│ ├── njz_Latn.json
│ ├── nkf_Latn.json
│ ├── nko_Latn.json
│ ├── nld_Latn.json
│ ├── nlg_Latn.json
│ ├── nma_Latn.json
│ ├── nmf_Latn.json
│ ├── nmo_Latn.json
│ ├── nmw_Latn.json
│ ├── nmz_Latn.json
│ ├── nnb_Latn.json
│ ├── nng_Latn.json
│ ├── nnh_Latn.json
│ ├── nnl_Latn.json
│ ├── nno_Latn.json
│ ├── nnp_Latn.json
│ ├── nnq_Latn.json
│ ├── nnw_Latn.json
│ ├── noa_Latn.json
│ ├── nob_Latn.json
│ ├── nod_Thai.json
│ ├── nog_Cyrl.json
│ ├── non_Latn.json
│ ├── nop_Latn.json
│ ├── not_Latn.json
│ ├── nou_Latn.json
│ ├── nov_Latn.json
│ ├── nph_Latn.json
│ ├── npi_Deva.json
│ ├── npi_Latn.json
│ ├── npl_Latn.json
│ ├── npo_Latn.json
│ ├── npy_Latn.json
│ ├── nqo_Nkoo.json
│ ├── nre_Latn.json
│ ├── nrf_Latn.json
│ ├── nri_Latn.json
│ ├── nrm_Latn.json
│ ├── nsa_Latn.json
│ ├── nse_Latn.json
│ ├── nsm_Latn.json
│ ├── nsn_Latn.json
│ ├── nso_Latn.json
│ ├── nss_Latn.json
│ ├── nst_Latn.json
│ ├── nsu_Latn.json
│ ├── ntp_Latn.json
│ ├── ntr_Latn.json
│ ├── ntu_Latn.json
│ ├── nuj_Latn.json
│ ├── nus_Latn.json
│ ├── nuy_Latn.json
│ ├── nwb_Latn.json
│ ├── nwi_Latn.json
│ ├── nwx_Deva.json
│ ├── nxd_Latn.json
│ ├── nya_Latn.json
│ ├── nyf_Latn.json
│ ├── nyk_Latn.json
│ ├── nyn_Latn.json
│ ├── nyo_Latn.json
│ ├── nyu_Latn.json
│ ├── nyy_Latn.json
│ ├── nzi_Latn.json
│ ├── nzm_Latn.json
│ ├── obo_Latn.json
│ ├── oci_Latn.json
│ ├── ogo_Latn.json
│ ├── ojb_Cans.json
│ ├── ojb_Latn.json
│ ├── oke_Latn.json
│ ├── okv_Latn.json
│ ├── old_Latn.json
│ ├── olo_Latn.json
│ ├── omb_Latn.json
│ ├── omw_Latn.json
│ ├── ong_Latn.json
│ ├── ons_Latn.json
│ ├── ood_Latn.json
│ ├── opm_Latn.json
│ ├── orv_Cyrl.json
│ ├── ory_Latn.json
│ ├── ory_Orya.json
│ ├── oss_Cyrl.json
│ ├── ota_Arab.json
│ ├── otd_Latn.json
│ ├── ote_Latn.json
│ ├── otm_Latn.json
│ ├── otn_Latn.json
│ ├── oto_Latn.json
│ ├── otq_Latn.json
│ ├── ots_Latn.json
│ ├── otw_Latn.json
│ ├── oym_Latn.json
│ ├── ozm_Latn.json
│ ├── pab_Latn.json
│ ├── pad_Latn.json
│ ├── pag_Latn.json
│ ├── pah_Latn.json
│ ├── pam_Latn.json
│ ├── pan_Guru.json
│ ├── pan_Latn.json
│ ├── pao_Latn.json
│ ├── pap_Latn.json
│ ├── pau_Latn.json
│ ├── pbb_Latn.json
│ ├── pbc_Latn.json
│ ├── pbi_Latn.json
│ ├── pbt_Arab.json
│ ├── pcd_Latn.json
│ ├── pck_Latn.json
│ ├── pcm_Latn.json
│ ├── pdc_Latn.json
│ ├── pdt_Latn.json
│ ├── pem_Latn.json
│ ├── pfe_Latn.json
│ ├── pfl_Latn.json
│ ├── phm_Latn.json
│ ├── pib_Latn.json
│ ├── pio_Latn.json
│ ├── pir_Latn.json
│ ├── pis_Latn.json
│ ├── pjt_Latn.json
│ ├── pkb_Latn.json
│ ├── plg_Latn.json
│ ├── pls_Latn.json
│ ├── plt_Latn.json
│ ├── plu_Latn.json
│ ├── plw_Latn.json
│ ├── pma_Latn.json
│ ├── pmf_Latn.json
│ ├── pmq_Latn.json
│ ├── pms_Latn.json
│ ├── pmx_Latn.json
│ ├── pnb_Arab.json
│ ├── pne_Latn.json
│ ├── pnt_Grek.json
│ ├── pny_Latn.json
│ ├── poe_Latn.json
│ ├── poh_Latn.json
│ ├── poi_Latn.json
│ ├── pol_Latn.json
│ ├── pon_Latn.json
│ ├── por_Latn.json
│ ├── pos_Latn.json
│ ├── pot_Latn.json
│ ├── pov_Latn.json
│ ├── poy_Latn.json
│ ├── ppk_Latn.json
│ ├── ppo_Latn.json
│ ├── pps_Latn.json
│ ├── prf_Latn.json
│ ├── prg_Latn.json
│ ├── pri_Latn.json
│ ├── prq_Latn.json
│ ├── pse_Latn.json
│ ├── pss_Latn.json
│ ├── ptp_Latn.json
│ ├── ptu_Latn.json
│ ├── pui_Latn.json
│ ├── pwg_Latn.json
│ ├── pwn_Latn.json
│ ├── pww_Thai.json
│ ├── pxm_Latn.json
│ ├── qub_Latn.json
│ ├── quc_Latn.json
│ ├── quf_Latn.json
│ ├── qug_Latn.json
│ ├── quh_Latn.json
│ ├── qul_Latn.json
│ ├── qup_Latn.json
│ ├── qus_Latn.json
│ ├── quw_Latn.json
│ ├── quy_Latn.json
│ ├── quz_Latn.json
│ ├── qva_Latn.json
│ ├── qvc_Latn.json
│ ├── qve_Latn.json
│ ├── qvh_Latn.json
│ ├── qvi_Latn.json
│ ├── qvm_Latn.json
│ ├── qvn_Latn.json
│ ├── qvo_Latn.json
│ ├── qvs_Latn.json
│ ├── qvw_Latn.json
│ ├── qvz_Latn.json
│ ├── qwh_Latn.json
│ ├── qxh_Latn.json
│ ├── qxl_Latn.json
│ ├── qxn_Latn.json
│ ├── qxo_Latn.json
│ ├── qxr_Latn.json
│ ├── rad_Latn.json
│ ├── rai_Latn.json
│ ├── rap_Latn.json
│ ├── rar_Latn.json
│ ├── rav_Deva.json
│ ├── raw_Latn.json
│ ├── rcf_Latn.json
│ ├── rej_Latn.json
│ ├── rel_Latn.json
│ ├── rgu_Latn.json
│ ├── rhg_Latn.json
│ ├── ria_Latn.json
│ ├── rim_Latn.json
│ ├── rjs_Deva.json
│ ├── rkb_Latn.json
│ ├── rmc_Latn.json
│ ├── rme_Latn.json
│ ├── rml_Latn.json
│ ├── rmn_Cyrl.json
│ ├── rmn_Grek.json
│ ├── rmn_Latn.json
│ ├── rmo_Latn.json
│ ├── rmq_Latn.json
│ ├── rmy_Cyrl.json
│ ├── rmy_Latn.json
│ ├── rnd_Latn.json
│ ├── rng_Latn.json
│ ├── rnl_Latn.json
│ ├── roh_Latn.json
│ ├── ron_Cyrl.json
│ ├── ron_Latn.json
│ ├── roo_Latn.json
│ ├── rop_Latn.json
│ ├── row_Latn.json
│ ├── rro_Latn.json
│ ├── rtm_Latn.json
│ ├── rub_Latn.json
│ ├── rue_Cyrl.json
│ ├── ruf_Latn.json
│ ├── rug_Latn.json
│ ├── run_Latn.json
│ ├── rup_Latn.json
│ ├── rus_Cyrl.json
│ ├── rwo_Latn.json
│ ├── sab_Latn.json
│ ├── sag_Latn.json
│ ├── sah_Cyrl.json
│ ├── san_Deva.json
│ ├── san_Latn.json
│ ├── sas_Latn.json
│ ├── sat_Latn.json
│ ├── sat_Olck.json
│ ├── sba_Latn.json
│ ├── sbd_Latn.json
│ ├── sbe_Latn.json
│ ├── sbl_Latn.json
│ ├── sbs_Latn.json
│ ├── sby_Latn.json
│ ├── sck_Deva.json
│ ├── scn_Latn.json
│ ├── sco_Latn.json
│ ├── sda_Latn.json
│ ├── sdc_Latn.json
│ ├── sdh_Arab.json
│ ├── sdo_Latn.json
│ ├── sdq_Latn.json
│ ├── seh_Latn.json
│ ├── ses_Latn.json
│ ├── sey_Latn.json
│ ├── sfw_Latn.json
│ ├── sgb_Latn.json
│ ├── sgc_Latn.json
│ ├── sgh_Cyrl.json
│ ├── sgs_Latn.json
│ ├── sgw_Ethi.json
│ ├── sgz_Latn.json
│ ├── shi_Latn.json
│ ├── shk_Latn.json
│ ├── shn_Mymr.json
│ ├── shp_Latn.json
│ ├── shu_Arab.json
│ ├── sid_Latn.json
│ ├── sig_Latn.json
│ ├── sil_Latn.json
│ ├── sim_Latn.json
│ ├── sin_Sinh.json
│ ├── sja_Latn.json
│ ├── sjo_Mong.json
│ ├── sju_Latn.json
│ ├── skg_Latn.json
│ ├── skr_Arab.json
│ ├── sld_Latn.json
│ ├── slk_Latn.json
│ ├── sll_Latn.json
│ ├── slv_Latn.json
│ ├── sma_Latn.json
│ ├── sme_Latn.json
│ ├── smj_Latn.json
│ ├── smk_Latn.json
│ ├── sml_Latn.json
│ ├── smn_Latn.json
│ ├── smo_Latn.json
│ ├── sms_Latn.json
│ ├── smt_Latn.json
│ ├── sna_Latn.json
│ ├── snc_Latn.json
│ ├── snd_Arab.json
│ ├── snd_Deva.json
│ ├── snd_Latn.json
│ ├── snf_Latn.json
│ ├── snn_Latn.json
│ ├── snp_Latn.json
│ ├── snw_Latn.json
│ ├── sny_Latn.json
│ ├── soe_Latn.json
│ ├── som_Latn.json
│ ├── sop_Latn.json
│ ├── soq_Latn.json
│ ├── sot_Latn.json
│ ├── soy_Latn.json
│ ├── spa_Latn.json
│ ├── spl_Latn.json
│ ├── spm_Latn.json
│ ├── spp_Latn.json
│ ├── sps_Latn.json
│ ├── spy_Latn.json
│ ├── srd_Latn.json
│ ├── sri_Latn.json
│ ├── srm_Latn.json
│ ├── srn_Latn.json
│ ├── srp_Cyrl.json
│ ├── srp_Latn.json
│ ├── srq_Latn.json
│ ├── srr_Latn.json
│ ├── ssd_Latn.json
│ ├── ssg_Latn.json
│ ├── ssw_L
SYMBOL INDEX (66 symbols across 18 files)
FILE: ablations/evaluation/launch_evals.py
function parse_date (line 22) | def parse_date(date_string: Optional[str]) -> Optional[datetime]:
function checkpoint_exists (line 31) | def checkpoint_exists(logging_dir: str, model_name: str, checkpoint: str...
function launch_slurm_job (line 49) | def launch_slurm_job(launch_file_contents, *args):
function get_checkpoints_to_run (line 69) | def get_checkpoints_to_run(s3_path: str, model_name: str, checkpoints: s...
FILE: ablations/evaluation/launch_random_evals.py
function launch_slurm_job (line 11) | def launch_slurm_job(launch_file_contents, *args):
FILE: ablations/training/launch_exp.py
function launch_slurm_job (line 70) | def launch_slurm_job(launch_file_contents, *args):
function print_differences (line 133) | def print_differences(target, updates):
FILE: fineweb-2-pipeline.py
function above_lang_threshold (line 109) | def above_lang_threshold(doc, threshold):
FILE: misc/precision_filtering/count_common.py
function generate_tokenizer_identifier (line 11) | def generate_tokenizer_identifier(row):
function load_and_save_tokenizer_freq (line 44) | def load_and_save_tokenizer_freq(tokenizer_id, selected_language):
FILE: misc/precision_filtering/run_precision_filtering.py
class Decontaminate (line 11) | class Decontaminate(BaseFilter):
method __init__ (line 12) | def __init__(self, lang_code, language,
method wordlist (line 50) | def wordlist(self):
method wordlist_filter (line 57) | def wordlist_filter(self, doc):
method filter (line 65) | def filter(self, document):
method url_filter (line 68) | def url_filter(self, document):
FILE: misc/precision_filtering/slurm_count_word.py
function generate_tokenizer_identifier (line 9) | def generate_tokenizer_identifier(row):
class ComputeTermFrequency (line 26) | class ComputeTermFrequency(PipelineStep):
method __init__ (line 27) | def __init__(self, tokenizer_name: str, example_language: str):
method run (line 31) | def run(self, _data, rank, world_size):
FILE: misc/precision_filtering/wordlist_gen.py
function filter_top_percentile (line 7) | def filter_top_percentile(counter, percentile=95):
function filter_by_ratio (line 24) | def filter_by_ratio(counter1, counter2, threshold=0.85):
function save (line 42) | def save(tokenizer_id, selected_language):
function generate_tokenizer_identifier (line 70) | def generate_tokenizer_identifier(row):
FILE: misc/precision_filtering/wordlist_score.py
function load_words_from_txt (line 3) | def load_words_from_txt(folder_path):
function filter_score (line 51) | def filter_score(text, lang):
FILE: misc/reference_datasets/monolingual/ar/download_arabicweb24.py
class ArrowReader (line 8) | class ArrowReader(BaseDiskReader):
method __init__ (line 12) | def __init__(
method read_file (line 48) | def read_file(self, filepath: str):
FILE: misc/reference_datasets/monolingual/fr/download_croissant.py
class ArrowReader (line 7) | class ArrowReader(BaseDiskReader):
method __init__ (line 11) | def __init__(
method read_file (line 47) | def read_file(self, filepath: str):
FILE: misc/reference_datasets/monolingual/zh/download_mapcc.py
class ConcatenatedFileStream (line 10) | class ConcatenatedFileStream:
method __init__ (line 11) | def __init__(self, filepaths):
method _open_next_file (line 17) | def _open_next_file(self):
method read (line 27) | def read(self, size=-1):
method close (line 42) | def close(self):
class JsonlPartReader (line 46) | class JsonlPartReader(JsonlReader):
method __init__ (line 47) | def __init__(
method read_files_shard (line 67) | def read_files_shard(self, shard: list[str]):
function open_concatenated_gzip_files (line 105) | def open_concatenated_gzip_files(filepaths):
class ExtractMapccStep (line 114) | class ExtractMapccStep(PipelineStep):
method run (line 119) | def run(self, data, rank: int = 0, world_size: int = 1):
class CollectMapccStep (line 126) | class CollectMapccStep(PipelineStep):
method run (line 136) | def run(self, data, rank: int = 0, world_size: int = 1):
FILE: misc/reference_datasets/multilingual/copy_raw_data.py
function adapter (line 8) | def adapter(self, data: dict, path: str, id_in_file: int | str):
class CachedListReader (line 29) | class CachedListReader(JsonlReader):
method __init__ (line 30) | def __init__(self,
method run (line 63) | def run(self, data=None, rank: int = 0, world_size: int = 1):
method read_file (line 96) | def read_file(self, filepath: str):
FILE: misc/reference_datasets/multilingual/download_cc-100.py
class CC100Reader (line 5) | class CC100Reader(PipelineStep):
method run (line 6) | def run(self, data=None, rank: int = 0, world_size: int = 1):
FILE: misc/reference_datasets/multilingual/download_culturax.py
function adapter (line 6) | def adapter(self, data: dict, path: str, id_in_file: int | str):
FILE: misc/reference_datasets/multilingual/download_hplt.py
class HPLTReader (line 6) | class HPLTReader(JsonlReader):
method run (line 8) | def run(self, data=None, rank: int = 0, world_size: int = 1):
FILE: misc/reference_datasets/multilingual/download_mc4.py
function adapter (line 7) | def adapter(self, data: dict, path: str, id_in_file: int | str):
FILE: misc/reference_datasets/multilingual/part jsons.py
class ConcatenatedFileStream (line 9) | class ConcatenatedFileStream:
method __init__ (line 10) | def __init__(self, filepaths):
method _open_next_file (line 16) | def _open_next_file(self):
method read (line 26) | def read(self, size=-1):
method close (line 41) | def close(self):
function open_concatenated_gzip_files (line 46) | def open_concatenated_gzip_files(filepaths):
class JsonlPartReader (line 56) | class JsonlPartReader(JsonlReader):
method __init__ (line 57) | def __init__(
method read_files_shard (line 77) | def read_files_shard(self, shard: list[str]):
method read_file (line 115) | def read_file(self, filepath: str):
Copy disabled (too large)
Download .json
Condensed preview — 7704 files, each showing path, character count, and a content snippet. Download the .json file for the full structured content (141,009K chars).
[
{
"path": "LICENSE",
"chars": 11357,
"preview": " Apache License\n Version 2.0, January 2004\n "
},
{
"path": "README.md",
"chars": 6952,
"preview": "\n# FineWeb 2\n\nFineWeb 2 is the second iteration of the popular 🍷 FineWeb dat"
},
{
"path": "ablations/evaluation/launch_evals.py",
"chars": 11221,
"preview": "import argparse\nfrom datetime import datetime\nimport os\nimport re\nimport subprocess\nimport tempfile\nfrom typing import O"
},
{
"path": "ablations/evaluation/launch_random_evals.py",
"chars": 4589,
"preview": "import argparse\nimport os\nimport subprocess\nimport tempfile\n\nfrom loguru import logger\n\nUSER=os.environ[\"USER\"]\n\n\ndef la"
},
{
"path": "ablations/evaluation/run_all_missing_evals.sh",
"chars": 584,
"preview": "#!/bin/bash\nLANGUAGES=(\"ru\" \"fr\" \"zh\" \"hi\" \"sw\" \"tr\" \"ar\" \"te\" \"th\")\nBUCKET=\"s3://path/to/bucket\"\nSCRIPT_PATH=\"./multili"
},
{
"path": "ablations/tokenization/launch_tokenization.py",
"chars": 2506,
"preview": "import argparse\n\nparser = argparse.ArgumentParser(\"Quickly launch thom's style of tokenization.\")\n\nparser.add_argument(\n"
},
{
"path": "ablations/training/launch_exp.py",
"chars": 11700,
"preview": "import os\nfrom pathlib import Path\nimport subprocess\nimport sys\nimport tempfile\nfrom datetime import datetime\n\nfrom nano"
},
{
"path": "configs/aai_Latn.yml",
"chars": 503,
"preview": "dup_line_frac: 0.387\ndup_n_grams:\n- - 5\n - 0.384\n- - 6\n - 0.376\n- - 7\n - 0.364\n- - 8\n - 0.348\n- - 9\n - 0.329\n- - 10"
},
{
"path": "configs/aak_Latn.yml",
"chars": 550,
"preview": "dup_line_frac: 0.358\ndup_n_grams:\n- - 5\n - 0.359\n- - 6\n - 0.35\n- - 7\n - 0.336\n- - 8\n - 0.32\n- - 9\n - 0.304\n- - 10\n "
},
{
"path": "configs/aau_Latn.yml",
"chars": 516,
"preview": "dup_line_frac: 0.398\ndup_n_grams:\n- - 5\n - 0.4\n- - 6\n - 0.393\n- - 7\n - 0.382\n- - 8\n - 0.368\n- - 9\n - 0.352\n- - 10\n "
},
{
"path": "configs/aaz_Latn.yml",
"chars": 489,
"preview": "dup_line_frac: 0.328\ndup_n_grams:\n- - 5\n - 0.303\n- - 6\n - 0.298\n- - 7\n - 0.289\n- - 8\n - 0.277\n- - 9\n - 0.262\n- - 10"
},
{
"path": "configs/aba_Latn.yml",
"chars": 652,
"preview": "dup_line_frac: 0.534\ndup_n_grams:\n- - 5\n - 0.33\n- - 6\n - 0.315\n- - 7\n - 0.298\n- - 8\n - 0.28\n- - 9\n - 0.262\n- - 10\n "
},
{
"path": "configs/abi_Latn.yml",
"chars": 592,
"preview": "dup_line_frac: 0.546\ndup_n_grams:\n- - 5\n - 0.35\n- - 6\n - 0.344\n- - 7\n - 0.328\n- - 8\n - 0.312\n- - 9\n - 0.309\n- - 10\n"
},
{
"path": "configs/abk_Cyrl.yml",
"chars": 1361,
"preview": "dup_line_frac: 0.291\ndup_n_grams:\n- - 5\n - 0.201\n- - 6\n - 0.204\n- - 7\n - 0.185\n- - 8\n - 0.18\n- - 9\n - 0.176\n- - 10\n"
},
{
"path": "configs/abn_Latn.yml",
"chars": 450,
"preview": "dup_line_frac: 0.321\ndup_n_grams:\n- - 5\n - 0.237\n- - 6\n - 0.219\n- - 7\n - 0.203\n- - 8\n - 0.191\n- - 9\n - 0.172\n- - 10"
},
{
"path": "configs/abq_Cyrl.yml",
"chars": 1210,
"preview": "dup_line_frac: 0.098\ndup_n_grams:\n- - 5\n - 0.096\n- - 6\n - 0.085\n- - 7\n - 0.073\n- - 8\n - 0.067\n- - 9\n - 0.058\n- - 10"
},
{
"path": "configs/abs_Latn.yml",
"chars": 495,
"preview": "dup_line_frac: 0.865\ndup_n_grams:\n- - 5\n - 0.56\n- - 6\n - 0.531\n- - 7\n - 0.505\n- - 8\n - 0.481\n- - 9\n - 0.449\n- - 10\n"
},
{
"path": "configs/abt_Latn.yml",
"chars": 498,
"preview": "dup_line_frac: 0.35\ndup_n_grams:\n- - 5\n - 0.353\n- - 6\n - 0.345\n- - 7\n - 0.333\n- - 8\n - 0.317\n- - 9\n - 0.301\n- - 10\n"
},
{
"path": "configs/abx_Latn.yml",
"chars": 426,
"preview": "dup_line_frac: 0.416\ndup_n_grams:\n- - 5\n - 0.423\n- - 6\n - 0.416\n- - 7\n - 0.404\n- - 8\n - 0.389\n- - 9\n - 0.372\n- - 10"
},
{
"path": "configs/aby_Latn.yml",
"chars": 445,
"preview": "dup_line_frac: 0.369\ndup_n_grams:\n- - 5\n - 0.365\n- - 6\n - 0.358\n- - 7\n - 0.346\n- - 8\n - 0.331\n- - 9\n - 0.311\n- - 10"
},
{
"path": "configs/abz_Latn.yml",
"chars": 468,
"preview": "dup_line_frac: 0.215\ndup_n_grams:\n- - 5\n - 0.169\n- - 6\n - 0.164\n- - 7\n - 0.143\n- - 8\n - 0.126\n- - 9\n - 0.114\n- - 10"
},
{
"path": "configs/aca_Latn.yml",
"chars": 455,
"preview": "dup_line_frac: 0.423\ndup_n_grams:\n- - 5\n - 0.413\n- - 6\n - 0.405\n- - 7\n - 0.391\n- - 8\n - 0.372\n- - 9\n - 0.356\n- - 10"
},
{
"path": "configs/acd_Latn.yml",
"chars": 627,
"preview": "dup_line_frac: 0.348\ndup_n_grams:\n- - 5\n - 0.33\n- - 6\n - 0.325\n- - 7\n - 0.315\n- - 8\n - 0.302\n- - 9\n - 0.288\n- - 10\n"
},
{
"path": "configs/ace_Arab.yml",
"chars": 534,
"preview": "dup_line_frac: 0.235\ndup_n_grams:\n- - 5\n - 0.19\n- - 6\n - 0.169\n- - 7\n - 0.141\n- - 8\n - 0.129\n- - 9\n - 0.117\n- - 10\n"
},
{
"path": "configs/ace_Latn.yml",
"chars": 510,
"preview": "dup_line_frac: 0.373\ndup_n_grams:\n- - 5\n - 0.27\n- - 6\n - 0.224\n- - 7\n - 0.208\n- - 8\n - 0.178\n- - 9\n - 0.162\n- - 10\n"
},
{
"path": "configs/acf_Latn.yml",
"chars": 550,
"preview": "dup_line_frac: 0.75\ndup_n_grams:\n- - 5\n - 0.507\n- - 6\n - 0.485\n- - 7\n - 0.468\n- - 8\n - 0.466\n- - 9\n - 0.453\n- - 10\n"
},
{
"path": "configs/ach_Latn.yml",
"chars": 435,
"preview": "dup_line_frac: 0.451\ndup_n_grams:\n- - 5\n - 0.331\n- - 6\n - 0.321\n- - 7\n - 0.306\n- - 8\n - 0.294\n- - 9\n - 0.275\n- - 10"
},
{
"path": "configs/acm_Arab.yml",
"chars": 613,
"preview": "dup_line_frac: 0.486\ndup_n_grams:\n- - 5\n - 0.326\n- - 6\n - 0.305\n- - 7\n - 0.282\n- - 8\n - 0.264\n- - 9\n - 0.241\n- - 10"
},
{
"path": "configs/acn_Latn.yml",
"chars": 517,
"preview": "dup_line_frac: 0.321\ndup_n_grams:\n- - 5\n - 0.249\n- - 6\n - 0.241\n- - 7\n - 0.225\n- - 8\n - 0.213\n- - 9\n - 0.201\n- - 10"
},
{
"path": "configs/acr_Latn.yml",
"chars": 424,
"preview": "dup_line_frac: 0.347\ndup_n_grams:\n- - 5\n - 0.311\n- - 6\n - 0.303\n- - 7\n - 0.292\n- - 8\n - 0.28\n- - 9\n - 0.267\n- - 10\n"
},
{
"path": "configs/acu_Latn.yml",
"chars": 463,
"preview": "dup_line_frac: 0.332\ndup_n_grams:\n- - 5\n - 0.307\n- - 6\n - 0.3\n- - 7\n - 0.286\n- - 8\n - 0.273\n- - 9\n - 0.258\n- - 10\n "
},
{
"path": "configs/ada_Latn.yml",
"chars": 501,
"preview": "dup_line_frac: 0.283\ndup_n_grams:\n- - 5\n - 0.191\n- - 6\n - 0.171\n- - 7\n - 0.155\n- - 8\n - 0.141\n- - 9\n - 0.128\n- - 10"
},
{
"path": "configs/ade_Latn.yml",
"chars": 544,
"preview": "dup_line_frac: 0.302\ndup_n_grams:\n- - 5\n - 0.272\n- - 6\n - 0.259\n- - 7\n - 0.254\n- - 8\n - 0.244\n- - 9\n - 0.227\n- - 10"
},
{
"path": "configs/adh_Latn.yml",
"chars": 438,
"preview": "dup_line_frac: 0.849\ndup_n_grams:\n- - 5\n - 0.614\n- - 6\n - 0.62\n- - 7\n - 0.588\n- - 8\n - 0.521\n- - 9\n - 0.468\n- - 10\n"
},
{
"path": "configs/adi_Latn.yml",
"chars": 432,
"preview": "dup_line_frac: 0.394\ndup_n_grams:\n- - 5\n - 0.507\n- - 6\n - 0.332\n- - 7\n - 0.316\n- - 8\n - 0.3\n- - 9\n - 0.28\n- - 10\n "
},
{
"path": "configs/adj_Latn.yml",
"chars": 555,
"preview": "dup_line_frac: 0.4\ndup_n_grams:\n- - 5\n - 0.357\n- - 6\n - 0.351\n- - 7\n - 0.341\n- - 8\n - 0.328\n- - 9\n - 0.314\n- - 10\n "
},
{
"path": "configs/adl_Latn.yml",
"chars": 513,
"preview": "dup_line_frac: 0.535\ndup_n_grams:\n- - 5\n - 0.833\n- - 6\n - 0.842\n- - 7\n - 0.835\n- - 8\n - 0.813\n- - 9\n - 0.803\n- - 10"
},
{
"path": "configs/ady_Cyrl.yml",
"chars": 1544,
"preview": "dup_line_frac: 0.624\ndup_n_grams:\n- - 5\n - 0.342\n- - 6\n - 0.338\n- - 7\n - 0.317\n- - 8\n - 0.305\n- - 9\n - 0.273\n- - 10"
},
{
"path": "configs/adz_Latn.yml",
"chars": 462,
"preview": "dup_line_frac: 0.444\ndup_n_grams:\n- - 5\n - 0.3\n- - 6\n - 0.289\n- - 7\n - 0.293\n- - 8\n - 0.28\n- - 9\n - 0.256\n- - 10\n "
},
{
"path": "configs/aeb_Arab.yml",
"chars": 643,
"preview": "dup_line_frac: 0.387\ndup_n_grams:\n- - 5\n - 0.329\n- - 6\n - 0.293\n- - 7\n - 0.255\n- - 8\n - 0.227\n- - 9\n - 0.203\n- - 10"
},
{
"path": "configs/aer_Latn.yml",
"chars": 569,
"preview": "dup_line_frac: 0.614\ndup_n_grams:\n- - 5\n - 0.436\n- - 6\n - 0.428\n- - 7\n - 0.407\n- - 8\n - 0.384\n- - 9\n - 0.366\n- - 10"
},
{
"path": "configs/aeu_Latn.yml",
"chars": 538,
"preview": "dup_line_frac: 0.375\ndup_n_grams:\n- - 5\n - 0.38\n- - 6\n - 0.37\n- - 7\n - 0.357\n- - 8\n - 0.342\n- - 9\n - 0.324\n- - 10\n "
},
{
"path": "configs/aey_Latn.yml",
"chars": 467,
"preview": "dup_line_frac: 0.639\ndup_n_grams:\n- - 5\n - 0.497\n- - 6\n - 0.46\n- - 7\n - 0.441\n- - 8\n - 0.405\n- - 9\n - 0.377\n- - 10\n"
},
{
"path": "configs/afr_Latn.yml",
"chars": 413,
"preview": "dup_line_frac: 0.412\ndup_n_grams:\n- - 5\n - 0.192\n- - 6\n - 0.162\n- - 7\n - 0.149\n- - 8\n - 0.128\n- - 9\n - 0.113\n- - 10"
},
{
"path": "configs/agd_Latn.yml",
"chars": 462,
"preview": "dup_line_frac: 0.405\ndup_n_grams:\n- - 5\n - 0.393\n- - 6\n - 0.387\n- - 7\n - 0.375\n- - 8\n - 0.361\n- - 9\n - 0.343\n- - 10"
},
{
"path": "configs/agg_Latn.yml",
"chars": 511,
"preview": "dup_line_frac: 0.375\ndup_n_grams:\n- - 5\n - 0.389\n- - 6\n - 0.381\n- - 7\n - 0.367\n- - 8\n - 0.349\n- - 9\n - 0.333\n- - 10"
},
{
"path": "configs/agm_Latn.yml",
"chars": 587,
"preview": "dup_line_frac: 0.21\ndup_n_grams:\n- - 5\n - 0.041\n- - 6\n - 0.034\n- - 7\n - 0.032\n- - 8\n - 0.029\n- - 9\n - 0.026\n- - 10\n"
},
{
"path": "configs/agn_Latn.yml",
"chars": 435,
"preview": "dup_line_frac: 0.329\ndup_n_grams:\n- - 5\n - 0.261\n- - 6\n - 0.251\n- - 7\n - 0.234\n- - 8\n - 0.222\n- - 9\n - 0.2\n- - 10\n "
},
{
"path": "configs/agr_Latn.yml",
"chars": 434,
"preview": "dup_line_frac: 0.373\ndup_n_grams:\n- - 5\n - 0.184\n- - 6\n - 0.179\n- - 7\n - 0.169\n- - 8\n - 0.156\n- - 9\n - 0.145\n- - 10"
},
{
"path": "configs/agt_Latn.yml",
"chars": 471,
"preview": "dup_line_frac: 0.4\ndup_n_grams:\n- - 5\n - 0.36\n- - 6\n - 0.357\n- - 7\n - 0.344\n- - 8\n - 0.335\n- - 9\n - 0.314\n- - 10\n "
},
{
"path": "configs/agu_Latn.yml",
"chars": 421,
"preview": "dup_line_frac: 0.127\ndup_n_grams:\n- - 5\n - 0.144\n- - 6\n - 0.13\n- - 7\n - 0.106\n- - 8\n - 0.094\n- - 9\n - 0.084\n- - 10\n"
},
{
"path": "configs/agw_Latn.yml",
"chars": 441,
"preview": "dup_line_frac: 0.676\ndup_n_grams:\n- - 5\n - 0.488\n- - 6\n - 0.481\n- - 7\n - 0.459\n- - 8\n - 0.445\n- - 9\n - 0.436\n- - 10"
},
{
"path": "configs/agx_Cyrl.yml",
"chars": 778,
"preview": "dup_line_frac: 0.456\ndup_n_grams:\n- - 5\n - 0.231\n- - 6\n - 0.242\n- - 7\n - 0.248\n- - 8\n - 0.202\n- - 9\n - 0.16\n- - 10\n"
},
{
"path": "configs/aha_Latn.yml",
"chars": 549,
"preview": "dup_line_frac: 0.331\ndup_n_grams:\n- - 5\n - 0.209\n- - 6\n - 0.196\n- - 7\n - 0.194\n- - 8\n - 0.178\n- - 9\n - 0.17\n- - 10\n"
},
{
"path": "configs/ahk_Latn.yml",
"chars": 594,
"preview": "dup_line_frac: 0.112\ndup_n_grams:\n- - 5\n - 0.159\n- - 6\n - 0.135\n- - 7\n - 0.114\n- - 8\n - 0.1\n- - 9\n - 0.088\n- - 10\n "
},
{
"path": "configs/aia_Latn.yml",
"chars": 446,
"preview": "dup_line_frac: 0.247\ndup_n_grams:\n- - 5\n - 0.239\n- - 6\n - 0.231\n- - 7\n - 0.218\n- - 8\n - 0.203\n- - 9\n - 0.194\n- - 10"
},
{
"path": "configs/aii_Syrc.yml",
"chars": 633,
"preview": "dup_line_frac: 0.321\ndup_n_grams:\n- - 5\n - 0.167\n- - 6\n - 0.159\n- - 7\n - 0.149\n- - 8\n - 0.14\n- - 9\n - 0.132\n- - 10\n"
},
{
"path": "configs/aim_Latn.yml",
"chars": 513,
"preview": "dup_line_frac: 0.913\ndup_n_grams:\n- - 5\n - 0.419\n- - 6\n - 0.412\n- - 7\n - 0.343\n- - 8\n - 0.321\n- - 9\n - 0.297\n- - 10"
},
{
"path": "configs/ain_Latn.yml",
"chars": 512,
"preview": "dup_line_frac: 0.416\ndup_n_grams:\n- - 5\n - 0.335\n- - 6\n - 0.323\n- - 7\n - 0.296\n- - 8\n - 0.273\n- - 9\n - 0.247\n- - 10"
},
{
"path": "configs/ajg_Latn.yml",
"chars": 490,
"preview": "dup_line_frac: 0.374\ndup_n_grams:\n- - 5\n - 0.237\n- - 6\n - 0.218\n- - 7\n - 0.206\n- - 8\n - 0.191\n- - 9\n - 0.183\n- - 10"
},
{
"path": "configs/aji_Latn.yml",
"chars": 625,
"preview": "dup_line_frac: 0.314\ndup_n_grams:\n- - 5\n - 0.3\n- - 6\n - 0.295\n- - 7\n - 0.286\n- - 8\n - 0.274\n- - 9\n - 0.261\n- - 10\n "
},
{
"path": "configs/ajz_Latn.yml",
"chars": 493,
"preview": "dup_line_frac: 0.532\ndup_n_grams:\n- - 5\n - 0.095\n- - 6\n - 0.092\n- - 7\n - 0.073\n- - 8\n - 0.068\n- - 9\n - 0.063\n- - 10"
},
{
"path": "configs/akb_Latn.yml",
"chars": 488,
"preview": "dup_line_frac: 0.431\ndup_n_grams:\n- - 5\n - 0.329\n- - 6\n - 0.316\n- - 7\n - 0.301\n- - 8\n - 0.273\n- - 9\n - 0.256\n- - 10"
},
{
"path": "configs/ake_Latn.yml",
"chars": 581,
"preview": "dup_line_frac: 0.392\ndup_n_grams:\n- - 5\n - 0.394\n- - 6\n - 0.389\n- - 7\n - 0.379\n- - 8\n - 0.364\n- - 9\n - 0.346\n- - 10"
},
{
"path": "configs/akh_Latn.yml",
"chars": 479,
"preview": "dup_line_frac: 0.206\ndup_n_grams:\n- - 5\n - 0.229\n- - 6\n - 0.209\n- - 7\n - 0.183\n- - 8\n - 0.162\n- - 9\n - 0.147\n- - 10"
},
{
"path": "configs/akp_Latn.yml",
"chars": 513,
"preview": "dup_line_frac: 0.236\ndup_n_grams:\n- - 5\n - 0.215\n- - 6\n - 0.212\n- - 7\n - 0.206\n- - 8\n - 0.196\n- - 9\n - 0.182\n- - 10"
},
{
"path": "configs/ald_Latn.yml",
"chars": 659,
"preview": "dup_line_frac: 0.01\ndup_n_grams:\n- - 5\n - 0.041\n- - 6\n - 0.023\n- - 7\n - 0.012\n- - 8\n - 0.006\n- - 9\n - 0.005\n- - 10\n"
},
{
"path": "configs/alj_Latn.yml",
"chars": 509,
"preview": "dup_line_frac: 0.573\ndup_n_grams:\n- - 5\n - 0.579\n- - 6\n - 0.565\n- - 7\n - 0.546\n- - 8\n - 0.525\n- - 9\n - 0.503\n- - 10"
},
{
"path": "configs/aln_Latn.yml",
"chars": 442,
"preview": "dup_line_frac: 0.587\ndup_n_grams:\n- - 5\n - 0.427\n- - 6\n - 0.425\n- - 7\n - 0.421\n- - 8\n - 0.412\n- - 9\n - 0.4\n- - 10\n "
},
{
"path": "configs/alp_Latn.yml",
"chars": 491,
"preview": "dup_line_frac: 0.462\ndup_n_grams:\n- - 5\n - 0.407\n- - 6\n - 0.399\n- - 7\n - 0.387\n- - 8\n - 0.372\n- - 9\n - 0.351\n- - 10"
},
{
"path": "configs/alq_Latn.yml",
"chars": 483,
"preview": "dup_line_frac: 0.429\ndup_n_grams:\n- - 5\n - 0.442\n- - 6\n - 0.433\n- - 7\n - 0.417\n- - 8\n - 0.399\n- - 9\n - 0.377\n- - 10"
},
{
"path": "configs/als_Latn.yml",
"chars": 461,
"preview": "dup_line_frac: 0.241\ndup_n_grams:\n- - 5\n - 0.131\n- - 6\n - 0.122\n- - 7\n - 0.113\n- - 8\n - 0.105\n- - 9\n - 0.096\n- - 10"
},
{
"path": "configs/alt_Cyrl.yml",
"chars": 1011,
"preview": "dup_line_frac: 0.7\ndup_n_grams:\n- - 5\n - 0.412\n- - 6\n - 0.402\n- - 7\n - 0.386\n- - 8\n - 0.365\n- - 9\n - 0.348\n- - 10\n "
},
{
"path": "configs/aly_Latn.yml",
"chars": 512,
"preview": "dup_line_frac: 0.244\ndup_n_grams:\n- - 5\n - 0.884\n- - 6\n - 0.943\n- - 7\n - 0.955\n- - 8\n - 0.924\n- - 9\n - 0.854\n- - 10"
},
{
"path": "configs/alz_Latn.yml",
"chars": 436,
"preview": "dup_line_frac: 0.444\ndup_n_grams:\n- - 5\n - 0.422\n- - 6\n - 0.406\n- - 7\n - 0.379\n- - 8\n - 0.358\n- - 9\n - 0.334\n- - 10"
},
{
"path": "configs/ame_Latn.yml",
"chars": 562,
"preview": "dup_line_frac: 0.293\ndup_n_grams:\n- - 5\n - 0.208\n- - 6\n - 0.202\n- - 7\n - 0.192\n- - 8\n - 0.179\n- - 9\n - 0.167\n- - 10"
},
{
"path": "configs/amf_Latn.yml",
"chars": 778,
"preview": "dup_line_frac: 0.583\ndup_n_grams:\n- - 5\n - 0.406\n- - 6\n - 0.376\n- - 7\n - 0.351\n- - 8\n - 0.311\n- - 9\n - 0.287\n- - 10"
},
{
"path": "configs/amh_Ethi.yml",
"chars": 919,
"preview": "dup_line_frac: 0.672\ndup_n_grams:\n- - 5\n - 0.273\n- - 6\n - 0.242\n- - 7\n - 0.228\n- - 8\n - 0.205\n- - 9\n - 0.183\n- - 10"
},
{
"path": "configs/ami_Latn.yml",
"chars": 415,
"preview": "dup_line_frac: 0.938\ndup_n_grams:\n- - 5\n - 0.397\n- - 6\n - 0.361\n- - 7\n - 0.338\n- - 8\n - 0.313\n- - 9\n - 0.292\n- - 10"
},
{
"path": "configs/amk_Latn.yml",
"chars": 478,
"preview": "dup_line_frac: 0.543\ndup_n_grams:\n- - 5\n - 0.461\n- - 6\n - 0.431\n- - 7\n - 0.414\n- - 8\n - 0.394\n- - 9\n - 0.357\n- - 10"
},
{
"path": "configs/amm_Latn.yml",
"chars": 439,
"preview": "dup_line_frac: 0.329\ndup_n_grams:\n- - 5\n - 0.69\n- - 6\n - 0.684\n- - 7\n - 0.667\n- - 8\n - 0.647\n- - 9\n - 0.627\n- - 10\n"
},
{
"path": "configs/amn_Latn.yml",
"chars": 450,
"preview": "dup_line_frac: 0.523\ndup_n_grams:\n- - 5\n - 0.326\n- - 6\n - 0.306\n- - 7\n - 0.285\n- - 8\n - 0.265\n- - 9\n - 0.245\n- - 10"
},
{
"path": "configs/amp_Latn.yml",
"chars": 448,
"preview": "dup_line_frac: 0.756\ndup_n_grams:\n- - 5\n - 0.424\n- - 6\n - 0.433\n- - 7\n - 0.403\n- - 8\n - 0.401\n- - 9\n - 0.346\n- - 10"
},
{
"path": "configs/amr_Latn.yml",
"chars": 437,
"preview": "dup_line_frac: 0.106\ndup_n_grams:\n- - 5\n - 0.096\n- - 6\n - 0.069\n- - 7\n - 0.047\n- - 8\n - 0.05\n- - 9\n - 0.036\n- - 10\n"
},
{
"path": "configs/amu_Latn.yml",
"chars": 519,
"preview": "dup_line_frac: 0.22\ndup_n_grams:\n- - 5\n - 0.197\n- - 6\n - 0.191\n- - 7\n - 0.18\n- - 8\n - 0.169\n- - 9\n - 0.158\n- - 10\n "
},
{
"path": "configs/amx_Latn.yml",
"chars": 536,
"preview": "dup_line_frac: 0.6\ndup_n_grams:\n- - 5\n - 0.432\n- - 6\n - 0.414\n- - 7\n - 0.401\n- - 8\n - 0.373\n- - 9\n - 0.355\n- - 10\n "
},
{
"path": "configs/ang_Latn.yml",
"chars": 454,
"preview": "dup_line_frac: 0.628\ndup_n_grams:\n- - 5\n - 0.472\n- - 6\n - 0.444\n- - 7\n - 0.405\n- - 8\n - 0.356\n- - 9\n - 0.341\n- - 10"
},
{
"path": "configs/anm_Latn.yml",
"chars": 435,
"preview": "dup_line_frac: 0.34\ndup_n_grams:\n- - 5\n - 0.249\n- - 6\n - 0.221\n- - 7\n - 0.21\n- - 8\n - 0.196\n- - 9\n - 0.181\n- - 10\n "
},
{
"path": "configs/ann_Latn.yml",
"chars": 543,
"preview": "dup_line_frac: 0.473\ndup_n_grams:\n- - 5\n - 0.296\n- - 6\n - 0.28\n- - 7\n - 0.259\n- - 8\n - 0.24\n- - 9\n - 0.223\n- - 10\n "
},
{
"path": "configs/anp_Deva.yml",
"chars": 546,
"preview": "dup_line_frac: 0.939\ndup_n_grams:\n- - 5\n - 0.385\n- - 6\n - 0.364\n- - 7\n - 0.341\n- - 8\n - 0.318\n- - 9\n - 0.295\n- - 10"
},
{
"path": "configs/anv_Latn.yml",
"chars": 574,
"preview": "dup_line_frac: 0.162\ndup_n_grams:\n- - 5\n - 0.163\n- - 6\n - 0.14\n- - 7\n - 0.12\n- - 8\n - 0.112\n- - 9\n - 0.095\n- - 10\n "
},
{
"path": "configs/any_Latn.yml",
"chars": 612,
"preview": "dup_line_frac: 0.619\ndup_n_grams:\n- - 5\n - 0.44\n- - 6\n - 0.425\n- - 7\n - 0.455\n- - 8\n - 0.405\n- - 9\n - 0.346\n- - 10\n"
},
{
"path": "configs/aoi_Latn.yml",
"chars": 566,
"preview": "dup_line_frac: 0.007\ndup_n_grams:\n- - 5\n - 0.119\n- - 6\n - 0.098\n- - 7\n - 0.079\n- - 8\n - 0.065\n- - 9\n - 0.06\n- - 10\n"
},
{
"path": "configs/aoj_Latn.yml",
"chars": 479,
"preview": "dup_line_frac: 0.332\ndup_n_grams:\n- - 5\n - 0.299\n- - 6\n - 0.291\n- - 7\n - 0.278\n- - 8\n - 0.263\n- - 9\n - 0.248\n- - 10"
},
{
"path": "configs/aom_Latn.yml",
"chars": 477,
"preview": "dup_line_frac: 0.365\ndup_n_grams:\n- - 5\n - 0.365\n- - 6\n - 0.357\n- - 7\n - 0.344\n- - 8\n - 0.329\n- - 9\n - 0.311\n- - 10"
},
{
"path": "configs/aoz_Latn.yml",
"chars": 506,
"preview": "dup_line_frac: 0.536\ndup_n_grams:\n- - 5\n - 0.346\n- - 6\n - 0.332\n- - 7\n - 0.314\n- - 8\n - 0.295\n- - 9\n - 0.278\n- - 10"
},
{
"path": "configs/apb_Latn.yml",
"chars": 508,
"preview": "dup_line_frac: 0.422\ndup_n_grams:\n- - 5\n - 0.326\n- - 6\n - 0.313\n- - 7\n - 0.292\n- - 8\n - 0.274\n- - 9\n - 0.258\n- - 10"
},
{
"path": "configs/apc_Arab.yml",
"chars": 500,
"preview": "dup_line_frac: 0.334\ndup_n_grams:\n- - 5\n - 0.248\n- - 6\n - 0.23\n- - 7\n - 0.208\n- - 8\n - 0.192\n- - 9\n - 0.174\n- - 10\n"
},
{
"path": "configs/ape_Latn.yml",
"chars": 431,
"preview": "dup_line_frac: 0.422\ndup_n_grams:\n- - 5\n - 0.378\n- - 6\n - 0.365\n- - 7\n - 0.345\n- - 8\n - 0.328\n- - 9\n - 0.312\n- - 10"
},
{
"path": "configs/apn_Latn.yml",
"chars": 604,
"preview": "dup_line_frac: 0.704\ndup_n_grams:\n- - 5\n - 0.281\n- - 6\n - 0.222\n- - 7\n - 0.21\n- - 8\n - 0.181\n- - 9\n - 0.167\n- - 10\n"
},
{
"path": "configs/apr_Latn.yml",
"chars": 511,
"preview": "dup_line_frac: 0.346\ndup_n_grams:\n- - 5\n - 0.331\n- - 6\n - 0.323\n- - 7\n - 0.313\n- - 8\n - 0.301\n- - 9\n - 0.284\n- - 10"
},
{
"path": "configs/apt_Latn.yml",
"chars": 458,
"preview": "dup_line_frac: 0.569\ndup_n_grams:\n- - 5\n - 0.534\n- - 6\n - 0.521\n- - 7\n - 0.508\n- - 8\n - 0.487\n- - 9\n - 0.456\n- - 10"
},
{
"path": "configs/apu_Latn.yml",
"chars": 526,
"preview": "dup_line_frac: 0.263\ndup_n_grams:\n- - 5\n - 0.206\n- - 6\n - 0.196\n- - 7\n - 0.189\n- - 8\n - 0.185\n- - 9\n - 0.163\n- - 10"
},
{
"path": "configs/apw_Latn.yml",
"chars": 582,
"preview": "dup_line_frac: 0.513\ndup_n_grams:\n- - 5\n - 0.398\n- - 6\n - 0.384\n- - 7\n - 0.372\n- - 8\n - 0.33\n- - 9\n - 0.307\n- - 10\n"
},
{
"path": "configs/apy_Latn.yml",
"chars": 514,
"preview": "dup_line_frac: 0.611\ndup_n_grams:\n- - 5\n - 0.489\n- - 6\n - 0.469\n- - 7\n - 0.448\n- - 8\n - 0.426\n- - 9\n - 0.385\n- - 10"
},
{
"path": "configs/apz_Latn.yml",
"chars": 555,
"preview": "dup_line_frac: 0.504\ndup_n_grams:\n- - 5\n - 0.359\n- - 6\n - 0.344\n- - 7\n - 0.327\n- - 8\n - 0.312\n- - 9\n - 0.295\n- - 10"
},
{
"path": "configs/aqz_Latn.yml",
"chars": 638,
"preview": "dup_line_frac: 0.079\ndup_n_grams:\n- - 5\n - 0.063\n- - 6\n - 0.065\n- - 7\n - 0.061\n- - 8\n - 0.052\n- - 9\n - 0.05\n- - 10\n"
},
{
"path": "configs/arb_Arab.yml",
"chars": 754,
"preview": "dup_line_frac: 0.304\ndup_n_grams:\n- - 5\n - 0.165\n- - 6\n - 0.153\n- - 7\n - 0.142\n- - 8\n - 0.131\n- - 9\n - 0.12\n- - 10\n"
},
{
"path": "configs/arb_Latn.yml",
"chars": 421,
"preview": "dup_line_frac: 0.629\ndup_n_grams:\n- - 5\n - 0.452\n- - 6\n - 0.428\n- - 7\n - 0.407\n- - 8\n - 0.364\n- - 9\n - 0.334\n- - 10"
},
{
"path": "configs/are_Latn.yml",
"chars": 499,
"preview": "dup_line_frac: 0.68\ndup_n_grams:\n- - 5\n - 0.441\n- - 6\n - 0.427\n- - 7\n - 0.39\n- - 8\n - 0.385\n- - 9\n - 0.341\n- - 10\n "
},
{
"path": "configs/arg_Latn.yml",
"chars": 424,
"preview": "dup_line_frac: 0.449\ndup_n_grams:\n- - 5\n - 0.272\n- - 6\n - 0.255\n- - 7\n - 0.233\n- - 8\n - 0.209\n- - 9\n - 0.185\n- - 10"
},
{
"path": "configs/arl_Latn.yml",
"chars": 477,
"preview": "dup_line_frac: 0.122\ndup_n_grams:\n- - 5\n - 0.061\n- - 6\n - 0.05\n- - 7\n - 0.04\n- - 8\n - 0.037\n- - 9\n - 0.033\n- - 10\n "
},
{
"path": "configs/arn_Latn.yml",
"chars": 539,
"preview": "dup_line_frac: 0.206\ndup_n_grams:\n- - 5\n - 0.171\n- - 6\n - 0.165\n- - 7\n - 0.153\n- - 8\n - 0.142\n- - 9\n - 0.13\n- - 10\n"
},
{
"path": "configs/arp_Latn.yml",
"chars": 494,
"preview": "dup_line_frac: 0.432\ndup_n_grams:\n- - 5\n - 0.316\n- - 6\n - 0.285\n- - 7\n - 0.274\n- - 8\n - 0.259\n- - 9\n - 0.245\n- - 10"
},
{
"path": "configs/arq_Arab.yml",
"chars": 849,
"preview": "dup_line_frac: 0.422\ndup_n_grams:\n- - 5\n - 0.377\n- - 6\n - 0.37\n- - 7\n - 0.355\n- - 8\n - 0.337\n- - 9\n - 0.306\n- - 10\n"
},
{
"path": "configs/arr_Latn.yml",
"chars": 771,
"preview": "dup_line_frac: 0.034\ndup_n_grams:\n- - 5\n - 0.013\n- - 6\n - 0.012\n- - 7\n - 0.013\n- - 8\n - 0.011\n- - 9\n - 0.01\n- - 10\n"
},
{
"path": "configs/ars_Arab.yml",
"chars": 532,
"preview": "dup_line_frac: 0.356\ndup_n_grams:\n- - 5\n - 0.204\n- - 6\n - 0.192\n- - 7\n - 0.18\n- - 8\n - 0.166\n- - 9\n - 0.153\n- - 10\n"
},
{
"path": "configs/ary_Arab.yml",
"chars": 567,
"preview": "dup_line_frac: 0.32\ndup_n_grams:\n- - 5\n - 0.196\n- - 6\n - 0.183\n- - 7\n - 0.169\n- - 8\n - 0.157\n- - 9\n - 0.145\n- - 10\n"
},
{
"path": "configs/arz_Arab.yml",
"chars": 647,
"preview": "dup_line_frac: 0.368\ndup_n_grams:\n- - 5\n - 0.223\n- - 6\n - 0.207\n- - 7\n - 0.19\n- - 8\n - 0.174\n- - 9\n - 0.158\n- - 10\n"
},
{
"path": "configs/asg_Latn.yml",
"chars": 489,
"preview": "dup_line_frac: 0.492\ndup_n_grams:\n- - 5\n - 0.183\n- - 6\n - 0.166\n- - 7\n - 0.154\n- - 8\n - 0.143\n- - 9\n - 0.136\n- - 10"
},
{
"path": "configs/asm_Beng.yml",
"chars": 1012,
"preview": "dup_line_frac: 0.211\ndup_n_grams:\n- - 5\n - 0.119\n- - 6\n - 0.108\n- - 7\n - 0.101\n- - 8\n - 0.09\n- - 9\n - 0.082\n- - 10\n"
},
{
"path": "configs/asm_Latn.yml",
"chars": 485,
"preview": "dup_line_frac: 0.613\ndup_n_grams:\n- - 5\n - 0.387\n- - 6\n - 0.36\n- - 7\n - 0.331\n- - 8\n - 0.308\n- - 9\n - 0.284\n- - 10\n"
},
{
"path": "configs/aso_Latn.yml",
"chars": 432,
"preview": "dup_line_frac: 0.359\ndup_n_grams:\n- - 5\n - 0.291\n- - 6\n - 0.274\n- - 7\n - 0.258\n- - 8\n - 0.233\n- - 9\n - 0.216\n- - 10"
},
{
"path": "configs/ast_Latn.yml",
"chars": 414,
"preview": "dup_line_frac: 0.679\ndup_n_grams:\n- - 5\n - 0.412\n- - 6\n - 0.379\n- - 7\n - 0.328\n- - 8\n - 0.313\n- - 9\n - 0.306\n- - 10"
},
{
"path": "configs/ata_Latn.yml",
"chars": 481,
"preview": "dup_line_frac: 0.35\ndup_n_grams:\n- - 5\n - 0.331\n- - 6\n - 0.325\n- - 7\n - 0.314\n- - 8\n - 0.299\n- - 9\n - 0.281\n- - 10\n"
},
{
"path": "configs/atb_Latn.yml",
"chars": 503,
"preview": "dup_line_frac: 0.226\ndup_n_grams:\n- - 5\n - 0.163\n- - 6\n - 0.153\n- - 7\n - 0.138\n- - 8\n - 0.129\n- - 9\n - 0.12\n- - 10\n"
},
{
"path": "configs/atd_Latn.yml",
"chars": 496,
"preview": "dup_line_frac: 0.68\ndup_n_grams:\n- - 5\n - 0.585\n- - 6\n - 0.558\n- - 7\n - 0.524\n- - 8\n - 0.487\n- - 9\n - 0.453\n- - 10\n"
},
{
"path": "configs/atg_Latn.yml",
"chars": 529,
"preview": "dup_line_frac: 0.052\ndup_n_grams:\n- - 5\n - 0.098\n- - 6\n - 0.09\n- - 7\n - 0.082\n- - 8\n - 0.074\n- - 9\n - 0.067\n- - 10\n"
},
{
"path": "configs/ati_Latn.yml",
"chars": 721,
"preview": "dup_line_frac: 0.721\ndup_n_grams:\n- - 5\n - 0.591\n- - 6\n - 0.571\n- - 7\n - 0.536\n- - 8\n - 0.519\n- - 9\n - 0.493\n- - 10"
},
{
"path": "configs/atj_Latn.yml",
"chars": 458,
"preview": "dup_line_frac: 0.58\ndup_n_grams:\n- - 5\n - 0.42\n- - 6\n - 0.255\n- - 7\n - 0.229\n- - 8\n - 0.201\n- - 9\n - 0.18\n- - 10\n "
},
{
"path": "configs/atq_Latn.yml",
"chars": 497,
"preview": "dup_line_frac: 0.738\ndup_n_grams:\n- - 5\n - 0.558\n- - 6\n - 0.548\n- - 7\n - 0.525\n- - 8\n - 0.499\n- - 9\n - 0.468\n- - 10"
},
{
"path": "configs/att_Latn.yml",
"chars": 498,
"preview": "dup_line_frac: 0.4\ndup_n_grams:\n- - 5\n - 0.381\n- - 6\n - 0.375\n- - 7\n - 0.364\n- - 8\n - 0.352\n- - 9\n - 0.333\n- - 10\n "
},
{
"path": "configs/auc_Latn.yml",
"chars": 619,
"preview": "dup_line_frac: 0.104\ndup_n_grams:\n- - 5\n - 0.074\n- - 6\n - 0.043\n- - 7\n - 0.039\n- - 8\n - 0.03\n- - 9\n - 0.021\n- - 10\n"
},
{
"path": "configs/aui_Latn.yml",
"chars": 447,
"preview": "dup_line_frac: 0.264\ndup_n_grams:\n- - 5\n - 0.199\n- - 6\n - 0.195\n- - 7\n - 0.189\n- - 8\n - 0.167\n- - 9\n - 0.148\n- - 10"
},
{
"path": "configs/auy_Latn.yml",
"chars": 833,
"preview": "dup_line_frac: 0.208\ndup_n_grams:\n- - 5\n - 0.177\n- - 6\n - 0.17\n- - 7\n - 0.159\n- - 8\n - 0.15\n- - 9\n - 0.135\n- - 10\n "
},
{
"path": "configs/ava_Cyrl.yml",
"chars": 979,
"preview": "dup_line_frac: 0.617\ndup_n_grams:\n- - 5\n - 0.309\n- - 6\n - 0.289\n- - 7\n - 0.277\n- - 8\n - 0.26\n- - 9\n - 0.238\n- - 10\n"
},
{
"path": "configs/avk_Latn.yml",
"chars": 406,
"preview": "dup_line_frac: 0.51\ndup_n_grams:\n- - 5\n - 0.349\n- - 6\n - 0.335\n- - 7\n - 0.318\n- - 8\n - 0.302\n- - 9\n - 0.284\n- - 10\n"
},
{
"path": "configs/avn_Latn.yml",
"chars": 490,
"preview": "dup_line_frac: 0.379\ndup_n_grams:\n- - 5\n - 0.276\n- - 6\n - 0.274\n- - 7\n - 0.238\n- - 8\n - 0.22\n- - 9\n - 0.197\n- - 10\n"
},
{
"path": "configs/avt_Latn.yml",
"chars": 537,
"preview": "dup_line_frac: 0.085\ndup_n_grams:\n- - 5\n - 0.099\n- - 6\n - 0.087\n- - 7\n - 0.071\n- - 8\n - 0.053\n- - 9\n - 0.051\n- - 10"
},
{
"path": "configs/avu_Latn.yml",
"chars": 710,
"preview": "dup_line_frac: 0.194\ndup_n_grams:\n- - 5\n - 0.188\n- - 6\n - 0.164\n- - 7\n - 0.136\n- - 8\n - 0.123\n- - 9\n - 0.119\n- - 10"
},
{
"path": "configs/awa_Deva.yml",
"chars": 599,
"preview": "dup_line_frac: 0.827\ndup_n_grams:\n- - 5\n - 0.594\n- - 6\n - 0.569\n- - 7\n - 0.545\n- - 8\n - 0.495\n- - 9\n - 0.465\n- - 10"
},
{
"path": "configs/awb_Latn.yml",
"chars": 467,
"preview": "dup_line_frac: 0.289\ndup_n_grams:\n- - 5\n - 0.21\n- - 6\n - 0.204\n- - 7\n - 0.196\n- - 8\n - 0.185\n- - 9\n - 0.174\n- - 10\n"
},
{
"path": "configs/awi_Latn.yml",
"chars": 456,
"preview": "dup_line_frac: 0.461\ndup_n_grams:\n- - 5\n - 0.355\n- - 6\n - 0.352\n- - 7\n - 0.348\n- - 8\n - 0.326\n- - 9\n - 0.294\n- - 10"
},
{
"path": "configs/awx_Latn.yml",
"chars": 445,
"preview": "dup_line_frac: 0.471\ndup_n_grams:\n- - 5\n - 0.321\n- - 6\n - 0.314\n- - 7\n - 0.3\n- - 8\n - 0.283\n- - 9\n - 0.265\n- - 10\n "
},
{
"path": "configs/ayo_Latn.yml",
"chars": 509,
"preview": "dup_line_frac: 0.673\ndup_n_grams:\n- - 5\n - 0.639\n- - 6\n - 0.6\n- - 7\n - 0.616\n- - 8\n - 0.598\n- - 9\n - 0.536\n- - 10\n "
},
{
"path": "configs/ayp_Arab.yml",
"chars": 614,
"preview": "dup_line_frac: 0.672\ndup_n_grams:\n- - 5\n - 0.706\n- - 6\n - 0.707\n- - 7\n - 0.676\n- - 8\n - 0.667\n- - 9\n - 0.663\n- - 10"
},
{
"path": "configs/ayr_Latn.yml",
"chars": 428,
"preview": "dup_line_frac: 0.594\ndup_n_grams:\n- - 5\n - 0.222\n- - 6\n - 0.196\n- - 7\n - 0.177\n- - 8\n - 0.16\n- - 9\n - 0.143\n- - 10\n"
},
{
"path": "configs/azb_Arab.yml",
"chars": 1064,
"preview": "dup_line_frac: 0.379\ndup_n_grams:\n- - 5\n - 0.225\n- - 6\n - 0.2\n- - 7\n - 0.179\n- - 8\n - 0.16\n- - 9\n - 0.144\n- - 10\n "
},
{
"path": "configs/azg_Latn.yml",
"chars": 451,
"preview": "dup_line_frac: 0.696\ndup_n_grams:\n- - 5\n - 0.344\n- - 6\n - 0.346\n- - 7\n - 0.3\n- - 8\n - 0.163\n- - 9\n - 0.147\n- - 10\n "
},
{
"path": "configs/azj_Cyrl.yml",
"chars": 513,
"preview": "dup_line_frac: 0.297\ndup_n_grams:\n- - 5\n - 0.15\n- - 6\n - 0.144\n- - 7\n - 0.137\n- - 8\n - 0.13\n- - 9\n - 0.12\n- - 10\n "
},
{
"path": "configs/azj_Latn.yml",
"chars": 577,
"preview": "dup_line_frac: 0.879\ndup_n_grams:\n- - 5\n - 0.3\n- - 6\n - 0.271\n- - 7\n - 0.252\n- - 8\n - 0.227\n- - 9\n - 0.202\n- - 10\n "
},
{
"path": "configs/azz_Latn.yml",
"chars": 534,
"preview": "dup_line_frac: 0.756\ndup_n_grams:\n- - 5\n - 0.476\n- - 6\n - 0.451\n- - 7\n - 0.405\n- - 8\n - 0.386\n- - 9\n - 0.372\n- - 10"
},
{
"path": "configs/bak_Cyrl.yml",
"chars": 1130,
"preview": "dup_line_frac: 0.217\ndup_n_grams:\n- - 5\n - 0.128\n- - 6\n - 0.12\n- - 7\n - 0.103\n- - 8\n - 0.092\n- - 9\n - 0.084\n- - 10\n"
},
{
"path": "configs/bam_Latn.yml",
"chars": 420,
"preview": "dup_line_frac: 0.632\ndup_n_grams:\n- - 5\n - 0.431\n- - 6\n - 0.332\n- - 7\n - 0.386\n- - 8\n - 0.325\n- - 9\n - 0.342\n- - 10"
},
{
"path": "configs/ban_Latn.yml",
"chars": 498,
"preview": "dup_line_frac: 0.69\ndup_n_grams:\n- - 5\n - 0.431\n- - 6\n - 0.422\n- - 7\n - 0.39\n- - 8\n - 0.352\n- - 9\n - 0.357\n- - 10\n "
},
{
"path": "configs/bao_Latn.yml",
"chars": 528,
"preview": "dup_line_frac: 0.306\ndup_n_grams:\n- - 5\n - 0.223\n- - 6\n - 0.204\n- - 7\n - 0.187\n- - 8\n - 0.178\n- - 9\n - 0.159\n- - 10"
},
{
"path": "configs/bar_Latn.yml",
"chars": 395,
"preview": "dup_line_frac: 0.591\ndup_n_grams:\n- - 5\n - 0.38\n- - 6\n - 0.356\n- - 7\n - 0.326\n- - 8\n - 0.301\n- - 9\n - 0.274\n- - 10\n"
},
{
"path": "configs/bas_Latn.yml",
"chars": 460,
"preview": "dup_line_frac: 0.487\ndup_n_grams:\n- - 5\n - 0.295\n- - 6\n - 0.27\n- - 7\n - 0.247\n- - 8\n - 0.228\n- - 9\n - 0.209\n- - 10\n"
},
{
"path": "configs/bav_Latn.yml",
"chars": 597,
"preview": "dup_line_frac: 0.326\ndup_n_grams:\n- - 5\n - 0.301\n- - 6\n - 0.256\n- - 7\n - 0.237\n- - 8\n - 0.223\n- - 9\n - 0.201\n- - 10"
},
{
"path": "configs/bba_Latn.yml",
"chars": 508,
"preview": "dup_line_frac: 0.098\ndup_n_grams:\n- - 5\n - 0.086\n- - 6\n - 0.082\n- - 7\n - 0.069\n- - 8\n - 0.065\n- - 9\n - 0.06\n- - 10\n"
},
{
"path": "configs/bbb_Latn.yml",
"chars": 481,
"preview": "dup_line_frac: 0.196\ndup_n_grams:\n- - 5\n - 0.108\n- - 6\n - 0.097\n- - 7\n - 0.089\n- - 8\n - 0.085\n- - 9\n - 0.073\n- - 10"
},
{
"path": "configs/bbc_Latn.yml",
"chars": 462,
"preview": "dup_line_frac: 0.429\ndup_n_grams:\n- - 5\n - 0.295\n- - 6\n - 0.286\n- - 7\n - 0.274\n- - 8\n - 0.258\n- - 9\n - 0.243\n- - 10"
},
{
"path": "configs/bbj_Latn.yml",
"chars": 560,
"preview": "dup_line_frac: 0.623\ndup_n_grams:\n- - 5\n - 0.259\n- - 6\n - 0.248\n- - 7\n - 0.234\n- - 8\n - 0.212\n- - 9\n - 0.192\n- - 10"
},
{
"path": "configs/bbk_Latn.yml",
"chars": 611,
"preview": "dup_line_frac: 0.216\ndup_n_grams:\n- - 5\n - 0.188\n- - 6\n - 0.182\n- - 7\n - 0.168\n- - 8\n - 0.158\n- - 9\n - 0.141\n- - 10"
},
{
"path": "configs/bbo_Latn.yml",
"chars": 531,
"preview": "dup_line_frac: 0.773\ndup_n_grams:\n- - 5\n - 0.572\n- - 6\n - 0.58\n- - 7\n - 0.531\n- - 8\n - 0.509\n- - 9\n - 0.476\n- - 10\n"
},
{
"path": "configs/bbr_Latn.yml",
"chars": 529,
"preview": "dup_line_frac: 0.363\ndup_n_grams:\n- - 5\n - 0.357\n- - 6\n - 0.351\n- - 7\n - 0.341\n- - 8\n - 0.325\n- - 9\n - 0.31\n- - 10\n"
},
{
"path": "configs/bch_Latn.yml",
"chars": 494,
"preview": "dup_line_frac: 0.108\ndup_n_grams:\n- - 5\n - 0.149\n- - 6\n - 0.125\n- - 7\n - 0.096\n- - 8\n - 0.086\n- - 9\n - 0.079\n- - 10"
},
{
"path": "configs/bci_Latn.yml",
"chars": 477,
"preview": "dup_line_frac: 0.393\ndup_n_grams:\n- - 5\n - 0.244\n- - 6\n - 0.234\n- - 7\n - 0.215\n- - 8\n - 0.2\n- - 9\n - 0.18\n- - 10\n "
},
{
"path": "configs/bcl_Latn.yml",
"chars": 407,
"preview": "dup_line_frac: 0.292\ndup_n_grams:\n- - 5\n - 0.198\n- - 6\n - 0.185\n- - 7\n - 0.167\n- - 8\n - 0.147\n- - 9\n - 0.132\n- - 10"
},
{
"path": "configs/bco_Latn.yml",
"chars": 584,
"preview": "dup_line_frac: 0.001\ndup_n_grams:\n- - 5\n - 0.021\n- - 6\n - 0.016\n- - 7\n - 0.012\n- - 8\n - 0.009\n- - 9\n - 0.008\n- - 10"
},
{
"path": "configs/bcw_Latn.yml",
"chars": 597,
"preview": "dup_line_frac: 0.129\ndup_n_grams:\n- - 5\n - 0.169\n- - 6\n - 0.109\n- - 7\n - 0.093\n- - 8\n - 0.086\n- - 9\n - 0.075\n- - 10"
},
{
"path": "configs/bdd_Latn.yml",
"chars": 480,
"preview": "dup_line_frac: 0.277\ndup_n_grams:\n- - 5\n - 0.173\n- - 6\n - 0.165\n- - 7\n - 0.158\n- - 8\n - 0.153\n- - 9\n - 0.125\n- - 10"
},
{
"path": "configs/bdh_Latn.yml",
"chars": 655,
"preview": "dup_line_frac: 0.41\ndup_n_grams:\n- - 5\n - 0.396\n- - 6\n - 0.39\n- - 7\n - 0.381\n- - 8\n - 0.366\n- - 9\n - 0.35\n- - 10\n "
},
{
"path": "configs/bdq_Latn.yml",
"chars": 574,
"preview": "dup_line_frac: 0.552\ndup_n_grams:\n- - 5\n - 0.418\n- - 6\n - 0.4\n- - 7\n - 0.373\n- - 8\n - 0.354\n- - 9\n - 0.335\n- - 10\n "
},
{
"path": "configs/bea_Latn.yml",
"chars": 462,
"preview": "dup_line_frac: 0.436\ndup_n_grams:\n- - 5\n - 0.265\n- - 6\n - 0.242\n- - 7\n - 0.224\n- - 8\n - 0.215\n- - 9\n - 0.192\n- - 10"
},
{
"path": "configs/bef_Latn.yml",
"chars": 454,
"preview": "dup_line_frac: 0.98\ndup_n_grams:\n- - 5\n - 0.753\n- - 6\n - 0.749\n- - 7\n - 0.735\n- - 8\n - 0.712\n- - 9\n - 0.684\n- - 10\n"
},
{
"path": "configs/bel_Cyrl.yml",
"chars": 825,
"preview": "dup_line_frac: 0.261\ndup_n_grams:\n- - 5\n - 0.124\n- - 6\n - 0.116\n- - 7\n - 0.103\n- - 8\n - 0.094\n- - 9\n - 0.084\n- - 10"
},
{
"path": "configs/bem_Latn.yml",
"chars": 445,
"preview": "dup_line_frac: 0.335\ndup_n_grams:\n- - 5\n - 0.215\n- - 6\n - 0.205\n- - 7\n - 0.189\n- - 8\n - 0.174\n- - 9\n - 0.16\n- - 10\n"
},
{
"path": "configs/ben_Beng.yml",
"chars": 536,
"preview": "dup_line_frac: 0.203\ndup_n_grams:\n- - 5\n - 0.118\n- - 6\n - 0.108\n- - 7\n - 0.099\n- - 8\n - 0.09\n- - 9\n - 0.082\n- - 10\n"
},
{
"path": "configs/ben_Latn.yml",
"chars": 433,
"preview": "dup_line_frac: 0.47\ndup_n_grams:\n- - 5\n - 0.331\n- - 6\n - 0.31\n- - 7\n - 0.286\n- - 8\n - 0.266\n- - 9\n - 0.245\n- - 10\n "
},
{
"path": "configs/beq_Latn.yml",
"chars": 440,
"preview": "dup_line_frac: 0.828\ndup_n_grams:\n- - 5\n - 0.578\n- - 6\n - 0.563\n- - 7\n - 0.554\n- - 8\n - 0.515\n- - 9\n - 0.504\n- - 10"
},
{
"path": "configs/bew_Latn.yml",
"chars": 424,
"preview": "dup_line_frac: 0.517\ndup_n_grams:\n- - 5\n - 0.311\n- - 6\n - 0.29\n- - 7\n - 0.27\n- - 8\n - 0.248\n- - 9\n - 0.229\n- - 10\n "
},
{
"path": "configs/bex_Latn.yml",
"chars": 587,
"preview": "dup_line_frac: 0.18\ndup_n_grams:\n- - 5\n - 0.226\n- - 6\n - 0.166\n- - 7\n - 0.15\n- - 8\n - 0.15\n- - 9\n - 0.133\n- - 10\n "
},
{
"path": "configs/bfd_Latn.yml",
"chars": 545,
"preview": "dup_line_frac: 0.231\ndup_n_grams:\n- - 5\n - 0.206\n- - 6\n - 0.183\n- - 7\n - 0.151\n- - 8\n - 0.143\n- - 9\n - 0.132\n- - 10"
},
{
"path": "configs/bfo_Latn.yml",
"chars": 506,
"preview": "dup_line_frac: 0.519\ndup_n_grams:\n- - 5\n - 0.349\n- - 6\n - 0.392\n- - 7\n - 0.184\n- - 8\n - 0.175\n- - 9\n - 0.166\n- - 10"
},
{
"path": "configs/bgr_Latn.yml",
"chars": 504,
"preview": "dup_line_frac: 0.234\ndup_n_grams:\n- - 5\n - 0.187\n- - 6\n - 0.184\n- - 7\n - 0.166\n- - 8\n - 0.159\n- - 9\n - 0.148\n- - 10"
},
{
"path": "configs/bgs_Latn.yml",
"chars": 500,
"preview": "dup_line_frac: 0.401\ndup_n_grams:\n- - 5\n - 0.402\n- - 6\n - 0.395\n- - 7\n - 0.383\n- - 8\n - 0.367\n- - 9\n - 0.352\n- - 10"
},
{
"path": "configs/bgt_Latn.yml",
"chars": 477,
"preview": "dup_line_frac: 0.943\ndup_n_grams:\n- - 5\n - 0.829\n- - 6\n - 0.827\n- - 7\n - 0.851\n- - 8\n - 0.751\n- - 9\n - 0.806\n- - 10"
},
{
"path": "configs/bgz_Latn.yml",
"chars": 533,
"preview": "dup_line_frac: 0.678\ndup_n_grams:\n- - 5\n - 0.562\n- - 6\n - 0.563\n- - 7\n - 0.561\n- - 8\n - 0.54\n- - 9\n - 0.534\n- - 10\n"
},
{
"path": "configs/bhg_Latn.yml",
"chars": 464,
"preview": "dup_line_frac: 0.29\ndup_n_grams:\n- - 5\n - 0.953\n- - 6\n - 0.939\n- - 7\n - 0.946\n- - 8\n - 0.908\n- - 9\n - 0.871\n- - 10\n"
},
{
"path": "configs/bhl_Latn.yml",
"chars": 514,
"preview": "dup_line_frac: 0.285\ndup_n_grams:\n- - 5\n - 0.47\n- - 6\n - 0.454\n- - 7\n - 0.434\n- - 8\n - 0.409\n- - 9\n - 0.388\n- - 10\n"
},
{
"path": "configs/bho_Deva.yml",
"chars": 511,
"preview": "dup_line_frac: 0.294\ndup_n_grams:\n- - 5\n - 0.163\n- - 6\n - 0.143\n- - 7\n - 0.131\n- - 8\n - 0.12\n- - 9\n - 0.111\n- - 10\n"
},
{
"path": "configs/bhp_Latn.yml",
"chars": 504,
"preview": "dup_line_frac: 0.65\ndup_n_grams:\n- - 5\n - 0.474\n- - 6\n - 0.453\n- - 7\n - 0.418\n- - 8\n - 0.376\n- - 9\n - 0.351\n- - 10\n"
},
{
"path": "configs/bhw_Latn.yml",
"chars": 475,
"preview": "dup_line_frac: 0.237\ndup_n_grams:\n- - 5\n - 0.191\n- - 6\n - 0.176\n- - 7\n - 0.17\n- - 8\n - 0.159\n- - 9\n - 0.148\n- - 10\n"
},
{
"path": "configs/bhz_Latn.yml",
"chars": 480,
"preview": "dup_line_frac: 0.381\ndup_n_grams:\n- - 5\n - 0.284\n- - 6\n - 0.259\n- - 7\n - 0.236\n- - 8\n - 0.211\n- - 9\n - 0.189\n- - 10"
},
{
"path": "configs/bib_Latn.yml",
"chars": 554,
"preview": "dup_line_frac: 0.245\ndup_n_grams:\n- - 5\n - 0.242\n- - 6\n - 0.192\n- - 7\n - 0.16\n- - 8\n - 0.153\n- - 9\n - 0.145\n- - 10\n"
},
{
"path": "configs/big_Latn.yml",
"chars": 437,
"preview": "dup_line_frac: 0.238\ndup_n_grams:\n- - 5\n - 0.231\n- - 6\n - 0.214\n- - 7\n - 0.187\n- - 8\n - 0.179\n- - 9\n - 0.166\n- - 10"
},
{
"path": "configs/bim_Latn.yml",
"chars": 456,
"preview": "dup_line_frac: 0.352\ndup_n_grams:\n- - 5\n - 0.297\n- - 6\n - 0.274\n- - 7\n - 0.261\n- - 8\n - 0.243\n- - 9\n - 0.232\n- - 10"
},
{
"path": "configs/bin_Latn.yml",
"chars": 540,
"preview": "dup_line_frac: 0.95\ndup_n_grams:\n- - 5\n - 0.643\n- - 6\n - 0.608\n- - 7\n - 0.587\n- - 8\n - 0.565\n- - 9\n - 0.541\n- - 10\n"
},
{
"path": "configs/bis_Latn.yml",
"chars": 469,
"preview": "dup_line_frac: 0.41\ndup_n_grams:\n- - 5\n - 0.447\n- - 6\n - 0.432\n- - 7\n - 0.415\n- - 8\n - 0.398\n- - 9\n - 0.377\n- - 10\n"
}
]
// ... and 7504 more files (download for full content)
About this extraction
This page contains the full source code of the huggingface/fineweb-2 GitHub repository, extracted and formatted as plain text for AI agents and large language models (LLMs). The extraction includes 7704 files (228.9 MB), approximately 24.1M tokens, and a symbol index with 66 extracted functions, classes, methods, constants, and types. Use this with OpenClaw, Claude, ChatGPT, Cursor, Windsurf, or any other AI tool that accepts text input. You can copy the full output to your clipboard or download it as a .txt file.
Extracted by GitExtract — free GitHub repo to text converter for AI. Built by Nikandr Surkov.