gitextract_qkv2xwam/

├── LICENSE
├── README.md
├── RELEASE.md
├── doc/
│   ├── fate_llm_evaluate.md
│   ├── standalone_deploy.md
│   └── tutorial/
│       ├── fdkt/
│       │   ├── README.md
│       │   └── fdkt.ipynb
│       ├── fedcot/
│       │   ├── README.md
│       │   ├── encoder_decoder_tutorial.ipynb
│       │   └── fedcot_tutorial.ipynb
│       ├── fedkseed/
│       │   ├── README.md
│       │   └── fedkseed-example.ipynb
│       ├── fedmkt/
│       │   ├── README.md
│       │   └── fedmkt.ipynb
│       ├── inferdpt/
│       │   └── inferdpt_tutorial.ipynb
│       ├── offsite_tuning/
│       │   ├── Offsite_tuning_tutorial.ipynb
│       │   └── README.md
│       └── pellm/
│           ├── ChatGLM3-6B_ds.ipynb
│           └── builtin_pellm_models.md
├── examples/
│   ├── fedmkt/
│   │   ├── __init__.py
│   │   ├── fedmkt.py
│   │   ├── fedmkt_config.yaml
│   │   └── test_fedmkt_llmsuit.yaml
│   ├── offsite_tuning/
│   │   ├── __init__.py
│   │   ├── offsite_tuning.py
│   │   ├── offsite_tuning_config.yaml
│   │   └── test_offsite_tuning_llmsuite.yaml
│   └── pellm/
│       ├── __init__.py
│       ├── bloom_lora_config.yaml
│       ├── test_bloom_lora.py
│       └── test_pellm_llmsuite.yaml
└── python/
    ├── MANIFEST.in
    ├── fate_llm/
    │   ├── __init__.py
    │   ├── algo/
    │   │   ├── __init__.py
    │   │   ├── dp/
    │   │   │   ├── __init__.py
    │   │   │   ├── dp_trainer.py
    │   │   │   └── opacus_compatibility/
    │   │   │       ├── __init__.py
    │   │   │       ├── grad_sample/
    │   │   │       │   ├── __init__.py
    │   │   │       │   └── embedding.py
    │   │   │       ├── optimizers/
    │   │   │       │   ├── __init__.py
    │   │   │       │   └── optimizer.py
    │   │   │       └── transformers_compate.py
    │   │   ├── fdkt/
    │   │   │   ├── __init__.py
    │   │   │   ├── cluster/
    │   │   │   │   ├── __init__.py
    │   │   │   │   ├── cluster.py
    │   │   │   │   └── cluster_method.py
    │   │   │   ├── fdkt_data_aug.py
    │   │   │   ├── inference_inst.py
    │   │   │   └── utils/
    │   │   │       ├── __init__.py
    │   │   │       ├── dp_loss.py
    │   │   │       ├── invalid_data_filter.py
    │   │   │       └── text_generate.py
    │   │   ├── fedavg/
    │   │   │   ├── __init__.py
    │   │   │   └── fedavg.py
    │   │   ├── fedcollm/
    │   │   │   ├── __init__.py
    │   │   │   ├── fedcollm.py
    │   │   │   ├── fedcollm_trainer.py
    │   │   │   └── fedcollm_training_args.py
    │   │   ├── fedcot/
    │   │   │   ├── __init__.py
    │   │   │   ├── encoder_decoder/
    │   │   │   │   ├── __init__.py
    │   │   │   │   ├── init/
    │   │   │   │   │   ├── __init__.py
    │   │   │   │   │   └── default_init.py
    │   │   │   │   └── slm_encoder_decoder.py
    │   │   │   ├── fedcot_trainer.py
    │   │   │   └── slm_encoder_decoder_trainer.py
    │   │   ├── fedkseed/
    │   │   │   ├── __init__.py
    │   │   │   ├── args.py
    │   │   │   ├── fedkseed.py
    │   │   │   ├── optimizer.py
    │   │   │   ├── pytorch_utils.py
    │   │   │   ├── trainer.py
    │   │   │   └── zo_utils.py
    │   │   ├── fedmkt/
    │   │   │   ├── __init__.py
    │   │   │   ├── fedmkt.py
    │   │   │   ├── fedmkt_data_collator.py
    │   │   │   ├── fedmkt_trainer.py
    │   │   │   ├── token_alignment/
    │   │   │   │   ├── __init__.py
    │   │   │   │   ├── spectal_token_mapping.py
    │   │   │   │   ├── token_align.py
    │   │   │   │   └── vocab_mapping.py
    │   │   │   └── utils/
    │   │   │       ├── __init__.py
    │   │   │       ├── dataset_sync_util.py
    │   │   │       ├── generate_logit_utils.py
    │   │   │       ├── tokenizer_tool.py
    │   │   │       └── vars_define.py
    │   │   ├── inferdpt/
    │   │   │   ├── __init__.py
    │   │   │   ├── _encode_decode.py
    │   │   │   ├── inferdpt.py
    │   │   │   ├── init/
    │   │   │   │   ├── _init.py
    │   │   │   │   └── default_init.py
    │   │   │   └── utils.py
    │   │   ├── offsite_tuning/
    │   │   │   ├── __init__.py
    │   │   │   └── offsite_tuning.py
    │   │   └── ppc-gpt/
    │   │       └── __init__.py
    │   ├── data/
    │   │   ├── __init__.py
    │   │   ├── data_collator/
    │   │   │   ├── __init__.py
    │   │   │   ├── cust_data_collator.py
    │   │   │   └── fedcot_collator.py
    │   │   └── tokenizers/
    │   │       ├── __init__.py
    │   │       └── cust_tokenizer.py
    │   ├── dataset/
    │   │   ├── __init__.py
    │   │   ├── data_config/
    │   │   │   ├── __init__.py
    │   │   │   ├── default_ag_news.yaml
    │   │   │   └── default_yelp_review.yaml
    │   │   ├── fedcot_dataset.py
    │   │   ├── flex_dataset.py
    │   │   ├── hf_dataset.py
    │   │   ├── input_output_dataset.py
    │   │   ├── prompt_dataset.py
    │   │   ├── qa_dataset.py
    │   │   └── seq_cls_dataset.py
    │   ├── evaluate/
    │   │   ├── __init__.py
    │   │   ├── scripts/
    │   │   │   ├── __init__.py
    │   │   │   ├── _options.py
    │   │   │   ├── config_cli.py
    │   │   │   ├── data_cli.py
    │   │   │   ├── eval_cli.py
    │   │   │   └── fate_llm_cli.py
    │   │   ├── tasks/
    │   │   │   ├── __init__.py
    │   │   │   ├── advertise_gen/
    │   │   │   │   ├── __init__.py
    │   │   │   │   ├── advertise_utils.py
    │   │   │   │   └── default_advertise_gen.yaml
    │   │   │   └── dolly_15k/
    │   │   │       ├── __init__.py
    │   │   │       ├── default_dolly_15k.yaml
    │   │   │       └── dolly_utils.py
    │   │   └── utils/
    │   │       ├── __init__.py
    │   │       ├── _io.py
    │   │       ├── _parser.py
    │   │       ├── config.py
    │   │       ├── data_tools.py
    │   │       ├── llm_evaluator.py
    │   │       └── model_tools.py
    │   ├── inference/
    │   │   ├── __init__.py
    │   │   ├── api.py
    │   │   ├── hf_qw.py
    │   │   ├── inference_base.py
    │   │   └── vllm.py
    │   ├── model_zoo/
    │   │   ├── __init__.py
    │   │   ├── embedding_transformer/
    │   │   │   ├── __init__.py
    │   │   │   └── st_model.py
    │   │   ├── hf_model.py
    │   │   ├── offsite_tuning/
    │   │   │   ├── __init__.py
    │   │   │   ├── bloom.py
    │   │   │   ├── gpt2.py
    │   │   │   ├── llama.py
    │   │   │   └── offsite_tuning_model.py
    │   │   └── pellm/
    │   │       ├── __init__.py
    │   │       ├── albert.py
    │   │       ├── bart.py
    │   │       ├── bert.py
    │   │       ├── bloom.py
    │   │       ├── chatglm.py
    │   │       ├── deberta.py
    │   │       ├── distilbert.py
    │   │       ├── gpt2.py
    │   │       ├── llama.py
    │   │       ├── opt.py
    │   │       ├── parameter_efficient_llm.py
    │   │       ├── qwen.py
    │   │       └── roberta.py
    │   ├── runner/
    │   │   ├── __init__.py
    │   │   ├── fdkt_runner.py
    │   │   ├── fedcot_runner.py
    │   │   ├── fedkseed_runner.py
    │   │   ├── fedmkt_runner.py
    │   │   ├── homo_seq2seq_runner.py
    │   │   ├── inferdpt_runner.py
    │   │   └── offsite_tuning_runner.py
    │   └── trainer/
    │       ├── __init__.py
    │       └── seq2seq_trainer.py
    ├── requirements.txt
    └── setup.py