gitextract_4r0bw0y0/

├── .devcontainer/
│   ├── Dockerfile
│   ├── devcontainer.env
│   ├── devcontainer.json
│   └── postCreateCommand.sh
├── .dockerignore
├── .editorconfig
├── .gitattributes
├── .github/
│   └── ISSUE_TEMPLATE/
│       ├── 1-usage.yaml
│       ├── 2-feature-request.yaml
│       ├── 3-question.yaml
│       └── 4-discussion.yaml
├── .gitignore
├── LICENSE
├── README.md
├── cog.yaml
├── docs/
│   ├── Customize_Component.md
│   ├── Data.md
│   ├── Evaluation.md
│   ├── Finetune_Custom_Data.md
│   ├── Intel.md
│   ├── LLaVA_Bench.md
│   ├── LLaVA_from_LLaMA2.md
│   ├── LoRA.md
│   ├── MODEL_ZOO.md
│   ├── ScienceQA.md
│   ├── Windows.md
│   └── macOS.md
├── llava/
│   ├── __init__.py
│   ├── constants.py
│   ├── conversation.py
│   ├── eval/
│   │   ├── eval_gpt_review.py
│   │   ├── eval_gpt_review_bench.py
│   │   ├── eval_gpt_review_visual.py
│   │   ├── eval_pope.py
│   │   ├── eval_science_qa.py
│   │   ├── eval_science_qa_gpt4.py
│   │   ├── eval_science_qa_gpt4_requery.py
│   │   ├── eval_textvqa.py
│   │   ├── generate_webpage_data_from_table.py
│   │   ├── m4c_evaluator.py
│   │   ├── model_qa.py
│   │   ├── model_vqa.py
│   │   ├── model_vqa_loader.py
│   │   ├── model_vqa_mmbench.py
│   │   ├── model_vqa_science.py
│   │   ├── qa_baseline_gpt35.py
│   │   ├── run_llava.py
│   │   ├── summarize_gpt_review.py
│   │   └── webpage/
│   │       ├── index.html
│   │       ├── script.js
│   │       └── styles.css
│   ├── mm_utils.py
│   ├── model/
│   │   ├── __init__.py
│   │   ├── apply_delta.py
│   │   ├── builder.py
│   │   ├── consolidate.py
│   │   ├── language_model/
│   │   │   ├── llava_llama.py
│   │   │   ├── llava_mistral.py
│   │   │   └── llava_mpt.py
│   │   ├── llava_arch.py
│   │   ├── make_delta.py
│   │   ├── multimodal_encoder/
│   │   │   ├── builder.py
│   │   │   └── clip_encoder.py
│   │   ├── multimodal_projector/
│   │   │   └── builder.py
│   │   └── utils.py
│   ├── serve/
│   │   ├── __init__.py
│   │   ├── cli.py
│   │   ├── controller.py
│   │   ├── gradio_web_server.py
│   │   ├── model_worker.py
│   │   ├── register_worker.py
│   │   ├── sglang_worker.py
│   │   └── test_message.py
│   ├── train/
│   │   ├── llama_flash_attn_monkey_patch.py
│   │   ├── llama_xformers_attn_monkey_patch.py
│   │   ├── llava_trainer.py
│   │   ├── train.py
│   │   ├── train_mem.py
│   │   └── train_xformers.py
│   └── utils.py
├── playground/
│   └── data/
│       └── prompts/
│           ├── complex_reasoning/
│           │   ├── 000_caps.txt
│           │   ├── 000_conv.txt
│           │   ├── 001_caps.txt
│           │   ├── 001_conv.txt
│           │   ├── 002_caps.txt
│           │   ├── 002_conv.txt
│           │   └── system_message.txt
│           ├── conversation/
│           │   ├── 000_caps.txt
│           │   ├── 000_conv.txt
│           │   ├── 001_caps.txt
│           │   ├── 001_conv.txt
│           │   └── system_message.txt
│           └── detail_description/
│               ├── 000_caps.txt
│               ├── 000_conv.txt
│               ├── 001_caps.txt
│               ├── 001_conv.txt
│               ├── 002_caps.txt
│               ├── 002_conv.txt
│               └── system_message.txt
├── predict.py
├── pyproject.toml
└── scripts/
    ├── convert_gqa_for_eval.py
    ├── convert_mmbench_for_submission.py
    ├── convert_mmvet_for_eval.py
    ├── convert_seed_for_submission.py
    ├── convert_sqa_to_llava.py
    ├── convert_sqa_to_llava_base_prompt.py
    ├── convert_vizwiz_for_submission.py
    ├── convert_vqav2_for_submission.py
    ├── extract_mm_projector.py
    ├── finetune.sh
    ├── finetune_full_schedule.sh
    ├── finetune_lora.sh
    ├── finetune_qlora.sh
    ├── finetune_sqa.sh
    ├── merge_lora_weights.py
    ├── pretrain.sh
    ├── pretrain_xformers.sh
    ├── sqa_eval_batch.sh
    ├── sqa_eval_gather.sh
    ├── upload_pypi.sh
    └── v1_5/
        ├── eval/
        │   ├── gqa.sh
        │   ├── llavabench.sh
        │   ├── mmbench.sh
        │   ├── mmbench_cn.sh
        │   ├── mme.sh
        │   ├── mmvet.sh
        │   ├── pope.sh
        │   ├── qbench.sh
        │   ├── qbench_zh.sh
        │   ├── seed.sh
        │   ├── sqa.sh
        │   ├── textvqa.sh
        │   ├── vizwiz.sh
        │   └── vqav2.sh
        ├── finetune.sh
        ├── finetune_lora.sh
        ├── finetune_task.sh
        ├── finetune_task_lora.sh
        └── pretrain.sh