gitextract_5zppyvqi/ ├── .dockerignore ├── .gitattributes ├── .github/ │ └── workflows/ │ └── python-package-publish.yml ├── .gitignore ├── Dockerfile ├── LICENSE ├── Makefile ├── README.md ├── benchmarks/ │ ├── llm_gpu_benchmark.py │ ├── llm_gpu_benchmark_text-generation-inference.html │ ├── llm_gpu_benchmark_transformers.html │ ├── llm_gpu_benchmarks.json │ ├── perf.json │ ├── perf.md │ └── rag_benchmark.md ├── blog/ │ └── README.md ├── ci/ │ └── jenkinsfile ├── cloud/ │ └── packer/ │ ├── Jenkinsfile │ ├── README.md │ ├── h2oai-h2ogpt-4096-llama2-13b-chat.sh │ ├── h2ogpt-azure.json │ ├── h2ogpt-gcp.json │ ├── install_h2ogpt.sh │ ├── setup_environment.sh │ └── startup-scripts/ │ ├── h2ogpt.service │ ├── h2ogpt_nginx.service │ ├── run_h2ogpt.sh │ ├── run_nginx.sh │ ├── run_vllm.sh │ ├── temp.conf │ └── vllm.service ├── data/ │ ├── README-template.md │ ├── censor_words.txt │ ├── config.json │ ├── create_data_cards.py │ ├── dai_docs.train.json │ ├── dai_docs.train_cleaned.json │ ├── dai_docs.valid.json │ ├── dai_faq.json │ ├── example.xlsx │ ├── h2ogpt-personality.json │ └── merged.json ├── dev_installers/ │ └── mac/ │ ├── README.md │ ├── build_mac_installer.sh │ ├── h2ogpt-osx-m1-cpu.spec │ ├── h2ogpt-osx-m1-gpu.spec │ └── mac_run_app.py ├── docker-compose-cpu.yml ├── docker-compose-vllm.yml ├── docker-compose.yml ├── docker_build_script_ubuntu.sh ├── docs/ │ ├── Dockerfile.delta2 │ ├── Dockerfile.internvl │ ├── FAQ.md │ ├── FINETUNE.md │ ├── INSTALL.md │ ├── LINKS.md │ ├── README_Agents.md │ ├── README_CLI.md │ ├── README_CLIENT.md │ ├── README_CPU.md │ ├── README_DOCKER.md │ ├── README_GPU.md │ ├── README_InferenceServers.md │ ├── README_LINUX.md │ ├── README_LangChain.md │ ├── README_MACOS.md │ ├── README_SerpAPI.md │ ├── README_WHEEL.md │ ├── README_WINDOWS.md │ ├── README_offline.md │ ├── README_quickstart.md │ ├── README_ui.md │ ├── TRITON.md │ ├── autogen.patch │ ├── autogen2.patch │ ├── build_windows_gpu.sh │ ├── google.patch │ ├── h2oGPT_CPU.ipynb │ ├── h2oGPT_GPU.ipynb │ ├── linux_install.sh │ ├── linux_install_full.sh │ ├── openai.patch │ ├── pytubefix.patch │ ├── run_patches.sh │ ├── setup_docker_linux.sh │ ├── tos.md │ ├── trans.patch │ ├── trans2.patch │ ├── windows_freezelist.txt │ ├── windows_install.bat │ └── xtt.patch ├── finetune.py ├── generate.py ├── gradio_utils/ │ ├── __init__.py │ ├── css.py │ ├── google_auth.py │ ├── grclient.py │ ├── prompt_form.py │ └── yield_utils.py ├── h2ogpt/ │ └── __init__.py ├── helm/ │ └── h2ogpt-chart/ │ ├── .helmignore │ ├── Chart.yaml │ ├── templates/ │ │ ├── _helpers.tpl │ │ ├── config-map.yaml │ │ ├── deployment.yaml │ │ └── service.yaml │ └── values.yaml ├── iterators/ │ ├── __init__.py │ ├── iterator_pipe.py │ └── timeout_iterator.py ├── metrics/ │ ├── __init__.py │ └── quip.py ├── models/ │ ├── README-template.md │ ├── __init__.py │ ├── create_model_cards.py │ ├── gpu_mem_track.py │ ├── makevllm.sh │ ├── predict_aquila.py │ └── test_scrape1.py ├── notebooks/ │ └── h2oGPT_api_examples.ipynb ├── openai_server/ │ ├── __init__.py │ ├── agent_prompting.py │ ├── agent_tools/ │ │ ├── aider_code_generation.py │ │ ├── ask_question_about_documents.py │ │ ├── ask_question_about_image.py │ │ ├── audio_transcription.py │ │ ├── bing_search.py │ │ ├── common/ │ │ │ └── utils.py │ │ ├── convert_document_to_text.py │ │ ├── download_web_video.py │ │ ├── driverless_ai_data_science.py │ │ ├── google_search.py │ │ ├── image_generation.py │ │ ├── mermaid_renderer.py │ │ ├── news_query.py │ │ ├── query_to_web_image.py │ │ ├── scholar_papers_query.py │ │ └── wolfram_alpha_math_science_query.py │ ├── agent_utils.py │ ├── autogen_2agent_backend.py │ ├── autogen_agents.py │ ├── autogen_multi_agent_backend.py │ ├── autogen_streaming.py │ ├── autogen_utils.py │ ├── backend.py │ ├── backend_utils.py │ ├── chat_history_render.py │ ├── cogvlm2_server/ │ │ ├── cogvlm2.py │ │ └── requirements.txt │ ├── log.py │ ├── openai_client.py │ ├── server.py │ ├── server_start.py │ ├── test_autogen_utils.py │ ├── test_backend_utils.py │ ├── test_conversion.py │ ├── test_openai_server.py │ └── test_prompt_caching.py ├── papers/ │ └── technical-report/ │ ├── compile.sh │ ├── conf.sty │ └── h2oGPT-TR.tex ├── reqs_optional/ │ ├── reqs_constraints.txt │ ├── requirements_optional_agents.txt │ ├── requirements_optional_audio.txt │ ├── requirements_optional_cpu_only.txt │ ├── requirements_optional_doctr.txt │ ├── requirements_optional_gpu_only.txt │ ├── requirements_optional_image.txt │ ├── requirements_optional_langchain.gpllike.txt │ ├── requirements_optional_langchain.metrics.txt │ ├── requirements_optional_langchain.txt │ ├── requirements_optional_langchain.urls.txt │ ├── requirements_optional_llamacpp_gpt4all.txt │ ├── requirements_optional_training.txt │ └── requirements_optional_wikiprocessing.txt ├── requirements.txt ├── setup.py ├── spaces/ │ ├── chatbot/ │ │ └── repo_to_spaces.sh │ └── demo/ │ ├── app.py │ ├── app_client_test.py │ └── requirements.txt ├── spkemb/ │ ├── cmu_us_awb_arctic-wav-arctic_a0002.npy │ ├── cmu_us_bdl_arctic-wav-arctic_a0009.npy │ ├── cmu_us_clb_arctic-wav-arctic_a0144.npy │ ├── cmu_us_ksp_arctic-wav-arctic_b0087.npy │ ├── cmu_us_rms_arctic-wav-arctic_b0353.npy │ └── cmu_us_slt_arctic-wav-arctic_a0508.npy ├── src/ │ ├── __init__.py │ ├── audio_langchain.py │ ├── basic_nltk.py │ ├── cli.py │ ├── client_test.py │ ├── create_data.py │ ├── db_utils.py │ ├── enums.py │ ├── eval.py │ ├── evaluate_params.py │ ├── export_hf_checkpoint.py │ ├── function_client.py │ ├── function_server.py │ ├── gen.py │ ├── gpt4all_llm.py │ ├── gpt_langchain.py │ ├── gradio_funcs.py │ ├── gradio_runner.py │ ├── gradio_themes.py │ ├── h2o_serpapi.py │ ├── h2oai_pipeline.py │ ├── image_captions.py │ ├── image_doctr.py │ ├── image_pix2struct.py │ ├── image_utils.py │ ├── langchain_mistralai/ │ │ └── chat_models.py │ ├── langchain_openai_local.py │ ├── llama_flash_attn_monkey_patch.py │ ├── llm_exllama.py │ ├── loaders.py │ ├── make_db.py │ ├── model_utils.py │ ├── output_parser.py │ ├── pandas_agent_langchain.py │ ├── pre-commit │ ├── prepare_offline.py │ ├── prompter.py │ ├── prompter_utils.py │ ├── read_wiki_full.py │ ├── sagemaker.py │ ├── stopping.py │ ├── stt.py │ ├── tts.py │ ├── tts_coqui.py │ ├── tts_sentence_parsing.py │ ├── tts_utils.py │ ├── utils.py │ ├── utils_langchain.py │ ├── utils_procs.py │ ├── utils_sys.py │ ├── version.py │ └── vision/ │ ├── __init__.py │ ├── extract_movie.py │ ├── flux.py │ ├── playv2.py │ ├── sdxl_turbo.py │ ├── stable_diffusion_xl.py │ └── utils_vision.py ├── tests/ │ ├── 1paul_graham.txt │ ├── __init__.py │ ├── conftest.py │ ├── example.xlsx │ ├── memory_hog_script.py │ ├── next.txt │ ├── sample.eml │ ├── table_as_image.docx │ ├── test4gpus.sh │ ├── test_async_iterator_pipe.py │ ├── test_async_timeout_iterator.py │ ├── test_cli.py │ ├── test_client_calls.py │ ├── test_client_readme.py │ ├── test_eval.py │ ├── test_eval_models.py │ ├── test_fine_tune_export_tgi.sh │ ├── test_imports.py │ ├── test_inference_servers.py │ ├── test_iterator_pipe.py │ ├── test_langchain_simple.py │ ├── test_langchain_units.py │ ├── test_long_context.py │ ├── test_manual_test.py │ ├── test_metrics.py │ ├── test_openai_server.py │ ├── test_perf_benchmarks.py │ ├── test_pipeline.py │ ├── test_prompter.py │ ├── test_requirements.py │ ├── test_sentence_parsing.py │ ├── test_timeout_iterator.py │ ├── test_tokenizer.py │ ├── test_tts.py │ ├── test_ui.py │ ├── test_utils.py │ ├── test_vision.py │ └── utils.py ├── version.txt ├── win_run_app.py └── windows_installer.cfg