gitextract_gvj_8lac/ ├── .coveragerc ├── .devcontainer/ │ ├── devcontainer.json │ └── post-create.sh ├── .flake8 ├── .github/ │ ├── actions/ │ │ └── configure_azureml_agent/ │ │ └── action.yml │ ├── dependabot.yml │ └── workflows/ │ ├── build_validation_workflow.yml │ └── rag_exp_acc_ci.yml ├── .gitignore ├── .pre-commit-config.yaml ├── 01_index.py ├── 02_qa_generation.py ├── 03_querying.py ├── 04_evaluation.py ├── CODE_OF_CONDUCT.md ├── LICENSE ├── Makefile ├── README.md ├── SECURITY.md ├── SUPPORT.md ├── azure.yaml ├── azureml/ │ ├── eval.py │ ├── index.py │ ├── pipeline.py │ └── query.py ├── config.sample.json ├── config.schema.json ├── cspell.json ├── data-ci/ │ └── docx/ │ └── sample-docx.docx ├── dev-requirements.txt ├── docs/ │ ├── azureml-pipeline.md │ ├── configs-appendix.md │ ├── environment-variables.md │ ├── evaluation-metrics.md │ ├── script-inputs-outputs.md │ └── wsl.md ├── env_to_keyvault.py ├── experimental/ │ └── readme.md ├── images/ │ └── AzureMLPipeline.drawio ├── infra/ │ ├── abbreviations.json │ ├── generate_arm_template.sh │ ├── main.bicep │ ├── main.bicepparam │ ├── main.json │ ├── network/ │ │ ├── azure_bastion.bicep │ │ └── network_isolation.bicep │ └── shared/ │ ├── cognitiveservices.bicep │ ├── keyvault-secret.bicep │ ├── keyvault.bicep │ ├── machineLearning.bicep │ ├── monitoring.bicep │ ├── search-services.bicep │ ├── storage.bicep │ └── storekeys.bicep ├── promptflow/ │ └── rag-experiment-accelerator/ │ ├── README.md │ ├── custom_environment/ │ │ ├── Dockerfile │ │ ├── environment.yaml │ │ └── rag_experiment_accelerator-0.9-py3-none-any.whl │ ├── env_setup.md │ ├── evaluation/ │ │ ├── evaluation.py │ │ └── flow.dag.yaml │ ├── flow.dag.yaml │ ├── index/ │ │ ├── create_index.py │ │ └── flow.dag.yaml │ ├── qa_generation/ │ │ ├── flow.dag.yaml │ │ └── generate_qa.py │ ├── querying/ │ │ ├── flow.dag.yaml │ │ └── querying.py │ └── setup/ │ ├── flow.dag.yaml │ └── setup_env.py ├── pyproject.toml ├── rag_experiment_accelerator/ │ ├── __init__.py │ ├── artifact/ │ │ ├── __init__.py │ │ ├── handlers/ │ │ │ ├── __init__.py │ │ │ ├── artifact_handler.py │ │ │ ├── exceptions.py │ │ │ ├── query_output_handler.py │ │ │ ├── tests/ │ │ │ │ ├── test_artifact_handler.py │ │ │ │ └── test_query_output_handler.py │ │ │ └── typing.py │ │ └── models/ │ │ ├── __init__.py │ │ └── query_output.py │ ├── checkpoint/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── checkpoint.py │ │ ├── checkpoint_decorator.py │ │ ├── checkpoint_factory.py │ │ ├── local_storage_checkpoint.py │ │ ├── null_checkpoint.py │ │ └── tests/ │ │ ├── test_checkpoint.py │ │ ├── test_local_storage_checkpoint.py │ │ └── test_null_checkpoint.py │ ├── config/ │ │ ├── __init__.py │ │ ├── base_config.py │ │ ├── chunking_config.py │ │ ├── config.py │ │ ├── config_validator.py │ │ ├── embedding_model_config.py │ │ ├── environment.py │ │ ├── eval_config.py │ │ ├── index_config.py │ │ ├── language_config.py │ │ ├── openai_config.py │ │ ├── path_config.py │ │ ├── paths.py │ │ ├── query_expansion.py │ │ ├── rerank_config.py │ │ ├── sampling_config.py │ │ ├── search_config.py │ │ └── tests/ │ │ ├── test_config.py │ │ ├── test_config_validator.py │ │ ├── test_environment.py │ │ └── test_index_config.py │ ├── data_assets/ │ │ ├── __init__.py │ │ └── data_asset.py │ ├── doc_loader/ │ │ ├── __init__.py │ │ ├── customJsonLoader.py │ │ ├── documentIntelligenceLoader.py │ │ ├── documentLoader.py │ │ ├── docxLoader.py │ │ ├── htmlLoader.py │ │ ├── jsonLoader.py │ │ ├── markdownLoader.py │ │ ├── pdfLoader.py │ │ ├── structuredLoader.py │ │ ├── tests/ │ │ │ ├── test_custom_html_loader.py │ │ │ ├── test_custom_json_loader.py │ │ │ ├── test_data/ │ │ │ │ ├── document_intelligence_response/ │ │ │ │ │ ├── multiple_pages.json │ │ │ │ │ ├── simple_response.json │ │ │ │ │ └── table_without_headers.json │ │ │ │ └── json/ │ │ │ │ ├── data.bad.invalid_keys.json │ │ │ │ ├── data.bad.not_a_list.json │ │ │ │ └── data.valid.json │ │ │ ├── test_document_intelligence_loader.py │ │ │ └── test_docx_loader.py │ │ └── textLoader.py │ ├── embedding/ │ │ ├── __init__.py │ │ ├── aoai_embedding_model.py │ │ ├── embedding_model.py │ │ ├── factory.py │ │ ├── st_embedding_model.py │ │ └── tests/ │ │ ├── test_aoai_embedding_model.py │ │ ├── test_factory.py │ │ └── test_st_embedding_model.py │ ├── evaluation/ │ │ ├── LICENSE.txt │ │ ├── __init__.py │ │ ├── eval.py │ │ ├── llm_based_metrics.py │ │ ├── plain_metrics.py │ │ ├── plot_metrics.py │ │ ├── search_eval.py │ │ ├── spacy_evaluator.py │ │ ├── tests/ │ │ │ ├── test_llm_based_metrics.py │ │ │ ├── test_plain_metrics.py │ │ │ ├── test_search_eval.py │ │ │ ├── test_spacy_evaluator.py │ │ │ └── test_transformer_based_metrics.py │ │ └── transformer_based_metrics.py │ ├── ingest_data/ │ │ ├── __init__.py │ │ ├── acs_ingest.py │ │ └── tests/ │ │ └── test_acs_ingest.py │ ├── init_Index/ │ │ ├── __init__.py │ │ ├── create_index.py │ │ └── tests/ │ │ └── test_create_index.py │ ├── io/ │ │ ├── __init__.py │ │ ├── exceptions.py │ │ ├── loader.py │ │ ├── local/ │ │ │ ├── __init__.py │ │ │ ├── base.py │ │ │ ├── loaders/ │ │ │ │ ├── __init__.py │ │ │ │ ├── jsonl_loader.py │ │ │ │ ├── local_loader.py │ │ │ │ └── tests/ │ │ │ │ ├── test_jsonl_loader.py │ │ │ │ └── test_local_loader.py │ │ │ ├── tests/ │ │ │ │ └── test_local_io_base.py │ │ │ └── writers/ │ │ │ ├── __init__.py │ │ │ ├── jsonl_writer.py │ │ │ ├── local_writer.py │ │ │ └── tests/ │ │ │ ├── test_jsonl_writer.py │ │ │ └── test_local_writer.py │ │ └── writer.py │ ├── llm/ │ │ ├── __init__.py │ │ ├── exceptions.py │ │ ├── prompt/ │ │ │ ├── __init__.py │ │ │ ├── hyde_prompts.py │ │ │ ├── instruction_prompts.py │ │ │ ├── multiprompts.py │ │ │ ├── prompt.py │ │ │ ├── qna_prompts.py │ │ │ ├── ragas_prompts.py │ │ │ └── rerank_prompts.py │ │ ├── prompts_text/ │ │ │ ├── do_need_multiple_prompt_instruction.txt │ │ │ ├── generate_qna_long_multi_context.txt │ │ │ ├── generate_qna_long_single_context.txt │ │ │ ├── generate_qna_short_multi_context.txt │ │ │ ├── generate_qna_short_single_context.txt │ │ │ ├── generate_qna_short_single_context_no_cot.txt │ │ │ ├── llm_answer_relevance_instruction.txt │ │ │ ├── llm_context_precision_instruction.txt │ │ │ ├── llm_context_recall_instruction.txt │ │ │ ├── main_instruction_long.txt │ │ │ ├── main_instruction_short.txt │ │ │ ├── multiple_prompt_instruction.txt │ │ │ ├── prompt_generate_hypothetical_answer.txt │ │ │ ├── prompt_generate_hypothetical_document.txt │ │ │ ├── prompt_generate_hypothetical_questions.txt │ │ │ ├── prompt_instruction_entities.txt │ │ │ ├── prompt_instruction_keywords.txt │ │ │ ├── prompt_instruction_summary.txt │ │ │ ├── prompt_instruction_title.txt │ │ │ └── rerank_prompt_instruction.txt │ │ ├── response_generator.py │ │ └── tests/ │ │ └── test_response_generator.py │ ├── nlp/ │ │ ├── __init__.py │ │ ├── language_evaluator.py │ │ ├── preprocess.py │ │ └── tests/ │ │ ├── test_language_evaluator.py │ │ └── test_preprocessor.py │ ├── reranking/ │ │ ├── __init__.py │ │ └── reranker.py │ ├── run/ │ │ ├── evaluation.py │ │ ├── index.py │ │ ├── qa_generation.py │ │ ├── querying.py │ │ └── tests/ │ │ ├── data/ │ │ │ └── test_data.jsonl │ │ ├── test_index.py │ │ ├── test_qa_generation.py │ │ └── test_querying.py │ ├── sampling/ │ │ ├── __init__.py │ │ ├── clustering.py │ │ └── tests/ │ │ ├── data/ │ │ │ └── test1.txt │ │ └── test_clustering.py │ ├── search_type/ │ │ ├── __init__.py │ │ ├── acs_search_methods.py │ │ └── tests/ │ │ └── test_acs_search_methods.py │ └── utils/ │ ├── __init__.py │ ├── auth.py │ ├── logging.py │ └── timetook.py ├── requirements.txt ├── setup.cfg └── setup.py