gitextract_ge884vpc/ ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug_report.md │ │ └── feature_request.md │ ├── PULL_REQUEST_TEMPLATE.md │ └── workflows/ │ └── ci.yml ├── .gitignore ├── .gitmodules ├── LICENSE ├── Quickstart.md ├── README.md ├── docs/ │ ├── agentic_tracing.md │ ├── dataset_management.md │ ├── prompt_management.md │ └── trace_management.md ├── examples/ │ ├── all_llm_provider/ │ │ ├── all_llm_provider.py │ │ ├── config.py │ │ └── run_all_llm_provider.py │ ├── crewai/ │ │ └── scifi_writer/ │ │ ├── README.md │ │ ├── requirements.txt │ │ ├── sample.env │ │ └── scifi_writer.py │ ├── custom_agents/ │ │ └── travel_agent/ │ │ ├── agents.py │ │ ├── config.py │ │ ├── main.py │ │ └── tools.py │ ├── haystack/ │ │ └── news_fetching/ │ │ ├── README.md │ │ ├── news_fetching.py │ │ └── requirements.txt │ ├── langchain/ │ │ └── medical_rag/ │ │ ├── data/ │ │ │ └── symptom_disease_map.csv │ │ ├── diagnosis_agent.py │ │ ├── requirements.txt │ │ └── sample.env │ ├── langgraph/ │ │ └── personal_research_assistant/ │ │ ├── README.md │ │ ├── requirements.txt │ │ ├── research_assistant.py │ │ └── sample.env │ ├── llamaindex_examples/ │ │ └── legal_research_rag/ │ │ ├── legal_data/ │ │ │ └── statutes.csv │ │ ├── legal_rag.py │ │ ├── requirements.txt │ │ └── sample.env │ ├── openai_agents_sdk/ │ │ ├── email_data_extraction_agent/ │ │ │ ├── README.md │ │ │ ├── data_extraction_email.py │ │ │ ├── requirements.txt │ │ │ └── sample.env │ │ └── youtube_summary_agent/ │ │ ├── README.md │ │ ├── requirements.txt │ │ ├── sample.env │ │ └── youtube_summary_agent.py │ ├── pii_masking_example/ │ │ └── llamaindex_agentic_fastapi/ │ │ ├── app.py │ │ ├── app_presidio.py │ │ ├── request.py │ │ └── requirements.txt │ └── smolagents/ │ └── most_upvoted_paper/ │ ├── README.md │ ├── most_upvoted_paper.py │ ├── requirements.txt │ └── sample.env ├── pyproject.toml ├── quickstart.md ├── ragaai_catalyst/ │ ├── __init__.py │ ├── _version.py │ ├── dataset.py │ ├── evaluation.py │ ├── experiment.py │ ├── guard_executor.py │ ├── guardrails_manager.py │ ├── internal_api_completion.py │ ├── prompt_manager.py │ ├── proxy_call.py │ ├── ragaai_catalyst.py │ ├── redteaming/ │ │ ├── __init__.py │ │ ├── config/ │ │ │ └── detectors.toml │ │ ├── data_generator/ │ │ │ ├── scenario_generator.py │ │ │ └── test_case_generator.py │ │ ├── evaluator.py │ │ ├── llm_generator.py │ │ ├── llm_generator_old.py │ │ ├── red_teaming.py │ │ ├── requirements.txt │ │ ├── tests/ │ │ │ ├── grok.ipynb │ │ │ └── stereotype.ipynb │ │ ├── upload_result.py │ │ └── utils/ │ │ └── issue_description.py │ ├── redteaming_old.py │ ├── synthetic_data_generation.py │ ├── tracers/ │ │ ├── __init__.py │ │ ├── agentic_tracing/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── data/ │ │ │ │ ├── __init__.py │ │ │ │ └── data_structure.py │ │ │ ├── tests/ │ │ │ │ ├── FinancialAnalysisSystem.ipynb │ │ │ │ ├── GameActivityEventPlanner.ipynb │ │ │ │ ├── TravelPlanner.ipynb │ │ │ │ ├── __init__.py │ │ │ │ ├── ai_travel_agent.py │ │ │ │ └── unique_decorator_test.py │ │ │ ├── tracers/ │ │ │ │ ├── __init__.py │ │ │ │ ├── agent_tracer.py │ │ │ │ ├── base.py │ │ │ │ ├── custom_tracer.py │ │ │ │ ├── langgraph_tracer.py │ │ │ │ ├── llm_tracer.py │ │ │ │ ├── main_tracer.py │ │ │ │ ├── network_tracer.py │ │ │ │ ├── tool_tracer.py │ │ │ │ └── user_interaction_tracer.py │ │ │ ├── upload/ │ │ │ │ ├── __init__.py │ │ │ │ ├── trace_uploader.py │ │ │ │ ├── upload_agentic_traces.py │ │ │ │ ├── upload_code.py │ │ │ │ ├── upload_local_metric.py │ │ │ │ └── upload_trace_metric.py │ │ │ └── utils/ │ │ │ ├── __init__.py │ │ │ ├── api_utils.py │ │ │ ├── create_dataset_schema.py │ │ │ ├── file_name_tracker.py │ │ │ ├── generic.py │ │ │ ├── get_user_trace_metrics.py │ │ │ ├── llm_utils.py │ │ │ ├── model_costs.json │ │ │ ├── span_attributes.py │ │ │ ├── supported_llm_provider.toml │ │ │ ├── system_monitor.py │ │ │ ├── trace_utils.py │ │ │ ├── unique_decorator.py │ │ │ └── zip_list_of_unique_files.py │ │ ├── distributed.py │ │ ├── exporters/ │ │ │ ├── __init__.py │ │ │ ├── dynamic_trace_exporter.py │ │ │ ├── file_span_exporter.py │ │ │ ├── raga_exporter.py │ │ │ └── ragaai_trace_exporter.py │ │ ├── instrumentators/ │ │ │ └── __init__.py │ │ ├── langchain_callback.py │ │ ├── llamaindex_callback.py │ │ ├── llamaindex_instrumentation.py │ │ ├── tracer.py │ │ ├── upload_traces.py │ │ └── utils/ │ │ ├── __init__.py │ │ ├── convert_langchain_callbacks_output.py │ │ ├── convert_llama_instru_callback.py │ │ ├── extraction_logic_llama_index.py │ │ ├── langchain_tracer_extraction_logic.py │ │ ├── model_prices_and_context_window_backup.json │ │ ├── rag_trace_json_converter.py │ │ ├── trace_json_converter.py │ │ └── utils.py │ └── utils.py ├── requirements.txt ├── test_report_20250407_183101.txt ├── tests/ │ ├── README.md │ ├── environment.yml │ ├── examples/ │ │ ├── __init__.py │ │ ├── all_llm_provider/ │ │ │ ├── all_llm_provider.py │ │ │ ├── config.py │ │ │ └── test_all_llm_provider.py │ │ ├── crewai/ │ │ │ └── scifi_writer/ │ │ │ ├── sci_fi_story.md │ │ │ ├── scifi_writer.py │ │ │ └── test_scifi_writer.py │ │ ├── custom_agents/ │ │ │ └── travel_agent/ │ │ │ ├── agents.py │ │ │ ├── config.py │ │ │ ├── main.py │ │ │ ├── test_travel_agent.py │ │ │ └── tools.py │ │ ├── haystack/ │ │ │ └── news_fetching/ │ │ │ ├── news_fetching.py │ │ │ └── test_news_fetching.py │ │ ├── langchain/ │ │ │ └── medical_rag/ │ │ │ ├── data/ │ │ │ │ └── symptom_disease_map.csv │ │ │ ├── diagnosis_agent.py │ │ │ └── test_diagnosis_agent.py │ │ ├── langgraph/ │ │ │ └── personal_research_assistant/ │ │ │ ├── research_assistant.py │ │ │ └── test_research_assistant.py │ │ ├── llamaindex_examples/ │ │ │ └── legal_research_rag/ │ │ │ ├── legal_data/ │ │ │ │ └── statutes.csv │ │ │ ├── legal_rag.py │ │ │ └── test_legal_rag.py │ │ ├── smolagents/ │ │ │ └── most_upvoted_paper/ │ │ │ ├── most_upvoted_paper.py │ │ │ └── test_most_upvoted_paper.py │ │ └── test_utils/ │ │ ├── get_components.py │ │ └── get_trace_data.py │ ├── run_pytest_and_print_and_save_results.py │ └── test_catalyst/ │ ├── test_base_tracer_add_metrics.py │ ├── test_base_tracer_metrics.py │ ├── test_data/ │ │ ├── util_synthetic_data_invalid.csv │ │ ├── util_synthetic_data_valid.csv │ │ └── util_test_dataset.csv │ ├── test_dataset.py │ ├── test_evaluation.py │ ├── test_evaluation_metrics.py │ ├── test_prompt_manager.py │ ├── test_synthetic_data_generation.py │ └── test_the_configuration.py └── tests_requirements.txt