gitextract_sobc03i9/ ├── .devcontainer/ │ └── devcontainer.json ├── .editorconfig ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug_report.yml │ │ └── config.yml │ ├── PULL_REQUEST_TEMPLATE/ │ │ └── pull_request_template.md │ ├── scripts/ │ │ └── build_sdist_and_wheel.sh │ └── workflows/ │ ├── build_documentation.yml │ ├── publish_documentation.yml │ ├── release_pypi.yaml │ ├── tests.yml │ └── tests_api_models.yml ├── .gitignore ├── .pre-commit-config.yaml ├── .pydocstyle ├── .readthedocs.yaml ├── .vscode/ │ └── settings.json ├── LICENSE ├── README.md ├── docs/ │ ├── api_reference/ │ │ └── index.md │ ├── blog/ │ │ └── index.md │ ├── community/ │ │ ├── contribute.md │ │ ├── examples.md │ │ ├── feedback.md │ │ ├── index.md │ │ └── versioning.md │ ├── core_concepts.md │ ├── examples/ │ │ ├── chain_of_density.md │ │ ├── chain_of_thought.md │ │ ├── classification.md │ │ ├── dating_profiles.md │ │ ├── deploy-using-bentoml.md │ │ ├── deploy-using-cerebrium.md │ │ ├── deploy-using-modal.md │ │ ├── earnings-reports.md │ │ ├── extract_event_details.md │ │ ├── extract_event_details.py │ │ ├── extraction.md │ │ ├── index.md │ │ ├── knowledge_graph_extraction.md │ │ ├── models_playing_chess.md │ │ ├── prompt_templates/ │ │ │ ├── chain_of_density.txt │ │ │ ├── classification.txt │ │ │ ├── react_agent.txt │ │ │ ├── simtom_prospective_taking.txt │ │ │ └── simtom_simulation.txt │ │ ├── qa-with-citations.md │ │ ├── react_agent.md │ │ ├── read-pdfs.md │ │ ├── receipt-digitization.md │ │ ├── simtom.md │ │ └── structured_generation_workflow.md │ ├── features/ │ │ ├── advanced/ │ │ │ ├── backends.md │ │ │ └── logits_processors.md │ │ ├── core/ │ │ │ ├── generator.md │ │ │ ├── inputs.md │ │ │ └── output_types.md │ │ ├── index.md │ │ ├── models/ │ │ │ ├── anthropic.md │ │ │ ├── dottxt.md │ │ │ ├── gemini.md │ │ │ ├── index.md │ │ │ ├── llamacpp.md │ │ │ ├── mistral.md │ │ │ ├── mlxlm.md │ │ │ ├── ollama.md │ │ │ ├── openai.md │ │ │ ├── openai_compatible.md │ │ │ ├── openrouter.md │ │ │ ├── sglang.md │ │ │ ├── tgi.md │ │ │ ├── transformers.md │ │ │ ├── transformers_multimodal.md │ │ │ ├── vllm.md │ │ │ └── vllm_offline.md │ │ └── utility/ │ │ ├── application.md │ │ ├── regex_dsl.md │ │ └── template.md │ ├── guide/ │ │ ├── architecture.md │ │ ├── chat_templating.md │ │ ├── core_concepts.md │ │ ├── fastapi_vllm_deployment.md │ │ ├── getting_started.md │ │ ├── installation.md │ │ ├── migration.md │ │ ├── selecting_an_inference_backend.md │ │ └── vlm.md │ ├── index.md │ ├── overrides/ │ │ ├── home.html │ │ └── main.html │ └── stylesheets/ │ └── extra.css ├── environment.yml ├── examples/ │ ├── babyagi.py │ ├── beam-cloud/ │ │ ├── README.md │ │ └── app.py │ ├── bentoml/ │ │ ├── .bentoignore │ │ ├── bentofile.yaml │ │ ├── import_model.py │ │ ├── requirements.txt │ │ └── service.py │ ├── cerebrium/ │ │ ├── cerebrium.toml │ │ └── main.py │ ├── dating_profile.py │ ├── llamacpp_example.py │ ├── llamacpp_processor.py │ ├── math_generate_code.py │ ├── meta_prompting.py │ ├── modal_example.py │ ├── pick_odd_one_out.py │ ├── prompts/ │ │ ├── babyagi_create_task.txt │ │ ├── babyagi_perform_task.txt │ │ ├── babyagi_prioritize_task.txt │ │ ├── dating_profile.txt │ │ ├── pick_odd_one_out.txt │ │ └── self_consistency.txt │ ├── react.py │ ├── sampling.ipynb │ ├── self_consistency.py │ ├── simulation_based_inference.ipynb │ └── vllm_offline_integration.py ├── flake.nix ├── llm.txt ├── mkdocs.yml ├── outlines/ │ ├── __init__.py │ ├── applications.py │ ├── backends/ │ │ ├── __init__.py │ │ ├── base.py │ │ ├── llguidance.py │ │ ├── outlines_core.py │ │ └── xgrammar.py │ ├── caching.py │ ├── generator.py │ ├── grammars/ │ │ ├── arithmetic.lark │ │ ├── common.lark │ │ └── json.lark │ ├── grammars.py │ ├── inputs.py │ ├── models/ │ │ ├── __init__.py │ │ ├── anthropic.py │ │ ├── base.py │ │ ├── dottxt.py │ │ ├── gemini.py │ │ ├── llamacpp.py │ │ ├── lmstudio.py │ │ ├── mistral.py │ │ ├── mlxlm.py │ │ ├── ollama.py │ │ ├── openai.py │ │ ├── sglang.py │ │ ├── tgi.py │ │ ├── tokenizer.py │ │ ├── transformers.py │ │ ├── utils.py │ │ ├── vllm.py │ │ └── vllm_offline.py │ ├── processors/ │ │ ├── __init__.py │ │ ├── base_logits_processor.py │ │ └── tensor_adapters/ │ │ ├── __init__.py │ │ ├── base.py │ │ ├── mlx.py │ │ ├── numpy.py │ │ └── torch.py │ ├── py.typed │ ├── release_note.md │ ├── templates.py │ └── types/ │ ├── __init__.py │ ├── airports.py │ ├── countries.py │ ├── dsl.py │ ├── json_schema_utils.py │ ├── locale/ │ │ ├── __init__.py │ │ └── us.py │ └── utils.py ├── pyproject.toml ├── requirements-doc.txt ├── scripts/ │ └── gen_ref_pages.py ├── setup.cfg ├── shell.nix └── tests/ ├── __init__.py ├── backends/ │ ├── test_backends.py │ ├── test_backends_utils.py │ ├── test_llguidance.py │ ├── test_outlines_core.py │ └── test_xgrammar.py ├── cfg_samples/ │ ├── arithmetic/ │ │ ├── lots_of_ops.arithmetic.test │ │ └── simple_math.arithmetic.test │ └── json/ │ ├── outlines.generate.samplers.mypy.json.test │ ├── simple_fruit.json.test │ └── simple_fruit_no_indent.json.test ├── conftest.py ├── models/ │ ├── test_anthopic_type_adapter.py │ ├── test_anthropic.py │ ├── test_dottxt.py │ ├── test_dottxt_type_adapter.py │ ├── test_gemini.py │ ├── test_gemini_type_adapter.py │ ├── test_llamacpp.py │ ├── test_llamacpp_tokenizer.py │ ├── test_llamacpp_type_adapter.py │ ├── test_lmstudio.py │ ├── test_lmstudio_type_adapter.py │ ├── test_mistral.py │ ├── test_mistral_type_adapter.py │ ├── test_mlxlm.py │ ├── test_mlxlm_type_adapter.py │ ├── test_ollama.py │ ├── test_ollama_type_adapter.py │ ├── test_openai.py │ ├── test_openai_type_adapter.py │ ├── test_sglang.py │ ├── test_sglang_type_adapter.py │ ├── test_tgi.py │ ├── test_tgi_model_adapter.py │ ├── test_tokenizer.py │ ├── test_transformers.py │ ├── test_transformers_multimodal.py │ ├── test_transformers_multimodal_type_adapter.py │ ├── test_transformers_tokenizer.py │ ├── test_transformers_type_adapter.py │ ├── test_utils.py │ ├── test_vllm.py │ ├── test_vllm_offline.py │ ├── test_vllm_offline_type_adapter.py │ └── test_vllm_type_adapter.py ├── processors/ │ ├── test_base_processor.py │ └── test_tensor_adapters.py ├── test_applications.py ├── test_cache.py ├── test_generator.py ├── test_inputs.py ├── test_templates.py ├── test_utils/ │ ├── mock_lmstudio_client.py │ ├── mock_openai_client.py │ ├── mock_tgi_client.py │ └── utils.py └── types/ ├── test_custom_types.py ├── test_dsl.py ├── test_json_schema_utils.py ├── test_to_regex.py └── test_types_utils.py