gitextract_vtvi0nnb/

├── .github/
│   └── workflows/
│       └── build_wheels.yml
├── .gitignore
├── CHANGELOG.md
├── Cargo.toml
├── LICENSE
├── MANIFEST.in
├── README.md
├── pyproject.toml
├── scripts/
│   ├── benchmark.py
│   ├── redact.py
│   └── wheel_download.py
├── setup.py
├── src/
│   ├── lib.rs
│   └── py.rs
├── tests/
│   ├── __init__.py
│   ├── test_encoding.py
│   ├── test_helpers.py
│   ├── test_misc.py
│   ├── test_offsets.py
│   ├── test_pickle.py
│   └── test_simple_public.py
├── tiktoken/
│   ├── __init__.py
│   ├── _educational.py
│   ├── core.py
│   ├── load.py
│   ├── model.py
│   ├── py.typed
│   └── registry.py
└── tiktoken_ext/
    └── openai_public.py