gitextract_c87qb2fj/

├── .gitignore
├── .pre-commit-config.yaml
├── Dockerfile
├── LICENSE
├── Makefile
├── README.md
├── bloom-inference-scripts/
│   ├── README.md
│   ├── bloom-accelerate-inference.py
│   ├── bloom-ds-inference.py
│   └── bloom-ds-zero-inference.py
├── inference_server/
│   ├── benchmark.py
│   ├── cli.py
│   ├── constants.py
│   ├── download_model.py
│   ├── model_handler/
│   │   ├── __init__.py
│   │   ├── deployment.py
│   │   ├── grpc_utils/
│   │   │   ├── __init__.py
│   │   │   ├── generation_server.py
│   │   │   ├── pb/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── generation_pb2.py
│   │   │   │   └── generation_pb2_grpc.py
│   │   │   └── proto/
│   │   │       └── generation.proto
│   │   └── launch.py
│   ├── models/
│   │   ├── __init__.py
│   │   ├── ds_inference.py
│   │   ├── ds_zero.py
│   │   ├── hf_accelerate.py
│   │   ├── hf_cpu.py
│   │   └── model.py
│   ├── server.py
│   └── utils/
│       ├── __init__.py
│       ├── requests.py
│       └── utils.py
├── server_request.py
├── setup.cfg
├── static/
│   ├── css/
│   │   └── style.css
│   └── js/
│       └── index.js
├── templates/
│   └── index.html
└── ui.py