gitextract_h_b9vahq/ ├── .all-contributorsrc ├── .github/ │ └── workflows/ │ ├── CI.yaml │ └── publish.yaml ├── .gitignore ├── .goreleaser.yaml ├── LICENSE ├── MANIFEST.in ├── README.md ├── agent/ │ ├── .gitignore │ ├── Dockerfile │ ├── Makefile │ ├── README.md │ ├── api/ │ │ └── types/ │ │ ├── build.go │ │ ├── error.go │ │ ├── event.go │ │ ├── inference_deployment.go │ │ ├── inference_deployment_instance.go │ │ ├── inference_status.go │ │ ├── info.go │ │ ├── log.go │ │ ├── modelz_cloud.go │ │ ├── namespace.go │ │ ├── queue.go │ │ ├── requests.go │ │ ├── secret.go │ │ └── server.go │ ├── client/ │ │ ├── build.go │ │ ├── client.go │ │ ├── const.go │ │ ├── errors.go │ │ ├── hijack.go │ │ ├── image_cache_create.go │ │ ├── inference_create.go │ │ ├── inference_get.go │ │ ├── inference_list.go │ │ ├── inference_remove.go │ │ ├── inference_scale.go │ │ ├── inference_update.go │ │ ├── info.go │ │ ├── instance_exec.go │ │ ├── instance_list.go │ │ ├── log.go │ │ ├── modelz_cloud.go │ │ ├── namespace_create.go │ │ ├── namespace_delete.go │ │ ├── options.go │ │ ├── request.go │ │ ├── server_label_create.go │ │ ├── server_list.go │ │ ├── server_node_delete.go │ │ ├── transport.go │ │ └── utils.go │ ├── cmd/ │ │ └── agent/ │ │ └── main.go │ ├── errdefs/ │ │ ├── defs.go │ │ ├── doc.go │ │ ├── helpers.go │ │ ├── http_helpers.go │ │ └── is.go │ ├── pkg/ │ │ ├── app/ │ │ │ ├── config.go │ │ │ └── root.go │ │ ├── config/ │ │ │ └── config.go │ │ ├── consts/ │ │ │ └── consts.go │ │ ├── docs/ │ │ │ └── docs.go │ │ ├── event/ │ │ │ ├── event.go │ │ │ ├── fake.go │ │ │ ├── suite_test.go │ │ │ ├── username.go │ │ │ └── util.go │ │ ├── k8s/ │ │ │ ├── convert_inference.go │ │ │ ├── convert_inference_test.go │ │ │ ├── convert_job.go │ │ │ ├── convert_pod.go │ │ │ ├── convert_pod_test.go │ │ │ ├── generate_image_cache.go │ │ │ ├── generate_job.go │ │ │ ├── managed_cluster.go │ │ │ ├── resolver.go │ │ │ └── suite_test.go │ │ ├── log/ │ │ │ ├── factory.go │ │ │ ├── k8s.go │ │ │ └── loki.go │ │ ├── metrics/ │ │ │ ├── exporter.go │ │ │ └── metrics.go │ │ ├── prom/ │ │ │ └── prometheus_query.go │ │ ├── runtime/ │ │ │ ├── build.go │ │ │ ├── cluster_info_get.go │ │ │ ├── image_cache.go │ │ │ ├── inference_create.go │ │ │ ├── inference_delete.go │ │ │ ├── inference_exec.go │ │ │ ├── inference_get.go │ │ │ ├── inference_instance.go │ │ │ ├── inference_list.go │ │ │ ├── inference_replicas.go │ │ │ ├── inference_update.go │ │ │ ├── mock/ │ │ │ │ └── mock.go │ │ │ ├── namespace.go │ │ │ ├── node.go │ │ │ ├── runtime.go │ │ │ ├── server_delete.go │ │ │ ├── server_label_create.go │ │ │ ├── server_list.go │ │ │ ├── util_domain.go │ │ │ └── util_resource.go │ │ ├── scaling/ │ │ │ ├── function_scaler.go │ │ │ ├── ranges.go │ │ │ ├── retry.go │ │ │ ├── service_query.go │ │ │ └── util.go │ │ ├── server/ │ │ │ ├── error.go │ │ │ ├── handler_build_create.go │ │ │ ├── handler_build_get.go │ │ │ ├── handler_build_list.go │ │ │ ├── handler_build_logs.go │ │ │ ├── handler_gradio_proxy.go │ │ │ ├── handler_healthz.go │ │ │ ├── handler_healthz_test.go │ │ │ ├── handler_image_cache.go │ │ │ ├── handler_inference_create.go │ │ │ ├── handler_inference_create_test.go │ │ │ ├── handler_inference_delete.go │ │ │ ├── handler_inference_delete_test.go │ │ │ ├── handler_inference_get.go │ │ │ ├── handler_inference_get_test.go │ │ │ ├── handler_inference_instance.go │ │ │ ├── handler_inference_instance_exec.go │ │ │ ├── handler_inference_list.go │ │ │ ├── handler_inference_logs.go │ │ │ ├── handler_inference_proxy.go │ │ │ ├── handler_inference_scale.go │ │ │ ├── handler_inference_update.go │ │ │ ├── handler_info.go │ │ │ ├── handler_mosec_proxy.go │ │ │ ├── handler_namespace_create.go │ │ │ ├── handler_namespace_delete.go │ │ │ ├── handler_namespace_delete_test.go │ │ │ ├── handler_namespace_list.go │ │ │ ├── handler_other_proxy.go │ │ │ ├── handler_root.go │ │ │ ├── handler_server_delete.go │ │ │ ├── handler_server_label_create.go │ │ │ ├── handler_server_list.go │ │ │ ├── handler_streamlit_proxy.go │ │ │ ├── middleware_callid.go │ │ │ ├── proxy_auth.go │ │ │ ├── server_factory.go │ │ │ ├── server_handlerfunc.go │ │ │ ├── server_init_kubernetes.go │ │ │ ├── server_init_logs.go │ │ │ ├── server_init_metrics.go │ │ │ ├── server_init_modelz_cloud.go │ │ │ ├── server_init_route.go │ │ │ ├── server_run.go │ │ │ ├── server_websocket.go │ │ │ ├── static/ │ │ │ │ ├── index.html │ │ │ │ ├── landing.go │ │ │ │ └── page_loading.go │ │ │ ├── suite_test.go │ │ │ ├── user.go │ │ │ └── validator/ │ │ │ └── validator.go │ │ └── version/ │ │ └── version.go │ └── sqlc.yaml ├── autoscaler/ │ ├── .gitignore │ ├── Dockerfile │ ├── Makefile │ ├── cmd/ │ │ └── autoscaler/ │ │ └── main.go │ └── pkg/ │ ├── autoscaler/ │ │ ├── factory.go │ │ ├── inferencecache.go │ │ ├── loadcache.go │ │ └── scaler.go │ ├── autoscalerapp/ │ │ └── root.go │ ├── prom/ │ │ ├── prom.go │ │ └── types.go │ ├── server/ │ │ └── status.go │ └── version/ │ └── version.go ├── go.mod ├── go.sum ├── ingress-operator/ │ ├── .DEREK.yml │ ├── .dockerignore │ ├── .gitignore │ ├── .tools/ │ │ ├── README.md │ │ ├── code-generator.mod │ │ └── code-generator.sum │ ├── .vscode/ │ │ └── settings.json │ ├── Dockerfile │ ├── LICENSE │ ├── Makefile │ ├── artifacts/ │ │ ├── .gitignore │ │ ├── crds/ │ │ │ └── tensorchord.ai_inferenceingresses.yaml │ │ ├── operator-amd64.yaml │ │ └── operator-rbac.yaml │ ├── cmd/ │ │ └── ingress-operator/ │ │ └── main.go │ ├── hack/ │ │ ├── boilerplate.go.txt │ │ ├── custom-boilerplate.go.txt │ │ ├── print-codegen-version.sh │ │ ├── update-codegen.sh │ │ ├── update-crds.sh │ │ └── verify-codegen.sh │ ├── pkg/ │ │ ├── apis/ │ │ │ └── modelzetes/ │ │ │ ├── register.go │ │ │ └── v1/ │ │ │ ├── doc.go │ │ │ ├── register.go │ │ │ ├── types.go │ │ │ └── zz_generated.deepcopy.go │ │ ├── app/ │ │ │ ├── config.go │ │ │ └── root.go │ │ ├── client/ │ │ │ ├── clientset/ │ │ │ │ └── versioned/ │ │ │ │ ├── clientset.go │ │ │ │ ├── doc.go │ │ │ │ ├── fake/ │ │ │ │ │ ├── clientset_generated.go │ │ │ │ │ ├── doc.go │ │ │ │ │ └── register.go │ │ │ │ ├── scheme/ │ │ │ │ │ ├── doc.go │ │ │ │ │ └── register.go │ │ │ │ └── typed/ │ │ │ │ └── modelzetes/ │ │ │ │ └── v1/ │ │ │ │ ├── doc.go │ │ │ │ ├── fake/ │ │ │ │ │ ├── doc.go │ │ │ │ │ ├── fake_inferenceingress.go │ │ │ │ │ └── fake_modelzetes_client.go │ │ │ │ ├── generated_expansion.go │ │ │ │ ├── inferenceingress.go │ │ │ │ └── modelzetes_client.go │ │ │ ├── informers/ │ │ │ │ └── externalversions/ │ │ │ │ ├── factory.go │ │ │ │ ├── generic.go │ │ │ │ ├── internalinterfaces/ │ │ │ │ │ └── factory_interfaces.go │ │ │ │ └── modelzetes/ │ │ │ │ ├── interface.go │ │ │ │ └── v1/ │ │ │ │ ├── inferenceingress.go │ │ │ │ └── interface.go │ │ │ └── listers/ │ │ │ └── modelzetes/ │ │ │ └── v1/ │ │ │ ├── expansion_generated.go │ │ │ └── inferenceingress.go │ │ ├── config/ │ │ │ └── config.go │ │ ├── consts/ │ │ │ └── consts.go │ │ ├── controller/ │ │ │ ├── core.go │ │ │ ├── core_test.go │ │ │ └── v1/ │ │ │ ├── controller.go │ │ │ ├── controller_factory.go │ │ │ ├── controller_test.go │ │ │ └── docs.go │ │ ├── signals/ │ │ │ ├── signal.go │ │ │ ├── signal_posix.go │ │ │ └── signal_windows.go │ │ └── version/ │ │ └── version.go │ └── vendor.go ├── mdz/ │ ├── .gitignore │ ├── Makefile │ ├── README.md │ ├── cmd/ │ │ └── mdz/ │ │ └── main.go │ ├── docs/ │ │ ├── cli/ │ │ │ ├── mdz.md │ │ │ ├── mdz_delete.md │ │ │ ├── mdz_deploy.md │ │ │ ├── mdz_exec.md │ │ │ ├── mdz_list.md │ │ │ ├── mdz_list_instance.md │ │ │ ├── mdz_logs.md │ │ │ ├── mdz_port-forward.md │ │ │ ├── mdz_scale.md │ │ │ ├── mdz_server.md │ │ │ ├── mdz_server_delete.md │ │ │ ├── mdz_server_destroy.md │ │ │ ├── mdz_server_join.md │ │ │ ├── mdz_server_label.md │ │ │ ├── mdz_server_list.md │ │ │ ├── mdz_server_start.md │ │ │ ├── mdz_server_stop.md │ │ │ └── mdz_version.md │ │ └── macOS-quickstart.md │ ├── examples/ │ │ └── bloomz-560m-openai/ │ │ └── README.md │ ├── hack/ │ │ └── cli-doc-gen/ │ │ └── main.go │ └── pkg/ │ ├── agentd/ │ │ ├── runtime/ │ │ │ ├── create.go │ │ │ ├── delete.go │ │ │ ├── label.go │ │ │ ├── list.go │ │ │ ├── proxy.go │ │ │ └── runtime.go │ │ └── server/ │ │ ├── error.go │ │ ├── handler_healthz.go │ │ ├── handler_inference_create.go │ │ ├── handler_inference_delete.go │ │ ├── handler_inference_get.go │ │ ├── handler_inference_list.go │ │ ├── handler_inference_logs.go │ │ ├── handler_inference_proxy.go │ │ ├── handler_info.go │ │ ├── middleware_callid.go │ │ ├── server_factory.go │ │ ├── server_handlerfunc.go │ │ ├── server_init_route.go │ │ └── server_run.go │ ├── cmd/ │ │ ├── delete.go │ │ ├── deploy.go │ │ ├── exec.go │ │ ├── exec_stream.go │ │ ├── ioutils/ │ │ │ └── reader.go │ │ ├── list.go │ │ ├── list_instance.go │ │ ├── localagent.go │ │ ├── logs.go │ │ ├── portforward.go │ │ ├── root.go │ │ ├── scale.go │ │ ├── server.go │ │ ├── server_delete.go │ │ ├── server_destroy.go │ │ ├── server_join.go │ │ ├── server_label.go │ │ ├── server_list.go │ │ ├── server_start.go │ │ ├── server_stop.go │ │ ├── streams/ │ │ │ ├── in.go │ │ │ ├── out.go │ │ │ └── stream.go │ │ └── version.go │ ├── server/ │ │ ├── agentd_run.go │ │ ├── engine.go │ │ ├── gpu-resource.yaml │ │ ├── gpu_install.go │ │ ├── k3s-install.sh │ │ ├── k3s_destroy.go │ │ ├── k3s_install.go │ │ ├── k3s_join.go │ │ ├── k3s_killall.go │ │ ├── k3s_prepare.go │ │ ├── nginx-dep.yaml │ │ ├── nginx_install.go │ │ ├── openmodelz.yaml │ │ ├── openmodelz_install.go │ │ └── registries.yaml │ ├── telemetry/ │ │ └── telemetry.go │ ├── term/ │ │ ├── interrupt.go │ │ └── term.go │ └── version/ │ └── version.go ├── modelzetes/ │ ├── .dockerignore │ ├── .gitattributes │ ├── .gitignore │ ├── Dockerfile │ ├── LICENSE │ ├── Makefile │ ├── artifacts/ │ │ ├── crds/ │ │ │ └── tensorchord.ai_inferences.yaml │ │ └── samples/ │ │ └── v2alpha1.yaml │ ├── buf.yaml │ ├── cmd/ │ │ └── modelzetes/ │ │ └── main.go │ ├── hack/ │ │ ├── boilerplate.go.txt │ │ ├── print-codegen-version.sh │ │ ├── update-codegen.sh │ │ ├── update-crds.sh │ │ └── verify-codegen.sh │ ├── pkg/ │ │ ├── apis/ │ │ │ └── modelzetes/ │ │ │ ├── register.go │ │ │ └── v2alpha1/ │ │ │ ├── doc.go │ │ │ ├── register.go │ │ │ ├── types.go │ │ │ └── zz_generated.deepcopy.go │ │ ├── app/ │ │ │ ├── config.go │ │ │ └── root.go │ │ ├── client/ │ │ │ ├── clientset/ │ │ │ │ └── versioned/ │ │ │ │ ├── clientset.go │ │ │ │ ├── doc.go │ │ │ │ ├── fake/ │ │ │ │ │ ├── clientset_generated.go │ │ │ │ │ ├── doc.go │ │ │ │ │ └── register.go │ │ │ │ ├── scheme/ │ │ │ │ │ ├── doc.go │ │ │ │ │ └── register.go │ │ │ │ └── typed/ │ │ │ │ └── modelzetes/ │ │ │ │ └── v2alpha1/ │ │ │ │ ├── doc.go │ │ │ │ ├── fake/ │ │ │ │ │ ├── doc.go │ │ │ │ │ ├── fake_inference.go │ │ │ │ │ └── fake_modelzetes_client.go │ │ │ │ ├── generated_expansion.go │ │ │ │ ├── inference.go │ │ │ │ └── modelzetes_client.go │ │ │ ├── informers/ │ │ │ │ └── externalversions/ │ │ │ │ ├── factory.go │ │ │ │ ├── generic.go │ │ │ │ ├── internalinterfaces/ │ │ │ │ │ └── factory_interfaces.go │ │ │ │ └── modelzetes/ │ │ │ │ ├── interface.go │ │ │ │ └── v2alpha1/ │ │ │ │ ├── inference.go │ │ │ │ └── interface.go │ │ │ └── listers/ │ │ │ └── modelzetes/ │ │ │ └── v2alpha1/ │ │ │ ├── expansion_generated.go │ │ │ └── inference.go │ │ ├── config/ │ │ │ └── config.go │ │ ├── consts/ │ │ │ └── consts.go │ │ ├── controller/ │ │ │ ├── annotations_test.go │ │ │ ├── controller.go │ │ │ ├── deployment.go │ │ │ ├── deployment_test.go │ │ │ ├── deployment_update_test.go │ │ │ ├── factory.go │ │ │ ├── framework_test.go │ │ │ ├── fromconfig.go │ │ │ ├── replicas_test.go │ │ │ ├── secrets.go │ │ │ ├── secrets_test.go │ │ │ ├── service.go │ │ │ └── service_test.go │ │ ├── k8s/ │ │ │ ├── config.go │ │ │ ├── errors.go │ │ │ ├── factory.go │ │ │ ├── factory_test.go │ │ │ ├── instance.go │ │ │ ├── instance_test.go │ │ │ ├── log.go │ │ │ ├── logs.go │ │ │ ├── probes.go │ │ │ ├── probes_test.go │ │ │ ├── proxy.go │ │ │ ├── proxy_test.go │ │ │ ├── secrets.go │ │ │ ├── secrets_factory_test.go │ │ │ ├── securityContext.go │ │ │ ├── securityContext_test.go │ │ │ └── utils.go │ │ ├── pointer/ │ │ │ └── ptr.go │ │ ├── signals/ │ │ │ ├── signal.go │ │ │ ├── signal_posix.go │ │ │ └── signal_windows.go │ │ └── version/ │ │ └── version.go │ └── vendor.go ├── pyproject.toml ├── setup.py └── typos.toml