gitextract_xza_bns1/ ├── .circleci/ │ └── config.yml ├── .dockerignore ├── .gitbook.yaml ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug-report.md │ │ ├── feature-request.md │ │ └── question.md │ └── pull_request_template.md ├── .gitignore ├── CONTRIBUTING.md ├── LICENSE ├── Makefile ├── README.md ├── build/ │ ├── amend-image.sh │ ├── amend-images.sh │ ├── build-image.sh │ ├── build-images.sh │ ├── cli.sh │ ├── generate_ami_mapping.go │ ├── images.sh │ ├── lint-docs.sh │ ├── lint.sh │ ├── push-image.sh │ ├── push-images.sh │ └── test.sh ├── cli/ │ ├── cluster/ │ │ ├── delete.go │ │ ├── deploy.go │ │ ├── errors.go │ │ ├── get.go │ │ ├── info.go │ │ ├── lib_http_client.go │ │ ├── logs.go │ │ └── refresh.go │ ├── cmd/ │ │ ├── cluster.go │ │ ├── completion.go │ │ ├── const.go │ │ ├── delete.go │ │ ├── deploy.go │ │ ├── describe.go │ │ ├── env.go │ │ ├── errors.go │ │ ├── get.go │ │ ├── lib_apis.go │ │ ├── lib_async_apis.go │ │ ├── lib_aws_creds.go │ │ ├── lib_batch_apis.go │ │ ├── lib_cli_config.go │ │ ├── lib_client_id.go │ │ ├── lib_cluster_config.go │ │ ├── lib_manager.go │ │ ├── lib_realtime_apis.go │ │ ├── lib_task_apis.go │ │ ├── lib_traffic_splitters.go │ │ ├── lib_watch.go │ │ ├── logs.go │ │ ├── refresh.go │ │ ├── root.go │ │ └── version.go │ ├── lib/ │ │ └── routines/ │ │ └── routines.go │ ├── main.go │ └── types/ │ ├── cliconfig/ │ │ ├── cli_config.go │ │ ├── config_key.go │ │ ├── environment.go │ │ └── errors.go │ └── flags/ │ ├── errors.go │ └── output_type.go ├── cmd/ │ ├── activator/ │ │ └── main.go │ ├── async-gateway/ │ │ └── main.go │ ├── autoscaler/ │ │ └── main.go │ ├── dequeuer/ │ │ └── main.go │ ├── enqueuer/ │ │ └── main.go │ ├── operator/ │ │ └── main.go │ └── proxy/ │ └── main.go ├── dev/ │ ├── build_cli.sh │ ├── create_user.py │ ├── delete_ecr_repos.py │ ├── export_images.sh │ ├── find_missing_docs_links.py │ ├── format.sh │ ├── generate_cli_md.sh │ ├── generate_python_client_md.sh │ ├── get_operator_url.py │ ├── load.go │ ├── minimum_aws_policy.json │ ├── operator_local.sh │ ├── prometheus.md │ ├── registry.sh │ ├── update_cli_config.py │ ├── util.sh │ └── versions.md ├── docs/ │ ├── README.md │ ├── clients/ │ │ ├── cli.md │ │ ├── install.md │ │ ├── python.md │ │ └── uninstall.md │ ├── clusters/ │ │ ├── advanced/ │ │ │ ├── kubectl.md │ │ │ ├── registry.md │ │ │ └── self-hosted-images.md │ │ ├── instances/ │ │ │ ├── multi.md │ │ │ └── spot.md │ │ ├── management/ │ │ │ ├── auth.md │ │ │ ├── create.md │ │ │ ├── delete.md │ │ │ ├── environments.md │ │ │ ├── production.md │ │ │ └── update.md │ │ ├── networking/ │ │ │ ├── api-gateway.md │ │ │ ├── custom-domain.md │ │ │ ├── https.md │ │ │ ├── load-balancers.md │ │ │ └── vpc-peering.md │ │ └── observability/ │ │ ├── alerting.md │ │ ├── logging.md │ │ └── metrics.md │ ├── overview.md │ ├── start.md │ ├── summary.md │ └── workloads/ │ ├── async/ │ │ ├── async.md │ │ ├── autoscaling.md │ │ ├── configuration.md │ │ ├── containers.md │ │ ├── example.md │ │ └── statuses.md │ ├── batch/ │ │ ├── batch.md │ │ ├── configuration.md │ │ ├── containers.md │ │ ├── example.md │ │ ├── jobs.md │ │ └── statuses.md │ ├── realtime/ │ │ ├── autoscaling.md │ │ ├── configuration.md │ │ ├── containers.md │ │ ├── example.md │ │ ├── metrics.md │ │ ├── realtime.md │ │ ├── statuses.md │ │ ├── traffic-splitter.md │ │ └── troubleshooting.md │ └── task/ │ ├── configuration.md │ ├── containers.md │ ├── example.md │ ├── jobs.md │ ├── statuses.md │ └── task.md ├── get-cli.sh ├── go.mod ├── go.sum ├── images/ │ ├── activator/ │ │ └── Dockerfile │ ├── async-gateway/ │ │ └── Dockerfile │ ├── autoscaler/ │ │ └── Dockerfile │ ├── cluster-autoscaler/ │ │ └── Dockerfile │ ├── controller-manager/ │ │ └── Dockerfile │ ├── dequeuer/ │ │ └── Dockerfile │ ├── enqueuer/ │ │ └── Dockerfile │ ├── event-exporter/ │ │ └── Dockerfile │ ├── fluent-bit/ │ │ └── Dockerfile │ ├── grafana/ │ │ └── Dockerfile │ ├── istio-pilot/ │ │ └── Dockerfile │ ├── istio-proxy/ │ │ └── Dockerfile │ ├── kube-rbac-proxy/ │ │ └── Dockerfile │ ├── kubexit/ │ │ └── Dockerfile │ ├── manager/ │ │ └── Dockerfile │ ├── metrics-server/ │ │ └── Dockerfile │ ├── neuron-device-plugin/ │ │ └── Dockerfile │ ├── neuron-scheduler/ │ │ └── Dockerfile │ ├── nvidia-device-plugin/ │ │ └── Dockerfile │ ├── operator/ │ │ └── Dockerfile │ ├── prometheus/ │ │ └── Dockerfile │ ├── prometheus-config-reloader/ │ │ └── Dockerfile │ ├── prometheus-dcgm-exporter/ │ │ └── Dockerfile │ ├── prometheus-kube-state-metrics/ │ │ └── Dockerfile │ ├── prometheus-node-exporter/ │ │ └── Dockerfile │ ├── prometheus-operator/ │ │ └── Dockerfile │ ├── prometheus-statsd-exporter/ │ │ └── Dockerfile │ └── proxy/ │ └── Dockerfile ├── manager/ │ ├── check_cortex_version.sh │ ├── cluster_config_env.py │ ├── debug.sh │ ├── generate_eks.py │ ├── get_api_load_balancer_state.py │ ├── get_operator_load_balancer_state.py │ ├── get_operator_target_group_status.py │ ├── helpers.py │ ├── install.sh │ ├── manifests/ │ │ ├── activator.yaml.j2 │ │ ├── ami.json │ │ ├── apis.yaml.j2 │ │ ├── async-gateway.yaml.j2 │ │ ├── autoscaler.yaml.j2 │ │ ├── cluster-autoscaler.yaml.j2 │ │ ├── default_cortex_cli_config.yaml │ │ ├── event-exporter.yaml │ │ ├── fluent-bit.yaml.j2 │ │ ├── grafana/ │ │ │ ├── grafana-dashboard-async.yaml │ │ │ ├── grafana-dashboard-batch.yaml │ │ │ ├── grafana-dashboard-cluster.yaml │ │ │ ├── grafana-dashboard-control-plane.yaml │ │ │ ├── grafana-dashboard-nodes.yaml │ │ │ ├── grafana-dashboard-realtime.yaml │ │ │ ├── grafana-dashboard-task.yaml │ │ │ └── grafana.yaml.j2 │ │ ├── inferentia.yaml │ │ ├── istio.yaml.j2 │ │ ├── kube-proxy.patch.yaml │ │ ├── metrics-server.yaml │ │ ├── namespaces.yaml │ │ ├── nvidia.yaml │ │ ├── operator.yaml.j2 │ │ ├── prometheus-additional-scrape-configs.yaml.j2 │ │ ├── prometheus-dcgm-exporter.yaml │ │ ├── prometheus-kube-state-metrics.yaml │ │ ├── prometheus-kubelet-exporter.yaml │ │ ├── prometheus-monitoring.yaml │ │ ├── prometheus-node-exporter.yaml │ │ ├── prometheus-operator.yaml │ │ └── prometheus-statsd-exporter.yaml │ ├── refresh.sh │ ├── render_template.py │ ├── requirements.txt │ ├── uninstall.sh │ └── upgrade_kube_proxy_mode.py ├── pkg/ │ ├── activator/ │ │ ├── activator.go │ │ ├── activator_test.go │ │ ├── api_activator.go │ │ ├── api_activator_test.go │ │ ├── handler.go │ │ ├── handler_test.go │ │ ├── helpers.go │ │ └── request_stats.go │ ├── async-gateway/ │ │ ├── endpoint.go │ │ ├── queue.go │ │ ├── service.go │ │ ├── storage.go │ │ └── types.go │ ├── autoscaler/ │ │ ├── async_scaler.go │ │ ├── autoscaler.go │ │ ├── autoscaler_test.go │ │ ├── client.go │ │ ├── handler.go │ │ ├── realtime_scaler.go │ │ ├── recommendations.go │ │ └── scaler_func.go │ ├── config/ │ │ └── config.go │ ├── consts/ │ │ └── consts.go │ ├── crds/ │ │ ├── Makefile │ │ ├── PROJECT │ │ ├── apis/ │ │ │ └── batch/ │ │ │ └── v1alpha1/ │ │ │ ├── batchjob_metrics.go │ │ │ ├── batchjob_types.go │ │ │ ├── groupversion_info.go │ │ │ └── zz_generated.deepcopy.go │ │ ├── config/ │ │ │ ├── crd/ │ │ │ │ ├── bases/ │ │ │ │ │ └── batch.cortex.dev_batchjobs.yaml │ │ │ │ ├── kustomization.yaml │ │ │ │ ├── kustomizeconfig.yaml │ │ │ │ └── patches/ │ │ │ │ ├── cainjection_in_batchjobs.yaml │ │ │ │ └── webhook_in_batchjobs.yaml │ │ │ ├── default/ │ │ │ │ ├── kustomization.yaml │ │ │ │ ├── manager_auth_proxy_patch.yaml │ │ │ │ └── manager_config_patch.yaml │ │ │ ├── manager/ │ │ │ │ ├── controller_manager_config.yaml │ │ │ │ ├── kustomization.yaml │ │ │ │ └── manager.yaml │ │ │ ├── prometheus/ │ │ │ │ ├── kustomization.yaml │ │ │ │ └── monitor.yaml │ │ │ ├── rbac/ │ │ │ │ ├── auth_proxy_client_clusterrole.yaml │ │ │ │ ├── auth_proxy_role.yaml │ │ │ │ ├── auth_proxy_role_binding.yaml │ │ │ │ ├── auth_proxy_service.yaml │ │ │ │ ├── batchjob_editor_role.yaml │ │ │ │ ├── batchjob_viewer_role.yaml │ │ │ │ ├── kustomization.yaml │ │ │ │ ├── leader_election_role.yaml │ │ │ │ ├── leader_election_role_binding.yaml │ │ │ │ ├── role.yaml │ │ │ │ ├── role_binding.yaml │ │ │ │ └── service_account.yaml │ │ │ └── samples/ │ │ │ └── batch_v1alpha1_batchjob.yaml │ │ ├── controllers/ │ │ │ ├── batch/ │ │ │ │ ├── batchjob_controller.go │ │ │ │ ├── batchjob_controller_config.go │ │ │ │ ├── batchjob_controller_helpers.go │ │ │ │ ├── batchjob_controller_test.go │ │ │ │ └── suite_test.go │ │ │ └── errors.go │ │ ├── hack/ │ │ │ ├── boilerplate.go.txt │ │ │ └── run_manager.sh │ │ └── main.go │ ├── dequeuer/ │ │ ├── async_handler.go │ │ ├── async_handler_test.go │ │ ├── async_stats.go │ │ ├── async_stats_test.go │ │ ├── batch_handler.go │ │ ├── batch_handler_test.go │ │ ├── dequeuer.go │ │ ├── dequeuer_test.go │ │ ├── errors.go │ │ ├── http_handler.go │ │ ├── message_handler.go │ │ ├── probes.go │ │ ├── probes_test.go │ │ ├── queue_attributes.go │ │ └── request_stats.go │ ├── enqueuer/ │ │ ├── enqueuer.go │ │ ├── errors.go │ │ ├── helpers.go │ │ └── uploader.go │ ├── health/ │ │ └── health.go │ ├── lib/ │ │ ├── archive/ │ │ │ ├── archive_test.go │ │ │ ├── archiver.go │ │ │ ├── errors.go │ │ │ ├── input.go │ │ │ ├── tar.go │ │ │ ├── tgz.go │ │ │ └── zip.go │ │ ├── aws/ │ │ │ ├── acm.go │ │ │ ├── apigateway.go │ │ │ ├── autoscaling.go │ │ │ ├── aws.go │ │ │ ├── clients.go │ │ │ ├── cloudformation.go │ │ │ ├── cloudwatch.go │ │ │ ├── credentials.go │ │ │ ├── ec2.go │ │ │ ├── ec2_test.go │ │ │ ├── ecr.go │ │ │ ├── eks.go │ │ │ ├── elb.go │ │ │ ├── elbv2.go │ │ │ ├── errors.go │ │ │ ├── gen_resource_metadata.py │ │ │ ├── iam.go │ │ │ ├── resource_metadata.go │ │ │ ├── s3.go │ │ │ ├── servicequotas.go │ │ │ ├── sqs.go │ │ │ └── sts.go │ │ ├── cast/ │ │ │ ├── interface.go │ │ │ └── interface_test.go │ │ ├── configreader/ │ │ │ ├── bool.go │ │ │ ├── bool_list.go │ │ │ ├── bool_ptr.go │ │ │ ├── errors.go │ │ │ ├── float32.go │ │ │ ├── float32_list.go │ │ │ ├── float32_ptr.go │ │ │ ├── float64.go │ │ │ ├── float64_list.go │ │ │ ├── float64_ptr.go │ │ │ ├── int.go │ │ │ ├── int32.go │ │ │ ├── int32_list.go │ │ │ ├── int32_ptr.go │ │ │ ├── int64.go │ │ │ ├── int64_list.go │ │ │ ├── int64_ptr.go │ │ │ ├── int_list.go │ │ │ ├── int_ptr.go │ │ │ ├── interface.go │ │ │ ├── interface_map.go │ │ │ ├── interface_map_list.go │ │ │ ├── interface_test.go │ │ │ ├── reader.go │ │ │ ├── reader_test.go │ │ │ ├── string.go │ │ │ ├── string_list.go │ │ │ ├── string_map.go │ │ │ ├── string_ptr.go │ │ │ ├── types.go │ │ │ └── validators.go │ │ ├── console/ │ │ │ └── format.go │ │ ├── cron/ │ │ │ └── cron.go │ │ ├── debug/ │ │ │ └── debug.go │ │ ├── docker/ │ │ │ ├── docker.go │ │ │ └── errors.go │ │ ├── errors/ │ │ │ ├── error.go │ │ │ ├── errors.go │ │ │ ├── message.go │ │ │ ├── multi.go │ │ │ └── stack.go │ │ ├── exit/ │ │ │ └── exit.go │ │ ├── files/ │ │ │ ├── errors.go │ │ │ ├── files.go │ │ │ └── files_test.go │ │ ├── hash/ │ │ │ └── hash.go │ │ ├── json/ │ │ │ ├── errors.go │ │ │ └── json.go │ │ ├── k8s/ │ │ │ ├── configmap.go │ │ │ ├── deployment.go │ │ │ ├── errors.go │ │ │ ├── hpa.go │ │ │ ├── ingress.go │ │ │ ├── job.go │ │ │ ├── k8s.go │ │ │ ├── node.go │ │ │ ├── parsers.go │ │ │ ├── pod.go │ │ │ ├── quantity.go │ │ │ ├── secret.go │ │ │ ├── service.go │ │ │ ├── virtual_service.go │ │ │ └── volume.go │ │ ├── logging/ │ │ │ ├── errors.go │ │ │ └── logging.go │ │ ├── maps/ │ │ │ ├── interface.go │ │ │ └── string.go │ │ ├── math/ │ │ │ ├── float32.go │ │ │ ├── float64.go │ │ │ ├── int.go │ │ │ ├── int32.go │ │ │ └── int64.go │ │ ├── msgpack/ │ │ │ ├── errors.go │ │ │ └── msgpack.go │ │ ├── parallel/ │ │ │ ├── parallel.go │ │ │ └── parallel_test.go │ │ ├── pointer/ │ │ │ ├── equal.go │ │ │ ├── pointer.go │ │ │ └── pointer_test.go │ │ ├── print/ │ │ │ └── print.go │ │ ├── prompt/ │ │ │ ├── errors.go │ │ │ └── prompt.go │ │ ├── random/ │ │ │ └── random.go │ │ ├── regex/ │ │ │ ├── regex.go │ │ │ └── regex_test.go │ │ ├── requests/ │ │ │ ├── errors.go │ │ │ └── requests.go │ │ ├── sets/ │ │ │ └── strset/ │ │ │ ├── strset.go │ │ │ ├── strset_test.go │ │ │ └── threadsafe/ │ │ │ ├── strset.go │ │ │ └── strset_test.go │ │ ├── slices/ │ │ │ ├── bool.go │ │ │ ├── errors.go │ │ │ ├── float32.go │ │ │ ├── float64.go │ │ │ ├── float64_ptr.go │ │ │ ├── float64_ptr_test.go │ │ │ ├── int.go │ │ │ ├── int32.go │ │ │ ├── int64.go │ │ │ ├── sort.go │ │ │ ├── string.go │ │ │ └── string_test.go │ │ ├── strings/ │ │ │ ├── operations.go │ │ │ ├── operations_test.go │ │ │ ├── parse.go │ │ │ ├── stringify.go │ │ │ └── stringify_test.go │ │ ├── structs/ │ │ │ ├── deepcopy.go │ │ │ └── deepcopy_test.go │ │ ├── table/ │ │ │ ├── errors.go │ │ │ ├── key_value.go │ │ │ └── table.go │ │ ├── telemetry/ │ │ │ ├── error_cache.go │ │ │ ├── errors.go │ │ │ └── telemetry.go │ │ ├── time/ │ │ │ └── time.go │ │ └── urls/ │ │ ├── errors.go │ │ └── urls.go │ ├── operator/ │ │ ├── endpoints/ │ │ │ ├── delete.go │ │ │ ├── deploy.go │ │ │ ├── describe.go │ │ │ ├── errors.go │ │ │ ├── get.go │ │ │ ├── get_batch_job.go │ │ │ ├── get_task_job.go │ │ │ ├── info.go │ │ │ ├── logs.go │ │ │ ├── logs_job.go │ │ │ ├── middleware.go │ │ │ ├── params.go │ │ │ ├── refresh.go │ │ │ ├── respond.go │ │ │ ├── stop_batch_job.go │ │ │ ├── stop_task_job.go │ │ │ ├── submit_batch.go │ │ │ ├── submit_task.go │ │ │ └── verify_cortex.go │ │ ├── lib/ │ │ │ ├── exit/ │ │ │ │ └── exit.go │ │ │ └── routines/ │ │ │ └── routines.go │ │ ├── operator/ │ │ │ ├── cron.go │ │ │ ├── deployed_resource.go │ │ │ ├── errors.go │ │ │ ├── k8s.go │ │ │ ├── logging.go │ │ │ ├── memory_capacity.go │ │ │ ├── storage.go │ │ │ └── workload_logging.go │ │ ├── resources/ │ │ │ ├── asyncapi/ │ │ │ │ ├── api.go │ │ │ │ ├── errors.go │ │ │ │ ├── k8s_specs.go │ │ │ │ ├── queue.go │ │ │ │ ├── queue_metrics.go │ │ │ │ └── status.go │ │ │ ├── errors.go │ │ │ ├── job/ │ │ │ │ ├── batchapi/ │ │ │ │ │ ├── api.go │ │ │ │ │ ├── errors.go │ │ │ │ │ ├── job.go │ │ │ │ │ ├── job_status.go │ │ │ │ │ ├── k8s_specs.go │ │ │ │ │ ├── queue.go │ │ │ │ │ ├── s3_iterator.go │ │ │ │ │ └── validations.go │ │ │ │ ├── cache.go │ │ │ │ ├── consts.go │ │ │ │ ├── errors.go │ │ │ │ ├── state.go │ │ │ │ ├── taskapi/ │ │ │ │ │ ├── api.go │ │ │ │ │ ├── cron.go │ │ │ │ │ ├── job.go │ │ │ │ │ ├── job_status.go │ │ │ │ │ ├── k8s_specs.go │ │ │ │ │ ├── metrics.go │ │ │ │ │ └── validations.go │ │ │ │ └── worker_stats.go │ │ │ ├── realtimeapi/ │ │ │ │ ├── api.go │ │ │ │ ├── errors.go │ │ │ │ ├── k8s_specs.go │ │ │ │ └── status.go │ │ │ ├── resources.go │ │ │ ├── trafficsplitter/ │ │ │ │ ├── api.go │ │ │ │ └── k8s_specs.go │ │ │ └── validations.go │ │ └── schema/ │ │ ├── config_key.go │ │ ├── job_submission.go │ │ └── schema.go │ ├── probe/ │ │ ├── handler.go │ │ ├── handler_test.go │ │ ├── probe.go │ │ └── probe_test.go │ ├── proxy/ │ │ ├── breaker.go │ │ ├── breaker_test.go │ │ ├── handler.go │ │ ├── handler_test.go │ │ ├── proxy.go │ │ ├── proxy_test.go │ │ └── request_stats.go │ ├── types/ │ │ ├── async/ │ │ │ ├── s3_paths.go │ │ │ └── status.go │ │ ├── clusterconfig/ │ │ │ ├── availability_zones.go │ │ │ ├── aws_policy.go │ │ │ ├── cluster_config.go │ │ │ ├── config_key.go │ │ │ ├── errors.go │ │ │ ├── load_balancer_scheme.go │ │ │ ├── load_balancer_type.go │ │ │ ├── nat_gateway_type.go │ │ │ ├── network_validations.go │ │ │ ├── subnet_visibility.go │ │ │ └── volume_types.go │ │ ├── clusterstate/ │ │ │ ├── clusterstate.go │ │ │ ├── errors.go │ │ │ └── state.go │ │ ├── metrics/ │ │ │ ├── batch_metrics.go │ │ │ ├── metrics_test.go │ │ │ └── queue_metrics.go │ │ ├── spec/ │ │ │ ├── api.go │ │ │ ├── errors.go │ │ │ ├── id_gen.go │ │ │ ├── job.go │ │ │ ├── utils.go │ │ │ └── validations.go │ │ ├── status/ │ │ │ ├── job_code.go │ │ │ ├── job_status.go │ │ │ └── status.go │ │ └── userconfig/ │ │ ├── api.go │ │ ├── config_key.go │ │ ├── kind.go │ │ ├── log_level.go │ │ └── resource.go │ └── workloads/ │ ├── configmap.go │ ├── helpers.go │ ├── init.go │ └── k8s.go ├── python/ │ └── client/ │ ├── README.md │ ├── cortex/ │ │ ├── __init__.py │ │ ├── binary/ │ │ │ └── __init__.py │ │ ├── client.py │ │ ├── consts.py │ │ ├── exceptions.py │ │ ├── telemetry.py │ │ └── util.py │ └── setup.py └── test/ ├── README.md ├── apis/ │ ├── async/ │ │ ├── hello-world/ │ │ │ ├── app/ │ │ │ │ ├── main.py │ │ │ │ └── requirements.txt │ │ │ ├── build-cpu.sh │ │ │ ├── cortex_cpu.yaml │ │ │ └── cpu.Dockerfile │ │ └── text-generator/ │ │ ├── app/ │ │ │ ├── main.py │ │ │ ├── requirements-cpu.txt │ │ │ └── requirements-gpu.txt │ │ ├── build-cpu.sh │ │ ├── build-gpu.sh │ │ ├── cortex_cpu.yaml │ │ ├── cortex_gpu.yaml │ │ ├── cpu.Dockerfile │ │ ├── expectations.yaml │ │ ├── gpu.Dockerfile │ │ └── sample.json │ ├── batch/ │ │ ├── image-classifier-alexnet/ │ │ │ ├── app/ │ │ │ │ ├── main.py │ │ │ │ ├── requirements-cpu.txt │ │ │ │ └── requirements-gpu.txt │ │ │ ├── build-cpu.sh │ │ │ ├── build-gpu.sh │ │ │ ├── cortex_cpu.yaml │ │ │ ├── cortex_gpu.yaml │ │ │ ├── cpu.Dockerfile │ │ │ ├── gpu.Dockerfile │ │ │ ├── sample.json │ │ │ └── submit.py │ │ └── sum/ │ │ ├── app/ │ │ │ ├── main.py │ │ │ └── requirements.txt │ │ ├── build-cpu.sh │ │ ├── cortex_cpu.yaml │ │ ├── cpu.Dockerfile │ │ ├── sample.json │ │ ├── sample_generator.py │ │ └── submit.py │ ├── realtime/ │ │ ├── hello-world/ │ │ │ ├── app/ │ │ │ │ ├── main.py │ │ │ │ └── requirements.txt │ │ │ ├── build-cpu.sh │ │ │ ├── cortex_cpu.yaml │ │ │ ├── cortex_cpu_arm64.yaml │ │ │ ├── cortex_scale_to_zero.yaml │ │ │ ├── cpu.Dockerfile │ │ │ └── sample.json │ │ ├── image-classifier-resnet50/ │ │ │ ├── README.md │ │ │ ├── build-cpu.sh │ │ │ ├── build-gpu.sh │ │ │ ├── build-neuron-rtd.sh │ │ │ ├── build-neuron-tf-serving.sh │ │ │ ├── client.py │ │ │ ├── client_inf.py │ │ │ ├── cortex_cpu.yaml │ │ │ ├── cortex_gpu.yaml │ │ │ ├── cortex_inf.yaml │ │ │ ├── cortex_inf_rtd.yaml │ │ │ ├── cpu.Dockerfile │ │ │ ├── gpu.Dockerfile │ │ │ ├── neuron-rtd.Dockerfile │ │ │ ├── neuron-tf-serving.Dockerfile │ │ │ └── sample.json │ │ ├── multi-container/ │ │ │ ├── app/ │ │ │ │ ├── main.py │ │ │ │ └── requirements.txt │ │ │ ├── build-tfs-cpu.sh │ │ │ ├── build-web-cpu.sh │ │ │ ├── cortex_cpu.yaml │ │ │ ├── sample.json │ │ │ ├── tfs-cpu.Dockerfile │ │ │ └── web-cpu.Dockerfile │ │ ├── prime-generator/ │ │ │ ├── app/ │ │ │ │ ├── main.py │ │ │ │ └── requirements.txt │ │ │ ├── build-cpu.sh │ │ │ ├── cortex_cpu.yaml │ │ │ ├── cpu.Dockerfile │ │ │ └── sample.json │ │ ├── sleep/ │ │ │ ├── app/ │ │ │ │ ├── main.py │ │ │ │ └── requirements.txt │ │ │ ├── build-cpu.sh │ │ │ ├── cortex_cpu.yaml │ │ │ └── cpu.Dockerfile │ │ └── text-generator/ │ │ ├── app/ │ │ │ ├── main.py │ │ │ ├── requirements-cpu.txt │ │ │ └── requirements-gpu.txt │ │ ├── build-cpu.sh │ │ ├── build-gpu.sh │ │ ├── cortex_cpu.yaml │ │ ├── cortex_gpu.yaml │ │ ├── cpu.Dockerfile │ │ ├── gpu.Dockerfile │ │ └── sample.json │ ├── task/ │ │ └── iris-classifier-trainer/ │ │ ├── app/ │ │ │ ├── main.py │ │ │ └── requirements.txt │ │ ├── build-cpu.sh │ │ ├── cortex_cpu.yaml │ │ ├── cpu.Dockerfile │ │ └── submit.py │ └── trafficsplitter/ │ └── hello-world/ │ ├── .dockerignore │ ├── cortex_cpu.yaml │ └── sample.json ├── e2e/ │ ├── README.md │ ├── e2e/ │ │ ├── __init__.py │ │ ├── cluster.py │ │ ├── exceptions.py │ │ ├── expectations.py │ │ ├── generator.py │ │ ├── tests.py │ │ └── utils.py │ ├── pytest.ini │ ├── setup.py │ └── tests/ │ ├── __init__.py │ ├── aws/ │ │ ├── __init__.py │ │ ├── conftest.py │ │ ├── test_async.py │ │ ├── test_autoscaling.py │ │ ├── test_batch.py │ │ ├── test_load.py │ │ ├── test_long_running.py │ │ ├── test_realtime.py │ │ ├── test_scale_to_zero.py │ │ └── test_task.py │ └── conftest.py └── utils/ ├── README.md ├── build-all.sh ├── build.sh └── throughput_test.py