gitextract_vl65tc6t/ ├── .clang-format ├── .gitee/ │ └── PULL_REQUEST_TEMPLATE.md ├── .gitignore ├── .gitmodules ├── .jenkins/ │ └── test/ │ └── config/ │ └── dependent_packages.yaml ├── CMakeLists.txt ├── LICENSE ├── NOTICE ├── OWNERS ├── README.md ├── README_CN.md ├── RELEASE.md ├── RELEASE_CN.md ├── Third_Party_Open_Source_Software_Notice ├── build.sh ├── cmake/ │ ├── check_requirements.cmake │ ├── dependency_ms.cmake │ ├── dependency_securec.cmake │ ├── dependency_utils.cmake │ ├── external_libs/ │ │ ├── absl.cmake │ │ ├── c-ares.cmake │ │ ├── eigen.cmake │ │ ├── glog.cmake │ │ ├── grpc.cmake │ │ ├── gtest.cmake │ │ ├── json.cmake │ │ ├── libevent.cmake │ │ ├── openssl.cmake │ │ ├── protobuf.cmake │ │ ├── pybind11.cmake │ │ ├── re2.cmake │ │ └── zlib.cmake │ ├── mind_expression.cmake │ ├── options.cmake │ ├── package.cmake │ ├── package_script.cmake │ └── utils.cmake ├── docs/ │ └── api/ │ └── api_python/ │ ├── client/ │ │ ├── mindspore_serving.client.Client.rst │ │ ├── mindspore_serving.client.SSLConfig.rst │ │ └── mindspore_serving.client.rst │ ├── mindspore_serving.client.rst │ ├── mindspore_serving.server.rst │ └── server/ │ ├── distributed/ │ │ ├── mindspore_serving.server.distributed.declare_servable.rst │ │ ├── mindspore_serving.server.distributed.rst │ │ ├── mindspore_serving.server.distributed.start_servable.rst │ │ └── mindspore_serving.server.distributed.startup_agents.rst │ ├── mindspore_serving.server.SSLConfig.rst │ ├── mindspore_serving.server.ServableStartConfig.rst │ ├── mindspore_serving.server.rst │ ├── mindspore_serving.server.start_grpc_server.rst │ ├── mindspore_serving.server.start_restful_server.rst │ ├── mindspore_serving.server.start_servables.rst │ ├── mindspore_serving.server.stop.rst │ └── register/ │ ├── mindspore_serving.server.register.AscendDeviceInfo.rst │ ├── mindspore_serving.server.register.CPUDeviceInfo.rst │ ├── mindspore_serving.server.register.Context.rst │ ├── mindspore_serving.server.register.GPUDeviceInfo.rst │ ├── mindspore_serving.server.register.Model.rst │ ├── mindspore_serving.server.register.add_stage.rst │ ├── mindspore_serving.server.register.declare_model.rst │ ├── mindspore_serving.server.register.register_method.rst │ └── mindspore_serving.server.register.rst ├── engine/ │ └── README.md ├── example/ │ ├── add_sub_pipeline/ │ │ ├── add_sub/ │ │ │ └── servable_config.py │ │ ├── export_model/ │ │ │ └── add_sub_model.py │ │ ├── serving_client.py │ │ └── serving_server.py │ ├── lenet/ │ │ ├── export_model/ │ │ │ ├── export_lenet.py │ │ │ └── lenet/ │ │ │ ├── __init__.py │ │ │ ├── export.py │ │ │ └── src/ │ │ │ └── lenet.py │ │ ├── lenet/ │ │ │ └── servable_config.py │ │ ├── serving_client.py │ │ └── serving_server.py │ ├── matmul_distributed/ │ │ ├── export_model/ │ │ │ ├── distributed_inference.py │ │ │ ├── export_model.sh │ │ │ ├── net.py │ │ │ └── rank_table_8pcs.json │ │ ├── matmul/ │ │ │ └── servable_config.py │ │ ├── rank_table_8pcs.json │ │ ├── serving_agent.py │ │ ├── serving_client.py │ │ └── serving_server.py │ ├── matmul_multi_subgraphs/ │ │ ├── export_model/ │ │ │ └── export_matmul.py │ │ ├── matmul/ │ │ │ └── servable_config.py │ │ ├── serving_client.py │ │ └── serving_server.py │ ├── resnet/ │ │ ├── export_model/ │ │ │ ├── export_resnet.py │ │ │ └── resnet/ │ │ │ ├── __init__.py │ │ │ ├── export.py │ │ │ └── src/ │ │ │ ├── config.py │ │ │ └── resnet.py │ │ ├── resnet50/ │ │ │ └── servable_config.py │ │ ├── serving_client.py │ │ └── serving_server.py │ └── tensor_add/ │ ├── add/ │ │ └── servable_config.py │ ├── export_model/ │ │ └── add_model.py │ ├── serving_client.py │ ├── serving_client_with_check.py │ └── serving_server.py ├── mindspore_serving/ │ ├── CMakeLists.txt │ ├── __init__.py │ ├── ccsrc/ │ │ ├── common/ │ │ │ ├── buffer_tensor.cc │ │ │ ├── buffer_tensor.h │ │ │ ├── exit_handle.cc │ │ │ ├── exit_handle.h │ │ │ ├── float16.h │ │ │ ├── grpc_async_server.h │ │ │ ├── grpc_client.cc │ │ │ ├── grpc_client.h │ │ │ ├── grpc_server.cc │ │ │ ├── grpc_server.h │ │ │ ├── heart_beat.cc │ │ │ ├── heart_beat.h │ │ │ ├── instance.h │ │ │ ├── instance_data.h │ │ │ ├── log.cc │ │ │ ├── log.h │ │ │ ├── proto_tensor.cc │ │ │ ├── proto_tensor.h │ │ │ ├── servable.cc │ │ │ ├── servable.h │ │ │ ├── serving_common.h │ │ │ ├── shared_memory.cc │ │ │ ├── shared_memory.h │ │ │ ├── ssl_config.h │ │ │ ├── status.h │ │ │ ├── tensor.cc │ │ │ ├── tensor.h │ │ │ ├── tensor_base.cc │ │ │ ├── tensor_base.h │ │ │ ├── thread_pool.cc │ │ │ ├── thread_pool.h │ │ │ ├── utils.cc │ │ │ └── utils.h │ │ ├── master/ │ │ │ ├── dispacther.cc │ │ │ ├── dispacther.h │ │ │ ├── grpc/ │ │ │ │ ├── grpc_process.cc │ │ │ │ ├── grpc_process.h │ │ │ │ ├── grpc_server.cc │ │ │ │ ├── grpc_server.h │ │ │ │ └── master_server.h │ │ │ ├── master_context.cc │ │ │ ├── master_context.h │ │ │ ├── model_thread.cc │ │ │ ├── model_thread.h │ │ │ ├── notify_worker/ │ │ │ │ ├── base_notify.h │ │ │ │ ├── grpc_notify.cc │ │ │ │ └── grpc_notify.h │ │ │ ├── restful/ │ │ │ │ ├── http_handle.cc │ │ │ │ ├── http_handle.h │ │ │ │ ├── http_process.cc │ │ │ │ ├── http_process.h │ │ │ │ ├── restful_request.cc │ │ │ │ ├── restful_request.h │ │ │ │ ├── restful_server.cc │ │ │ │ └── restful_server.h │ │ │ ├── servable_endpoint.cc │ │ │ ├── servable_endpoint.h │ │ │ ├── server.cc │ │ │ ├── server.h │ │ │ ├── worker_context.cc │ │ │ └── worker_context.h │ │ ├── python/ │ │ │ ├── agent/ │ │ │ │ ├── agent_py.cc │ │ │ │ └── agent_py.h │ │ │ ├── master/ │ │ │ │ ├── master_py.cc │ │ │ │ └── master_py.h │ │ │ ├── serving_py.cc │ │ │ ├── tensor_py.cc │ │ │ ├── tensor_py.h │ │ │ └── worker/ │ │ │ ├── servable_py.cc │ │ │ ├── servable_py.h │ │ │ ├── worker_py.cc │ │ │ └── worker_py.h │ │ └── worker/ │ │ ├── context.cc │ │ ├── context.h │ │ ├── distributed_worker/ │ │ │ ├── agent_process/ │ │ │ │ ├── agent_process.cc │ │ │ │ └── agent_process.h │ │ │ ├── agent_startup.cc │ │ │ ├── agent_startup.h │ │ │ ├── common.h │ │ │ ├── distributed_model_loader.cc │ │ │ ├── distributed_model_loader.h │ │ │ ├── distributed_process/ │ │ │ │ ├── distributed_process.cc │ │ │ │ ├── distributed_process.h │ │ │ │ └── distributed_server.h │ │ │ ├── notify_agent/ │ │ │ │ ├── base_notify_agent.h │ │ │ │ ├── notify_agent.cc │ │ │ │ └── notify_agent.h │ │ │ ├── notify_distributed/ │ │ │ │ ├── notify_worker.cc │ │ │ │ └── notify_worker.h │ │ │ ├── worker_agent.cc │ │ │ └── worker_agent.h │ │ ├── extra_worker/ │ │ │ ├── remote_call_model.cc │ │ │ └── remote_call_model.h │ │ ├── grpc/ │ │ │ ├── worker_process.cc │ │ │ ├── worker_process.h │ │ │ ├── worker_server.cc │ │ │ └── worker_server.h │ │ ├── inference/ │ │ │ ├── inference.cc │ │ │ ├── inference.h │ │ │ ├── mindspore_model_wrap.cc │ │ │ └── mindspore_model_wrap.h │ │ ├── local_servable/ │ │ │ ├── local_model_loader.cc │ │ │ └── local_model_loader.h │ │ ├── model_loader_base.cc │ │ ├── model_loader_base.h │ │ ├── notfiy_master/ │ │ │ ├── base_notify.h │ │ │ ├── grpc_notify.cc │ │ │ └── grpc_notify.h │ │ ├── predict_thread.cc │ │ ├── predict_thread.h │ │ ├── register/ │ │ │ └── argmax.cc │ │ ├── servable_register.cc │ │ ├── servable_register.h │ │ ├── stage_function.cc │ │ ├── stage_function.h │ │ ├── task_queue.cc │ │ ├── task_queue.h │ │ ├── work_executor.cc │ │ ├── work_executor.h │ │ ├── worker.cc │ │ └── worker.h │ ├── client/ │ │ ├── __init__.py │ │ ├── cpp/ │ │ │ ├── client.cc │ │ │ └── client.h │ │ └── python/ │ │ ├── __init__.py │ │ └── client.py │ ├── log.py │ ├── proto/ │ │ ├── ms_agent.proto │ │ ├── ms_distributed.proto │ │ ├── ms_master.proto │ │ ├── ms_service.proto │ │ └── ms_worker.proto │ └── server/ │ ├── __init__.py │ ├── _servable_common.py │ ├── _servable_local.py │ ├── _server.py │ ├── common/ │ │ ├── __init__.py │ │ ├── check_type.py │ │ ├── decorator.py │ │ └── utils.py │ ├── distributed/ │ │ ├── __init__.py │ │ ├── _distributed.py │ │ ├── _servable_distributed.py │ │ └── start_distributed_worker.py │ ├── master/ │ │ ├── __init__.py │ │ ├── _master.py │ │ └── context.py │ ├── register/ │ │ ├── __init__.py │ │ ├── method.py │ │ ├── model.py │ │ ├── stage_function.py │ │ └── utils.py │ ├── start_extra_worker.py │ ├── start_worker.py │ └── worker/ │ ├── __init__.py │ ├── _worker.py │ ├── check_version.py │ ├── distributed/ │ │ ├── __init__.py │ │ ├── agent_startup.py │ │ ├── distributed_worker.py │ │ ├── register.py │ │ └── worker_agent.py │ ├── init_mindspore.py │ └── task.py ├── requirements_test.txt ├── scripts/ │ ├── check_clang_format.sh │ └── format_source_code.sh ├── setup.py ├── tests/ │ ├── CMakeLists.txt │ ├── st/ │ │ ├── add/ │ │ │ ├── __init__.py │ │ │ ├── add.sh │ │ │ └── test_serving.py │ │ ├── add_sub_pipeline/ │ │ │ ├── __init__.py │ │ │ ├── add_sub.sh │ │ │ └── test_serving.py │ │ ├── distributed_server_fault/ │ │ │ ├── __init__.py │ │ │ ├── common.sh │ │ │ ├── kill_15_agent.sh │ │ │ ├── kill_15_server.sh │ │ │ ├── kill_9_agent.sh │ │ │ ├── kill_9_server.sh │ │ │ └── test_distributed_fault.py │ │ ├── matmul_distributed/ │ │ │ ├── __init__.py │ │ │ ├── matmul_distribute.sh │ │ │ └── test_matmul_distribute.py │ │ ├── matmul_multi_subgraphs/ │ │ │ ├── __init__.py │ │ │ ├── matmul_multi_subgraphs.sh │ │ │ └── test_matmul_multi_subgraphs.py │ │ ├── resnet/ │ │ │ ├── __init__.py │ │ │ ├── resnet.sh │ │ │ └── test_resnet.py │ │ └── serving_fault/ │ │ ├── __init__.py │ │ ├── common.sh │ │ ├── kill_15_master.sh │ │ ├── kill_15_worker.sh │ │ ├── kill_9_master.sh │ │ ├── kill_9_worker.sh │ │ ├── restart.sh │ │ └── test_serving_fault.py │ └── ut/ │ ├── CMakeLists.txt │ ├── coverage/ │ │ ├── cov_config │ │ └── run_coverage.sh │ ├── cpp/ │ │ ├── CMakeLists.txt │ │ ├── common/ │ │ │ ├── common_test.cc │ │ │ ├── common_test.h │ │ │ ├── test_main.cc │ │ │ └── test_servable_common.h │ │ ├── runtest.sh │ │ └── tests/ │ │ ├── test_agent_config_acquire.cc │ │ ├── test_context.cc │ │ ├── test_distributed_inference.cc │ │ ├── test_init_config_on_start_up.cc │ │ ├── test_master_worker.cc │ │ ├── test_model_thread.cc │ │ ├── test_parse_restful.cc │ │ ├── test_shared_memory.cc │ │ ├── test_start_preprocess_postprocess.cc │ │ └── test_start_worker.cc │ ├── python/ │ │ ├── CMakeLists.txt │ │ ├── mindspore/ │ │ │ └── dataset/ │ │ │ └── __init__.py │ │ ├── runtest.sh │ │ ├── servable_config/ │ │ │ ├── add_servable_config.py │ │ │ └── generate_certs.sh │ │ └── tests/ │ │ ├── common.py │ │ ├── common_restful.py │ │ ├── test_distributed_worker.py │ │ ├── test_grpc_request.py │ │ ├── test_model_call.py │ │ ├── test_model_context.py │ │ ├── test_multi_model.py │ │ ├── test_python_parallel.py │ │ ├── test_register_method.py │ │ ├── test_restful_base64_data.py │ │ ├── test_restful_json_data.py │ │ ├── test_restful_request.py │ │ ├── test_server_client.py │ │ ├── test_serving_log.py │ │ ├── test_stage_function.py │ │ ├── test_start_servable_config.py │ │ └── test_start_sevables.py │ ├── runtest.sh │ └── stub/ │ ├── cxx_api/ │ │ ├── cell.cc │ │ ├── context.cc │ │ ├── factory.h │ │ ├── graph/ │ │ │ ├── ascend/ │ │ │ │ ├── ascend_graph_impl.cc │ │ │ │ └── ascend_graph_impl.h │ │ │ ├── graph.cc │ │ │ ├── graph_data.cc │ │ │ ├── graph_data.h │ │ │ └── graph_impl.h │ │ ├── model/ │ │ │ ├── model.cc │ │ │ ├── model_impl.cc │ │ │ ├── model_impl.h │ │ │ └── ms/ │ │ │ ├── ms_model.cc │ │ │ └── ms_model.h │ │ ├── serialization.cc │ │ ├── status.cc │ │ └── types.cc │ ├── graph_impl_stub.cc │ ├── graph_impl_stub.h │ ├── include/ │ │ ├── api/ │ │ │ ├── allocator.h │ │ │ ├── callback/ │ │ │ │ ├── callback.h │ │ │ │ ├── ckpt_saver.h │ │ │ │ ├── loss_monitor.h │ │ │ │ ├── lr_scheduler.h │ │ │ │ ├── time_monitor.h │ │ │ │ └── train_accuracy.h │ │ │ ├── cell.h │ │ │ ├── cfg.h │ │ │ ├── context.h │ │ │ ├── data_type.h │ │ │ ├── delegate.h │ │ │ ├── dual_abi_helper.h │ │ │ ├── format.h │ │ │ ├── graph.h │ │ │ ├── kernel.h │ │ │ ├── metrics/ │ │ │ │ ├── accuracy.h │ │ │ │ └── metrics.h │ │ │ ├── model.h │ │ │ ├── model_parallel_runner.h │ │ │ ├── ops/ │ │ │ │ └── ops.h │ │ │ ├── serialization.h │ │ │ ├── status.h │ │ │ ├── types.h │ │ │ └── visible.h │ │ ├── mindapi/ │ │ │ └── base/ │ │ │ ├── format.h │ │ │ ├── type_id.h │ │ │ └── types.h │ │ └── utils/ │ │ ├── log_adapter.cc │ │ ├── log_adapter.h │ │ ├── log_adapter_common.cc │ │ ├── overload.h │ │ ├── utils.h │ │ └── visible.h │ ├── stub_inference.cc │ ├── stub_postprocess.cc │ └── stub_preprocess.cc └── third_party/ ├── patch/ │ ├── c-ares/ │ │ └── CVE-2021-3672.patch │ ├── glog/ │ │ └── glog.patch001 │ ├── grpc/ │ │ └── grpc.patch001 │ ├── libevent/ │ │ └── libevent.patch001 │ ├── openssl/ │ │ ├── CVE-2021-3711.patch │ │ ├── CVE-2021-3712.patch │ │ ├── CVE-2021-4160.patch │ │ ├── CVE-2022-0778.patch │ │ ├── CVE-2022-1292.patch │ │ ├── CVE-2022-2068.patch │ │ ├── CVE-2022-2097.patch │ │ ├── CVE-2022-4304.patch │ │ ├── CVE-2022-4450.patch │ │ ├── CVE-2023-0215.patch │ │ ├── CVE-2023-0286.patch │ │ ├── CVE-2023-0464.patch │ │ ├── CVE-2023-0465.patch │ │ ├── CVE-2023-0466.patch │ │ ├── CVE-2023-2650.patch │ │ ├── CVE-2023-3446.patch │ │ └── CVE-2023-4807.patch │ ├── protobuf/ │ │ ├── CVE-2021-22570.patch │ │ └── CVE-2022-1941.patch │ ├── pybind11/ │ │ └── pybind11.patch001 │ └── zlib/ │ ├── CVE-2018-25032.patch │ └── CVE-2022-37434.patch └── securec/ ├── CMakeLists.txt ├── include/ │ ├── securec.h │ └── securectype.h └── src/ ├── CMakeLists.txt ├── fscanf_s.c ├── fwscanf_s.c ├── gets_s.c ├── input.inl ├── memcpy_s.c ├── memmove_s.c ├── memset_s.c ├── output.inl ├── scanf_s.c ├── secinput.h ├── securecutil.c ├── securecutil.h ├── secureinput_a.c ├── secureinput_w.c ├── secureprintoutput.h ├── secureprintoutput_a.c ├── secureprintoutput_w.c ├── snprintf_s.c ├── sprintf_s.c ├── sscanf_s.c ├── strcat_s.c ├── strcpy_s.c ├── strncat_s.c ├── strncpy_s.c ├── strtok_s.c ├── swprintf_s.c ├── swscanf_s.c ├── vfscanf_s.c ├── vfwscanf_s.c ├── vscanf_s.c ├── vsnprintf_s.c ├── vsprintf_s.c ├── vsscanf_s.c ├── vswprintf_s.c ├── vswscanf_s.c ├── vwscanf_s.c ├── wcscat_s.c ├── wcscpy_s.c ├── wcsncat_s.c ├── wcsncpy_s.c ├── wcstok_s.c ├── wmemcpy_s.c ├── wmemmove_s.c └── wscanf_s.c