gitextract_haxxml5e/ ├── .github/ │ └── workflows/ │ ├── ci.yml │ └── publish.yml ├── .gitignore ├── .read-the-docs.yaml ├── CONTRIBUTING.md ├── Configuration.md ├── Dockerfile ├── Efficient-Requests.md ├── LICENSE ├── MANIFEST.in ├── README.md ├── Runners.md ├── Runtime-Container.md ├── bin/ │ ├── install-branch │ └── post-push ├── ci3.8.yml ├── ci3.9.yml ├── configs/ │ ├── era5_example_config.cfg │ ├── era5_example_config_local_run.cfg │ ├── era5_example_config_local_run.json │ ├── era5_example_config_preproc.cfg │ ├── era5_example_config_using_date.cfg │ ├── era5_example_monthly_soil.cfg │ ├── mars_example_config.cfg │ ├── mars_example_config.json │ ├── multiple_multiple_licenses/ │ │ ├── era5_pressure500.cfg │ │ ├── era5_pressure600.cfg │ │ └── era5_pressure700.cfg │ ├── multiple_single_license/ │ │ ├── era5_pressure500.cfg │ │ ├── era5_pressure600.cfg │ │ └── era5_pressure700.cfg │ ├── s2s_operational_forecast_example.cfg │ ├── seasonal_forecast_example_config.cfg │ ├── tigge_example_config.cfg │ └── yesterdays_surface_example.cfg ├── docs/ │ ├── Makefile │ ├── Private-IP-Configuration.md │ ├── _static/ │ │ └── custom.css │ ├── conf.py │ ├── download_pipeline.md │ ├── index.md │ ├── loader_pipeline.md │ ├── make.bat │ ├── modules.md │ ├── requirements.txt │ └── splitter_pipeline.md ├── environment.yml ├── pyproject.toml ├── setup.cfg ├── setup.py ├── tox.ini ├── weather_dl/ │ ├── MANIFEST.in │ ├── README.md │ ├── __init__.py │ ├── download_pipeline/ │ │ ├── __init__.py │ │ ├── clients.py │ │ ├── clients_test.py │ │ ├── config.py │ │ ├── config_test.py │ │ ├── fetcher.py │ │ ├── fetcher_test.py │ │ ├── manifest.py │ │ ├── manifest_test.py │ │ ├── parsers.py │ │ ├── parsers_test.py │ │ ├── partition.py │ │ ├── partition_test.py │ │ ├── pipeline.py │ │ ├── pipeline_test.py │ │ ├── stores.py │ │ ├── stores_test.py │ │ ├── util.py │ │ └── util_test.py │ ├── setup.py │ └── weather-dl ├── weather_dl_v2/ │ ├── README.md │ ├── __init__.py │ ├── cli/ │ │ ├── CLI-Documentation.md │ │ ├── Dockerfile │ │ ├── README.md │ │ ├── VERSION.txt │ │ ├── app/ │ │ │ ├── __init__.py │ │ │ ├── cli_config.py │ │ │ ├── data/ │ │ │ │ └── cli_config.json │ │ │ ├── main.py │ │ │ ├── services/ │ │ │ │ ├── __init__.py │ │ │ │ ├── download_service.py │ │ │ │ ├── license_service.py │ │ │ │ ├── network_service.py │ │ │ │ └── queue_service.py │ │ │ ├── subcommands/ │ │ │ │ ├── __init__.py │ │ │ │ ├── config.py │ │ │ │ ├── download.py │ │ │ │ ├── license.py │ │ │ │ └── queue.py │ │ │ └── utils.py │ │ ├── environment.yml │ │ ├── setup.py │ │ └── vm-startup.sh │ ├── cloudbuild.yml │ ├── config.json │ ├── downloader_kubernetes/ │ │ ├── Dockerfile │ │ ├── README.md │ │ ├── VERSION.txt │ │ ├── downloader.py │ │ ├── downloader_config.py │ │ ├── environment.yml │ │ ├── manifest.py │ │ └── util.py │ ├── fastapi-server/ │ │ ├── API-Interactions.md │ │ ├── Dockerfile │ │ ├── README.md │ │ ├── VERSION.txt │ │ ├── __init__.py │ │ ├── config_processing/ │ │ │ ├── config.py │ │ │ ├── manifest.py │ │ │ ├── parsers.py │ │ │ ├── partition.py │ │ │ ├── pipeline.py │ │ │ ├── stores.py │ │ │ └── util.py │ │ ├── database/ │ │ │ ├── __init__.py │ │ │ ├── download_handler.py │ │ │ ├── license_handler.py │ │ │ ├── manifest_handler.py │ │ │ ├── queue_handler.py │ │ │ ├── session.py │ │ │ └── storage_handler.py │ │ ├── environment.yml │ │ ├── example.cfg │ │ ├── license_dep/ │ │ │ ├── deployment_creator.py │ │ │ └── license_deployment.yaml │ │ ├── logging.conf │ │ ├── main.py │ │ ├── routers/ │ │ │ ├── download.py │ │ │ ├── license.py │ │ │ └── queues.py │ │ ├── server.yaml │ │ ├── server_config.py │ │ └── tests/ │ │ ├── __init__.py │ │ ├── integration/ │ │ │ ├── __init__.py │ │ │ ├── test_download.py │ │ │ ├── test_license.py │ │ │ └── test_queues.py │ │ └── test_data/ │ │ ├── example.cfg │ │ └── not_exist.cfg │ └── license_deployment/ │ ├── Dockerfile │ ├── README.md │ ├── VERSION.txt │ ├── __init__.py │ ├── clients.py │ ├── config.py │ ├── database.py │ ├── deployment_config.py │ ├── downloader.yaml │ ├── environment.yml │ ├── fetch.py │ ├── job_creator.py │ ├── manifest.py │ └── util.py ├── weather_mv/ │ ├── MANIFEST.in │ ├── README.md │ ├── __init__.py │ ├── loader_pipeline/ │ │ ├── __init__.py │ │ ├── bq.py │ │ ├── bq_test.py │ │ ├── ee.py │ │ ├── ee_test.py │ │ ├── execution_test.py │ │ ├── metrics.py │ │ ├── pipeline.py │ │ ├── pipeline_test.py │ │ ├── regrid.py │ │ ├── regrid_test.py │ │ ├── sinks.py │ │ ├── sinks_test.py │ │ ├── streaming.py │ │ ├── streaming_test.py │ │ ├── util.py │ │ └── util_test.py │ ├── setup.py │ ├── test_data/ │ │ ├── test_data.zarr/ │ │ │ ├── .zattrs │ │ │ ├── .zgroup │ │ │ ├── .zmetadata │ │ │ ├── cape/ │ │ │ │ ├── .zarray │ │ │ │ ├── .zattrs │ │ │ │ └── 0.0.0 │ │ │ ├── d2m/ │ │ │ │ ├── .zarray │ │ │ │ ├── .zattrs │ │ │ │ └── 0.0.0 │ │ │ ├── latitude/ │ │ │ │ ├── .zarray │ │ │ │ ├── .zattrs │ │ │ │ └── 0 │ │ │ ├── longitude/ │ │ │ │ ├── .zarray │ │ │ │ ├── .zattrs │ │ │ │ └── 0 │ │ │ └── time/ │ │ │ ├── .zarray │ │ │ ├── .zattrs │ │ │ └── 0 │ │ ├── test_data_20180101.nc │ │ ├── test_data_corrupt_grib │ │ ├── test_data_grib_multiple_edition_single_timestep.bz2 │ │ ├── test_data_grib_single_timestep │ │ ├── test_data_has_nan.nc │ │ ├── test_data_single_point.nc │ │ └── test_data_tif_time.tif │ └── weather-mv ├── weather_sp/ │ ├── MANIFEST.in │ ├── README.md │ ├── __init__.py │ ├── setup.py │ ├── splitter_pipeline/ │ │ ├── __init__.py │ │ ├── file_name_utils.py │ │ ├── file_name_utils_test.py │ │ ├── file_splitters.py │ │ ├── file_splitters_test.py │ │ ├── pipeline.py │ │ ├── pipeline_test.py │ │ └── streaming.py │ ├── test_data/ │ │ ├── era5_sample.grib │ │ ├── era5_sample.nc │ │ └── era5_sample_grib │ └── weather-sp └── xql/ ├── README.md ├── main.py ├── setup.py └── src/ ├── __init__.py ├── weather_lm/ │ ├── __init__.py │ ├── constant.py │ ├── gemini.py │ ├── template.py │ └── utils.py └── xql/ ├── __init__.py ├── apply.py ├── constant.py ├── open.py ├── utils.py └── where.py