gitextract_p3vof5f6/ ├── .dockerignore ├── .github/ │ ├── CONTRIBUTING.md │ ├── ISSUE_TEMPLATE/ │ │ ├── bug_report.yml │ │ ├── documentation.yml │ │ └── feature_request.yml │ ├── dependabot.yml │ └── workflows/ │ ├── changelog.yml │ ├── docker.yml │ ├── docker_testing.yml │ ├── integration_tests.yml │ ├── main.yml │ └── update_dependency_pr.yml ├── .gitignore ├── .readthedocs.yaml ├── CHANGELOG.md ├── CITATION.cff ├── Dockerfile ├── Dockerfile.test ├── LICENSE ├── Makefile ├── README.md ├── RELEASE_PROCESS.md ├── docs/ │ ├── .gitignore │ ├── Makefile │ ├── make.bat │ └── source/ │ ├── _static/ │ │ └── css/ │ │ └── custom.css │ ├── api/ │ │ ├── commands.rst │ │ ├── components/ │ │ │ ├── executor.rst │ │ │ ├── format.rst │ │ │ ├── index.rst │ │ │ ├── step.rst │ │ │ ├── step_cache.rst │ │ │ ├── step_graph.rst │ │ │ ├── step_info.rst │ │ │ └── workspace.rst │ │ ├── det_hash.rst │ │ ├── exceptions.rst │ │ ├── integrations/ │ │ │ ├── beaker.rst │ │ │ ├── datasets.rst │ │ │ ├── fairscale.rst │ │ │ ├── flax.rst │ │ │ ├── gs.rst │ │ │ ├── index.rst │ │ │ ├── torch.rst │ │ │ ├── transformers.rst │ │ │ └── wandb.rst │ │ ├── logging.rst │ │ ├── sequences.rst │ │ ├── settings.rst │ │ └── utilities.rst │ ├── conf.py │ ├── examples/ │ │ ├── euler.md │ │ ├── eval_p3.md │ │ ├── index.rst │ │ └── train_lm.md │ ├── faq.md │ ├── first_steps.md │ ├── index.md │ └── installation.md ├── examples/ │ ├── euler/ │ │ ├── README.md │ │ ├── complex_arithmetic.py │ │ ├── euler.jsonnet │ │ ├── euler_general.jsonnet │ │ └── run.sh │ ├── eval_p3/ │ │ ├── README.md │ │ ├── config.jsonnet │ │ └── eval.py │ ├── finetune/ │ │ ├── __init__.py │ │ ├── config.jsonnet │ │ ├── snli_steps.py │ │ └── test.py │ ├── finetune_resnet/ │ │ ├── .gitignore │ │ ├── config.jsonnet │ │ └── resnet_steps.py │ ├── flax/ │ │ ├── config.jsonnet │ │ ├── run.sh │ │ └── xsum.py │ └── train_lm/ │ ├── .gitignore │ ├── README.md │ ├── config.jsonnet │ ├── test.py │ └── tokenize_step.py ├── integration_tests/ │ ├── README.md │ └── fairscale_benchmarks/ │ ├── README.md │ ├── config.jsonnet │ └── run.sh ├── pyproject.toml ├── scripts/ │ ├── entrypoint.sh │ ├── hash_extras.py │ ├── prepare_changelog.py │ ├── prepare_citation_cff.py │ ├── release.sh │ └── release_notes.py ├── tango/ │ ├── __init__.py │ ├── __main__.py │ ├── cli.py │ ├── common/ │ │ ├── __init__.py │ │ ├── aliases.py │ │ ├── dataset_dict.py │ │ ├── det_hash.py │ │ ├── exceptions.py │ │ ├── file_lock.py │ │ ├── from_params.py │ │ ├── lazy.py │ │ ├── logging.py │ │ ├── params.py │ │ ├── registrable.py │ │ ├── remote_utils.py │ │ ├── sequences.py │ │ ├── testing/ │ │ │ ├── __init__.py │ │ │ └── steps.py │ │ ├── tqdm.py │ │ └── util.py │ ├── executor.py │ ├── executors/ │ │ ├── __init__.py │ │ └── multicore_executor.py │ ├── format.py │ ├── integrations/ │ │ ├── __init__.py │ │ ├── beaker/ │ │ │ ├── __init__.py │ │ │ ├── common.py │ │ │ ├── entrypoint.sh │ │ │ ├── executor.py │ │ │ ├── step_cache.py │ │ │ └── workspace.py │ │ ├── datasets/ │ │ │ └── __init__.py │ │ ├── fairscale/ │ │ │ ├── __init__.py │ │ │ ├── fsdp_config.py │ │ │ ├── module_wrapper.py │ │ │ └── training_engine.py │ │ ├── flax/ │ │ │ ├── __init__.py │ │ │ ├── data.py │ │ │ ├── eval.py │ │ │ ├── eval_callback.py │ │ │ ├── format.py │ │ │ ├── model.py │ │ │ ├── optim.py │ │ │ ├── train.py │ │ │ ├── train_callback.py │ │ │ ├── train_config.py │ │ │ ├── util.py │ │ │ └── wrapper.py │ │ ├── gs/ │ │ │ ├── __init__.py │ │ │ ├── common.py │ │ │ ├── step_cache.py │ │ │ └── workspace.py │ │ ├── torch/ │ │ │ ├── __init__.py │ │ │ ├── data.py │ │ │ ├── eval.py │ │ │ ├── eval_callback.py │ │ │ ├── exceptions.py │ │ │ ├── format.py │ │ │ ├── model.py │ │ │ ├── optim.py │ │ │ ├── train.py │ │ │ ├── train_callback.py │ │ │ ├── train_config.py │ │ │ ├── training_engine.py │ │ │ └── util.py │ │ ├── transformers/ │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── data.py │ │ │ ├── finetune.py │ │ │ ├── ia3.py │ │ │ ├── model.py │ │ │ ├── optim.py │ │ │ ├── run_generation.py │ │ │ ├── soft_prompt.py │ │ │ └── tokenizer.py │ │ └── wandb/ │ │ ├── __init__.py │ │ ├── flax_train_callback.py │ │ ├── step_cache.py │ │ ├── torch_train_callback.py │ │ ├── util.py │ │ └── workspace.py │ ├── py.typed │ ├── settings.py │ ├── step.py │ ├── step_cache.py │ ├── step_caches/ │ │ ├── __init__.py │ │ ├── local_step_cache.py │ │ ├── memory_step_cache.py │ │ └── remote_step_cache.py │ ├── step_graph.py │ ├── step_info.py │ ├── steps/ │ │ ├── __init__.py │ │ ├── dataset_remix.py │ │ ├── print.py │ │ └── shell_step.py │ ├── version.py │ ├── workspace.py │ └── workspaces/ │ ├── __init__.py │ ├── local_workspace.py │ ├── memory_workspace.py │ └── remote_workspace.py ├── test_fixtures/ │ ├── __init__.py │ ├── beaker/ │ │ └── nvidia_smi.yml │ ├── common/ │ │ ├── params_example.jsonnet │ │ └── params_example.yaml │ ├── experiment/ │ │ ├── hello_world.jsonnet │ │ ├── logging_check.jsonnet │ │ ├── multiprocessing.jsonnet │ │ ├── noisy.jsonnet │ │ └── random.jsonnet │ ├── integrations/ │ │ ├── __init__.py │ │ ├── common/ │ │ │ └── __init__.py │ │ ├── datasets/ │ │ │ └── config.json │ │ ├── fairscale/ │ │ │ ├── __init__.py │ │ │ ├── components.py │ │ │ └── config.jsonnet │ │ ├── flax/ │ │ │ ├── __init__.py │ │ │ ├── config.jsonnet │ │ │ └── xsum.py │ │ └── torch/ │ │ ├── __init__.py │ │ ├── eval.jsonnet │ │ ├── train.jsonnet │ │ ├── train_dist.jsonnet │ │ └── train_streaming.jsonnet │ └── v1_local_workspace/ │ └── cache/ │ ├── AdditionStep-34AiXoyiPKADMUnhcBzFYd6JeMcgx4DP/ │ │ ├── cache-metadata.json │ │ ├── conda-environment.yaml │ │ ├── executor-metadata.json │ │ ├── lock │ │ ├── requirements.txt │ │ └── stepinfo.dill │ ├── CosineStep-5aes9CUTRmkz5gJ5J6JSRbJZ4qkFu4kk/ │ │ ├── cache-metadata.json │ │ ├── conda-environment.yaml │ │ ├── executor-metadata.json │ │ ├── lock │ │ ├── requirements.txt │ │ └── stepinfo.dill │ ├── ExponentiateStep-Rf73w34zWJcBrQafpAkxDvXR4mq3MXC9/ │ │ ├── cache-metadata.json │ │ ├── conda-environment.yaml │ │ ├── executor-metadata.json │ │ ├── lock │ │ ├── requirements.txt │ │ └── stepinfo.dill │ ├── MultiplyStep-2ZG7wPj9WLn5PgpYyPVHw9Qg7VM1mhwf/ │ │ ├── cache-metadata.json │ │ ├── conda-environment.yaml │ │ ├── executor-metadata.json │ │ ├── lock │ │ ├── requirements.txt │ │ └── stepinfo.dill │ ├── MultiplyStep-4SRzHCCqYGs2PLeT8LeL5ukrCWGJoiae/ │ │ ├── cache-metadata.json │ │ ├── conda-environment.yaml │ │ ├── executor-metadata.json │ │ ├── lock │ │ ├── requirements.txt │ │ └── stepinfo.dill │ ├── SineStep-5aes9CUTRmkz5gJ5J6JSRbJZ4qkFu4kk/ │ │ ├── cache-metadata.json │ │ ├── conda-environment.yaml │ │ ├── executor-metadata.json │ │ ├── lock │ │ ├── requirements.txt │ │ └── stepinfo.dill │ └── SubtractionStep-YCdedqjmmd9GUFi96VzPXD5tAVho3CTz/ │ ├── cache-metadata.json │ ├── conda-environment.yaml │ ├── executor-metadata.json │ ├── lock │ ├── requirements.txt │ └── stepinfo.dill └── tests/ ├── __init__.py ├── common/ │ ├── __init__.py │ ├── dataset_dict_test.py │ ├── det_hash_test.py │ ├── from_params_pep_563_test.py │ ├── from_params_test.py │ ├── params_test.py │ ├── registrable_test.py │ ├── sequences_test.py │ └── util_test.py ├── end_to_end/ │ ├── test_dataset_dict_from_separate_steps.py │ ├── test_lazy_input_with_another_step.py │ ├── test_multicore_cli.py │ ├── test_non_cacheable_into_cacheable_multiple_runs.py │ ├── test_registered_runs.py │ ├── test_run_single_step.py │ ├── test_step_indexing.py │ ├── test_steps_that_fail.py │ └── test_uncacheable_leaf_steps.py ├── executor_test.py ├── executors/ │ ├── __init__.py │ └── multicore_executor_test.py ├── format_test.py ├── integrations/ │ ├── __init__.py │ ├── beaker/ │ │ ├── __init__.py │ │ ├── conftest.py │ │ ├── executor_test.py │ │ ├── step_cache_test.py │ │ └── workspace_test.py │ ├── datasets/ │ │ ├── __init__.py │ │ └── dataset_test.py │ ├── fairscale/ │ │ ├── __init__.py │ │ └── train_test.py │ ├── flax/ │ │ ├── __init__.py │ │ ├── data_test.py │ │ ├── format_test.py │ │ ├── optim_test.py │ │ └── train_test.py │ ├── gs/ │ │ ├── __init__.py │ │ ├── step_cache_test.py │ │ └── workspace_test.py │ ├── torch/ │ │ ├── __init__.py │ │ ├── data_test.py │ │ ├── det_hash_test.py │ │ ├── eval_test.py │ │ ├── format_test.py │ │ ├── optim_test.py │ │ ├── train_callback_test.py │ │ ├── train_test.py │ │ └── training_engine_test.py │ ├── transformers/ │ │ ├── data_test.py │ │ ├── finetune_test.py │ │ ├── ia3_test.py │ │ ├── run_generation_test.py │ │ └── soft_prompt_test.py │ └── wandb/ │ ├── __init__.py │ ├── step_cache_test.py │ └── workspace_test.py ├── main_test.py ├── step_caches/ │ ├── __init__.py │ └── local_step_cache_test.py ├── step_graph_test.py ├── step_info_test.py ├── step_test.py ├── steps/ │ ├── __init__.py │ ├── dataset_remix_test.py │ └── shell_step_test.py └── workspaces/ ├── __init__.py ├── local_workspace_test.py └── memory_workspace_test.py