gitextract_c6gc35b2/

├── .dockerignore
├── .gitattributes
├── .gitignore
├── .gitmodules
├── .travis.yml
├── LICENSE
├── MANIFEST.in
├── README.md
├── dockers/
│   ├── .gitignore
│   ├── base/
│   │   ├── Dockerfile
│   │   └── build.sh
│   └── branch/
│       ├── Dockerfile
│       └── build.sh
├── docs/
│   └── diagrams/
│       └── src/
│           ├── gym.puml
│           ├── pytorch_lightning.puml
│           └── seq_diagram.puml
├── examples/
│   ├── README.md
│   ├── __init__.py
│   ├── advanced/
│   │   ├── RL_and_SL_demo.py
│   │   ├── continual_rl_demo.py
│   │   ├── ewc_in_rl.py
│   │   ├── hat_demo.py
│   │   ├── hparam_tuning.py
│   │   ├── pnn/
│   │   │   ├── __init__.py
│   │   │   ├── layers.py
│   │   │   ├── model_rl.py
│   │   │   ├── model_sl.py
│   │   │   └── pnn_method.py
│   │   └── procgen_example.py
│   ├── basic/
│   │   ├── __init__.py
│   │   ├── base_method_demo.py
│   │   ├── pl_example.py
│   │   ├── pl_example_packnet.py
│   │   ├── pl_example_test.py
│   │   ├── quick_demo.ipynb
│   │   ├── quick_demo.py
│   │   ├── quick_demo_ewc.py
│   │   ├── quick_demo_packnet.py
│   │   └── quick_demo_test.py
│   ├── clcomp21/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── a2c_example.py
│   │   ├── a2c_example_test.py
│   │   ├── classifier.py
│   │   ├── classifier_test.py
│   │   ├── conftest.py
│   │   ├── dummy_method.py
│   │   ├── dummy_method_test.py
│   │   ├── multihead_classifier.py
│   │   ├── multihead_classifier_test.py
│   │   ├── regularization_example.py
│   │   ├── regularization_example_test.py
│   │   ├── sb3_example.py
│   │   └── sb3_example_test.py
│   ├── demo_utils.py
│   └── prerequisites/
│       └── dataclasses_example.py
├── mypy.ini
├── pytest.ini
├── requirements.txt
├── scripts/
│   ├── eai/
│   │   ├── cancel_all_queuing.sh
│   │   ├── cancel_all_running.sh
│   │   ├── job.sh
│   │   ├── rl_sweep.sh
│   │   ├── shell_job.sh
│   │   └── sl_sweep.sh
│   └── slurm/
│       ├── launch_many_sweeps.sh
│       ├── run.sh
│       └── sweep.sh
├── sequoia/
│   ├── README.md
│   ├── __init__.py
│   ├── _version.py
│   ├── client/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── __main__.py
│   │   ├── env.proto
│   │   ├── env_proxy.py
│   │   ├── env_proxy_test.py
│   │   ├── server.py
│   │   ├── setting_proxy.py
│   │   └── setting_proxy_test.py
│   ├── common/
│   │   ├── __init__.py
│   │   ├── batch.py
│   │   ├── batch_test.py
│   │   ├── callbacks/
│   │   │   ├── __init__.py
│   │   │   ├── knn_callback.py
│   │   │   └── vae_callback.py
│   │   ├── config/
│   │   │   ├── __init__.py
│   │   │   ├── config.py
│   │   │   └── wandb_config.py
│   │   ├── gym_wrappers/
│   │   │   ├── __init__.py
│   │   │   ├── action_limit.py
│   │   │   ├── action_limit_test.py
│   │   │   ├── add_done.py
│   │   │   ├── add_info.py
│   │   │   ├── convert_tensors.py
│   │   │   ├── convert_tensors_test.py
│   │   │   ├── env_dataset.py
│   │   │   ├── env_dataset_test.py
│   │   │   ├── episode_limit.py
│   │   │   ├── episode_limit_test.py
│   │   │   ├── measure_performance.py
│   │   │   ├── multi_task_environment.py
│   │   │   ├── multi_task_environment_test.py
│   │   │   ├── observation_limit.py
│   │   │   ├── observation_limit_test.py
│   │   │   ├── pixel_observation.py
│   │   │   ├── pixel_observation_test.py
│   │   │   ├── policy_env.py
│   │   │   ├── policy_env_test.py
│   │   │   ├── smooth_environment.py
│   │   │   ├── smooth_environment_test.py
│   │   │   ├── step_callback_wrapper.py
│   │   │   ├── step_callback_wrapper_test.py
│   │   │   ├── transform_wrappers.py
│   │   │   ├── transform_wrappers_test.py
│   │   │   ├── utils.py
│   │   │   └── utils_test.py
│   │   ├── hparams/
│   │   │   └── __init__.py
│   │   ├── layers.py
│   │   ├── loss.py
│   │   ├── loss_test.py
│   │   ├── metrics/
│   │   │   ├── __init__.py
│   │   │   ├── classification.py
│   │   │   ├── classification_test.py
│   │   │   ├── get_metrics.py
│   │   │   ├── metrics.py
│   │   │   ├── metrics_utils.py
│   │   │   ├── metrics_utils_test.py
│   │   │   ├── regression.py
│   │   │   └── rl_metrics.py
│   │   ├── replay.py
│   │   ├── spaces/
│   │   │   ├── __init__.py
│   │   │   ├── image.py
│   │   │   ├── named_tuple.py
│   │   │   ├── named_tuple_test.py
│   │   │   ├── space.py
│   │   │   ├── sparse.py
│   │   │   ├── sparse_test.py
│   │   │   ├── tensor_spaces.py
│   │   │   ├── tensor_spaces_test.py
│   │   │   ├── typed_dict.py
│   │   │   └── typed_dict_test.py
│   │   ├── task.py
│   │   └── transforms/
│   │       ├── __init__.py
│   │       ├── channels.py
│   │       ├── compose.py
│   │       ├── resize.py
│   │       ├── split_batch.py
│   │       ├── to_tensor.py
│   │       ├── transform.py
│   │       ├── transform_enum.py
│   │       ├── transforms_test.py
│   │       └── utils.py
│   ├── common.puml
│   ├── conftest.py
│   ├── experiments/
│   │   ├── __init__.py
│   │   ├── experiment.py
│   │   ├── experiment_test.py
│   │   ├── hpo_sweep.py
│   │   └── hpo_sweep_test.py
│   ├── main.py
│   ├── methods/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── aux_tasks/
│   │   │   ├── __init__.py
│   │   │   ├── auxiliary_task.py
│   │   │   ├── ewc.py
│   │   │   ├── reconstruction/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── ae.py
│   │   │   │   ├── decoder_for_dataset.py
│   │   │   │   ├── decoders.py
│   │   │   │   └── vae.py
│   │   │   └── transformation_based/
│   │   │       ├── __init__.py
│   │   │       ├── bases.py
│   │   │       └── rotation.py
│   │   ├── avalanche_methods/
│   │   │   ├── __init__.py
│   │   │   ├── agem.py
│   │   │   ├── agem_test.py
│   │   │   ├── ar1.py
│   │   │   ├── ar1_test.py
│   │   │   ├── base.py
│   │   │   ├── base_test.py
│   │   │   ├── conftest.py
│   │   │   ├── cwr_star.py
│   │   │   ├── cwr_star_test.py
│   │   │   ├── ewc.py
│   │   │   ├── ewc_test.py
│   │   │   ├── experience.py
│   │   │   ├── gdumb.py
│   │   │   ├── gdumb_test.py
│   │   │   ├── gem.py
│   │   │   ├── gem_test.py
│   │   │   ├── lwf.py
│   │   │   ├── lwf_test.py
│   │   │   ├── naive.py
│   │   │   ├── naive_test.py
│   │   │   ├── patched_models.py
│   │   │   ├── plugins.py
│   │   │   ├── replay.py
│   │   │   ├── replay_test.py
│   │   │   ├── synaptic_intelligence.py
│   │   │   └── synaptic_intelligence_test.py
│   │   ├── base_method.py
│   │   ├── base_method_test.py
│   │   ├── conftest.py
│   │   ├── d3rlpy_methods/
│   │   │   ├── __init__.py
│   │   │   ├── base.py
│   │   │   └── base_test.py
│   │   ├── ewc_method.py
│   │   ├── ewc_method_test.py
│   │   ├── experience_replay.py
│   │   ├── experience_replay_test.py
│   │   ├── hat.py
│   │   ├── method_test.py
│   │   ├── models/
│   │   │   ├── __init__.py
│   │   │   ├── base_model/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── base_model.py
│   │   │   │   ├── model.py
│   │   │   │   ├── multihead_model.py
│   │   │   │   ├── multihead_model_test.py
│   │   │   │   ├── self_supervised_model.py
│   │   │   │   ├── self_supervised_model_test.py
│   │   │   │   └── semi_supervised_model.py
│   │   │   ├── baseline_model.puml
│   │   │   ├── fcnet.py
│   │   │   ├── forward_pass.py
│   │   │   ├── output_heads/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── classification_head.py
│   │   │   │   ├── output_head.py
│   │   │   │   ├── regression_head.py
│   │   │   │   └── rl/
│   │   │   │       ├── __init__.py
│   │   │   │       ├── actor_critic_head.py
│   │   │   │       ├── episodic_a2c.py
│   │   │   │       ├── episodic_a2c_test.py
│   │   │   │       ├── policy_head.py
│   │   │   │       ├── policy_head_test.py
│   │   │   │       └── wasted_steps_calc.py
│   │   │   ├── output_heads.puml
│   │   │   └── simple_convnet.py
│   │   ├── models.puml
│   │   ├── packnet_method.py
│   │   ├── packnet_method_test.py
│   │   ├── pl_bolts_methods/
│   │   │   └── __init__.py
│   │   ├── pl_dqn.py
│   │   ├── pnn/
│   │   │   ├── __init__.py
│   │   │   ├── layers.py
│   │   │   ├── model_rl.py
│   │   │   ├── model_sl.py
│   │   │   └── pnn_method.py
│   │   ├── random_baseline.py
│   │   ├── random_baseline_test.py
│   │   ├── stable_baselines3_methods/
│   │   │   ├── __init__.py
│   │   │   ├── a2c.py
│   │   │   ├── a2c_test.py
│   │   │   ├── base.py
│   │   │   ├── base_test.py
│   │   │   ├── ddpg.py
│   │   │   ├── ddpg_test.py
│   │   │   ├── dqn.py
│   │   │   ├── dqn_test.py
│   │   │   ├── off_policy_method.py
│   │   │   ├── off_policy_method_test.py
│   │   │   ├── on_policy_method.py
│   │   │   ├── policy_wrapper.py
│   │   │   ├── ppo.py
│   │   │   ├── ppo_test.py
│   │   │   ├── sac.py
│   │   │   ├── sac_test.py
│   │   │   ├── td3.py
│   │   │   └── td3_test.py
│   │   └── trainer.py
│   ├── methods.puml
│   ├── sequoia.puml
│   ├── settings/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── assumptions/
│   │   │   ├── __init__.py
│   │   │   ├── assumptions.puml
│   │   │   ├── base.py
│   │   │   ├── classification.py
│   │   │   ├── context_discreteness.py
│   │   │   ├── context_visibility.py
│   │   │   ├── continual.py
│   │   │   ├── discrete_results.py
│   │   │   ├── iid.py
│   │   │   ├── iid_results.py
│   │   │   ├── incremental.py
│   │   │   ├── incremental_results.py
│   │   │   ├── incremental_test.py
│   │   │   ├── task_incremental.py
│   │   │   └── task_type.py
│   │   ├── base/
│   │   │   ├── __init__.py
│   │   │   ├── base.puml
│   │   │   ├── bases.py
│   │   │   ├── environment.py
│   │   │   ├── objects.py
│   │   │   ├── results.py
│   │   │   ├── setting.py
│   │   │   ├── setting_meta.py
│   │   │   └── setting_test.py
│   │   ├── offline_rl/
│   │   │   └── setting.py
│   │   ├── presets/
│   │   │   ├── __init__.py
│   │   │   ├── cartpole_pixels.yaml
│   │   │   ├── cartpole_state.yaml
│   │   │   ├── cifar10.yaml
│   │   │   ├── cifar100.yaml
│   │   │   ├── classic_control/
│   │   │   │   ├── cartpole.yaml
│   │   │   │   └── mountaincar_continuous.yaml
│   │   │   ├── fashion_mnist.yaml
│   │   │   ├── mnist.yaml
│   │   │   ├── monsterkong/
│   │   │   │   ├── monsterkong_3each.yaml
│   │   │   │   ├── monsterkong_4each.yaml
│   │   │   │   ├── monsterkong_5each.yaml
│   │   │   │   ├── monsterkong_all.yaml
│   │   │   │   ├── monsterkong_jumps.yaml
│   │   │   │   ├── monsterkong_jumps_and_ladders.yaml
│   │   │   │   ├── monsterkong_ladders.yaml
│   │   │   │   └── monsterkong_mix.yaml
│   │   │   ├── mujoco/
│   │   │   │   └── half_cheetah.yaml
│   │   │   ├── rl_track.yaml
│   │   │   └── sl_track.yaml
│   │   ├── rl/
│   │   │   ├── __init__.py
│   │   │   ├── continual/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── environment.py
│   │   │   │   ├── environment_test.py
│   │   │   │   ├── make_env.py
│   │   │   │   ├── make_env_test.py
│   │   │   │   ├── objects.py
│   │   │   │   ├── results.py
│   │   │   │   ├── setting.py
│   │   │   │   ├── setting_test.py
│   │   │   │   ├── tasks.py
│   │   │   │   ├── tasks_test.py
│   │   │   │   └── test_environment.py
│   │   │   ├── discrete/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── multienv_wrappers.py
│   │   │   │   ├── multienv_wrappers_test.py
│   │   │   │   ├── results.py
│   │   │   │   ├── setting.py
│   │   │   │   ├── setting_test.py
│   │   │   │   ├── tasks.py
│   │   │   │   ├── tasks_test.py
│   │   │   │   └── test_environment.py
│   │   │   ├── environment.py
│   │   │   ├── environment_test.py
│   │   │   ├── envs/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── classic_control.py
│   │   │   │   ├── monsterkong.py
│   │   │   │   ├── mujoco/
│   │   │   │   │   ├── __init__.py
│   │   │   │   │   ├── half_cheetah.py
│   │   │   │   │   ├── half_cheetah_test.py
│   │   │   │   │   ├── hopper.py
│   │   │   │   │   ├── hopper_test.py
│   │   │   │   │   ├── modified_friction.py
│   │   │   │   │   ├── modified_friction_test.py
│   │   │   │   │   ├── modified_gravity.py
│   │   │   │   │   ├── modified_gravity_test.py
│   │   │   │   │   ├── modified_mass.py
│   │   │   │   │   ├── modified_mass_test.py
│   │   │   │   │   ├── modified_size.py
│   │   │   │   │   ├── modified_size_test.py
│   │   │   │   │   ├── modified_wall.py
│   │   │   │   │   ├── mujoco_model_utils.py
│   │   │   │   │   ├── walker2d.py
│   │   │   │   │   └── walker2d_test.py
│   │   │   │   └── variant_spec.py
│   │   │   ├── incremental/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── objects.py
│   │   │   │   ├── results.py
│   │   │   │   ├── setting.py
│   │   │   │   ├── setting_test.py
│   │   │   │   └── tasks.py
│   │   │   ├── multi_task/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── setting.py
│   │   │   │   └── setting_test.py
│   │   │   ├── objects.py
│   │   │   ├── setting.py
│   │   │   ├── setting_test.py
│   │   │   ├── task_incremental/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── setting.py
│   │   │   │   ├── setting_test.py
│   │   │   │   └── tasks.py
│   │   │   ├── traditional/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── setting.py
│   │   │   │   └── setting_test.py
│   │   │   └── wrappers/
│   │   │       ├── __init__.py
│   │   │       ├── measure_performance.py
│   │   │       ├── measure_performance_test.py
│   │   │       ├── no_typed_objects.py
│   │   │       ├── task_labels.py
│   │   │       └── typed_objects.py
│   │   ├── settings.puml
│   │   └── sl/
│   │       ├── README.md
│   │       ├── __init__.py
│   │       ├── continual/
│   │       │   ├── __init__.py
│   │       │   ├── environment.py
│   │       │   ├── environment_test.py
│   │       │   ├── envs.py
│   │       │   ├── objects.py
│   │       │   ├── results.py
│   │       │   ├── setting.py
│   │       │   ├── setting_test.py
│   │       │   └── wrappers.py
│   │       ├── discrete/
│   │       │   ├── __init__.py
│   │       │   ├── setting.py
│   │       │   └── setting_test.py
│   │       ├── domain_incremental/
│   │       │   ├── __init__.py
│   │       │   ├── setting.py
│   │       │   └── setting_test.py
│   │       ├── environment.py
│   │       ├── environment_test.py
│   │       ├── incremental/
│   │       │   ├── __init__.py
│   │       │   ├── environment.py
│   │       │   ├── environment_test.py
│   │       │   ├── objects.py
│   │       │   ├── results.py
│   │       │   ├── setting.py
│   │       │   ├── setting_test.py
│   │       │   └── unused_batch_transforms.py
│   │       ├── multi_task/
│   │       │   ├── __init__.py
│   │       │   ├── setting.py
│   │       │   └── setting_test.py
│   │       ├── setting.py
│   │       ├── task_incremental/
│   │       │   ├── __init__.py
│   │       │   ├── setting.py
│   │       │   └── setting_test.py
│   │       ├── traditional/
│   │       │   ├── __init__.py
│   │       │   ├── results.py
│   │       │   ├── setting.py
│   │       │   └── setting_test.py
│   │       └── wrappers/
│   │           ├── __init__.py
│   │           ├── measure_performance.py
│   │           └── measure_performance_test.py
│   ├── settings.puml
│   └── utils/
│       ├── __init__.py
│       ├── categorical.py
│       ├── data_utils.py
│       ├── encode.py
│       ├── generic_functions/
│       │   ├── __init__.py
│       │   ├── _namedtuple.py
│       │   ├── _namedtuple_test.py
│       │   ├── concatenate.py
│       │   ├── detach.py
│       │   ├── move.py
│       │   ├── replace.py
│       │   ├── replace_test.py
│       │   ├── singledispatchmethod.py
│       │   ├── slicing.py
│       │   ├── slicing_test.py
│       │   ├── stack.py
│       │   └── to_from_tensor.py
│       ├── logging_utils.py
│       ├── module_dict.py
│       ├── parseable.py
│       ├── plotting.py
│       ├── pretrained_utils.py
│       ├── readme.py
│       ├── serialization.py
│       └── utils.py
├── setup.cfg
├── setup.py
└── versioneer.py