gitextract_zotywiye/

├── .benchmark_pattern
├── .gitignore
├── .travis.yml
├── Dockerfile
├── LICENSE
├── README.md
├── baselines/
│   ├── __init__.py
│   ├── a2c/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── a2c.py
│   │   ├── runner.py
│   │   └── utils.py
│   ├── acer/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── acer.py
│   │   ├── buffer.py
│   │   ├── defaults.py
│   │   ├── policies.py
│   │   └── runner.py
│   ├── acktr/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── acktr.py
│   │   ├── defaults.py
│   │   ├── kfac.py
│   │   ├── kfac_utils.py
│   │   └── utils.py
│   ├── bench/
│   │   ├── __init__.py
│   │   ├── benchmarks.py
│   │   ├── monitor.py
│   │   └── test_monitor.py
│   ├── common/
│   │   ├── __init__.py
│   │   ├── atari_wrappers.py
│   │   ├── cg.py
│   │   ├── cmd_util.py
│   │   ├── console_util.py
│   │   ├── dataset.py
│   │   ├── distributions.py
│   │   ├── input.py
│   │   ├── math_util.py
│   │   ├── misc_util.py
│   │   ├── models.py
│   │   ├── mpi_adam.py
│   │   ├── mpi_adam_optimizer.py
│   │   ├── mpi_fork.py
│   │   ├── mpi_moments.py
│   │   ├── mpi_running_mean_std.py
│   │   ├── mpi_util.py
│   │   ├── plot_util.py
│   │   ├── policies.py
│   │   ├── retro_wrappers.py
│   │   ├── runners.py
│   │   ├── running_mean_std.py
│   │   ├── schedules.py
│   │   ├── segment_tree.py
│   │   ├── test_mpi_util.py
│   │   ├── tests/
│   │   │   ├── __init__.py
│   │   │   ├── envs/
│   │   │   │   ├── __init__.py
│   │   │   │   ├── fixed_sequence_env.py
│   │   │   │   ├── identity_env.py
│   │   │   │   ├── identity_env_test.py
│   │   │   │   └── mnist_env.py
│   │   │   ├── test_cartpole.py
│   │   │   ├── test_doc_examples.py
│   │   │   ├── test_env_after_learn.py
│   │   │   ├── test_fetchreach.py
│   │   │   ├── test_fixed_sequence.py
│   │   │   ├── test_identity.py
│   │   │   ├── test_mnist.py
│   │   │   ├── test_plot_util.py
│   │   │   ├── test_schedules.py
│   │   │   ├── test_segment_tree.py
│   │   │   ├── test_serialization.py
│   │   │   ├── test_tf_util.py
│   │   │   ├── test_with_mpi.py
│   │   │   └── util.py
│   │   ├── tf_util.py
│   │   ├── tile_images.py
│   │   ├── vec_env/
│   │   │   ├── __init__.py
│   │   │   ├── dummy_vec_env.py
│   │   │   ├── shmem_vec_env.py
│   │   │   ├── subproc_vec_env.py
│   │   │   ├── test_vec_env.py
│   │   │   ├── test_video_recorder.py
│   │   │   ├── util.py
│   │   │   ├── vec_env.py
│   │   │   ├── vec_frame_stack.py
│   │   │   ├── vec_monitor.py
│   │   │   ├── vec_normalize.py
│   │   │   ├── vec_remove_dict_obs.py
│   │   │   └── vec_video_recorder.py
│   │   └── wrappers.py
│   ├── ddpg/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── ddpg.py
│   │   ├── ddpg_learner.py
│   │   ├── memory.py
│   │   ├── models.py
│   │   ├── noise.py
│   │   └── test_smoke.py
│   ├── deepq/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── build_graph.py
│   │   ├── deepq.py
│   │   ├── defaults.py
│   │   ├── experiments/
│   │   │   ├── __init__.py
│   │   │   ├── custom_cartpole.py
│   │   │   ├── enjoy_cartpole.py
│   │   │   ├── enjoy_mountaincar.py
│   │   │   ├── enjoy_pong.py
│   │   │   ├── train_cartpole.py
│   │   │   ├── train_mountaincar.py
│   │   │   └── train_pong.py
│   │   ├── models.py
│   │   ├── replay_buffer.py
│   │   └── utils.py
│   ├── gail/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── adversary.py
│   │   ├── behavior_clone.py
│   │   ├── dataset/
│   │   │   ├── __init__.py
│   │   │   └── mujoco_dset.py
│   │   ├── gail-eval.py
│   │   ├── mlp_policy.py
│   │   ├── result/
│   │   │   └── gail-result.md
│   │   ├── run_mujoco.py
│   │   ├── statistics.py
│   │   └── trpo_mpi.py
│   ├── her/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── actor_critic.py
│   │   ├── ddpg.py
│   │   ├── experiment/
│   │   │   ├── __init__.py
│   │   │   ├── config.py
│   │   │   ├── data_generation/
│   │   │   │   └── fetch_data_generation.py
│   │   │   ├── play.py
│   │   │   └── plot.py
│   │   ├── her.py
│   │   ├── her_sampler.py
│   │   ├── normalizer.py
│   │   ├── replay_buffer.py
│   │   ├── rollout.py
│   │   └── util.py
│   ├── logger.py
│   ├── ppo1/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── cnn_policy.py
│   │   ├── mlp_policy.py
│   │   ├── pposgd_simple.py
│   │   ├── run_atari.py
│   │   ├── run_humanoid.py
│   │   ├── run_mujoco.py
│   │   └── run_robotics.py
│   ├── ppo2/
│   │   ├── README.md
│   │   ├── __init__.py
│   │   ├── defaults.py
│   │   ├── microbatched_model.py
│   │   ├── model.py
│   │   ├── ppo2.py
│   │   ├── runner.py
│   │   └── test_microbatches.py
│   ├── results_plotter.py
│   ├── run.py
│   └── trpo_mpi/
│       ├── README.md
│       ├── __init__.py
│       ├── defaults.py
│       └── trpo_mpi.py
├── benchmarks_atari10M.htm
├── benchmarks_mujoco1M.htm
├── docs/
│   └── viz/
│       └── viz.ipynb
├── setup.cfg
└── setup.py