gitextract_cso8n2ux/ ├── .gitignore ├── JaxPref/ │ ├── MR.py │ ├── NMR.py │ ├── PrefTransformer.py │ ├── __init__.py │ ├── human_label_preprocess_adroit.py │ ├── human_label_preprocess_antmaze.py │ ├── human_label_preprocess_mujoco.py │ ├── human_label_preprocess_robosuite.py │ ├── jax_utils.py │ ├── model.py │ ├── new_preference_reward_main.py │ ├── replay_buffer.py │ ├── reward_transform.py │ ├── sampler.py │ └── utils.py ├── LICENSE ├── README.md ├── actor.py ├── common.py ├── configs/ │ ├── adroit_config.py │ ├── antmaze_config.py │ ├── antmaze_finetune_config.py │ └── mujoco_config.py ├── critic.py ├── d4rl/ │ ├── .gitignore │ ├── LICENSE │ ├── MANIFEST.in │ ├── README.md │ ├── d4rl/ │ │ ├── __init__.py │ │ ├── carla/ │ │ │ ├── __init__.py │ │ │ ├── carla_env.py │ │ │ ├── data_collection_agent_lane.py │ │ │ ├── data_collection_town.py │ │ │ └── town_agent.py │ │ ├── flow/ │ │ │ ├── __init__.py │ │ │ ├── bottleneck.py │ │ │ ├── merge.py │ │ │ └── traffic_light_grid.py │ │ ├── gym_bullet/ │ │ │ ├── __init__.py │ │ │ └── gym_envs.py │ │ ├── gym_minigrid/ │ │ │ ├── __init__.py │ │ │ ├── envs/ │ │ │ │ ├── __init__.py │ │ │ │ ├── empty.py │ │ │ │ └── fourrooms.py │ │ │ ├── fourroom_controller.py │ │ │ ├── minigrid.py │ │ │ ├── register.py │ │ │ ├── rendering.py │ │ │ ├── roomgrid.py │ │ │ ├── window.py │ │ │ └── wrappers.py │ │ ├── gym_mujoco/ │ │ │ ├── __init__.py │ │ │ └── gym_envs.py │ │ ├── hand_manipulation_suite/ │ │ │ ├── Adroit/ │ │ │ │ ├── .gitignore │ │ │ │ ├── Adroit_hand.xml │ │ │ │ ├── Adroit_hand_withOverlay.xml │ │ │ │ ├── LICENSE │ │ │ │ ├── README.md │ │ │ │ └── resources/ │ │ │ │ ├── assets.xml │ │ │ │ ├── chain.xml │ │ │ │ ├── chain1.xml │ │ │ │ ├── joint_position_actuation.xml │ │ │ │ ├── meshes/ │ │ │ │ │ ├── F1.stl │ │ │ │ │ ├── F2.stl │ │ │ │ │ ├── F3.stl │ │ │ │ │ ├── TH1_z.stl │ │ │ │ │ ├── TH2_z.stl │ │ │ │ │ ├── TH3_z.stl │ │ │ │ │ ├── arm_base.stl │ │ │ │ │ ├── arm_trunk.stl │ │ │ │ │ ├── arm_trunk_asmbly.stl │ │ │ │ │ ├── distal_ellipsoid.stl │ │ │ │ │ ├── elbow_flex.stl │ │ │ │ │ ├── elbow_rotate_motor.stl │ │ │ │ │ ├── elbow_rotate_muscle.stl │ │ │ │ │ ├── forearm_Cy_PlateAsmbly(muscle_cone).stl │ │ │ │ │ ├── forearm_Cy_PlateAsmbly.stl │ │ │ │ │ ├── forearm_PlateAsmbly.stl │ │ │ │ │ ├── forearm_electric.stl │ │ │ │ │ ├── forearm_electric_cvx.stl │ │ │ │ │ ├── forearm_muscle.stl │ │ │ │ │ ├── forearm_simple.stl │ │ │ │ │ ├── forearm_simple_cvx.stl │ │ │ │ │ ├── forearm_weight.stl │ │ │ │ │ ├── knuckle.stl │ │ │ │ │ ├── lfmetacarpal.stl │ │ │ │ │ ├── palm.stl │ │ │ │ │ ├── upper_arm.stl │ │ │ │ │ ├── upper_arm_asmbl_shoulder.stl │ │ │ │ │ ├── upper_arm_ass.stl │ │ │ │ │ └── wrist.stl │ │ │ │ └── tendon_torque_actuation.xml │ │ │ ├── __init__.py │ │ │ ├── assets/ │ │ │ │ ├── DAPG_Adroit.xml │ │ │ │ ├── DAPG_assets.xml │ │ │ │ ├── DAPG_door.xml │ │ │ │ ├── DAPG_hammer.xml │ │ │ │ ├── DAPG_pen.xml │ │ │ │ └── DAPG_relocate.xml │ │ │ ├── door_v0.py │ │ │ ├── hammer_v0.py │ │ │ ├── pen_v0.py │ │ │ └── relocate_v0.py │ │ ├── infos.py │ │ ├── kitchen/ │ │ │ ├── __init__.py │ │ │ ├── adept_envs/ │ │ │ │ ├── .pylintrc │ │ │ │ ├── .style.yapf │ │ │ │ ├── __init__.py │ │ │ │ ├── base_robot.py │ │ │ │ ├── franka/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── assets/ │ │ │ │ │ │ └── franka_kitchen_jntpos_act_ab.xml │ │ │ │ │ ├── kitchen_multitask_v0.py │ │ │ │ │ └── robot/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── franka_config.xml │ │ │ │ │ └── franka_robot.py │ │ │ │ ├── mujoco_env.py │ │ │ │ ├── robot_env.py │ │ │ │ ├── simulation/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── module.py │ │ │ │ │ ├── renderer.py │ │ │ │ │ └── sim_robot.py │ │ │ │ └── utils/ │ │ │ │ ├── __init__.py │ │ │ │ ├── config.py │ │ │ │ ├── configurable.py │ │ │ │ ├── constants.py │ │ │ │ ├── parse_demos.py │ │ │ │ └── quatmath.py │ │ │ ├── adept_models/ │ │ │ │ ├── .gitignore │ │ │ │ ├── CONTRIBUTING.public.md │ │ │ │ ├── LICENSE │ │ │ │ ├── README.public.md │ │ │ │ ├── __init__.py │ │ │ │ ├── kitchen/ │ │ │ │ │ ├── assets/ │ │ │ │ │ │ ├── backwall_asset.xml │ │ │ │ │ │ ├── backwall_chain.xml │ │ │ │ │ │ ├── counters_asset.xml │ │ │ │ │ │ ├── counters_chain.xml │ │ │ │ │ │ ├── hingecabinet_asset.xml │ │ │ │ │ │ ├── hingecabinet_chain.xml │ │ │ │ │ │ ├── kettle_asset.xml │ │ │ │ │ │ ├── kettle_chain.xml │ │ │ │ │ │ ├── microwave_asset.xml │ │ │ │ │ │ ├── microwave_chain.xml │ │ │ │ │ │ ├── oven_asset.xml │ │ │ │ │ │ ├── oven_chain.xml │ │ │ │ │ │ ├── slidecabinet_asset.xml │ │ │ │ │ │ └── slidecabinet_chain.xml │ │ │ │ │ ├── counters.xml │ │ │ │ │ ├── hingecabinet.xml │ │ │ │ │ ├── kettle.xml │ │ │ │ │ ├── kitchen.xml │ │ │ │ │ ├── meshes/ │ │ │ │ │ │ ├── burnerplate.stl │ │ │ │ │ │ ├── burnerplate_mesh.stl │ │ │ │ │ │ ├── cabinetbase.stl │ │ │ │ │ │ ├── cabinetdrawer.stl │ │ │ │ │ │ ├── cabinethandle.stl │ │ │ │ │ │ ├── countertop.stl │ │ │ │ │ │ ├── faucet.stl │ │ │ │ │ │ ├── handle2.stl │ │ │ │ │ │ ├── hingecabinet.stl │ │ │ │ │ │ ├── hingedoor.stl │ │ │ │ │ │ ├── hingehandle.stl │ │ │ │ │ │ ├── hood.stl │ │ │ │ │ │ ├── kettle.stl │ │ │ │ │ │ ├── kettlehandle.stl │ │ │ │ │ │ ├── knob.stl │ │ │ │ │ │ ├── lightswitch.stl │ │ │ │ │ │ ├── lightswitchbase.stl │ │ │ │ │ │ ├── micro.stl │ │ │ │ │ │ ├── microbutton.stl │ │ │ │ │ │ ├── microdoor.stl │ │ │ │ │ │ ├── microefeet.stl │ │ │ │ │ │ ├── microfeet.stl │ │ │ │ │ │ ├── microhandle.stl │ │ │ │ │ │ ├── microwindow.stl │ │ │ │ │ │ ├── oven.stl │ │ │ │ │ │ ├── ovenhandle.stl │ │ │ │ │ │ ├── oventop.stl │ │ │ │ │ │ ├── ovenwindow.stl │ │ │ │ │ │ ├── slidecabinet.stl │ │ │ │ │ │ ├── slidedoor.stl │ │ │ │ │ │ ├── stoverim.stl │ │ │ │ │ │ ├── tile.stl │ │ │ │ │ │ └── wall.stl │ │ │ │ │ ├── microwave.xml │ │ │ │ │ ├── oven.xml │ │ │ │ │ └── slidecabinet.xml │ │ │ │ └── scenes/ │ │ │ │ └── basic_scene.xml │ │ │ ├── kitchen_envs.py │ │ │ └── third_party/ │ │ │ └── franka/ │ │ │ ├── LICENSE │ │ │ ├── README.md │ │ │ ├── assets/ │ │ │ │ ├── actuator0.xml │ │ │ │ ├── actuator1.xml │ │ │ │ ├── assets.xml │ │ │ │ ├── basic_scene.xml │ │ │ │ ├── chain0.xml │ │ │ │ ├── chain0_overlay.xml │ │ │ │ ├── chain1.xml │ │ │ │ └── teleop_actuator.xml │ │ │ ├── bi-franka_panda.xml │ │ │ ├── franka_panda.xml │ │ │ ├── franka_panda_teleop.xml │ │ │ └── meshes/ │ │ │ ├── collision/ │ │ │ │ ├── finger.stl │ │ │ │ ├── hand.stl │ │ │ │ ├── link0.stl │ │ │ │ ├── link1.stl │ │ │ │ ├── link2.stl │ │ │ │ ├── link3.stl │ │ │ │ ├── link4.stl │ │ │ │ ├── link5.stl │ │ │ │ ├── link6.stl │ │ │ │ └── link7.stl │ │ │ └── visual/ │ │ │ ├── finger.stl │ │ │ ├── hand.stl │ │ │ ├── link0.stl │ │ │ ├── link1.stl │ │ │ ├── link2.stl │ │ │ ├── link3.stl │ │ │ ├── link4.stl │ │ │ ├── link5.stl │ │ │ ├── link6.stl │ │ │ └── link7.stl │ │ ├── locomotion/ │ │ │ ├── __init__.py │ │ │ ├── ant.py │ │ │ ├── assets/ │ │ │ │ ├── ant.xml │ │ │ │ └── point.xml │ │ │ ├── common.py │ │ │ ├── generate_dataset.py │ │ │ ├── goal_reaching_env.py │ │ │ ├── maze_env.py │ │ │ ├── mujoco_goal_env.py │ │ │ ├── point.py │ │ │ ├── swimmer.py │ │ │ └── wrappers.py │ │ ├── offline_env.py │ │ ├── ope.py │ │ ├── pointmaze/ │ │ │ ├── __init__.py │ │ │ ├── dynamic_mjc.py │ │ │ ├── gridcraft/ │ │ │ │ ├── __init__.py │ │ │ │ ├── grid_env.py │ │ │ │ ├── grid_spec.py │ │ │ │ ├── utils.py │ │ │ │ └── wrappers.py │ │ │ ├── maze_model.py │ │ │ ├── q_iteration.py │ │ │ └── waypoint_controller.py │ │ ├── pointmaze_bullet/ │ │ │ ├── __init__.py │ │ │ ├── bullet_maze.py │ │ │ └── bullet_robot.py │ │ └── utils/ │ │ ├── __init__.py │ │ ├── dataset_utils.py │ │ ├── quatmath.py │ │ ├── visualize_env.py │ │ └── wrappers.py │ ├── scripts/ │ │ ├── check_antmaze_datasets.py │ │ ├── check_bullet.py │ │ ├── check_envs.py │ │ ├── check_mujoco_datasets.py │ │ ├── generation/ │ │ │ ├── flow_idm.py │ │ │ ├── generate_ant_maze_datasets.py │ │ │ ├── generate_kitchen_datasets.py │ │ │ ├── generate_maze2d_bullet_datasets.py │ │ │ ├── generate_maze2d_datasets.py │ │ │ ├── generate_minigrid_fourroom_data.py │ │ │ ├── hand_dapg_combined.py │ │ │ ├── hand_dapg_demos.py │ │ │ ├── hand_dapg_jax.py │ │ │ ├── hand_dapg_policies.py │ │ │ ├── hand_dapg_random.py │ │ │ ├── mujoco/ │ │ │ │ ├── collect_data.py │ │ │ │ ├── convert_buffer.py │ │ │ │ ├── fix_qpos_qvel.py │ │ │ │ └── stitch_dataset.py │ │ │ ├── relabel_antmaze_rewards.py │ │ │ └── relabel_maze2d_rewards.py │ │ ├── ope_rollout.py │ │ ├── reference_scores/ │ │ │ ├── adroit_expert.py │ │ │ ├── carla_lane_controller.py │ │ │ ├── generate_ref_min_score.py │ │ │ ├── generate_ref_min_score.sh │ │ │ ├── maze2d_bullet_controller.py │ │ │ ├── maze2d_controller.py │ │ │ └── minigrid_controller.py │ │ └── visualize_dataset.py │ └── setup.py ├── dataset_utils.py ├── evaluation.py ├── flaxmodels/ │ ├── README.md │ ├── flaxmodels/ │ │ ├── __init__.py │ │ ├── gpt2/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── gpt2.py │ │ │ ├── gpt2_demo.ipynb │ │ │ ├── ops.py │ │ │ ├── third_party/ │ │ │ │ ├── __init__.py │ │ │ │ └── huggingface_transformers/ │ │ │ │ ├── __init__.py │ │ │ │ ├── configuration_gpt2.py │ │ │ │ └── utils/ │ │ │ │ ├── __init__.py │ │ │ │ ├── file_utils.py │ │ │ │ ├── hf_api.py │ │ │ │ ├── logging.py │ │ │ │ ├── tokenization_utils.py │ │ │ │ ├── tokenization_utils_base.py │ │ │ │ └── versions.py │ │ │ ├── tokenizer.py │ │ │ └── trajectory_gpt2.py │ │ ├── lstm/ │ │ │ ├── lstm.py │ │ │ └── ops.py │ │ └── utils.py │ └── setup.py ├── human_label/ │ ├── Can_mh/ │ │ ├── indices_2_num500_q100 │ │ ├── indices_num500_q100 │ │ └── label_human │ ├── Can_ph/ │ │ ├── indices_2_num100_q50 │ │ ├── indices_num100_q50 │ │ └── label_human │ ├── Lift_mh/ │ │ ├── indices_2_num500_q100 │ │ ├── indices_num500_q100 │ │ └── label_human │ ├── Lift_ph/ │ │ ├── indices_2_num100_q50 │ │ ├── indices_num100_q50 │ │ └── label_human │ ├── README.md │ ├── Square_mh/ │ │ ├── indices_2_num500_q100 │ │ ├── indices_num500_q100 │ │ └── label_human │ ├── Square_ph/ │ │ ├── indices_2_num100_q50 │ │ ├── indices_num100_q50 │ │ └── label_human │ ├── antmaze-large-diverse-v2/ │ │ ├── indices_2_num1000 │ │ ├── indices_num1000 │ │ └── label_human │ ├── antmaze-large-play-v2/ │ │ ├── indices_2_num1000 │ │ ├── indices_num1000 │ │ └── label_human │ ├── antmaze-medium-diverse-v2/ │ │ ├── indices_2_num1000 │ │ ├── indices_num1000 │ │ └── label_human │ ├── antmaze-medium-play-v2/ │ │ ├── indices_2_num1000 │ │ ├── indices_num1000 │ │ └── label_human │ ├── hammer-cloned-v1/ │ │ ├── indices_2_num100 │ │ ├── indices_num100 │ │ └── label_human │ ├── hammer-human-v1/ │ │ ├── indices_2_num100 │ │ ├── indices_num100 │ │ └── label_human │ ├── hopper-medium-expert-v2/ │ │ ├── indices_2_num100 │ │ ├── indices_num100 │ │ └── label_human │ ├── hopper-medium-replay-v2/ │ │ ├── indices_2_num500 │ │ ├── indices_num500 │ │ └── label_human │ ├── label_program.ipynb │ ├── pen-cloned-v1/ │ │ ├── indices_2_num100 │ │ ├── indices_num100 │ │ └── label_human │ ├── pen-human-v1/ │ │ ├── indices_2_num100 │ │ ├── indices_num100 │ │ └── label_human │ ├── walker2d-medium-expert-v2/ │ │ ├── indices_2_num100 │ │ ├── indices_num100 │ │ └── label_human │ └── walker2d-medium-replay-v2/ │ ├── indices_2_num500 │ ├── indices_num500 │ └── label_human ├── learner.py ├── policy.py ├── requirements.txt ├── robosuite_train_offline.py ├── train_finetune.py ├── train_offline.py ├── value_net.py ├── viskit/ │ ├── __init__.py │ ├── core.py │ ├── frontend.py │ ├── logging.py │ ├── static/ │ │ ├── css/ │ │ │ └── dropdowns-enhancement.css │ │ └── js/ │ │ ├── dropdowns-enhancement.js │ │ └── jquery.loadTemplate-1.5.6.js │ ├── tabulate.py │ └── templates/ │ └── main.html ├── visualize.py └── wrappers/ ├── __init__.py ├── common.py ├── episode_monitor.py ├── robosuite_wrapper.py └── single_precision.py