gitextract_t68xqa9y/ ├── .gitignore ├── GLIP/ │ ├── CODE_OF_CONDUCT.md │ ├── DATA.md │ ├── LICENSE │ ├── README.md │ ├── SECURITY.md │ ├── SUPPORT.md │ ├── configs/ │ │ ├── flickr/ │ │ │ ├── test.yaml │ │ │ └── val.yaml │ │ ├── lvis/ │ │ │ ├── minival.yaml │ │ │ └── val.yaml │ │ ├── odinw/ │ │ │ └── Aquarium_Aquarium_Combined.v2-raw-1024.coco.yaml │ │ └── pretrain/ │ │ ├── glip_Swin_L.yaml │ │ └── glip_Swin_T_O365_GoldG.yaml │ ├── maskrcnn_benchmark/ │ │ ├── __init__.py │ │ ├── config/ │ │ │ ├── __init__.py │ │ │ ├── defaults.py │ │ │ └── paths_catalog.py │ │ ├── csrc/ │ │ │ ├── ROIAlign.h │ │ │ ├── ROIPool.h │ │ │ ├── SigmoidFocalLoss.h │ │ │ ├── cpu/ │ │ │ │ ├── ROIAlign_cpu.cpp │ │ │ │ ├── nms_cpu.cpp │ │ │ │ ├── soft_nms.cpp │ │ │ │ └── vision.h │ │ │ ├── cuda/ │ │ │ │ ├── ROIAlign_cuda.cu │ │ │ │ ├── ROIPool_cuda.cu │ │ │ │ ├── SigmoidFocalLoss_cuda.cu │ │ │ │ ├── deform_conv_cuda.cu │ │ │ │ ├── deform_conv_kernel_cuda.cu │ │ │ │ ├── deform_pool_cuda.cu │ │ │ │ ├── deform_pool_kernel_cuda.cu │ │ │ │ ├── ml_nms.cu │ │ │ │ ├── nms.cu │ │ │ │ └── vision.h │ │ │ ├── deform_conv.h │ │ │ ├── deform_pool.h │ │ │ ├── ml_nms.h │ │ │ ├── nms.h │ │ │ └── vision.cpp │ │ ├── data/ │ │ │ ├── __init__.py │ │ │ ├── build.py │ │ │ ├── collate_batch.py │ │ │ ├── datasets/ │ │ │ │ ├── __init__.py │ │ │ │ ├── background.py │ │ │ │ ├── box_label_loader.py │ │ │ │ ├── caption.py │ │ │ │ ├── coco.py │ │ │ │ ├── coco_dt.py │ │ │ │ ├── concat_dataset.py │ │ │ │ ├── custom_distributed_sampler.py │ │ │ │ ├── duplicate_dataset.py │ │ │ │ ├── evaluation/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── box_aug.py │ │ │ │ │ ├── coco/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── coco_eval.py │ │ │ │ │ ├── flickr/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── flickr_eval.py │ │ │ │ │ ├── lvis/ │ │ │ │ │ │ ├── _change_lvis_annotation.py │ │ │ │ │ │ ├── lvis.py │ │ │ │ │ │ └── lvis_eval.py │ │ │ │ │ ├── od_eval.py │ │ │ │ │ ├── od_to_grounding/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── od_eval.py │ │ │ │ │ ├── vg/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ └── vg_eval.py │ │ │ │ │ └── voc/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── voc_eval.py │ │ │ │ ├── flickr.py │ │ │ │ ├── gqa.py │ │ │ │ ├── imagenet.py │ │ │ │ ├── list_dataset.py │ │ │ │ ├── lvis.py │ │ │ │ ├── mixed.py │ │ │ │ ├── mixup.py │ │ │ │ ├── modulated_coco.py │ │ │ │ ├── object365.py │ │ │ │ ├── od_to_grounding.py │ │ │ │ ├── phrasecut.py │ │ │ │ ├── pseudo_data.py │ │ │ │ ├── refexp.py │ │ │ │ ├── tsv.py │ │ │ │ ├── vg.py │ │ │ │ └── voc.py │ │ │ ├── samplers/ │ │ │ │ ├── __init__.py │ │ │ │ ├── distributed.py │ │ │ │ ├── grouped_batch_sampler.py │ │ │ │ └── iteration_based_batch_sampler.py │ │ │ └── transforms/ │ │ │ ├── __init__.py │ │ │ ├── build.py │ │ │ └── transforms.py │ │ ├── engine/ │ │ │ ├── __init__.py │ │ │ ├── alter_trainer.py │ │ │ ├── evolution.py │ │ │ ├── inference.py │ │ │ ├── predictor.py │ │ │ ├── predictor_glip.py │ │ │ ├── singlepath_trainer.py │ │ │ ├── stage_trainer.py │ │ │ └── trainer.py │ │ ├── layers/ │ │ │ ├── __init__.py │ │ │ ├── batch_norm.py │ │ │ ├── deform_conv.py │ │ │ ├── deform_pool.py │ │ │ ├── dropblock.py │ │ │ ├── dyhead.py │ │ │ ├── dyrelu.py │ │ │ ├── evonorm.py │ │ │ ├── iou_loss.py │ │ │ ├── misc.py │ │ │ ├── nms.py │ │ │ ├── roi_align.py │ │ │ ├── roi_pool.py │ │ │ ├── se.py │ │ │ ├── set_loss.py │ │ │ ├── sigmoid_focal_loss.py │ │ │ └── smooth_l1_loss.py │ │ ├── modeling/ │ │ │ ├── __init__.py │ │ │ ├── backbone/ │ │ │ │ ├── __init__.py │ │ │ │ ├── bifpn.py │ │ │ │ ├── blocks.py │ │ │ │ ├── efficientdet.py │ │ │ │ ├── efficientnet.py │ │ │ │ ├── fbnet.py │ │ │ │ ├── fpn.py │ │ │ │ ├── mixer.py │ │ │ │ ├── ops.py │ │ │ │ ├── resnet.py │ │ │ │ ├── swint.py │ │ │ │ ├── swint_v2.py │ │ │ │ ├── swint_v2_vl.py │ │ │ │ └── swint_vl.py │ │ │ ├── balanced_positive_negative_sampler.py │ │ │ ├── box_coder.py │ │ │ ├── detector/ │ │ │ │ ├── __init__.py │ │ │ │ ├── generalized_rcnn.py │ │ │ │ └── generalized_vl_rcnn.py │ │ │ ├── language_backbone/ │ │ │ │ ├── __init__.py │ │ │ │ ├── backbone.py │ │ │ │ ├── bert_model.py │ │ │ │ ├── build.py │ │ │ │ ├── clip_model.py │ │ │ │ ├── hfpt_tokenizer.py │ │ │ │ ├── rnn_model.py │ │ │ │ ├── simple_tokenizer.py │ │ │ │ ├── test_clip_tokenizer.py │ │ │ │ └── word_utils.py │ │ │ ├── make_layers.py │ │ │ ├── matcher.py │ │ │ ├── poolers.py │ │ │ ├── registry.py │ │ │ ├── roi_heads/ │ │ │ │ ├── __init__.py │ │ │ │ ├── box_head/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── box_head.py │ │ │ │ │ ├── inference.py │ │ │ │ │ ├── loss.py │ │ │ │ │ ├── roi_box_feature_extractors.py │ │ │ │ │ └── roi_box_predictors.py │ │ │ │ ├── keypoint_head/ │ │ │ │ │ ├── inference.py │ │ │ │ │ ├── keypoint_head.py │ │ │ │ │ ├── loss.py │ │ │ │ │ ├── roi_keypoint_feature_extractors.py │ │ │ │ │ └── roi_keypoint_predictors.py │ │ │ │ └── mask_head/ │ │ │ │ ├── __init__.py │ │ │ │ ├── hourglass.py │ │ │ │ ├── inference.py │ │ │ │ ├── loss.py │ │ │ │ ├── mask_head.py │ │ │ │ ├── roi_mask_feature_extractors.py │ │ │ │ └── roi_mask_predictors.py │ │ │ ├── rpn/ │ │ │ │ ├── __init__.py │ │ │ │ ├── anchor_generator.py │ │ │ │ ├── atss.py │ │ │ │ ├── dyhead.py │ │ │ │ ├── fcos.py │ │ │ │ ├── inference.py │ │ │ │ ├── loss.py │ │ │ │ ├── modeling_bert.py │ │ │ │ ├── retina.py │ │ │ │ ├── rpn.py │ │ │ │ ├── transformer.py │ │ │ │ └── vldyhead.py │ │ │ └── utils.py │ │ ├── solver/ │ │ │ ├── __init__.py │ │ │ ├── build.py │ │ │ └── lr_scheduler.py │ │ ├── structures/ │ │ │ ├── __init__.py │ │ │ ├── bounding_box.py │ │ │ ├── boxlist_ops.py │ │ │ ├── image_list.py │ │ │ ├── keypoint.py │ │ │ └── segmentation_mask.py │ │ └── utils/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── amp.py │ │ ├── big_model_loading.py │ │ ├── c2_model_loading.py │ │ ├── checkpoint.py │ │ ├── collect_env.py │ │ ├── comm.py │ │ ├── cv2_util.py │ │ ├── dist.py │ │ ├── ema.py │ │ ├── env.py │ │ ├── flops.py │ │ ├── fuse_helper.py │ │ ├── imports.py │ │ ├── logger.py │ │ ├── mdetr_dist.py │ │ ├── metric_logger.py │ │ ├── miscellaneous.py │ │ ├── model_serialization.py │ │ ├── model_zoo.py │ │ ├── pretrain_model_loading.py │ │ ├── registry.py │ │ ├── shallow_contrastive_loss_helper.py │ │ └── stats.py │ ├── setup.py │ └── tools/ │ ├── cityscapes/ │ │ ├── convert_cityscapes_to_coco.py │ │ └── instances2dict_with_polygons.py │ ├── eval_all.py │ ├── finetune.py │ ├── test_grounding_net.py │ ├── test_net.py │ └── train_net.py ├── GroundingDINO/ │ ├── LICENSE │ ├── README.md │ ├── demo/ │ │ ├── gradio_app.py │ │ └── inference_on_a_image.py │ ├── groundingdino/ │ │ ├── __init__.py │ │ ├── config/ │ │ │ ├── GroundingDINO_SwinB.py │ │ │ └── GroundingDINO_SwinT_OGC.py │ │ ├── datasets/ │ │ │ ├── __init__.py │ │ │ └── transforms.py │ │ ├── models/ │ │ │ ├── GroundingDINO/ │ │ │ │ ├── __init__.py │ │ │ │ ├── backbone/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── backbone.py │ │ │ │ │ ├── position_encoding.py │ │ │ │ │ └── swin_transformer.py │ │ │ │ ├── bertwarper.py │ │ │ │ ├── csrc/ │ │ │ │ │ ├── MsDeformAttn/ │ │ │ │ │ │ ├── ms_deform_attn.h │ │ │ │ │ │ ├── ms_deform_attn_cpu.cpp │ │ │ │ │ │ ├── ms_deform_attn_cpu.h │ │ │ │ │ │ ├── ms_deform_attn_cuda.cu │ │ │ │ │ │ ├── ms_deform_attn_cuda.h │ │ │ │ │ │ └── ms_deform_im2col_cuda.cuh │ │ │ │ │ ├── cuda_version.cu │ │ │ │ │ └── vision.cpp │ │ │ │ ├── fuse_modules.py │ │ │ │ ├── groundingdino.py │ │ │ │ ├── ms_deform_attn.py │ │ │ │ ├── transformer.py │ │ │ │ ├── transformer_vanilla.py │ │ │ │ └── utils.py │ │ │ ├── __init__.py │ │ │ └── registry.py │ │ ├── util/ │ │ │ ├── __init__.py │ │ │ ├── box_ops.py │ │ │ ├── get_tokenlizer.py │ │ │ ├── inference.py │ │ │ ├── logger.py │ │ │ ├── misc.py │ │ │ ├── slconfig.py │ │ │ ├── slio.py │ │ │ ├── time_counter.py │ │ │ ├── utils.py │ │ │ ├── visualizer.py │ │ │ └── vl_utils.py │ │ └── version.py │ ├── pyproject.toml │ ├── requirements.txt │ └── setup.py ├── LICENSE ├── README.md ├── SG_Nav.py ├── configs/ │ ├── challenge_objectnav2021.local.rgbd.yaml │ ├── challenge_objectnav2022.local.rgbd.yaml │ ├── challenge_pointnav2021.local.rgbd.yaml │ ├── challenge_pointnav2021.local.rgbd_test_scene.yaml │ ├── ddppo_objectnav.yaml │ ├── ddppo_pointnav.yaml │ └── ddppo_pointnav_.yaml ├── habitat-lab/ │ ├── .circleci/ │ │ └── config.yml │ ├── .editorconfig │ ├── .github/ │ │ ├── ISSUE_TEMPLATE/ │ │ │ ├── bug-report.md │ │ │ ├── feature-request.md │ │ │ └── questions-help-support.md │ │ └── PULL_REQUEST_TEMPLATE.md │ ├── .gitignore │ ├── .pre-commit-config.yaml │ ├── CODE_OF_CONDUCT.md │ ├── CONTRIBUTING.md │ ├── Dockerfile │ ├── LICENSE │ ├── MANIFEST.in │ ├── README.md │ ├── configs/ │ │ ├── baselines/ │ │ │ └── ppo.yaml │ │ ├── datasets/ │ │ │ ├── eqa/ │ │ │ │ └── mp3d.yaml │ │ │ ├── imagenav/ │ │ │ │ ├── gibson.yaml │ │ │ │ └── mp3d.yaml │ │ │ ├── objectnav/ │ │ │ │ ├── hm3d.yaml │ │ │ │ └── mp3d.yaml │ │ │ ├── pointnav/ │ │ │ │ ├── gibson.yaml │ │ │ │ ├── gibson_0_plus.yaml │ │ │ │ ├── gibson_v2.yaml │ │ │ │ ├── habitat_test.yaml │ │ │ │ ├── hm3d.yaml │ │ │ │ └── mp3d.yaml │ │ │ ├── rearrangepick/ │ │ │ │ └── replica_cad.yaml │ │ │ ├── single_episode.yaml │ │ │ └── vln/ │ │ │ └── mp3d_r2r.yaml │ │ ├── tasks/ │ │ │ ├── eqa_mp3d.yaml │ │ │ ├── imagenav.yaml │ │ │ ├── imagenav_gibson.yaml │ │ │ ├── objectnav_hm3d.yaml │ │ │ ├── objectnav_mp3d.yaml │ │ │ ├── pointnav.yaml │ │ │ ├── pointnav_gibson.yaml │ │ │ ├── pointnav_hm3d.yaml │ │ │ ├── pointnav_mp3d.yaml │ │ │ ├── pointnav_rgbd.yaml │ │ │ ├── rearrange/ │ │ │ │ ├── pick.yaml │ │ │ │ ├── pick_spa.yaml │ │ │ │ ├── pick_state.yaml │ │ │ │ └── play.yaml │ │ │ └── vln_r2r.yaml │ │ └── test/ │ │ ├── habitat_all_sensors_test.yaml │ │ ├── habitat_mp3d_eqa_test.yaml │ │ ├── habitat_mp3d_object_nav_test.yaml │ │ ├── habitat_r2r_vln_test.yaml │ │ └── new_keys_test.yaml │ ├── docs/ │ │ ├── .gitignore │ │ ├── build-public.sh │ │ ├── build.sh │ │ ├── conf-public.py │ │ ├── conf.py │ │ ├── docs.rst │ │ └── pages/ │ │ ├── habitat-lab-demo.rst │ │ ├── habitat-sim-demo.rst │ │ ├── index.rst │ │ ├── quickstart.rst │ │ └── view-transform-warp.rst │ ├── examples/ │ │ ├── __init__.py │ │ ├── benchmark.py │ │ ├── example.py │ │ ├── example_pointnav.py │ │ ├── interactive_play.py │ │ ├── new_actions.py │ │ ├── register_new_sensors_and_measures.py │ │ ├── shortest_path_follower_example.py │ │ ├── tutorials/ │ │ │ ├── colabs/ │ │ │ │ └── Habitat_Lab.ipynb │ │ │ └── nb_python/ │ │ │ └── Habitat_Lab.py │ │ ├── visualization_examples.py │ │ ├── vln_benchmark.py │ │ └── vln_reference_path_follower_example.py │ ├── habitat/ │ │ ├── __init__.py │ │ ├── config/ │ │ │ ├── __init__.py │ │ │ └── default.py │ │ ├── core/ │ │ │ ├── __init__.py │ │ │ ├── agent.py │ │ │ ├── benchmark.py │ │ │ ├── challenge.py │ │ │ ├── dataset.py │ │ │ ├── embodied_task.py │ │ │ ├── env.py │ │ │ ├── environments.py │ │ │ ├── logging.py │ │ │ ├── registry.py │ │ │ ├── simulator.py │ │ │ ├── spaces.py │ │ │ ├── utils.py │ │ │ └── vector_env.py │ │ ├── datasets/ │ │ │ ├── __init__.py │ │ │ ├── eqa/ │ │ │ │ ├── __init__.py │ │ │ │ └── mp3d_eqa_dataset.py │ │ │ ├── object_nav/ │ │ │ │ ├── __init__.py │ │ │ │ └── object_nav_dataset.py │ │ │ ├── pointnav/ │ │ │ │ ├── __init__.py │ │ │ │ ├── pointnav_dataset.py │ │ │ │ └── pointnav_generator.py │ │ │ ├── rearrange/ │ │ │ │ ├── __init__.py │ │ │ │ ├── configs/ │ │ │ │ │ ├── pick/ │ │ │ │ │ │ └── counter.yaml │ │ │ │ │ └── test_config.yaml │ │ │ │ ├── generate_episode_inits.py │ │ │ │ ├── rearrange_dataset.py │ │ │ │ ├── rearrange_generator.py │ │ │ │ ├── receptacle.py │ │ │ │ └── samplers.py │ │ │ ├── registration.py │ │ │ ├── utils.py │ │ │ └── vln/ │ │ │ ├── __init__.py │ │ │ └── r2r_vln_dataset.py │ │ ├── py.typed │ │ ├── sims/ │ │ │ ├── __init__.py │ │ │ ├── habitat_simulator/ │ │ │ │ ├── __init__.py │ │ │ │ ├── actions.py │ │ │ │ ├── debug_visualizer.py │ │ │ │ ├── habitat_simulator.py │ │ │ │ └── sim_utilities.py │ │ │ ├── pyrobot/ │ │ │ │ ├── __init__.py │ │ │ │ └── pyrobot.py │ │ │ └── registration.py │ │ ├── tasks/ │ │ │ ├── __init__.py │ │ │ ├── eqa/ │ │ │ │ ├── __init__.py │ │ │ │ └── eqa.py │ │ │ ├── nav/ │ │ │ │ ├── __init__.py │ │ │ │ ├── nav.py │ │ │ │ ├── object_nav_task.py │ │ │ │ └── shortest_path_follower.py │ │ │ ├── rearrange/ │ │ │ │ ├── __init__.py │ │ │ │ ├── actions.py │ │ │ │ ├── grip_actions.py │ │ │ │ ├── marker_info.py │ │ │ │ ├── policy_modules.py │ │ │ │ ├── rearrange_grasp_manager.py │ │ │ │ ├── rearrange_sensors.py │ │ │ │ ├── rearrange_sim.py │ │ │ │ ├── rearrange_task.py │ │ │ │ ├── sub_tasks/ │ │ │ │ │ ├── pick_sensors.py │ │ │ │ │ └── pick_task.py │ │ │ │ └── utils.py │ │ │ ├── registration.py │ │ │ ├── utils.py │ │ │ └── vln/ │ │ │ ├── __init__.py │ │ │ └── vln.py │ │ ├── utils/ │ │ │ ├── __init__.py │ │ │ ├── common.py │ │ │ ├── geometry_utils.py │ │ │ ├── pickle5_multiprocessing.py │ │ │ ├── profiling_wrapper.py │ │ │ ├── test_utils.py │ │ │ └── visualizations/ │ │ │ ├── __init__.py │ │ │ ├── fog_of_war.py │ │ │ ├── maps.py │ │ │ └── utils.py │ │ └── version.py │ ├── habitat_baselines/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── agents/ │ │ │ ├── __init__.py │ │ │ ├── benchmark_gym.py │ │ │ ├── mp_agents.py │ │ │ ├── ppo_agents.py │ │ │ ├── simple_agents.py │ │ │ └── slam_agents.py │ │ ├── common/ │ │ │ ├── __init__.py │ │ │ ├── base_il_trainer.py │ │ │ ├── base_trainer.py │ │ │ ├── baseline_registry.py │ │ │ ├── environments.py │ │ │ ├── obs_transformers.py │ │ │ ├── rollout_storage.py │ │ │ ├── tensor_dict.py │ │ │ └── tensorboard_utils.py │ │ ├── config/ │ │ │ ├── __init__.py │ │ │ ├── default.py │ │ │ ├── eqa/ │ │ │ │ ├── il_eqa_cnn_pretrain.yaml │ │ │ │ ├── il_pacman_nav.yaml │ │ │ │ └── il_vqa.yaml │ │ │ ├── imagenav/ │ │ │ │ ├── ddppo_imagenav_example.yaml │ │ │ │ ├── ddppo_imagenav_gibson.yaml │ │ │ │ └── ppo_imagenav_example.yaml │ │ │ ├── objectnav/ │ │ │ │ ├── ddppo_objectnav.yaml │ │ │ │ └── ddppo_objectnav_hm3d.yaml │ │ │ ├── pointnav/ │ │ │ │ ├── ddppo_pointnav.yaml │ │ │ │ ├── ppo_pointnav.yaml │ │ │ │ ├── ppo_pointnav_example.yaml │ │ │ │ └── ppo_pointnav_habitat_iccv19.yaml │ │ │ ├── rearrange/ │ │ │ │ ├── rl_pick.yaml │ │ │ │ ├── rl_pick_state.yaml │ │ │ │ └── spap_pick.yaml │ │ │ └── test/ │ │ │ ├── ddppo_imagenav_test.yaml │ │ │ ├── ddppo_pointnav_test.yaml │ │ │ ├── ppo_imagenav_test.yaml │ │ │ └── ppo_pointnav_test.yaml │ │ ├── il/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── metrics.py │ │ │ ├── models/ │ │ │ │ ├── __init__.py │ │ │ │ └── models.py │ │ │ ├── requirements.txt │ │ │ └── trainers/ │ │ │ ├── __init__.py │ │ │ ├── eqa_cnn_pretrain_trainer.py │ │ │ ├── pacman_trainer.py │ │ │ └── vqa_trainer.py │ │ ├── motion_planning/ │ │ │ ├── __init__.py │ │ │ ├── grasp_generator.py │ │ │ ├── motion_plan.py │ │ │ ├── mp_sim.py │ │ │ ├── mp_spaces.py │ │ │ └── robot_target.py │ │ ├── py.typed │ │ ├── rl/ │ │ │ ├── __init__.py │ │ │ ├── ddppo/ │ │ │ │ ├── README.md │ │ │ │ ├── __init__.py │ │ │ │ ├── algo/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ └── ddppo.py │ │ │ │ ├── data_generation/ │ │ │ │ │ ├── create_gibson_large_dataset.py │ │ │ │ │ └── gibson_dset_with_qual.json │ │ │ │ ├── ddp_utils.py │ │ │ │ ├── multi_node_slurm.sh │ │ │ │ ├── policy/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── resnet.py │ │ │ │ │ ├── resnet_policy.py │ │ │ │ │ └── running_mean_and_var.py │ │ │ │ ├── requirements.txt │ │ │ │ └── single_node.sh │ │ │ ├── models/ │ │ │ │ ├── __init__.py │ │ │ │ ├── rnn_state_encoder.py │ │ │ │ └── simple_cnn.py │ │ │ ├── ppo/ │ │ │ │ ├── __init__.py │ │ │ │ ├── policy.py │ │ │ │ ├── ppo.py │ │ │ │ └── ppo_trainer.py │ │ │ └── requirements.txt │ │ ├── run.py │ │ ├── slambased/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── install_deps.sh │ │ │ ├── mappers.py │ │ │ ├── monodepth.py │ │ │ ├── path_planners.py │ │ │ ├── reprojection.py │ │ │ ├── requirements.txt │ │ │ └── utils.py │ │ └── utils/ │ │ ├── __init__.py │ │ ├── common.py │ │ ├── env_utils.py │ │ ├── gym_adapter.py │ │ ├── gym_definitions.py │ │ ├── render_wrapper.py │ │ └── visualizations/ │ │ ├── __init__.py │ │ └── utils.py │ ├── mypy.ini │ ├── pyproject.toml │ ├── requirements.txt │ ├── scripts/ │ │ └── generate_profile_shell_scripts.py │ ├── setup.cfg │ ├── setup.py │ └── test/ │ ├── test_baseline_agents.py │ ├── test_baseline_trainers.py │ ├── test_config.py │ ├── test_dataset.py │ ├── test_ddppo_reduce.py │ ├── test_demo_notebook.py │ ├── test_examples.py │ ├── test_gym_wrapper.py │ ├── test_habitat_env.py │ ├── test_habitat_example.py │ ├── test_habitat_sim.py │ ├── test_habitat_task.py │ ├── test_install.py │ ├── test_motion_plan.py │ ├── test_mp3d_eqa.py │ ├── test_object_nav_task.py │ ├── test_pointnav_dataset.py │ ├── test_pyrobot.py │ ├── test_r2r_vln.py │ ├── test_rearrange_task.py │ ├── test_rnn_state_encoder.py │ ├── test_sensors.py │ ├── test_spaces.py │ ├── test_tensor_dict.py │ └── test_visual_utils.py ├── requirements.txt ├── scenegraph.py ├── segment_anything/ │ ├── .flake8 │ ├── CODE_OF_CONDUCT.md │ ├── CONTRIBUTING.md │ ├── LICENSE │ ├── README.md │ ├── linter.sh │ ├── notebooks/ │ │ ├── automatic_mask_generator_example.ipynb │ │ ├── onnx_model_example.ipynb │ │ └── predictor_example.ipynb │ ├── scripts/ │ │ ├── amg.py │ │ └── export_onnx_model.py │ ├── segment_anything/ │ │ ├── __init__.py │ │ ├── automatic_mask_generator.py │ │ ├── build_sam.py │ │ ├── build_sam_hq.py │ │ ├── modeling/ │ │ │ ├── __init__.py │ │ │ ├── common.py │ │ │ ├── image_encoder.py │ │ │ ├── mask_decoder.py │ │ │ ├── mask_decoder_hq.py │ │ │ ├── prompt_encoder.py │ │ │ ├── sam.py │ │ │ └── transformer.py │ │ ├── predictor.py │ │ └── utils/ │ │ ├── __init__.py │ │ ├── amg.py │ │ ├── onnx.py │ │ └── transforms.py │ ├── setup.cfg │ └── setup.py ├── tools/ │ ├── agent.py │ ├── download_mp.py │ ├── matterport_category_mappings.tsv │ ├── obj.npy │ ├── replica.yaml │ └── room.npy └── utils/ ├── __init__.py ├── image_process.py ├── utils_fmm/ │ ├── __init__.py │ ├── control_helper.py │ ├── depth_utils.py │ ├── fmm_planner.py │ ├── mapping.py │ ├── model.py │ ├── pose_utils.py │ └── rotation_utils.py ├── utils_glip.py └── utils_scenegraph/ ├── __init__.py ├── grounded_sam_demo.py ├── iou.py ├── mapping.py ├── slam_classes.py └── utils.py