gitextract_hys_i7ka/ ├── .gitignore ├── Communication.md ├── LICENSE ├── PhoneClaw/ │ ├── README.md │ ├── __init__.py │ ├── actions.py │ ├── agent.py │ ├── connection.py │ ├── controller.py │ ├── embeddings.py │ ├── evaluator.py │ ├── executor.py │ ├── experience.py │ ├── hierarchy.py │ ├── keepalive.py │ ├── labeling.py │ ├── learn.py │ ├── loop.py │ ├── memory.py │ ├── planner.py │ ├── prompts.py │ ├── recorder.py │ ├── run_phoneclaw.py │ ├── screenshot.py │ └── state.py ├── README.md ├── adb_client.py ├── agent/ │ ├── __init__.py │ ├── llm/ │ │ ├── glm4.py │ │ └── qwen_llm_model.py │ ├── mllm/ │ │ ├── claude_model.py │ │ └── qwen_model.py │ ├── model.py │ └── utils.py ├── app_data/ │ └── README.md ├── configs/ │ ├── example_xml_cloud_hyper.yaml │ ├── glm-4-plus-mac-XML.yaml │ ├── gpt-4o-linux-XML.yaml │ └── gpt-4o-mac-SoM.yaml ├── docs/ │ ├── modify_androidlab.md │ ├── new_apps.md │ ├── prepare_for_linux.md │ └── prepare_for_mac.md ├── eval.py ├── evaluation/ │ ├── auto_test.py │ ├── config/ │ │ ├── bluecoins.yaml │ │ ├── calendar.yaml │ │ ├── cantook.yaml │ │ ├── chrome.yaml │ │ ├── clock.yaml │ │ ├── contacts.yaml │ │ ├── gmail.yaml │ │ ├── map.yaml │ │ ├── pimusic.yaml │ │ ├── reddit.yaml │ │ ├── setting.yaml │ │ ├── tiktok.yaml │ │ └── zoom.yaml │ ├── configs.py │ ├── definition.py │ ├── docker_utils.py │ ├── evaluation.py │ ├── parallel.py │ ├── task.py │ ├── tasks/ │ │ ├── __init__.py │ │ ├── bluecoins/ │ │ │ ├── __init__.py │ │ │ └── bluecoins.py │ │ ├── calendar/ │ │ │ ├── __init__.py │ │ │ └── calendar.py │ │ ├── cantook/ │ │ │ ├── __init__.py │ │ │ └── cantook.py │ │ ├── chrome/ │ │ │ ├── __init__.py │ │ │ └── chrome.py │ │ ├── clock/ │ │ │ ├── __init__.py │ │ │ └── clock.py │ │ ├── contacts/ │ │ │ ├── __init__.py │ │ │ └── contacts.py │ │ ├── gmail/ │ │ │ ├── __init__.py │ │ │ └── gmail.py │ │ ├── human_ground_turth/ │ │ │ └── ground_truth_length.json │ │ ├── llm_evaluator.py │ │ ├── map_me/ │ │ │ ├── __init__.py │ │ │ └── map.py │ │ ├── pimusic/ │ │ │ ├── __init__.py │ │ │ └── pimusic.py │ │ ├── reddit/ │ │ │ ├── __init__.py │ │ │ └── reddit.py │ │ ├── setting/ │ │ │ ├── __init__.py │ │ │ └── setting.py │ │ ├── tiktok/ │ │ │ ├── __init__.py │ │ │ └── tiktok.py │ │ └── zoom/ │ │ ├── __init__.py │ │ └── zoom.py │ └── utils.py ├── generate_result.py ├── ios_agent/ │ ├── README.md │ ├── __init__.py │ ├── actions.py │ ├── application/ │ │ └── mail/ │ │ ├── __init__.py │ │ ├── pipeline.py │ │ ├── rag_system.py │ │ └── run_mail_and_rag.sh │ ├── connection.py │ ├── controller.py │ ├── executor.py │ ├── hierarchy.py │ ├── labeling.py │ ├── prompts.py │ ├── recorder.py │ ├── run_ios_agent.py │ ├── screenshot.py │ └── task.py ├── model_training/ │ ├── R1-V/ │ │ └── src/ │ │ ├── distill_r1/ │ │ │ ├── README.md │ │ │ ├── create_hf_dataset.py │ │ │ ├── filter_r1.py │ │ │ ├── generate_scene_qa_pairs.ipynb │ │ │ ├── prompt.py │ │ │ └── query_r1.py │ │ ├── eval/ │ │ │ ├── logs/ │ │ │ │ ├── counting_results_superclevr_200_qwen2vl_2b_instruct_grpo100_legacy.json │ │ │ │ ├── counting_results_superclevr_200_qwen2vl_2b_instruct_legacy.json │ │ │ │ ├── geoqa_test_qwen2vl_7b_grpo_2epochs_legacy.json │ │ │ │ └── geoqa_test_qwen2vl_7b_instruct_legacy.json │ │ │ ├── prompts/ │ │ │ │ ├── geoqa_test_prompts.jsonl │ │ │ │ └── superclevr_test200_counting_problems.jsonl │ │ │ ├── test_qwen2vl_counting_superclevr.py │ │ │ ├── test_qwen2vl_geoqa.py │ │ │ └── test_qwen2vl_geoqa_multigpu.py │ │ ├── r1-v/ │ │ │ ├── .gitignore │ │ │ ├── LICENSE │ │ │ ├── Makefile │ │ │ ├── configs/ │ │ │ │ ├── ddp.yaml │ │ │ │ ├── qwen2vl_sft_config.yaml │ │ │ │ ├── zero2.yaml │ │ │ │ └── zero3.yaml │ │ │ ├── local_scripts/ │ │ │ │ ├── create_vision_cot_data.py │ │ │ │ ├── lmms_eval_qwen2vl.sh │ │ │ │ ├── prepare_hf_data.py │ │ │ │ ├── train_aria_moe.sh │ │ │ │ ├── train_qwen2_vl.sh │ │ │ │ ├── zero1_no_optimizer.json │ │ │ │ ├── zero2.json │ │ │ │ ├── zero2_fix.json │ │ │ │ ├── zero3.json │ │ │ │ ├── zero3.yaml │ │ │ │ ├── zero3_offload.json │ │ │ │ └── zero3_offload_fix.json │ │ │ ├── run_grpo.sh │ │ │ ├── setup.cfg │ │ │ ├── setup.py │ │ │ └── src/ │ │ │ └── open_r1/ │ │ │ ├── __init__.py │ │ │ ├── evaluate.py │ │ │ ├── generate.py │ │ │ ├── grpo.py │ │ │ ├── grpo_agent.py │ │ │ ├── sft.py │ │ │ └── trainer/ │ │ │ ├── __init__.py │ │ │ ├── grpo_trainer.py │ │ │ ├── vllm_grpo_trainer.py │ │ │ └── vllm_grpo_trainer_modified.py │ │ ├── requirements.txt │ │ └── scripts/ │ │ ├── run_grpo_clevr.sh │ │ ├── run_grpo_vllm.sh │ │ ├── run_grpo_vllm_qwen25vl.sh │ │ ├── run_grpo_vllm_qwen25vl_agent.sh │ │ ├── run_sft_clevr.sh │ │ └── test_grpo_geoqa_multigpu.sh │ ├── README.md │ └── llama_factory_scripts/ │ ├── deepspeed_config_zero2.json │ ├── deepspeed_config_zero3.json │ └── full_tuning_setting_3B_vl_fix.sh ├── page_executor/ │ ├── __init__.py │ ├── simple_vision_executor.py │ ├── text_executor.py │ └── utils.py ├── prepare_data/ │ ├── README.md │ ├── rl/ │ │ └── convert_to_hf_vl.py │ └── visual_model_data/ │ ├── alpaca_format_o1_data_visual_cot.json │ ├── data_maker.py │ ├── o1_data_visual_cot_all.json │ ├── o1_data_visual_cot_pimusic.json │ └── sft_data_maker.py ├── recorder/ │ ├── __init__.py │ └── json_recoder.py ├── requirements.txt ├── templates/ │ ├── __init__.py │ ├── android_screenshot_template.py │ ├── packages.py │ ├── seeact_screenshot_prompts.py │ └── text_only_mobile.py ├── test_script/ │ ├── all_test_cloud_v1_hyper.sh │ └── all_test_cloud_v1_hyper_add.sh ├── tools/ │ ├── check_result_multiprocess.py │ ├── delete_blank.py │ ├── modify_mobile_to_avd.py │ └── modify_mobile_to_docker.py ├── utils_mobile/ │ ├── and_controller.py │ ├── specialCheck.py │ ├── utils.py │ └── xml_tool.py └── vllm_script/ └── run_server_visual_cot.py