gitextract_3r6f4gjt/ ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug-report.md │ │ ├── failed.md │ │ ├── feature-request.md │ │ └── other.md │ ├── stale.yml │ └── workflows/ │ └── python-app.yml ├── .gitignore ├── CONTRIBUTING.md ├── README.md ├── docs/ │ ├── FAQ.md │ ├── academic.md │ ├── automation.md │ ├── contributors.md │ ├── cookie.md │ ├── example.md │ ├── known_issues.md │ ├── settings.md │ └── userid.md ├── requirements.txt ├── setup.py ├── tests/ │ ├── __init__.py │ ├── test_downloader_async.py │ ├── test_parser/ │ │ ├── __init__.py │ │ ├── test_album_parser.py │ │ ├── test_comment_parser.py │ │ ├── test_index_parser.py │ │ ├── test_info_parser.py │ │ ├── test_mblog_picAll_parser.py │ │ ├── test_page_parser.py │ │ ├── test_photo_parser.py │ │ └── util.py │ └── testdata/ │ ├── 2f62165fa3ca1e85e0d398d385c377a068b76eb95765f7020ffffd3e.html │ ├── 4957814af5a123b82e974b5537dea736dfb34e48d8835203a45d2e67.html │ ├── 4d5ed0a3ebd0303cb45edd544dbc0ab5e86d43e103405f0c60515884.html │ ├── 63a98849ec82b2c87ec55bca03cbf5988f7eac233a23d86b4fdf5ffd.html │ ├── 76233b3f90394581aac6f19cfa5d674a610e8b442b1f83de7673ab49.html │ ├── a4437630f3bdfa2757bae1595186ac063fe5ec25cf2f98116ece83cb.html │ ├── b541fd1751117498b6d6f40d3321686ddf871651237c4ac854a5c3eb.html │ ├── ca5f2a555e8d62f728c66fa90afb2d54d19f8c898e164204a61bdf03.html │ ├── d486235d4a17dd0accb0f2cc77b3648abfa03580b9e0cdb61f1e618f.html │ ├── e4d541ecb02253c14abc1d52605fc00d91279df9ac4c1465c85b91b3.html │ ├── e97222acd5bc7d8d1bfbd3f352f8cad3e36fdd19e40b69e1c33fb3c3.html │ └── url_map.json └── weibo_spider/ ├── __init__.py ├── __main__.py ├── config_sample.json ├── config_util.py ├── datetime_util.py ├── downloader/ │ ├── __init__.py │ ├── avatar_picture_downloader.py │ ├── downloader.py │ ├── img_downloader.py │ ├── origin_picture_downloader.py │ ├── retweet_picture_downloader.py │ └── video_downloader.py ├── logging.conf ├── parser/ │ ├── __init__.py │ ├── album_parser.py │ ├── comment_parser.py │ ├── index_parser.py │ ├── info_parser.py │ ├── mblog_picAll_parser.py │ ├── page_parser.py │ ├── parser.py │ ├── photo_parser.py │ └── util.py ├── spider.py ├── user.py ├── user_id_list.txt ├── weibo.py └── writer/ ├── __init__.py ├── csv_writer.py ├── json_writer.py ├── kafka_writer.py ├── mongo_writer.py ├── mysql_writer.py ├── post_writer.py ├── sqlite_writer.py ├── txt_writer.py └── writer.py