gitextract_ti7etvkp/

├── .coveragerc
├── .gitignore
├── .travis.yml
├── LICENSE
├── README.md
├── apps/
│   ├── __init__.py
│   ├── client_db.py
│   └── client_rk.py
├── config/
│   ├── __init__.py
│   └── default.py
├── db/
│   ├── data/
│   │   └── mysql.sql
│   └── schema/
│       └── mysql.sql
├── docs/
│   ├── Architecture.md
│   ├── Components/
│   │   ├── MariaDB.md
│   │   ├── Redis.md
│   │   ├── SeaweedFS.md
│   │   └── Squid.md
│   ├── README.md
│   ├── SUMMARY.md
│   ├── Spiders/
│   │   ├── README.md
│   │   ├── Toutiao.md
│   │   ├── Weibo.md
│   │   └── Weixin.md
│   └── book.json
├── env_default.sh
├── etc/
│   ├── scrapy.ini
│   ├── scrapyd.ini
│   ├── supervisord.conf
│   ├── tasks.ini
│   └── toutiao.ini
├── libs/
│   ├── __init__.py
│   ├── counter.py
│   ├── ft.py
│   ├── optical_modem.py
│   ├── redis_pub_sub.py
│   ├── redis_queue.py
│   ├── rk.py
│   └── weed_fs.py
├── logs/
│   └── index.html
├── maps/
│   ├── __init__.py
│   ├── channel.py
│   └── platform.py
├── models/
│   ├── __init__.py
│   └── news.py
├── news/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares/
│   │   ├── __init__.py
│   │   ├── anti_spider.py
│   │   ├── content_type.py
│   │   ├── de_duplication_request.py
│   │   ├── httpproxy.py
│   │   └── useragent.py
│   ├── middlewares.py
│   ├── pipelines/
│   │   ├── __init__.py
│   │   ├── de_duplication_request.py
│   │   ├── de_duplication_store_mysql.py
│   │   ├── exporter_csv.py
│   │   ├── img_remote_to_local_fs.py
│   │   └── store_mysql.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       ├── ip.py
│       ├── toutiao_m.py
│       ├── weibo.py
│       └── weixin.py
├── requirements-py2.txt
├── requirements-py3.txt
├── scrapy.cfg
├── tasks/
│   ├── __init__.py
│   ├── job_put_tasks.py
│   ├── job_reboot_net_china_net.py
│   ├── jobs_proxies.py
│   ├── jobs_sogou.py
│   ├── jobs_weixin.py
│   ├── run_job_counter_clear.py
│   ├── run_job_put_tasks_toutiao.py
│   ├── run_job_put_tasks_weibo.py
│   ├── run_job_put_tasks_weixin.py
│   ├── run_job_reboot_net_china_net.py
│   ├── run_job_sogou_cookies.py
│   ├── run_job_weixin_cookies.py
│   ├── run_jobs.py
│   └── run_jobs_apscheduler.py
├── tests/
│   ├── __init__.py
│   ├── test_date_time.py
│   └── test_finger.py
└── tools/
    ├── __init__.py
    ├── anti_spider_sogou.py
    ├── anti_spider_weixin.py
    ├── char.py
    ├── cookies.py
    ├── date_time.py
    ├── duplicate.py
    ├── gen.py
    ├── img.py
    ├── import_task.py
    ├── net_status.py
    ├── proxies.py
    ├── scrapy_tasks.py
    ├── sys_monitor.py
    ├── toutiao_m.py
    ├── url.py
    ├── weibo.py
    └── weixin.py