gitextract_m02sfw7x/

├── .gitignore
├── README.md
├── example-spider/
│   ├── bilibili/
│   │   ├── conf.json
│   │   └── main.go
│   ├── dilidili/
│   │   ├── conf.json
│   │   └── main.go
│   ├── douban-movie/
│   │   ├── conf.json
│   │   └── main.go
│   ├── douban-movie-code/
│   │   ├── conf.json
│   │   └── main.go
│   ├── empty/
│   │   ├── conf.json
│   │   └── main.go
│   ├── haoqi/
│   │   ├── conf.json
│   │   └── main.go
│   ├── jingdong/
│   │   ├── conf.json
│   │   └── main.go
│   ├── qiongyou/
│   │   ├── conf.json
│   │   └── main.go
│   ├── qiubai/
│   │   ├── conf.json
│   │   ├── main.go
│   │   └── sem_test.go
│   ├── ttkb/
│   │   ├── conf.json
│   │   └── main.go
│   ├── ttkb-author/
│   │   ├── conf.json
│   │   └── main.go
│   ├── tuiku/
│   │   ├── conf.json
│   │   └── main.go
│   ├── wangyi-music/
│   │   ├── conf.json
│   │   ├── main.go
│   │   └── music/
│   │       ├── conf.json
│   │       └── wangyi-music
│   └── woshipm/
│       ├── conf.json
│       └── main.go
├── manage/
│   ├── conf.json
│   ├── config/
│   │   └── config.go
│   ├── discover/
│   │   ├── discover.go
│   │   ├── etcd/
│   │   │   └── etcd.go
│   │   ├── file/
│   │   │   └── file.go
│   │   └── zookeeper/
│   │       └── zookeeper.go
│   ├── http/
│   │   ├── controller.go
│   │   ├── request.go
│   │   ├── server.go
│   │   └── service.go
│   ├── logger/
│   │   └── logger.go
│   ├── main.go
│   ├── model/
│   │   ├── node_info.go
│   │   └── task.go
│   ├── schedule/
│   │   ├── request.go
│   │   └── schedule.go
│   ├── strategy/
│   │   └── rand_strategy.go
│   └── task/
│       └── task.go
├── spider/
│   ├── boot.go
│   ├── common/
│   │   ├── encode.go
│   │   ├── prase_req.go
│   │   └── prase_req_test.go
│   ├── conf.json
│   ├── config/
│   │   └── config.go
│   ├── core/
│   │   ├── engine.go
│   │   └── runtime.go
│   ├── downloader/
│   │   ├── request.go
│   │   └── request_test.go
│   ├── http/
│   │   └── server.go
│   ├── logger/
│   │   └── logger.go
│   ├── model/
│   │   ├── context.go
│   │   ├── page.go
│   │   └── task.go
│   ├── pipline/
│   │   ├── console/
│   │   │   └── console.go
│   │   ├── file/
│   │   │   └── file.go
│   │   ├── mysql/
│   │   │   ├── dbModel.go
│   │   │   ├── mysql.go
│   │   │   └── mysqlPipline.go
│   │   ├── nsq/
│   │   │   └── nsq.go
│   │   └── pipline.go
│   ├── process/
│   │   ├── filter/
│   │   │   ├── repoat_filter.go
│   │   │   ├── repoat_filter_test.go
│   │   │   ├── url_filter.go
│   │   │   └── url_filter_test.go
│   │   ├── json-process/
│   │   │   ├── json_process.go
│   │   │   └── json_rule.go
│   │   ├── process.go
│   │   └── template-process/
│   │       ├── template_process.go
│   │       ├── template_rule.go
│   │       └── template_rule_test.go
│   ├── register/
│   │   └── etcd/
│   │       └── etcd.go
│   ├── schedule/
│   │   ├── schedule.go
│   │   ├── schedule_chan.go
│   │   ├── schedule_chan_test.go
│   │   ├── schedule_redis.go
│   │   └── schedule_redis_test.go
│   └── spider/
│       └── spider.go
└── storage/
    ├── conf.json
    ├── config/
    │   └── config.go
    ├── db/
    │   ├── elasticsearch/
    │   │   └── elasticsearch.go
    │   ├── hbase/
    │   │   └── hbase.go
    │   └── mysql/
    │       └── mysql.go
    ├── logger/
    │   └── logger.go
    └── main.go