gitextract_jwpdz1w4/ ├── .github/ │ ├── CODEOWNERS │ ├── ISSUE_TEMPLATE.md │ ├── PULL_REQUEST_TEMPLATE.md │ └── workflows/ │ └── main.yml ├── .gitignore ├── 01_03/ │ └── ietf_scraper/ │ ├── ietf_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── ietf.py │ └── scrapy.cfg ├── 01_04_b/ │ └── ietf_scraper/ │ ├── ietf_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── ietf.py │ └── scrapy.cfg ├── 01_04_e/ │ └── ietf_scraper/ │ ├── ietf_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── ietf.py │ └── scrapy.cfg ├── 02_01/ │ └── article_scraper/ │ ├── article_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── wikipedia.py │ └── scrapy.cfg ├── 02_02_b/ │ └── article_crawler/ │ ├── article_crawler/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── wikipedia.py │ └── scrapy.cfg ├── 02_02_e/ │ └── article_crawler/ │ ├── article_crawler/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── articles.csv │ │ └── wikipedia.py │ └── scrapy.cfg ├── 02_03_b/ │ └── article_crawler/ │ ├── article_crawler/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── articles.csv │ │ └── wikipedia.py │ └── scrapy.cfg ├── 02_03_e/ │ └── article_crawler/ │ ├── article_crawler/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── articles.csv │ │ ├── articles.json │ │ ├── articles.xml │ │ └── wikipedia.py │ └── scrapy.cfg ├── 02_04_b/ │ └── article_crawler/ │ ├── article_crawler/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── articles.csv │ │ ├── articles.json │ │ ├── articles.xml │ │ └── wikipedia.py │ └── scrapy.cfg ├── 02_04_e/ │ └── article_crawler/ │ ├── article_crawler/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── articles.csv │ │ ├── articles.json │ │ ├── articles.xml │ │ └── wikipedia.py │ └── scrapy.cfg ├── 02_05/ │ └── news_scraper/ │ ├── news_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── associated_press.py │ │ ├── cnn.py │ │ ├── news_articles.json │ │ └── yahoo.py │ └── scrapy.cfg ├── 03_01_b/ │ └── form/ │ ├── form/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── get_form.py │ └── scrapy.cfg ├── 03_01_e/ │ └── form/ │ ├── form/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── get_form.py │ │ └── post_form.py │ └── scrapy.cfg ├── 03_03_b/ │ └── news_scraper/ │ ├── news_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── associated_press.py │ │ ├── cnn.py │ │ ├── news_articles.json │ │ └── yahoo.py │ └── scrapy.cfg ├── 03_03_e/ │ └── news_scraper/ │ ├── news_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── associated_press.py │ │ ├── cnn.py │ │ ├── news_articles.json │ │ └── yahoo.py │ └── scrapy.cfg ├── 03_04/ │ └── news_scraper/ │ ├── news_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── cnn.py │ │ └── counts.csv │ └── scrapy.cfg ├── 03_05/ │ └── news_scraper/ │ ├── news_scraper/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ ├── cnn.py │ │ └── counts.csv │ └── scrapy.cfg ├── 04_01_b/ │ └── profiles/ │ ├── profiles/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── pythonscraping.py │ └── scrapy.cfg ├── 04_01_e/ │ └── profiles/ │ ├── profiles/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── pythonscraping.py │ └── scrapy.cfg ├── 04_02_b/ │ ├── chromedriver │ └── locations/ │ ├── locations/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── dunkin.py │ └── scrapy.cfg ├── 04_02_e/ │ ├── chromedriver │ └── locations/ │ ├── locations/ │ │ ├── __init__.py │ │ ├── items.py │ │ ├── middlewares.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders/ │ │ ├── __init__.py │ │ └── dunkin.py │ └── scrapy.cfg ├── CONTRIBUTING.md ├── LICENSE ├── NOTICE └── README.md