gitextract_cms0mrdu/ ├── .eslintrc.json ├── .github/ │ └── workflows/ │ ├── ci.yml │ └── publish.yml ├── .gitignore ├── .leasotrc ├── .nvmrc ├── .prettierrc ├── CITATION.cff ├── CODE_OF_CONDUCT.md ├── CONTRIBUTING.md ├── LICENSE ├── README.md ├── SECURITY.md ├── docs/ │ ├── api-reference.md │ ├── architecture.md │ ├── assets/ │ │ ├── .gitkeep │ │ └── demo.tape │ ├── deployment/ │ │ ├── docker.md │ │ ├── job-queues.md │ │ └── production-server.md │ ├── getting-started.md │ ├── guides/ │ │ ├── browser-pool.md │ │ ├── browser-sessions.md │ │ ├── cloudflare-bypass.md │ │ ├── output-formats.md │ │ └── proxy-configuration.md │ └── troubleshooting.md ├── ecosystem.config.cjs ├── examples/ │ ├── .gitignore │ ├── .nvmrc │ ├── README.md │ ├── ai-tools/ │ │ ├── README.md │ │ ├── anthropic-summary.ts │ │ ├── langchain-loader.ts │ │ ├── llamaindex-loader.ts │ │ ├── openai-summary.ts │ │ ├── pinecone-ingest.ts │ │ ├── qdrant-ingest.ts │ │ └── vercel-ai-stream.ts │ ├── basic/ │ │ ├── README.md │ │ ├── all-formats.ts │ │ ├── basic-scrape.ts │ │ ├── batch-scrape.ts │ │ ├── browser-pool-config.ts │ │ ├── browser-session-actions.ts │ │ ├── browser-session-puppeteer.ts │ │ ├── browser-session-selenium.ts │ │ ├── browser-session.ts │ │ ├── cloudflare-bypass.ts │ │ ├── crawl-website.ts │ │ ├── large-batch-scrape.ts │ │ ├── proxy-pool.ts │ │ └── with-proxy.ts │ ├── package.json │ ├── production/ │ │ ├── README.md │ │ ├── browser-pool-scaling/ │ │ │ ├── README.md │ │ │ ├── package.json │ │ │ └── src/ │ │ │ └── index.ts │ │ ├── express-server/ │ │ │ ├── README.md │ │ │ ├── package.json │ │ │ └── src/ │ │ │ └── index.ts │ │ └── job-queue-bullmq/ │ │ ├── README.md │ │ ├── package.json │ │ └── src/ │ │ ├── index.ts │ │ ├── queue.ts │ │ └── worker.ts │ └── tsconfig.json ├── package.json ├── result.md ├── scripts/ │ └── release.sh ├── src/ │ ├── browser/ │ │ ├── hero-config.ts │ │ ├── pool.ts │ │ ├── proxy-bound-browser.ts │ │ ├── tiered-pool.ts │ │ └── types.ts │ ├── browser-session.ts │ ├── browser-types.ts │ ├── cli/ │ │ └── index.ts │ ├── client.ts │ ├── cloudflare/ │ │ ├── detector.ts │ │ ├── handler.ts │ │ └── types.ts │ ├── config/ │ │ └── domain-profiles.ts │ ├── crawl-types.ts │ ├── crawler.ts │ ├── daemon/ │ │ ├── client.ts │ │ ├── index.ts │ │ └── server.ts │ ├── engines/ │ │ ├── errors.ts │ │ ├── hero/ │ │ │ └── index.ts │ │ ├── index.ts │ │ ├── orchestrator.ts │ │ └── types.ts │ ├── errors.ts │ ├── formatters/ │ │ ├── html.ts │ │ ├── index.ts │ │ ├── markdown.ts │ │ └── postprocess.ts │ ├── index.ts │ ├── proxy/ │ │ ├── config.ts │ │ ├── env.ts │ │ ├── health-tracker.ts │ │ ├── proxy-gate.ts │ │ └── verify.ts │ ├── scraper.ts │ ├── types.ts │ └── utils/ │ ├── block-detector.ts │ ├── content-cleaner.ts │ ├── logger.ts │ ├── metadata-extractor.ts │ ├── rate-limiter.ts │ ├── robots-parser.ts │ ├── url-helpers.ts │ └── url-rewriter.ts ├── tests/ │ ├── engines/ │ │ └── orchestrator.test.ts │ ├── fixtures/ │ │ ├── amazon-bot-page.html │ │ ├── cloudflare-challenge.html │ │ ├── empty-page.html │ │ └── simple-static.html │ ├── integration/ │ │ └── daemon.test.ts │ └── unit/ │ ├── block-detector-cloudflare.test.ts │ ├── block-detector-fixtures.test.ts │ ├── block-detector.test.ts │ ├── browser-session.test.ts │ ├── content-cleaner.test.ts │ ├── crawler.test.ts │ ├── daemon-dispatch.test.ts │ ├── domain-profiles.test.ts │ ├── errors.test.ts │ ├── health-tracker.test.ts │ ├── html-size-guard.test.ts │ ├── markdown-formatter.test.ts │ ├── metadata-extractor.test.ts │ ├── postprocess.test.ts │ ├── proxy-bound-browser.test.ts │ ├── proxy-config.test.ts │ ├── proxy-gate.test.ts │ ├── proxy-verify.test.ts │ ├── robots-parser.test.ts │ ├── scraper-pipeline.test.ts │ ├── scraper-retry.test.ts │ ├── tiered-pool.test.ts │ ├── url-helpers.test.ts │ └── url-rewriter.test.ts ├── tsconfig.json ├── tsup.config.ts └── vitest.config.ts