爬虫工具
连接与传输下的项目，按 star 排序，共 81 个。
用一套 API 同时驱动 Chromium、Firefox 和 WebKit 的浏览器自动化与端到端测试框架，适合写跨浏览器测试和网页抓取脚本。
Python 的高层网页抓取框架，帮你快速写爬虫，自动处理请求调度、页面解析和数据提取，适合大规模采集任务。
可视化无代码网页爬虫，通过图形界面设计和执行采集任务，让不懂编程的人也能批量抓取网页数据。
用 jQuery 风格的语法在服务端解析和操作 HTML/XML，写爬虫时提取页面数据比正则和原生 DOM 顺手得多。
Node.js/TypeScript 网页抓取与浏览器自动化库，内置代理轮换和反封锁，兼容 Puppeteer、Playwright、Cheerio，可稳定采集数据供 AI、LLM、RAG 使用。
Go 语言编写的高性能网页抓取与爬虫框架，提供简洁 API 处理请求、解析页面和并发抓取，适合快速搭建采集程序。
用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据，省去自己写解析规则，适合做新闻聚合和内容抓取。
Python 网页抓取与浏览器自动化库，支持 Playwright、BeautifulSoup 和原始 HTTP，自带代理轮换，方便为 AI、LLM、RAG 稳定采集网页数据。
给一个示例 URL，自动学习网页结构并生成抓取规则，省去手写解析逻辑，适合快速采集相似页面的数据。
用 Go 写的 Chrome DevTools Protocol 驱动，直接操控浏览器做网页自动化和爬虫，省去手动管理浏览器进程的麻烦。
分析各类反爬与机器人检测系统（Akamai、PerimeterX、Arkose、AWS WAF 等）的识别原理，并给出绕过浏览器指纹脚本的可行对策，适合做网页采集时参考。
无需 API Key 即可抓取 Twitter 数据的 Python 库，直接调用 Twitter 内部接口，支持发推、搜索、爬取用户信息，还能做机器人。
用 JavaScript 实现的 YouTube 视频下载库，可在 Node.js 中直接抓取并保存视频，省去自己解析页面和拼接下载地址的麻烦。
用 Python 抓取 LinkedIn 用户和公司公开数据的爬虫库，基于 Chrome/Firefox 驱动模拟浏览，适合做招聘信息或人脉数据采集。
用 TypeScript 编写的数据抓取工具，目前主要面向成人内容平台，能定期抓取并归档 OnlyFans 等站点的媒体数据。
一个面向人类的 Node.js 网页抓取库，用简洁的链式配置从 HTML 中提取结构化数据，省去手写选择器解析的麻烦。
输入域名列表就能自动爬取 URL，扫描出接口、密钥、API key、文件扩展名和 token 等敏感信息，适合做渗透测试前期的信息收集。
Movie metadata scraper
用 LLM 驱动的网页抓取工具，支持 OpenAI、Gemini 和 Ollama，能按自然语言指令从网页中提取结构化数据，省去手写解析规则。
用网页抓取和自动化脚本自动搜集 Udemy 免费优惠券，并批量注册付费课程，省去手动找券和报名的麻烦。
用 Node.js 抓取 Google Play 应用详情、评论、搜索结果的爬虫库，省去自己解析页面和接口的麻烦。
用 Python 库和命令行抓取 X/Twitter 推文，支持多账号轮换和内置限流处理，解决大规模采集时账号被封或触发频率限制的问题。
用 Python 配合 Oxylabs SERP API 抓取 Google Trends 数据，提取关键词热度、地区分布和相关查询，并做结果对比。
Go 语言编写的高性能网页爬虫与抓取框架，支持 JS 渲染，适合快速搭建大规模采集任务。
从任意 URL 抓取网页元数据，自动解析 Open Graph、JSON-LD 和 HTML meta 标签，并带智能兜底，适合做链接预览和内容摘要。
用 PHP 写采集爬虫的渐进式框架，语法优雅、上手简单，适合快速抓取网页并提取结构化数据。
非官方 Node.js 库，实时接收 TikTok 直播间的评论、礼物等事件，方便做直播互动机器人或数据采集。
把网页内容抓取并转换成适合大模型使用的结构化数据，支持 HTML 转 Markdown，方便为 LLM 准备训练或检索语料。
Scrape job websites into a single spreadsheet with no duplicates.
本地运行的私有技术文档 MCP 服务器，用界面抓取并索引官方文档，让 Cursor、Claude 等编码助手直接检索最新资料，避免过时或编造的答案。
从 YouTube、SoundCloud、Bandcamp 等流媒体站点抓取视频与音频元数据及流地址的 Java 解析库，是 NewPipe 客户端的核心组件。
输入邮箱即可在 5000+ 平台做 OSINT 排查，聚合身份线索并检测泄露记录，无需 API key，pip 装完就能用。
用 Python 配合 Oxylabs 的 Google Jobs Scraper API，同时按多个搜索词和地区抓取 Google 招聘信息，省去自己处理反爬和解析页面的麻烦。
把整个网站连同 CSS、图片、JS 等资源一起下载到本地目录，方便离线浏览或做站点备份。
抓取 Google Play 上应用、游戏、影视和图书的公开信息，比如评分、评论和详情，省去自己解析页面。
基于 Modest 和 Lexbor 引擎的 Python HTML5 解析库，解析速度快，支持 CSS 选择器，适合网页抓取时高效提取页面数据。
用 Python 写的 Telegram 监控机器人，能批量监听群组和频道消息，适合做舆情追踪或加密货币相关情报收集。
一个注重隐私的 Python HTTP 客户端，能模拟浏览器 TLS/HTTP2 指纹（JA3/JA4、Akamai），帮爬虫绕过反爬检测。
非官方的 Finviz 数据接口，用 Python 抓取股票筛选器、图表和 CSV 数据，省去自己写爬虫解析网页的麻烦。
轻量级 Ruby 网页爬虫与抓取库，提供优雅的 DSL，用几行声明式代码就能从页面中提取结构化数据。
用 Python 抓取和管理 IMDb 电影、演员与角色数据的工具包，方便做影视资料查询和数据集构建。
从新闻网站批量抓取文章正文、标题和元数据的 Python 库，是 Newspaper3k 的维护分支，适合做新闻语料采集和数据集准备。
基于 Elixir 的高层网页爬取与抓取框架，用并发和容错能力帮你快速搭建爬虫、批量提取网页数据。
自托管的网页抓取引擎，能绕过 Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest 等 JS 挑战和验证码，可作为 FlareSolverr、Byparr 的替代品接入 *arr 套件。
一套面向 40 多个热门网站的 Python 爬虫脚本合集，内置代理和反爬绕过能力，省去从零处理验证码与封禁的麻烦。
匿名查看 Instagram 私密账号帖子的命令行工具，面向 OSINT 调查场景，无需登录或关注即可获取受限内容。
一个用 Rust 写的 HTTP 客户端，能模拟浏览器 TLS/HTTP2 指纹（JA3/JA4），帮爬虫绕过 Akamai 等反爬检测。
非官方 MyAnimeList PHP 库兼 REST API，能抓取官方接口不提供的番剧与漫画数据，方便开发者直接调用。
自托管的本地资源管理器，把电脑里的动漫、游戏、电影、音乐等文件统一整理归类，并用游戏化方式激励你持续收集和整理。
一条命令就能把 Reddit 的帖子、评论和用户数据批量抓取下来，导出成 CSV 或 JSON，方便做数据分析和存档。
无需登录或 API Key 就能抓取 X/Twitter 的推文、回复、时间线和长文，给 AI Agent 和自动化流程提供数据来源。
用 Elixir 写的高性能网页爬虫和抓取引擎，适合需要并发抓取并保存页面文件的场景。
开箱即用的本地视频媒体库管理工具，自动刮削影片元数据并支持命令行安装与 Docker 部署，适合搭建私人影音库。
用 Shell 脚本写的命令行影视聚合工具，从多个站点抓取电影和剧集资源，直接调用 mpv 播放，适合在 Linux 和 macOS 上追剧。
把 Scrapy 爬虫包装成 HTTP API，让其他语言或服务能远程触发爬虫并实时拿到抓取结果，省去自己搭调度和传输层。
基于 Kotlin 的 HTML 解析与抓取库，用直观 DSL 从服务端或客户端渲染的页面中提取数据，兼顾集成测试和网页爬取，代码可读性高。
开放的国际制裁名单、关注人物和政治敏感人物数据库，供尽职调查、调查报道和反洗钱核查使用。
把任意网站抓取打包成 ZIM 离线文件，配合 Kiwix 就能在无网络环境下浏览完整站点。
把网页小说抓取下来并转成 epub 电子书，支持 Chrome 和 Firefox 浏览器扩展，方便离线阅读和导入阅读器。
Ruby 编写的多功能网页爬虫库，可抓取单个站点、多个域名或指定链接，也能无限爬取，主打快速易用。