给一个示例 URL，自动学习网页结构并生成抓取规则，省去手写解析逻辑，适合快速采集相似页面的数据。
用 Python 抓取 LinkedIn 用户和公司公开数据的爬虫库，基于 Chrome/Firefox 驱动模拟浏览，适合做招聘信息或人脉数据采集。
用 Flask + Redis 搭建的代理池，自动从多个来源抓取免费代理并持续检测可用性，通过 HTTP 接口给爬虫提供稳定可用的代理 IP。
Python 网页抓取与浏览器自动化库，支持 Playwright、BeautifulSoup 和原始 HTTP，自带代理轮换，方便为 AI、LLM、RAG 稳定采集网页数据。
一站式爬虫工具箱，能自动抓取并导出 GitHub、邮箱、电商、运营商、社交平台等几十个网站的个人数据，帮用户把散落各处的数据拿回自己手里。
提供 Python API 访问禁漫天堂，支持网页端和移动端，可配合 GitHub Actions 自动下载漫画。
一个注重隐私的 Python HTTP 客户端，能模拟浏览器 TLS/HTTP2 指纹（JA3/JA4、Akamai），帮爬虫绕过反爬检测。
把 Scrapy 爬虫包装成 HTTP API，让其他语言或服务能远程触发爬虫并实时拿到抓取结果，省去自己搭调度和传输层。
一套面向 40 多个热门网站的 Python 爬虫脚本合集，内置代理和反爬绕过能力，省去从零处理验证码与封禁的麻烦。
抓取 Google Play 上应用、游戏、影视和图书的公开信息，比如评分、评论和详情，省去自己解析页面。
一个通用的 Reddit 爬虫，能抓取任意子版块或用户的内容，适合做数据采集和舆情分析。
基于 Chrome CDP 复用真实登录态抓取 BOSS 直聘职位数据，能绕过字体反爬，直接输出明文薪资的 JSON/CSV 并做薪资技能分析。
用 Python 抓取 Google Maps 上商户的评论数据，适合做口碑分析和竞品调研时批量采集评论。
Python 的高层网页抓取框架，帮你快速写爬虫，自动处理请求调度、页面解析和数据提取，适合大规模采集任务。
Python 写的代理池服务，自动抓取、校验并维护可用代理，通过 Redis 存储，给爬虫提供稳定的 HTTP 代理来源。
用大语言模型驱动的 Python 爬虫，只需描述想抓什么，就能自动完成网页抓取和结构化数据提取，省去手写解析规则。
用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据，省去自己写解析规则，适合做新闻聚合和内容抓取。
Python 网页抓取框架，从单次请求到大规模爬取都能处理，内置 Playwright 支持，还提供 MCP 服务方便接入 AI 工作流。
面向 AI 智能体的网页抓取与数据提取爬虫，把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程，支持自托管。
无需 API Key 即可抓取 Twitter 数据的 Python 库，直接调用 Twitter 内部接口，支持发推、搜索、爬取用户信息，还能做机器人。
Movie metadata scraper
用 Python 从 Instagram 批量下载图片、视频、配文和元数据，支持帖子、快照和用户主页，适合做数据采集和存档。
把网页内容抓取并转换成适合大模型使用的结构化数据，支持 HTML 转 Markdown，方便为 LLM 准备训练或检索语料。
基于 Modest 和 Lexbor 引擎的 Python HTML5 解析库，解析速度快，支持 CSS 选择器，适合网页抓取时高效提取页面数据。
非官方的 Finviz 数据接口，用 Python 抓取股票筛选器、图表和 CSV 数据，省去自己写爬虫解析网页的麻烦。
Scrape job websites into a single spreadsheet with no duplicates.
用 Python 配合 Oxylabs SERP API 抓取 Google Trends 数据，提取关键词热度、地区分布和相关查询，并做结果对比。
用 Python 写的 Telegram 监控机器人，能批量监听群组和频道消息，适合做舆情追踪或加密货币相关情报收集。
用 Python 库和命令行抓取 X/Twitter 推文，支持多账号轮换和内置限流处理，解决大规模采集时账号被封或触发频率限制的问题。
一条命令就能从 Google 图片批量抓取几百张图片，支持按颜色、尺寸等条件筛选，适合快速搭建图像数据集。
用 Python 抓取 Redfin、Realtor 等房产网站的挂牌数据，直接输出结构化表格，省去自己写爬虫和解析页面的麻烦。
用 Python 抓取和管理 IMDb 电影、演员与角色数据的工具包，方便做影视资料查询和数据集构建。
用 Python 配合 Oxylabs 的 Google Jobs Scraper API，同时按多个搜索词和地区抓取 Google 招聘信息，省去自己处理反爬和解析页面的麻烦。
从新闻网站批量抓取文章正文、标题和元数据的 Python 库，是 Newspaper3k 的维护分支，适合做新闻语料采集和数据集准备。
一个 Python 招聘信息抓取库，能从 LinkedIn、Indeed、Glassdoor 等八个招聘网站批量采集职位数据，省去逐个平台爬取的麻烦。
用 Python 写的批量获客脚本，让没有编程基础的人也能大规模采集潜在客户线索，内置多种爬虫与解析技巧。
匿名查看 Instagram 私密账号帖子的命令行工具，面向 OSINT 调查场景，无需登录或关注即可获取受限内容。
从网页抓取正文和元数据的 Python 库与命令行工具，支持爬取、解析并导出为 CSV、JSON、Markdown 等格式，适合构建语料库和 RAG 数据。