OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「爬虫」找到 129 个结果 · 18ms命中词:爬虫crawlerscraperscrapingspidercrawler* scraper*只看有点评
E
EasySpider
NaiboWang·JavaScript

可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。

可视化爬虫+4
447780—
NaiboWang/EasySpider · 18.39
A
autoscraper
alirezamika·Python

给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。

网页抓取+3
80820—
alirezamika/autoscraper · 17.63
I
InfoSpider
kangvcar·Python

一站式爬虫工具箱,能自动抓取并导出 GitHub、邮箱、电商、运营商、社交平台等几十个网站的个人数据,帮用户把散落各处的数据拿回自己手里。

数据导出+4
82700—
kangvcar/InfoSpider · 17.6
P
ProxyPool
Python3WebSpider·Python

用 Flask + Redis 搭建的代理池,自动从多个来源抓取免费代理并持续检测可用性,通过 HTTP 接口给爬虫提供稳定可用的代理 IP。

代理池+4
62600—
Python3WebSpider/ProxyPool · 17.34
J
JMComic-Crawler-Python
hect0x7·Python

提供 Python API 访问禁漫天堂,支持网页端和移动端,可配合 GitHub Actions 自动下载漫画。

漫画下载器+4
79860—
hect0x7/JMComic-Crawler-Python · 15.89
L
linkedin_scraper
joeyism·Python

用 Python 抓取 LinkedIn 用户和公司公开数据的爬虫库,基于 Chrome/Firefox 驱动模拟浏览,适合做招聘信息或人脉数据采集。

LinkedIn 爬虫+4
46680—
joeyism/linkedin_scraper · 13.85
U
UltimaScraper
UltimaHoarder·TypeScript

用 TypeScript 编写的数据抓取工具,目前主要面向成人内容平台,能定期抓取并归档 OnlyFans 等站点的媒体数据。

数据抓取+4
42970—
UltimaHoarder/UltimaScraper · 13.39
G
google-play-scraper
facundoolano·JavaScript

用 Node.js 抓取 Google Play 应用详情、评论、搜索结果的爬虫库,省去自己解析页面和接口的麻烦。

应用商店爬虫+3
30010—
facundoolano/google-play-scraper · 13.33
S
scrapyrt
scrapinghub·Python

把 Scrapy 爬虫包装成 HTTP API,让其他语言或服务能远程触发爬虫并实时拿到抓取结果,省去自己搭调度和传输层。

爬虫服务+4
8850—
scrapinghub/scrapyrt · 12.88
C
crawler
fredwu·Elixir

用 Elixir 写的高性能网页爬虫和抓取引擎,适合需要并发抓取并保存页面文件的场景。

网页爬虫+4
9620—
fredwu/crawler · 12.75
N
node-website-scraper
website-scraper·JavaScript

把整个网站连同 CSS、图片、JS 等资源一起下载到本地目录,方便离线浏览或做站点备份。

网站镜像+4
17690—
website-scraper/node-website-scraper · 12.58
S
scrapfly-scrapers
scrapfly·Python

一套面向 40 多个热门网站的 Python 爬虫脚本合集,内置代理和反爬绕过能力,省去从零处理验证码与封禁的麻烦。

网页爬虫+4
11260—
scrapfly/scrapfly-scrapers · 12.57
C
CF-Clearance-Scraper
Xewdy444·Python

自动获取被 Cloudflare 挑战拦截的网站所下发的 cf_clearance Cookie,方便爬虫绕过验证继续访问。

Cloudflare绕过+4
5120—
Xewdy444/CF-Clearance-Scraper · 12.45
R
reddit-universal-scraper
ksanjeev284·Python

一个通用的 Reddit 爬虫,能抓取任意子版块或用户的内容,适合做数据采集和舆情分析。

Reddit 爬虫+4
6140—
ksanjeev284/reddit-universal-scraper · 12.43
S
scrapy
scrapy·Python

Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。

网页抓取+4
653210—
scrapy/scrapy · 12.42
G
google-play-scraper
oxylabs·Python

抓取 Google Play 上应用、游戏、影视和图书的公开信息,比如评分、评论和详情,省去自己解析页面。

应用商店爬虫+4
17530—
oxylabs/google-play-scraper · 12.39
B
boss-zhipin-scraper
eatmoreduck·Python

基于 Chrome CDP 复用真实登录态抓取 BOSS 直聘职位数据,能绕过字体反爬,直接输出明文薪资的 JSON/CSV 并做薪资技能分析。

BOSS直聘爬虫+4
17420—
eatmoreduck/boss-zhipin-scraper · 12.05
G
googlemaps-scraper
gaspa93·Python

用 Python 抓取 Google Maps 上商户的评论数据,适合做口碑分析和竞品调研时批量采集评论。

谷歌地图+4
5340—
gaspa93/googlemaps-scraper · 12.02
P
proxy_pool
jhao104·Python

Python 写的代理池服务,自动抓取、校验并维护可用代理,通过 Redis 存储,给爬虫提供稳定的 HTTP 代理来源。

代理池+4
237860—
jhao104/proxy_pool · 11.96
T
TelegramScraper
AbirHasan2005

从 Telegram 群组批量抓取成员(包括隐藏成员),并可直接把抓到的用户添加到自己的群组里。

Telegram+4
7220—
AbirHasan2005/TelegramScraper · 11.95
C
CyberScraper-2077
itsOwen·Python

用 LLM 驱动的网页抓取工具,支持 OpenAI、Gemini 和 Ollama,能按自然语言指令从网页中提取结构化数据,省去手写解析规则。

网页抓取+3
33000—
itsOwen/CyberScraper-2077 · 11.83
P
PHPScraper
spekulatius·PHP

PHP 版网页抓取工具,提供类似 BeautifulSoup 的简洁 API,可解析 HTML、提取页面数据,并支持无头浏览器渲染动态页面。

网页抓取+4
5880—
spekulatius/PHPScraper · 11.74
F
firecrawl
firecrawl·TypeScript

把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。

网页抓取+4
2006240—
firecrawl/firecrawl · 11.71
M
markdown-crawler
paulpierre·Python

多线程网页爬虫,递归抓取整站并把每个页面转成 Markdown 文件,为 LLM RAG 准备干净的语料。

网页爬虫+4
4800—
paulpierre/markdown-crawler · 11.63
M
metascraper
microlinkhq·HTML

从任意 URL 抓取网页元数据,自动解析 Open Graph、JSON-LD 和 HTML meta 标签,并带智能兜底,适合做链接预览和内容摘要。

元数据抓取+4
27540—
microlinkhq/metascraper · 11.63
S
Scrapling
D4Vinci·Python

Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。

网页抓取+4
1012580—
D4Vinci/Scrapling · 11.38
S
scala-scraper
ruippeixotog·Scala

用 Scala 写网页抓取时,它提供一套简洁的 DSL 来解析 HTML、提取内容,省去手写解析逻辑的麻烦。

网页抓取+3
7310—
ruippeixotog/scala-scraper · 11.32
R
rod
go-rod·Go

用 Go 写的 Chrome DevTools Protocol 驱动,直接操控浏览器做网页自动化和爬虫,省去手动管理浏览器进程的麻烦。

浏览器自动化+4
71500—
go-rod/rod · 11.21
T
twitter-scraper
the-convocation·TypeScript

把 n0madic 的 Twitter 抓取库移植到 Node.js,无需官方 API 就能抓取推文、用户资料和搜索结果。

推文抓取+3
6410—
the-convocation/twitter-scraper · 11.06
W
work_crawler
kanasimi·JavaScript

支持腾讯漫画、动漫之家、webtoons、pixivコミック等几十个中日漫画小说站点,可批量抓取章节并打包成 epub 电子书。

漫画下载+4
43660—
kanasimi/work_crawler · 11.04
C
cheerio
cheeriojs·TypeScript

用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。

HTML解析+4
305380—
cheeriojs/cheerio · 10.98
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255890—
gocolly/colly · 10.93
A
apify-mcp-server
apify·TypeScript

把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。

MCP 服务+4
156640—
apify/apify-mcp-server · 10.89
S
Scrapegraph-ai
ScrapeGraphAI·Python

用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。

智能爬虫+4
327080—
ScrapeGraphAI/Scrapegraph-ai · 10.82
G
gallery-dl
mikf·Python

命令行图片批量下载器,支持 Pixiv、Twitter、DeviantArt、Danbooru 等几十个图站,一条命令就能把画师主页或标签下的图集整批抓下来。

图片下载+4
204660—
mikf/gallery-dl · 10.73
C
crawlee
apify·TypeScript

Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。

网页抓取+4
264150—
apify/crawlee · 10.65
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96620—
apify/crawlee-python · 10.64
N
newspaper
codelucas·Python

用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据,省去自己写解析规则,适合做新闻聚合和内容抓取。

新闻抽取+4
151850—
codelucas/newspaper · 10.62
F
FlareSolverr
FlareSolverr·Python

一个基于 Chromium 的代理服务器,自动处理 Cloudflare 的浏览器验证,让爬虫和自动化脚本能顺利访问被防护的网站。

反爬绕过+4
161890—
FlareSolverr/FlareSolverr · 10.58
C
crawl4ai
unclecode·Python

面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。

网页抓取+4
871970—
unclecode/crawl4ai · 10.47

发布说明里提到「爬虫」

来自 6 个版本
  • XiaochangXu/AVBoxv1.3.72026-11-08

    - 爬虫 jar 缓存迁到 cacheDir,清除缓存可释放 - py 缓存改写到用户数据目录,避免应用装到 Program Files 时源无法启动

  • WenyuChiou/awesome-agentic-ai-zhv2026.10.292026-10-29

    … 简体中文 - maintenance 复查上版 11 个无法验证的链接,区分可读页面、登录入口与反爬虫阻挡,未发现确定失效。三语改用 Arena 当前路径及 DeepLearning.AI 课程 canonical URL;不把受阻链接改列成功,也不放宽扫描基线。 [來源 1](https://github.com/WenyuChiou

  • shuaiplus/inkstonev0.7.02026-08-31

    …or 实例;加载过程使用稳定骨架;文件夹和笔记操作也增加了更清晰的动效反馈。同时调整了文本颜色令牌、爬虫规则,并更新 WebAssembly 支持依赖。提交:[e4b0a18](https://github.com/shuaiplus/inkstone/commit/e4b0a18)、[09e6339](https://github.co

  • skygazer42/MimirQv0.8.02026-07-28

    …据库唯一约束、分布式锁和幂等回读;并发及多实例请求可复用同一赢家。 - Milvus 删除生命周期、爬虫 SSRF/DNS 重绑定防护和生产配置校验得到加固。 - 前端鉴权、本地缓存与 IndexedDB 按用户/租户作用域隔离,阻止切换作用域后的迟到写入。 - 检索配置保留部署指定的本地 reranker,避免默认 profile 意外

  • u14app/deep-researchv0.8.22025-05-05

    …库: 信息收集结果和最终报告都支持添加到知识库。 知识库页面: 新增知识库页面,统一管理知识。 网页爬虫组件: 新增网页爬虫组件,方便抓取网页内容。 体验优化 & Bug 修复! 界面优化: 针对大屏幕尺寸进行了页面适配,优化了项目布局体验。优化了桌面浏览器上使用工具栏的体验。 滚动优化: 优化了研究历史和知识库的页面滚动体验。 历史记录

  • Johnserf-Seed/f2v0.0.1.72024-12-31

    …tiktok 直播间接口模型 - 添加 tiktok 基础直播间接口模型 - 为 douyin 弹幕爬虫添加代理参数 - 添加弹幕输出开关 - 添加了通知推送 Bark 应用 - 添加了代理验证功能 - 添加 douyin 直播间消息显示参数 - 添加 bark 通知配置 - 添加 douyin 本地 wss 客户端配置 - 添加 tik