OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「爬虫工具箱」找到 12 个结果 · 8ms命中词:爬虫工具crawlerscraperscrapingspidercrawler* scraper*只看有点评
I
InfoSpider
kangvcar·Python

一站式爬虫工具箱,能自动抓取并导出 GitHub、邮箱、电商、运营商、社交平台等几十个网站的个人数据,帮用户把散落各处的数据拿回自己手里。

数据导出+4
82700—
kangvcar/InfoSpider · 17.08
E
EasySpider
NaiboWang·JavaScript

可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。

可视化爬虫+4
447820—
NaiboWang/EasySpider · 14.25
A
autoscraper
alirezamika·Python

给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。

网页抓取+3
80840—
alirezamika/autoscraper · 14.16
C
cheerio
cheeriojs·TypeScript

用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。

HTML解析+4
305380—
cheeriojs/cheerio · 10.95
P
playwright
microsoft·TypeScript

用一套 API 同时驱动 Chromium、Firefox 和 WebKit 的浏览器自动化与端到端测试框架,适合写跨浏览器测试和网页抓取脚本。

浏览器自动化+4
998700—
microsoft/playwright · 9.92
S
scrapy
scrapy·Python

Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。

网页抓取+4
653260—
scrapy/scrapy · 9.69
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255900—
gocolly/colly · 9.44
N
newspaper
codelucas·Python

用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据,省去自己写解析规则,适合做新闻聚合和内容抓取。

新闻抽取+4
151850—
codelucas/newspaper · 9.14
C
crawlee
apify·TypeScript

Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。

网页抓取+4
264210—
apify/crawlee · 9.04
R
rod
go-rod·Go

用 Go 写的 Chrome DevTools Protocol 驱动,直接操控浏览器做网页自动化和爬虫,省去手动管理浏览器进程的麻烦。

浏览器自动化+4
71500—
go-rod/rod · 8.82
B
browser-fingerprinting
niespodd·JavaScript

分析各类反爬与机器人检测系统(Akamai、PerimeterX、Arkose、AWS WAF 等)的识别原理,并给出绕过浏览器指纹脚本的可行对策,适合做网页采集时参考。

浏览器指纹+4
51620—
niespodd/browser-fingerprinting · 8.6
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96660—
apify/crawlee-python · 8.36

发布说明里提到「爬虫工具箱」

来自 1 个版本
  • kangvcar/InfoSpiderv1.02020-08-18

    …com/video/BV14f4y1R7oF/) INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。支持数据源包括 GitHub 、QQ 邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail 邮箱、Outlook 邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信