OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「爬虫API」找到 24 个结果 · 15ms命中词:爬虫apicrawlerscraperscrapingspider只看有点评
A
apify-mcp-server
apify·TypeScript

把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。

MCP 服务+4
156640—
apify/apify-mcp-server · 20.41
C
crawlee
apify·TypeScript

Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。

网页抓取+4
264150—
apify/crawlee · 20.25
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96620—
apify/crawlee-python · 19.94
P
ProxyPool
Python3WebSpider·Python

用 Flask + Redis 搭建的代理池,自动从多个来源抓取免费代理并持续检测可用性,通过 HTTP 接口给爬虫提供稳定可用的代理 IP。

代理池+4
62600—
Python3WebSpider/ProxyPool · 19.71
J
JMComic-Crawler-Python
hect0x7·Python

提供 Python API 访问禁漫天堂,支持网页端和移动端,可配合 GitHub Actions 自动下载漫画。

漫画下载器+4
79860—
hect0x7/JMComic-Crawler-Python · 19.14
D
Douyin_TikTok_Download_API
Evil0ctal·Python

自托管的抖音、TikTok、B站数据采集与无水印视频下载 API,提供异步 REST 接口、MCP 服务、CLI 和网页控制台,支持离线语音转文字,Docker 一键部署。

视频下载+4
213370—
Evil0ctal/Douyin_TikTok_Download_API · 19.11
F
firecrawl
firecrawl·TypeScript

把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。

网页抓取+4
2006240—
firecrawl/firecrawl · 13.32
P
proxy_pool
jhao104·Python

Python 写的代理池服务,自动抓取、校验并维护可用代理,通过 Redis 存储,给爬虫提供稳定的 HTTP 代理来源。

代理池+4
237860—
jhao104/proxy_pool · 12.9
C
crawl4ai
unclecode·Python

面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。

网页抓取+4
871970—
unclecode/crawl4ai · 12.63
M
maxun
getmaxun·TypeScript

把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。

网页抓取+4
182020—
getmaxun/maxun · 12.46
F
FlareSolverr
FlareSolverr·Python

一个基于 Chromium 的代理服务器,自动处理 Cloudflare 的浏览器验证,让爬虫和自动化脚本能顺利访问被防护的网站。

反爬绕过+4
161890—
FlareSolverr/FlareSolverr · 12.46
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255890—
gocolly/colly · 12.4
P
playwright
microsoft·TypeScript

用一套 API 同时驱动 Chromium、Firefox 和 WebKit 的浏览器自动化与端到端测试框架,适合写跨浏览器测试和网页抓取脚本。

浏览器自动化+4
998110—
microsoft/playwright · 12.07
A
akshare
akfamily·Python

开箱即用的 Python 财经数据接口库,一行代码就能拉取股票、债券、期货、外汇和宏观经济等公开数据,省去到处爬数据、清洗数据的麻烦。

财经数据接口+4
232890—
akfamily/akshare · 11.97
A
Agent-Reach
Panniantong·Python

一条命令行就能让 AI 智能体读取和搜索 Twitter、Reddit、YouTube、GitHub、B站、小红书等平台内容,不用付任何 API 费用。

AI智能体+4
1109540—
Panniantong/Agent-Reach · 11.91
S
shannon
KeygraphHQ·TypeScript

Shannon 是一款 AI 渗透测试工具,能分析 Web 应用和 API 的源码、定位攻击面,并在上线前实际执行漏洞利用来验证风险。

渗透测试+4
516620—
KeygraphHQ/shannon · 11.64
T
TrendRadar
sansan0·Python

聚合多平台热点与 RSS 订阅,用 AI 做关键词筛选、翻译和简报分析,并通过微信、飞书、钉钉等渠道推送到手机,帮你摆脱信息过载。

舆情监控+4
635740—
sansan0/TrendRadar · 11.34
T
TikTokDownloader
JoeanAmier·JavaScript

抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。

抖音下载+4
174460—
JoeanAmier/TikTokDownloader · 11.13
X
XHS-Downloader
JoeanAmier·JavaScript

从小红书链接中提取作品信息并批量采集下载,支持 Docker 部署和 API 调用,方便做内容归档或数据分析。

小红书采集+4
132660—
JoeanAmier/XHS-Downloader · 11.04
R
reader
jina-ai·TypeScript

在任意网址前加上 https://r.jina.ai/ 前缀,就能把网页转成适合大模型读取的干净文本,省去自己写爬虫和清洗正文的麻烦。

网页解析+3
122510—
jina-ai/reader · 10.37
N
nopecha-extension
NopeCHALLC

浏览器端自动验证码破解插件,能识别并绕过 reCAPTCHA、Cloudflare Turnstile、Arkose 等主流验证码,配合 Selenium、Puppeteer、Playwright 做自动化抓取。

验证码破解+4
111010—
NopeCHALLC/nopecha-extension · 10.03
U
undetected-chromedriver
ultrafunkamsterdam·Python

定制版 Selenium Chromedriver,开箱即用,能绕过 CloudFlare、Distil、Imperva 等主流反爬和机器人检测系统,适合做浏览器自动化时被拦截的场景。

反爬绕过+4
128990—
ultrafunkamsterdam/undetected-chromedriver · 9.96
B
bbot
blacklanternsecurity·Python

递归式互联网扫描器,面向渗透测试和漏洞赏金场景,自动完成资产发现、攻击面管理与 OSINT 信息收集。

攻击面管理+4
110970—
blacklanternsecurity/bbot · 9.8
I
instaloader
instaloader·Python

用 Python 从 Instagram 批量下载图片、视频、配文和元数据,支持帖子、快照和用户主页,适合做数据采集和存档。

Instagram 下载+4
138520—
instaloader/instaloader · 9.74