OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,739 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 08:02:50 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「爬虫API」找到 32 个结果 · 15ms命中词:爬虫apicrawlerscraperscrapingspider只看有点评
A
apify-mcp-server
apify·TypeScript

把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。

MCP 服务+4
156290—
apify/apify-mcp-server · 21.44
C
crawlee
apify·TypeScript

Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。

网页抓取+4
264120—
apify/crawlee · 21.35
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96600—
apify/crawlee-python · 15.82
G
google-play-scraper
facundoolano·JavaScript

用 Node.js 抓取 Google Play 应用详情、评论、搜索结果的爬虫库,省去自己解析页面和接口的麻烦。

应用商店爬虫+3
30010—
facundoolano/google-play-scraper · 15.68
P
ProxyPool
Python3WebSpider·Python

用 Flask + Redis 搭建的代理池,自动从多个来源抓取免费代理并持续检测可用性,通过 HTTP 接口给爬虫提供稳定可用的代理 IP。

代理池+4
62610—
Python3WebSpider/ProxyPool · 15.52
J
JMComic-Crawler-Python
hect0x7·Python

提供 Python API 访问禁漫天堂,支持网页端和移动端,可配合 GitHub Actions 自动下载漫画。

漫画下载器+4
79850—
hect0x7/JMComic-Crawler-Python · 15.24
S
scrapyrt
scrapinghub·Python

把 Scrapy 爬虫包装成 HTTP API,让其他语言或服务能远程触发爬虫并实时拿到抓取结果,省去自己搭调度和传输层。

爬虫服务+4
8850—
scrapinghub/scrapyrt · 15.02
G
google-play-scraper
oxylabs·Python

抓取 Google Play 上应用、游戏、影视和图书的公开信息,比如评分、评论和详情,省去自己解析页面。

应用商店爬虫+4
17530—
oxylabs/google-play-scraper · 14.87
C
CyberScraper-2077
itsOwen·Python

用 LLM 驱动的网页抓取工具,支持 OpenAI、Gemini 和 Ollama,能按自然语言指令从网页中提取结构化数据,省去手写解析规则。

网页抓取+3
33000—
itsOwen/CyberScraper-2077 · 14.69
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255890—
gocolly/colly · 13.83
P
playwright
microsoft·TypeScript

用一套 API 同时驱动 Chromium、Firefox 和 WebKit 的浏览器自动化与端到端测试框架,适合写跨浏览器测试和网页抓取脚本。

浏览器自动化+4
997960—
microsoft/playwright · 13.74
P
PHPScraper
spekulatius·PHP

PHP 版网页抓取工具,提供类似 BeautifulSoup 的简洁 API,可解析 HTML、提取页面数据,并支持无头浏览器渲染动态页面。

网页抓取+4
5880—
spekulatius/PHPScraper · 13.66
T
TwitterInternalAPIDocument
fa0311·Python

整理 Twitter 内部 GraphQL 接口的非官方文档,方便开发者查阅未公开的 API 端点与参数,用于数据抓取和逆向分析。

Twitter API+4
7250—
fa0311/TwitterInternalAPIDocument · 13.63
T
twitter-scraper
the-convocation·TypeScript

把 n0madic 的 Twitter 抓取库移植到 Node.js,无需官方 API 就能抓取推文、用户资料和搜索结果。

推文抓取+3
6410—
the-convocation/twitter-scraper · 13.58
F
FlareSolverr
FlareSolverr·Python

一个基于 Chromium 的代理服务器,自动处理 Cloudflare 的浏览器验证,让爬虫和自动化脚本能顺利访问被防护的网站。

反爬绕过+4
161890—
FlareSolverr/FlareSolverr · 13.45
C
crawl4ai
unclecode·Python

面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。

网页抓取+4
871920—
unclecode/crawl4ai · 13.12
T
twikit
d60·Python

无需 API Key 即可抓取 Twitter 数据的 Python 库,直接调用 Twitter 内部接口,支持发推、搜索、爬取用户信息,还能做机器人。

Twitter 爬虫+4
47680—
d60/twikit · 9.81
F
finviz
mariostoev·Python

非官方的 Finviz 数据接口,用 Python 抓取股票筛选器、图表和 CSV 数据,省去自己写爬虫解析网页的麻烦。

股票数据+3
13670—
mariostoev/finviz · 9.48
C
cariddi
edoardottt·Go

输入域名列表就能自动爬取 URL,扫描出接口、密钥、API key、文件扩展名和 token 等敏感信息,适合做渗透测试前期的信息收集。

信息收集+4
38090—
edoardottt/cariddi · 9.47
H
how-to-scrape-google-trends
oxylabs·Python

用 Python 配合 Oxylabs SERP API 抓取 Google Trends 数据,提取关键词热度、地区分布和相关查询,并做结果对比。

Google Trends+4
29140—
oxylabs/how-to-scrape-google-trends · 9.45
T
twscrape
vladkens·Python

用 Python 库和命令行抓取 X/Twitter 推文,支持多账号轮换和内置限流处理,解决大规模采集时账号被封或触发频率限制的问题。

推文抓取+4
29470—
vladkens/twscrape · 9.37
I
informer
paulpierre·Python

用 Python 写的 Telegram 监控机器人,能批量监听群组和频道消息,适合做舆情追踪或加密货币相关情报收集。

Telegram监控+4
16850—
paulpierre/informer · 9.34
H
how-to-scrape-google-jobs
oxylabs·Python

用 Python 配合 Oxylabs 的 Google Jobs Scraper API,同时按多个搜索词和地区抓取 Google 招聘信息,省去自己处理反爬和解析页面的麻烦。

网页抓取+4
17710—
oxylabs/how-to-scrape-google-jobs · 9.19
J
jvppeteer
fanyong920·Java

用 Java 调用 Chrome 和 Firefox 无头浏览器的 API,方便做网页抓取和自动化操作,省去自己封装浏览器协议。

无头浏览器+4
8040—
fanyong920/jvppeteer · 9.01
T
TikTok-Live-Connector
zerodytrash·TypeScript

非官方 Node.js 库,实时接收 TikTok 直播间的评论、礼物等事件,方便做直播互动机器人或数据采集。

TikTok直播+4
23000—
zerodytrash/TikTok-Live-Connector · 8.94
S
scrapetube
dermasmid·Python

用 Python 抓取 YouTube 频道、播放列表和搜索结果,绕开官方 API 限制获取视频数据。

YouTube 爬虫+4
5260—
dermasmid/scrapetube · 8.85
J
jikan
jikan-me·PHP

非官方 MyAnimeList PHP 库兼 REST API,能抓取官方接口不提供的番剧与漫画数据,方便开发者直接调用。

MyAnimeList+4
10910—
jikan-me/jikan · 8.77
X
x-tweet-fetcher
ythx-101·Python

无需登录或 API Key 就能抓取 X/Twitter 的推文、回复、时间线和长文,给 AI Agent 和自动化流程提供数据来源。

推文抓取+4
10030—
ythx-101/x-tweet-fetcher · 8.64
M
MailAccess
KatrielMoses·Python

输入邮箱即可在 5000+ 平台做 OSINT 排查,聚合身份线索并检测泄露记录,无需 API key,pip 装完就能用。

邮箱OSINT+4
17720—
KatrielMoses/MailAccess · 8.51
T
tvbox
niubihu1·JavaScript

TVBox 聚合接口配置源,提供 4K 秒播点播、2000+ 带 EPG 台标的直播频道和影音多仓精选,靠爬虫与每日巡检自动去死链保活。

TVBox接口+4
2210—
niubihu1/tvbox · 8.45
A
anipy-cli
sdaqo·Python

在终端里搜索、观看和下载动漫的命令行工具,基于 Python 抓取 Gogoanime 等站点资源,也可作为 API 调用。

动漫下载+4
5280—
sdaqo/anipy-cli · 8.27
Q
quick-start-guide
oxylabs

Oxylabs Web Scraper API 的 Python 快速上手指南,帮你用免费试用额度快速接入网页抓取接口,省去自己搭代理和反爬的麻烦。

网页抓取+4
5120—
oxylabs/quick-start-guide · 3.07