OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「网页抓取」找到 71 个结果 · 16ms命中词:网页抓取只看有点评
F
firecrawl
firecrawl·TypeScript

把任意网页抓取并转成干净 Markdown 或结构化数据,直接喂给 LLM 和 AI Agent,省去自己写爬虫和清洗的麻烦。

网页抓取+4
2008450—
firecrawl/firecrawl · 11.66
P
playwright
microsoft·TypeScript

用一套 API 同时驱动 Chromium、Firefox 和 WebKit 的浏览器自动化与端到端测试框架,适合写跨浏览器测试和网页抓取脚本。

浏览器自动化+4
998700—
microsoft/playwright · 11.61
S
Scrapling
D4Vinci·Python

Python 网页抓取框架,从单次请求到大规模爬取都能处理,内置 Playwright 支持,还提供 MCP 服务方便接入 AI 工作流。

网页抓取+4
1015470—
D4Vinci/Scrapling · 11.45
S
scrapy
scrapy·Python

Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。

网页抓取+4
653260—
scrapy/scrapy · 11.37
C
crawl4ai
unclecode·Python

面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。

网页抓取+4
872260—
unclecode/crawl4ai · 11.34
P
playwright-mcp
microsoft·TypeScript

把 Playwright 浏览器自动化能力封装成 MCP 服务器,让 AI Agent 通过结构化接口操控网页、抓取页面内容,无需依赖截图识别。

浏览器自动化+4
395030—
microsoft/playwright-mcp · 11.12
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255900—
gocolly/colly · 11.03
O
obscura
h4ckf0r0day·Rust

用 Rust 写的无头浏览器,专为 AI Agent 和网页抓取设计,自带反检测能力,能绕过网站对自动化浏览器的识别。

无头浏览器+4
327320—
h4ckf0r0day/obscura · 10.93
B
browser
lightpanda-io·Zig

用 Zig 从零编写的无头浏览器,专为 AI 和自动化场景设计,兼容 CDP 协议,可替代 Playwright、Puppeteer 驱动网页抓取与 Agent 任务。

无头浏览器+4
418910—
lightpanda-io/browser · 10.89
S
Scrapegraph-ai
ScrapeGraphAI·Python

用大语言模型驱动的 Python 爬虫,只需描述想抓什么,就能自动完成网页抓取和结构化数据提取,省去手写解析规则。

智能爬虫+4
327200—
ScrapeGraphAI/Scrapegraph-ai · 10.88
C
crawlee
apify·TypeScript

Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。

网页抓取+4
264210—
apify/crawlee · 10.71
D
deep-research
dzhng·TypeScript

用搜索引擎、网页抓取和大模型做迭代式深度调研的 AI 研究助手,能自动细化研究方向并深入某个主题,代码实现极简,适合快速上手或二次开发。

深度研究+4
198910—
dzhng/deep-research · 10.54
L
llm-scraper
mishushakov·TypeScript

用大模型把任意网页抓取并转成结构化数据,底层靠 Playwright/Puppeteer 驱动浏览器,适合做网页信息抽取和自动化采集。

网页抓取+4
69560—
mishushakov/llm-scraper · 10.35
P
pinchtab
pinchtab·Go

用 Go 写的高性能浏览器自动化桥接与多实例编排器,支持反检测注入和实时面板,适合大规模网页抓取与浏览器 Agent 调度。

浏览器自动化+4
105760—
pinchtab/pinchtab · 10.34
P
pydoll
autoscrape-labs·HTML

基于 CDP 直接控制 Chromium 浏览器的自动化库,无需 WebDriver,能模拟真实用户交互并规避反爬检测,适合做网页抓取和自动化测试。

浏览器自动化+4
71380—
autoscrape-labs/pydoll · 10.15
F
firecrawl-mcp-server
firecrawl·JavaScript

Firecrawl 官方 MCP 服务器,让 AI Agent 通过 MCP 客户端搜索、抓取网页并提取正文,支持批量处理、爬取、站点地图和监控。

MCP 服务器+4
78010—
firecrawl/firecrawl-mcp-server · 10.05
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96660—
apify/crawlee-python · 9.99
A
Agent-Reach
Panniantong·Python

一条命令行就能让 AI 智能体读取和搜索 Twitter、Reddit、YouTube、GitHub、B站、小红书等平台内容,不用付任何 API 费用。

AI智能体+4
1110740—
Panniantong/Agent-Reach · 9.82
C
cheerio
cheeriojs·TypeScript

用 jQuery 风格的语法在服务端解析和操作 HTML/XML,写爬虫时提取页面数据比正则和原生 DOM 顺手得多。

HTML解析+4
305380—
cheeriojs/cheerio · 9.57
S
stagehand
browserbase·TypeScript

用 TypeScript 写的浏览器 Agent SDK,让 AI 能操作网页、抓取任意站点数据,支持 Playwright、CDP 和云端浏览器。

浏览器自动化+4
260040—
browserbase/stagehand · 9.38
O
Obtainium
ImranR98·Dart

直接从 GitHub、GitLab 等发布源获取 Android 应用更新,绕过应用商店,适合追踪开源 APK 的最新版本。

APK更新+4
214510—
ImranR98/Obtainium · 9.35
G
gpt-researcher
assafelovic·Python

一个能自主完成深度调研的智能体,可接入任意 LLM 提供商,自动搜索、抓取网页并汇总成研究报告。

深度调研+4
306290—
assafelovic/gpt-researcher · 9.3
M
moli
lexmount·Rust

用 Rust 打造的无头浏览器,主打轻量、快速、高兼容,专为 AI Agent 的网页操作与自动化任务设计。

无头浏览器+4
233960—
lexmount/moli · 9.3
S
skyvern
Skyvern-AI·Python

用大模型驱动浏览器自动完成网页操作流程,无需写死选择器,适合抓取、填表等重复性网页任务。

浏览器自动化+4
233860—
Skyvern-AI/skyvern · 9.16
A
apify-mcp-server
apify·TypeScript

把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。

MCP 服务+4
157370—
apify/apify-mcp-server · 9
A
autoscraper
alirezamika·Python

给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。

网页抓取+3
80840—
alirezamika/autoscraper · 8.95
M
maxun
getmaxun·TypeScript

把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。

网页抓取+4
182120—
getmaxun/maxun · 8.94
D
deep-searcher
zilliztech·Python

用 Python 写的开源深度研究工具,能对私有数据做推理式检索,替代闭源深度研究方案,支持接入 Milvus 和多种大模型。

深度研究+4
83890—
zilliztech/deep-searcher · 8.82
S
scrape-it
IonicaBizau·JavaScript

一个面向人类的 Node.js 网页抓取库,用简洁的链式配置从 HTML 中提取结构化数据,省去手写选择器解析的麻烦。

网页抓取+4
40700—
IonicaBizau/scrape-it · 8.68
G
google-images-download
hardikvasa·Python

一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。

图片爬虫+4
87060—
hardikvasa/google-images-download · 8.67
C
CyberScraper-2077
itsOwen·Python

用 LLM 驱动的网页抓取工具,支持 OpenAI、Gemini 和 Ollama,能按自然语言指令从网页中提取结构化数据,省去手写解析规则。

网页抓取+3
33000—
itsOwen/CyberScraper-2077 · 8.6
S
steel-browser
steel-dev·TypeScript

开箱即用的浏览器沙箱 API,让 AI Agent 和应用直接调用无头浏览器完成网页自动化,省去自建基础设施的麻烦。

浏览器自动化+4
79470—
steel-dev/steel-browser · 8.53
T
trafilatura
adbar·Python

从网页抓取正文和元数据的 Python 库与命令行工具,支持爬取、解析并导出为 CSV、JSON、Markdown 等格式,适合构建语料库和 RAG 数据。

网页正文提取+4
71210—
adbar/trafilatura · 8.51
A
anakin
Anakin-Inc·Go

自托管的网页抓取 API,能把任意网站转成干净的 Markdown 或结构化 JSON,自带反检测浏览器和代理自动选择,一条 make up 命令即可启动。

网页抓取+4
38630—
Anakin-Inc/anakin · 8.43
S
selectolax
rushter·Python

基于 Modest 和 Lexbor 引擎的 Python HTML5 解析库,解析速度快,支持 CSS 选择器,适合网页抓取时高效提取页面数据。

HTML解析+4
17140—
rushter/selectolax · 8.38
I
invisible_playwright
feder-cr·Python

基于 Playwright 的隐身无头 Firefox,保持原有 API 不变,通过伪造指纹绕过 Cloudflare、Akamai 等反爬检测,避免触发验证码,适合网页抓取和浏览器自动化。

反检测浏览器+4
25690—
feder-cr/invisible_playwright · 8.2
Z
zendriver
cdpdriver·Python

基于 Chrome DevTools 协议的异步网页抓取与自动化框架,能绕过 Cloudflare 等反爬检测,适合需要隐蔽采集的场景。

网页抓取+4
14730—
cdpdriver/zendriver · 8.13
P
percollate
danburzo·JavaScript

把网页抓取下来,转成排版干净的 PDF、EPUB、HTML 或 Markdown 文档,适合离线阅读和归档。

网页转PDF+4
46960—
danburzo/percollate · 8.12
S
scala-scraper
ruippeixotog·Scala

用 Scala 写网页抓取时,它提供一套简洁的 DSL 来解析 HTML、提取内容,省去手写解析逻辑的麻烦。

网页抓取+3
7310—
ruippeixotog/scala-scraper · 8.1
J
jvppeteer
fanyong920·Java

用 Java 调用 Chrome 和 Firefox 无头浏览器的 API,方便做网页抓取和自动化操作,省去自己封装浏览器协议。

无头浏览器+4
8040—
fanyong920/jvppeteer · 8.08

发布说明里提到「网页抓取」

来自 2 个版本
  • HKUDS/DeepCodev2.3.12026-10-12

    …。 - 社区修复。 含 Unicode 行分隔符或换页符的行在 diff 里不再被拆开( 253);网页抓取会拒绝经 NAT64 或 IPv4 兼容 IPv6 地址访问内网( 254);危险命令筛查也能识别 /bin/rm -rf / 这类绝对路径写法( 255);项目放在名为 build 或 venv 的目录下时, glob 也能找到文

  • jeecgboot/JeecgBootv3.9.52026-08-27

    …不通过的问题,保障 AI 应用正常调用业务工具。 - 优化 AI 应用知识库、记忆库、MCP 搜索、网页抓取及模型异常提示。 - 优化 AI 会话与流程运行稳定性,修复会话闲置后首次提问卡顿、停止输出报错、子流程参数及结果传递异常、MCP 调用后无法继续对话等问题。 - AI Flow 新增当前登录用户信息节点,知识库写入节点支持文件写入