OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「网页爬虫」找到 15 个结果 · 5ms命中词:网页爬虫crawlerscraperscrapingspider只看有点评
E
EasySpider
NaiboWang·JavaScript

可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。

可视化爬虫+4
447810—
NaiboWang/EasySpider · 18.95
C
crawler
fredwu·Elixir

用 Elixir 写的高性能网页爬虫和抓取引擎,适合需要并发抓取并保存页面文件的场景。

网页爬虫+4
9620—
fredwu/crawler · 14.36
M
markdown-crawler
paulpierre·Python

多线程网页爬虫,递归抓取整站并把每个页面转成 Markdown 文件,为 LLM RAG 准备干净的语料。

网页爬虫+4
4800—
paulpierre/markdown-crawler · 13.6
S
scrapfly-scrapers
scrapfly·Python

一套面向 40 多个热门网站的 Python 爬虫脚本合集,内置代理和反爬绕过能力,省去从零处理验证码与封禁的麻烦。

网页爬虫+4
11260—
scrapfly/scrapfly-scrapers · 12.94
N
newspaper
codelucas·Python

用 Python 3 从新闻网页里自动抽取正文、标题、作者等元数据,省去自己写解析规则,适合做新闻聚合和内容抓取。

新闻抽取+4
151850—
codelucas/newspaper · 10.33
R
rod
go-rod·Go

用 Go 写的 Chrome DevTools Protocol 驱动,直接操控浏览器做网页自动化和爬虫,省去手动管理浏览器进程的麻烦。

浏览器自动化+4
71500—
go-rod/rod · 9.96
T
trafilatura
adbar·Python

从网页抓取正文和元数据的 Python 库与命令行工具,支持爬取、解析并导出为 CSV、JSON、Markdown 等格式,适合构建语料库和 RAG 数据。

网页正文提取+4
71210—
adbar/trafilatura · 9.53
G
geziyor
geziyor·Go

Go 语言编写的高性能网页爬虫与抓取框架,支持 JS 渲染,适合快速搭建大规模采集任务。

网页爬虫+4
27830—
geziyor/geziyor · 9.42
W
wombat
felipecsl·Ruby

轻量级 Ruby 网页爬虫与抓取库,提供优雅的 DSL,用几行声明式代码就能从页面中提取结构化数据。

网页爬虫+4
13600—
felipecsl/wombat · 9.12
S
spidr
postmodern·Ruby

Ruby 编写的多功能网页爬虫库,可抓取单个站点、多个域名或指定链接,也能无限爬取,主打快速易用。

网页爬虫+3
8360—
postmodern/spidr · 8.81
C
crawly
elixir-crawly·Elixir

基于 Elixir 的高层网页爬取与抓取框架,用并发和容错能力帮你快速搭建爬虫、批量提取网页数据。

网页爬虫+4
11280—
elixir-crawly/crawly · 8.32
N
newspaper4k
AndyTheFactory·Python

从新闻网站批量抓取文章正文、标题和元数据的 Python 库,是 Newspaper3k 的维护分支,适合做新闻语料采集和数据集准备。

新闻抓取+4
11710—
AndyTheFactory/newspaper4k · 8.28
H
HomeHarvest
ZacharyHampton·Python

用 Python 抓取 Redfin、Realtor 等房产网站的挂牌数据,直接输出结构化表格,省去自己写爬虫和解析页面的麻烦。

房产数据抓取+4
7620—
ZacharyHampton/HomeHarvest · 8.08
U
user-agents
intoli·TypeScript

每天更新数据的 JavaScript 库,用来生成随机 User-Agent,方便爬虫和浏览器自动化时伪装请求头、降低被识别风险。

User-Agent+4
11950—
intoli/user-agents · 8.06
L
Lead-Generation
Madi-S·Python

用 Python 写的批量获客脚本,让没有编程基础的人也能大规模采集潜在客户线索,内置多种爬虫与解析技巧。

获客线索+4
6830—
Madi-S/Lead-Generation · 7.91

发布说明里提到「网页爬虫」

来自 1 个版本
  • u14app/deep-researchv0.8.22025-05-05

    …知识库: 信息收集结果和最终报告都支持添加到知识库。 知识库页面: 新增知识库页面,统一管理知识。 网页爬虫组件: 新增网页爬虫组件,方便抓取网页内容。 体验优化 & Bug 修复! 界面优化: 针对大屏幕尺寸进行了页面适配,优化了项目布局体验。优化了桌面浏览器上使用工具栏的体验。 滚动优化: 优化了研究历史和知识库的页面滚动体验。 历史