OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「批量抓取」找到 17 个结果 · 18ms命中词:批量抓取只看有点评
T
TikTokDownloader
JoeanAmier·JavaScript

抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。

抖音下载+4
174520—
JoeanAmier/TikTokDownloader · 11.25
C
crawl4ai
unclecode·Python

面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。

网页抓取+4
872260—
unclecode/crawl4ai · 10.35
A
agno
agno-agi·Python

用 Python 搭建自主 AI Agent 的平台,把多智能体编排、工具调用和任务执行打包成开箱即用的组件,省去从零搭框架的麻烦。

Agent 框架+3
431500—
agno-agi/agno · 10.22
C
cobalt
imputnet·Svelte

一个开源的社交媒体下载器,支持从 Instagram、TikTok、Twitter、Reddit、SoundCloud 等平台保存视频和音乐,界面清爽、无需广告。

社交媒体下载+4
460830—
imputnet/cobalt · 10.18
B
browser
lightpanda-io·Zig

用 Zig 从零编写的无头浏览器,专为 AI 和自动化场景设计,兼容 CDP 协议,可替代 Playwright、Puppeteer 驱动网页抓取与 Agent 任务。

无头浏览器+4
418910—
lightpanda-io/browser · 9.9
O
OpenCLI
jackwener·JavaScript

把任意网站变成命令行工具,让 AI Agent 复用你已登录的浏览器会话执行网页操作,省去重复登录和手动点击。

浏览器自动化+4
310220—
jackwener/OpenCLI · 9.9
E
EasySpider
NaiboWang·JavaScript

可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。

可视化爬虫+4
447820—
NaiboWang/EasySpider · 9.6
H
hive
aden-hive·Python

面向生产环境的多智能体编排框架,把 Claude、OpenAI 等模型和 Agent 技能统一管理起来,支持人工介入,让自主智能体真正能上线跑业务。

多智能体+4
111530—
aden-hive/hive · 9.41
X
xdm
subhra74·Kotlin

一款老牌下载加速器,支持多线程分段下载和 HLS 流媒体视频抓取,可配合 Chrome、Firefox 浏览器扩展接管网页下载任务。

下载加速器+4
84230—
subhra74/xdm · 9.27
P
pydoll
autoscrape-labs·HTML

基于 CDP 直接控制 Chromium 浏览器的自动化库,无需 WebDriver,能模拟真实用户交互并规避反爬检测,适合做网页抓取和自动化测试。

浏览器自动化+4
71380—
autoscrape-labs/pydoll · 9.26
G
google-images-download
hardikvasa·Python

一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。

图片爬虫+4
87060—
hardikvasa/google-images-download · 9.23
X
xberg
xberg-io·Rust

多语言文档智能解析引擎,能从 100 多种格式中提取文本、表格和元数据,并支持 OCR、语音转写和代码理解,适合为 RAG 流程准备高质量数据。

文档解析+4
95770—
xberg-io/xberg · 9.15
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96660—
apify/crawlee-python · 9.01
P
PixivBatchDownloader
xuejianxianzun·TypeScript

浏览器扩展,用来批量下载 Pixiv 上的插画和小说,支持按条件过滤作品、下载时自动重命名、把动图转成其他格式,省去一张张手动保存的麻烦。

Pixiv下载+4
57800—
xuejianxianzun/PixivBatchDownloader · 8.99
M
musicdl
CharlesPikachu·Python

纯 Python 写的轻量级音乐下载器,覆盖网易云、QQ音乐、酷狗、B站、YouTube、Spotify 等数十个音乐和有声书平台,一条命令就能批量抓取歌曲。

音乐下载器+4
69520—
CharlesPikachu/musicdl · 8.98
W
wigolo
KnockOutEZ·TypeScript

给 AI 编程助手用的本地优先网页检索工具,通过 MCP 提供搜索、抓取、爬取和调研能力,无需 API key 和云端,每次查询零成本。

MCP 服务+4
55390—
KnockOutEZ/wigolo · 8.95
C
CVPR2026-Papers-with-Code
amusi

汇总 CVPR 2026 录用论文及其配套开源代码,方便计算机视觉研究者快速找到带实现的新工作并跟进复现。

计算机视觉+4
229550—
amusi/CVPR2026-Papers-with-Code · 3.59

发布说明里提到「批量抓取」

来自 2 个版本
  • xuejianxianzun/PixivBatchDownloaderv19.6.02026-10-26

    …net/following/watchlist/novels 追更页面里都是系列作品。现在下载器可以批量抓取你追更的小说、漫画了。 ✨新增功能:抓取用户列表 在首页的“开始抓取”区域里新增了“抓取用户列表”按钮。你可以输入多个用户 ID,下载器会逐个抓取、下载这些用户的作品。 点击这个按钮可以查看详细说明。 ✨新增筛选设置:来自用户 ht

  • xuejianxianzun/PixivBatchDownloaderv19.5.02026-10-10

    …//www.pixiv.net/novel/marker all.php 现在下载器可以在这个页面里批量抓取了。 ✨支持在小说分类页面里抓取 小说分类页面: https://www.pixiv.net/genre/novel 这次适配之后,用户可以使用快速下载功能、手动选择作品、全选功能来下载里面的作品。 PS:因为该页面的每个分类里只有