OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「批量抓取」找到 32 个结果 · 12ms命中词:批量抓取只看有点评
T
TikTokDownloader
JoeanAmier·JavaScript

抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。

抖音下载+4
174520—
JoeanAmier/TikTokDownloader · 11.25
C
crawl4ai
unclecode·Python

面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。

网页抓取+4
872080—
unclecode/crawl4ai · 10.35
A
agno
agno-agi·Python

用 Python 搭建自主 AI Agent 的平台,把多智能体编排、工具调用和任务执行打包成开箱即用的组件,省去从零搭框架的麻烦。

Agent 框架+3
431490—
agno-agi/agno · 10.22
C
cobalt
imputnet·Svelte

一个开源的社交媒体下载器,支持从 Instagram、TikTok、Twitter、Reddit、SoundCloud 等平台保存视频和音乐,界面清爽、无需广告。

社交媒体下载+4
459750—
imputnet/cobalt · 10.18
O
OpenCLI
jackwener·JavaScript

把任意网站变成命令行工具,让 AI Agent 复用你已登录的浏览器会话执行网页操作,省去重复登录和手动点击。

浏览器自动化+4
310200—
jackwener/OpenCLI · 9.9
B
browser
lightpanda-io·Zig

用 Zig 从零编写的无头浏览器,专为 AI 和自动化场景设计,兼容 CDP 协议,可替代 Playwright、Puppeteer 驱动网页抓取与 Agent 任务。

无头浏览器+4
418600—
lightpanda-io/browser · 9.9
E
EasySpider
NaiboWang·JavaScript

可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。

可视化爬虫+4
447810—
NaiboWang/EasySpider · 9.6
H
hive
aden-hive·Python

面向生产环境的多智能体编排框架,把 Claude、OpenAI 等模型和 Agent 技能统一管理起来,支持人工介入,让自主智能体真正能上线跑业务。

多智能体+4
111520—
aden-hive/hive · 9.41
X
xdm
subhra74·Kotlin

一款老牌下载加速器,支持多线程分段下载和 HLS 流媒体视频抓取,可配合 Chrome、Firefox 浏览器扩展接管网页下载任务。

下载加速器+4
84190—
subhra74/xdm · 9.27
P
pydoll
autoscrape-labs·HTML

基于 CDP 直接控制 Chromium 浏览器的自动化库,无需 WebDriver,能模拟真实用户交互并规避反爬检测,适合做网页抓取和自动化测试。

浏览器自动化+4
71380—
autoscrape-labs/pydoll · 9.26
G
google-images-download
hardikvasa·Python

一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。

图片爬虫+4
87070—
hardikvasa/google-images-download · 9.23
X
xberg
xberg-io·Rust

多语言文档智能解析引擎,能从 100 多种格式中提取文本、表格和元数据,并支持 OCR、语音转写和代码理解,适合为 RAG 流程准备高质量数据。

文档解析+4
95760—
xberg-io/xberg · 9.15
C
crawlee-python
apify·Python

Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。

网页抓取+4
96640—
apify/crawlee-python · 9
P
PixivBatchDownloader
xuejianxianzun·TypeScript

浏览器扩展,用来批量下载 Pixiv 上的插画和小说,支持按条件过滤作品、下载时自动重命名、把动图转成其他格式,省去一张张手动保存的麻烦。

Pixiv下载+4
57790—
xuejianxianzun/PixivBatchDownloader · 8.99
M
musicdl
CharlesPikachu·Python

纯 Python 写的轻量级音乐下载器,覆盖网易云、QQ音乐、酷狗、B站、YouTube、Spotify 等数十个音乐和有声书平台,一条命令就能批量抓取歌曲。

音乐下载器+4
69470—
CharlesPikachu/musicdl · 8.98
W
wigolo
KnockOutEZ·TypeScript

给 AI 编程助手用的本地优先网页检索工具,通过 MCP 提供搜索、抓取、爬取和调研能力,无需 API key 和云端,每次查询零成本。

MCP 服务+4
55360—
KnockOutEZ/wigolo · 8.95
S
SCrawler
AAndyProgram·Visual Basic .NET

从 Twitter、Reddit、Instagram、OnlyFans、YouTube 等几十个站点批量抓取并下载图片和视频,适合需要集中收藏媒体内容的场景。

媒体下载+4
22500—
AAndyProgram/SCrawler · 8.78
G
gowitness
sensepost·Go

用 Go 写的网页截图工具,调用无头 Chrome 批量抓取网站页面截图,并生成报告,方便做资产测绘和技术指纹识别。

网页截图+4
45600—
sensepost/gowitness · 8.53
E
epg
iptv-org·HTML

批量抓取数百个节目源、数千个电视频道的 EPG 电子节目单,输出标准 XMLTV 格式,方便自建 IPTV 节目表。

电子节目单+4
34950—
iptv-org/epg · 8.53
F
f2
Johnserf-Seed·Python

支持抖音、TikTok、B站、微博、Twitter 等多平台的高速下载器,用 Python 写成,适合批量抓取视频和图文内容。

多平台下载+4
27330—
Johnserf-Seed/f2 · 8.41
B
bulk-downloader-for-reddit
Serene-Arc·Python

批量抓取并归档 Reddit 帖子内容,自动下载图片、视频及 Imgur、Gfycat 等外链媒体,适合备份收藏或做数据集。

Reddit 归档+3
26250—
Serene-Arc/bulk-downloader-for-reddit · 8.34
D
downthemall
downthemall·TypeScript

Firefox 浏览器上的批量下载管理器扩展,支持多线程加速、断点续传和按规则批量抓取页面链接,适合一次性下载大量文件。

下载管理器+4
11350—
downthemall/downthemall · 8.02
N
newspaper4k
AndyTheFactory·Python

从新闻网站批量抓取文章正文、标题和元数据的 Python 库,是 Newspaper3k 的维护分支,适合做新闻语料采集和数据集准备。

新闻抓取+4
11710—
AndyTheFactory/newspaper4k · 7.92
W
work_crawler
kanasimi·JavaScript

支持腾讯漫画、动漫之家、webtoons、pixivコミック等几十个中日漫画小说站点,可批量抓取章节并打包成 epub 电子书。

漫画下载+4
43660—
kanasimi/work_crawler · 7.91
M
mangadex-downloader
mansuf·Python

用 Python 写的 MangaDex 漫画下载命令行工具,支持按章节批量抓取并保存到本地,省去手动逐页保存的麻烦。

漫画下载+4
9390—
mansuf/mangadex-downloader · 7.86
H
HDoujinDownloader
HDoujinDownloader·Lua

用 Lua 编写的通用同人志与图库下载器,支持 ExHentai 等站点批量抓取和下载管理,适合整理漫画收藏。

同人志下载+4
8570—
HDoujinDownloader/HDoujinDownloader · 7.84
U
URS
JosephLai241·Python

一条命令就能把 Reddit 的帖子、评论和用户数据批量抓取下来,导出成 CSV 或 JSON,方便做数据分析和存档。

Reddit 爬虫+4
10450—
JosephLai241/URS · 7.8
Y
ytptube
arabcoders·Python

基于 yt-dlp 的自托管媒体下载管理器,提供并发下载、自动化接口和媒体库整理,适合批量抓取 YouTube 等站点视频。

下载管理器+4
10640—
arabcoders/ytptube · 7.78
M
Moodle-DL
C0D3D3V·Python

从 Moodle 教学平台批量抓取并下载课程资料(讲义 PDF 等),支持同步更新,省去逐页手动点击的麻烦。

Moodle+4
6650—
C0D3D3V/Moodle-DL · 7.71
T
TelegramScraper
AbirHasan2005

从 Telegram 群组批量抓取成员(包括隐藏成员),并可直接把抓到的用户添加到自己的群组里。

Telegram+4
7220—
AbirHasan2005/TelegramScraper · 7.69
T
Telegram-Members-Adder
saifalisew1508·Python

用 Python 脚本在 Termux 环境下批量抓取 Telegram 群组成员并自动添加,适合在手机上做社群拉新和成员采集。

Telegram+4
7120—
saifalisew1508/Telegram-Members-Adder · 7.54
C
CVPR2026-Papers-with-Code
amusi

汇总 CVPR 2026 录用论文及其配套开源代码,方便计算机视觉研究者快速找到带实现的新工作并跟进复现。

计算机视觉+4
229550—
amusi/CVPR2026-Papers-with-Code · 3.59

发布说明里提到「批量抓取」

来自 2 个版本
  • xuejianxianzun/PixivBatchDownloaderv19.6.02026-10-26

    …net/following/watchlist/novels 追更页面里都是系列作品。现在下载器可以批量抓取你追更的小说、漫画了。 ✨新增功能:抓取用户列表 在首页的“开始抓取”区域里新增了“抓取用户列表”按钮。你可以输入多个用户 ID,下载器会逐个抓取、下载这些用户的作品。 点击这个按钮可以查看详细说明。 ✨新增筛选设置:来自用户 ht

  • xuejianxianzun/PixivBatchDownloaderv19.5.02026-10-10

    …//www.pixiv.net/novel/marker all.php 现在下载器可以在这个页面里批量抓取了。 ✨支持在小说分类页面里抓取 小说分类页面: https://www.pixiv.net/genre/novel 这次适配之后,用户可以使用快速下载功能、手动选择作品、全选功能来下载里面的作品。 PS:因为该页面的每个分类里只有