抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。
面向 AI 智能体的网页抓取与数据提取爬虫,把网页转成干净的 Markdown 喂给 LLM 和 RAG 流程,支持自托管。
用 Python 搭建自主 AI Agent 的平台,把多智能体编排、工具调用和任务执行打包成开箱即用的组件,省去从零搭框架的麻烦。
一个开源的社交媒体下载器,支持从 Instagram、TikTok、Twitter、Reddit、SoundCloud 等平台保存视频和音乐,界面清爽、无需广告。
把任意网站变成命令行工具,让 AI Agent 复用你已登录的浏览器会话执行网页操作,省去重复登录和手动点击。
用 Zig 从零编写的无头浏览器,专为 AI 和自动化场景设计,兼容 CDP 协议,可替代 Playwright、Puppeteer 驱动网页抓取与 Agent 任务。
可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。
面向生产环境的多智能体编排框架,把 Claude、OpenAI 等模型和 Agent 技能统一管理起来,支持人工介入,让自主智能体真正能上线跑业务。
一款老牌下载加速器,支持多线程分段下载和 HLS 流媒体视频抓取,可配合 Chrome、Firefox 浏览器扩展接管网页下载任务。
基于 CDP 直接控制 Chromium 浏览器的自动化库,无需 WebDriver,能模拟真实用户交互并规避反爬检测,适合做网页抓取和自动化测试。
一条命令就能从 Google 图片批量抓取几百张图片,支持按颜色、尺寸等条件筛选,适合快速搭建图像数据集。
多语言文档智能解析引擎,能从 100 多种格式中提取文本、表格和元数据,并支持 OCR、语音转写和代码理解,适合为 RAG 流程准备高质量数据。
Python 网页抓取与浏览器自动化库,支持 Playwright、BeautifulSoup 和原始 HTTP,自带代理轮换,方便为 AI、LLM、RAG 稳定采集网页数据。
浏览器扩展,用来批量下载 Pixiv 上的插画和小说,支持按条件过滤作品、下载时自动重命名、把动图转成其他格式,省去一张张手动保存的麻烦。
纯 Python 写的轻量级音乐下载器,覆盖网易云、QQ音乐、酷狗、B站、YouTube、Spotify 等数十个音乐和有声书平台,一条命令就能批量抓取歌曲。
给 AI 编程助手用的本地优先网页检索工具,通过 MCP 提供搜索、抓取、爬取和调研能力,无需 API key 和云端,每次查询零成本。
从 Twitter、Reddit、Instagram、OnlyFans、YouTube 等几十个站点批量抓取并下载图片和视频,适合需要集中收藏媒体内容的场景。
用 Go 写的网页截图工具,调用无头 Chrome 批量抓取网站页面截图,并生成报告,方便做资产测绘和技术指纹识别。
批量抓取数百个节目源、数千个电视频道的 EPG 电子节目单,输出标准 XMLTV 格式,方便自建 IPTV 节目表。
支持抖音、TikTok、B站、微博、Twitter 等多平台的高速下载器,用 Python 写成,适合批量抓取视频和图文内容。
批量抓取并归档 Reddit 帖子内容,自动下载图片、视频及 Imgur、Gfycat 等外链媒体,适合备份收藏或做数据集。
Firefox 浏览器上的批量下载管理器扩展,支持多线程加速、断点续传和按规则批量抓取页面链接,适合一次性下载大量文件。
从新闻网站批量抓取文章正文、标题和元数据的 Python 库,是 Newspaper3k 的维护分支,适合做新闻语料采集和数据集准备。
支持腾讯漫画、动漫之家、webtoons、pixivコミック等几十个中日漫画小说站点,可批量抓取章节并打包成 epub 电子书。
用 Python 写的 MangaDex 漫画下载命令行工具,支持按章节批量抓取并保存到本地,省去手动逐页保存的麻烦。
用 Lua 编写的通用同人志与图库下载器,支持 ExHentai 等站点批量抓取和下载管理,适合整理漫画收藏。
一条命令就能把 Reddit 的帖子、评论和用户数据批量抓取下来,导出成 CSV 或 JSON,方便做数据分析和存档。
基于 yt-dlp 的自托管媒体下载管理器,提供并发下载、自动化接口和媒体库整理,适合批量抓取 YouTube 等站点视频。
从 Moodle 教学平台批量抓取并下载课程资料(讲义 PDF 等),支持同步更新,省去逐页手动点击的麻烦。
从 Telegram 群组批量抓取成员(包括隐藏成员),并可直接把抓到的用户添加到自己的群组里。
用 Python 脚本在 Termux 环境下批量抓取 Telegram 群组成员并自动添加,适合在手机上做社群拉新和成员采集。
汇总 CVPR 2026 录用论文及其配套开源代码,方便计算机视觉研究者快速找到带实现的新工作并跟进复现。
…net/following/watchlist/novels 追更页面里都是系列作品。现在下载器可以批量抓取你追更的小说、漫画了。 ✨新增功能:抓取用户列表 在首页的“开始抓取”区域里新增了“抓取用户列表”按钮。你可以输入多个用户 ID,下载器会逐个抓取、下载这些用户的作品。 点击这个按钮可以查看详细说明。 ✨新增筛选设置:来自用户 ht
…//www.pixiv.net/novel/marker all.php 现在下载器可以在这个页面里批量抓取了。 ✨支持在小说分类页面里抓取 小说分类页面: https://www.pixiv.net/genre/novel 这次适配之后,用户可以使用快速下载功能、手动选择作品、全选功能来下载里面的作品。 PS:因为该页面的每个分类里只有