OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「数据采集」找到 33 个结果 · 17ms命中词:数据采集只看有点评
T
TikTokDownloader
JoeanAmier·JavaScript

抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。

抖音下载+4
174520—
JoeanAmier/TikTokDownloader · 12.38
D
Douyin_TikTok_Download_API
Evil0ctal·Python

自托管的抖音、TikTok、B站数据采集与无水印视频下载 API,提供异步 REST 接口、MCP 服务、CLI 和网页控制台,支持离线语音转文字,Docker 一键部署。

视频下载+4
213450—
Evil0ctal/Douyin_TikTok_Download_API · 11.65
E
EasySpider
NaiboWang·JavaScript

可视化无代码网页爬虫,通过图形界面设计和执行采集任务,让不懂编程的人也能批量抓取网页数据。

可视化爬虫+4
447810—
NaiboWang/EasySpider · 11.28
I
instaloader
instaloader·Python

用 Python 从 Instagram 批量下载图片、视频、配文和元数据,支持帖子、快照和用户主页,适合做数据采集和存档。

Instagram 下载+4
138560—
instaloader/instaloader · 11
S
scrapy
scrapy·Python

Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。

网页抓取+4
653250—
scrapy/scrapy · 10.41
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255890—
gocolly/colly · 10.14
O
Open-AutoGLM
zai-org·Python

开源手机智能体模型与框架,让 AI 直接操作手机界面完成点按、输入等任务,把「AI 手机」能力开放给所有人。

手机智能体+4
265740—
zai-org/Open-AutoGLM · 9.84
D
ddddocr
sml2h3·Python

开箱即用的通用验证码识别 OCR 库,Python 直接 pip 安装即可调用,省去自己训练模型和搭环境的麻烦。

验证码识别+3
149310—
sml2h3/ddddocr · 9.8
A
apify-mcp-server
apify·TypeScript

把 Apify Store 上数千个现成爬虫和自动化工具封装成 MCP 服务,让 AI Agent 直接抓取社交媒体、搜索引擎、地图和电商网站的数据。

MCP 服务+4
156910—
apify/apify-mcp-server · 9.55
M
maxun
getmaxun·TypeScript

把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。

网页抓取+4
182070—
getmaxun/maxun · 9.49
O
opentelemetry-collector
open-telemetry·Go

OpenTelemetry 的可观测性数据收集器,统一接收、处理和导出指标、日志、链路等遥测数据,帮你在不同后端之间解耦采集与上报。

可观测性+4
77540—
open-telemetry/opentelemetry-collector · 9.45
E
exa-mcp-server
exa-labs·TypeScript

基于 MCP 协议的 Exa 搜索服务,让 AI 助手直接调用网页搜索与爬取能力,为 Agent 提供实时联网检索。

MCP 服务+4
52270—
exa-labs/exa-mcp-server · 9.15
P
PROXY-List
TheSpeedX

每天自动更新免费 HTTP、HTTPS 和 SOCKS 代理列表,方便做匿名访问、爬虫或网络测试时直接取用可用代理。

代理列表+4
58790—
TheSpeedX/PROXY-List · 9.13
L
linkedin_scraper
joeyism·Python

用 Python 抓取 LinkedIn 用户和公司公开数据的爬虫库,基于 Chrome/Firefox 驱动模拟浏览,适合做招聘信息或人脉数据采集。

LinkedIn 爬虫+4
46710—
joeyism/linkedin_scraper · 9.12
L
LLM-Engineers-Handbook
PacktPublishing·Python

从 LLM 基础讲到用 LLMOps 最佳实践把 RAG 应用部署到 AWS 的实战手册,覆盖微调、评估与 ML 系统设计。

LLMOps+4
54270—
PacktPublishing/LLM-Engineers-Handbook · 8.91
L
loongcollector
alibaba·C++

阿里开源的可观测数据采集器,用 C++ 编写,主打轻量和高速,能从 Kubernetes、eBPF 等环境采集日志、指标和链路数据,适合云原生场景下的统一观测数据收集。

可观测性+4
22150—
alibaba/loongcollector · 8.91
B
brightdata-mcp
brightdata·JavaScript

一个 MCP 服务器,让 AI 代理和 LLM 能稳定抓取公开网页,内置反爬与浏览器自动化,解决网页数据采集和提取的难题。

MCP 服务器+4
27210—
brightdata/brightdata-mcp · 8.7
X
XHS-Spider
xisuo67

批量采集小红书图片和视频资源的桌面工具,支持一键下载与视频提取,适合需要整理素材的内容创作者。

小红书采集+4
14510—
xisuo67/XHS-Spider · 8.55
S
Scweet
Altimis·Python

无需 API Key 的 X/Twitter 数据采集库,支持抓取推文、用户资料、粉丝和关注列表,内置多账号池、代理和异步。

推文抓取+4
16610—
Altimis/Scweet · 8.54
R
reddit-universal-scraper
ksanjeev284·Python

一个通用的 Reddit 爬虫,能抓取任意子版块或用户的内容,适合做数据采集和舆情分析。

Reddit 爬虫+4
6140—
ksanjeev284/reddit-universal-scraper · 8.38
G
google-play-scraper
facundoolano·JavaScript

用 Node.js 抓取 Google Play 应用详情、评论、搜索结果的爬虫库,省去自己解析页面和接口的麻烦。

应用商店爬虫+3
30010—
facundoolano/google-play-scraper · 8.25
W
webcmd
agentrhq·TypeScript

用命令行驱动浏览器的自学习 Agent,基于 Playwright 自动操作网页,并在使用中积累经验、越用越顺手,适合做网页自动化与数据采集。

浏览器自动化+4
27700—
agentrhq/webcmd · 8.23
T
TikTok-Live-Connector
zerodytrash·TypeScript

非官方 Node.js 库,实时接收 TikTok 直播间的评论、礼物等事件,方便做直播互动机器人或数据采集。

TikTok直播+4
23020—
zerodytrash/TikTok-Live-Connector · 7.99
G
google-play-scraper
oxylabs·Python

抓取 Google Play 上应用、游戏、影视和图书的公开信息,比如评分、评论和详情,省去自己解析页面。

应用商店爬虫+4
17530—
oxylabs/google-play-scraper · 7.93
T
twitter-scraper
the-convocation·TypeScript

把 n0madic 的 Twitter 抓取库移植到 Node.js,无需官方 API 就能抓取推文、用户资料和搜索结果。

推文抓取+3
6410—
the-convocation/twitter-scraper · 7.79
G
googlemaps-scraper
gaspa93·Python

用 Python 抓取 Google Maps 上商户的评论数据,适合做口碑分析和竞品调研时批量采集评论。

谷歌地图+4
5340—
gaspa93/googlemaps-scraper · 7.78
S
scrapfly-scrapers
scrapfly·Python

一套面向 40 多个热门网站的 Python 爬虫脚本合集,内置代理和反爬绕过能力,省去从零处理验证码与封禁的麻烦。

网页爬虫+4
11260—
scrapfly/scrapfly-scrapers · 7.72
H
HomeHarvest
ZacharyHampton·Python

用 Python 抓取 Redfin、Realtor 等房产网站的挂牌数据,直接输出结构化表格,省去自己写爬虫和解析页面的麻烦。

房产数据抓取+4
7620—
ZacharyHampton/HomeHarvest · 7.72
H
how-to-scrape-google-jobs
oxylabs·Python

用 Python 配合 Oxylabs 的 Google Jobs Scraper API,同时按多个搜索词和地区抓取 Google 招聘信息,省去自己处理反爬和解析页面的麻烦。

网页抓取+4
17710—
oxylabs/how-to-scrape-google-jobs · 7.7
B
Beav
Jamailar·Rust

小红书 AI 运营工作台,集内容采集、评论区下载、素材库、选题和 AI 写作于一体,本地优先,开箱即用。

小红书采集+4
23670—
Jamailar/Beav · 7.65
O
OhmGraphite
nickbabcock·C#

把 CPU、GPU 等硬件传感器数据采集后推送到 Graphite、InfluxDB、Prometheus 等时序数据库,方便用 Grafana 做监控看板。

硬件监控+4
5380—
nickbabcock/OhmGraphite · 7.62
A
awesome-CARLA
Amin-Tgz

汇总 CARLA 自动驾驶仿真器的教程、博客、代码和数据资源,帮研究者快速上手仿真环境与数据采集。

自动驾驶仿真+4
9160—
Amin-Tgz/awesome-CARLA · 2.92
L
llm-twin-course
decodingai-magazine·Python

一套 12 节动手课程,带你用 LLMOps 最佳实践从零搭建可上线的 LLM 与 RAG 系统,覆盖数据采集、训练、推理到部署全流程。

LLMOps+4
44110—
decodingai-magazine/llm-twin-course · 2.87

发布说明里提到「数据采集」

来自 5 个版本
  • 1Panel-dev/1Panelv2.3.12026-09-18

    …ollection to process management / 进程管理新增面板主服务诊断与性能数据采集功能 by @ssongliu in https://github.com/1Panel-dev/1Panel/pull/13852 ⚙️ Enhancements / 功能优化 Containers: Improved conta

  • xisuo67/XHS-Spiderv1.0.5.52025-04-23

    - 优化功能 - 修复评论数据采集不到问题 - 增量解析优化解析方式,尽量减少风控风险

  • JoeanAmier/TikTokDownloader5.52025-01-12

    …. 优化 run command 参数功能 15. 新增实况/动图作品下载功能 16. 恢复作品评论数据采集功能 17. 恢复账号详细数据采集功能 18. 恢复搜索结果数据采集功能 19. 优化作品文件名称处理逻辑 20. 优化文件名称非法字符处理 21. 重构视频下载地址提取逻辑 22. 优化 earliest 参数设置规则 23. 适

  • JoeanAmier/TikTokDownloader5.42024-07-21

    … TikTok 直播视频下载功能 8. 新增 TikTok 合集作品下载功能 9. 暂时禁用抖音评论数据采集功能 10. 暂时移除抖音账号数据采集功能 11. 暂时移除抖音搜索数据采集功能 12. 优化抖音图集下载链接提取逻辑 13. 使用 HTTPX 替代 AIOHTTP 14. 更新项目映射数据储存位置 15. 更新作品下载记录储存位

  • NaiboWang/EasySpiderv0.6.02023-12-24

    …素XPath处写:point(10, 10)表示点击网页坐标(10, 10)。 31. 可选择是否在数据采集完成后 去除重复数据 ,注意此功能需要等到任务结束时执行,因此执行任务中途退出将无法进行去重!!! 32. 可在不固定循环列表/固定循环列表/文本列表/网址列表循环中,设置 跳过前n次循环 ,适用于任务中途断开不想从头开始任务的场景