OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「去重」找到 56 个结果 · 15ms命中词:去重只看有点评
S
scrapy
scrapy·Python

Python 的高层网页抓取框架,帮你快速写爬虫,自动处理请求调度、页面解析和数据提取,适合大规模采集任务。

网页抓取+4
653250—
scrapy/scrapy · 12.06
B
borg
borgbackup·Python

去重备份归档工具,支持压缩和认证加密,可通过 SSH 远程备份,适合需要高效增量备份和隐私保护的数据场景。

去重备份+4
139190—
borgbackup/borg · 11.62
P
PROXY-List
TheSpeedX

每天自动更新免费 HTTP、HTTPS 和 SOCKS 代理列表,方便做匿名访问、爬虫或网络测试时直接取用可用代理。

代理列表+4
58790—
TheSpeedX/PROXY-List · 10.7
C
crawlee
apify·TypeScript

Node.js/TypeScript 网页抓取与浏览器自动化库,内置代理轮换和反封锁,兼容 Puppeteer、Playwright、Cheerio,可稳定采集数据供 AI、LLM、RAG 使用。

网页抓取+4
264170—
apify/crawlee · 10.67
T
thanos
thanos-io·Go

给 Prometheus 加上跨集群高可用和长期存储能力,把多个 Prometheus 实例的数据聚合成全局可查询的指标视图。

Prometheus+4
142750—
thanos-io/thanos · 10.62
D
data-juicer
datajuicer·Python

面向大模型训练的数据处理流水线,把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。

数据处理+4
72400—
datajuicer/data-juicer · 10.04
M
mitmproxy
mitmproxy·Python

支持 TLS 的交互式 HTTP 拦截代理,可实时查看、修改和重放请求,方便开发调试和渗透测试抓包分析。

HTTP 代理+4
468220—
mitmproxy/mitmproxy · 9.79
H
huginn
huginn·Ruby

搭建能替你盯着网页、RSS 和接口的自动化代理,条件满足时自动发通知或触发动作,相当于自建一套 IFTTT 式监控流水线。

自动化代理+4
504980—
huginn/huginn · 9.61
R
rtk
rtk-ai·Rust

一个用 Rust 写的单文件 CLI 代理,在跑常见开发命令时把 LLM token 消耗砍掉 60-90%,帮编码 Agent 省成本。

token 压缩+4
861850—
rtk-ai/rtk · 9.55
C
colly
gocolly·Go

Go 语言编写的高性能网页抓取与爬虫框架,提供简洁 API 处理请求、解析页面和并发抓取,适合快速搭建采集程序。

爬虫框架+4
255890—
gocolly/colly · 9.52
S
serviette
pathwaycom·Python

一个免代码的 RAG 服务器,能随文档更新自动同步答案,支持 8 种向量数据库,基于 Pathway 构建。

RAG+4
587110—
pathwaycom/serviette · 9.49
S
supervision
roboflow·Python

一套可复用的计算机视觉工具库,提供目标检测、实例分割、分类等任务的标注处理、指标计算与可视化组件,帮开发者省去重复造轮子的时间。

计算机视觉+4
515910—
roboflow/supervision · 9.3
S
spacedrive
spacedriveapp·Rust

用 Rust 写的跨平台开源文件管理器,底层是虚拟分布式文件系统,能把多台设备上的文件统一管理,像访问本地一样浏览和整理。

文件管理器+4
394860—
spacedriveapp/spacedrive · 9.29
S
Shadowrocket-ADBlock-Rules-Forever
Johnshall

提供多款 Shadowrocket 规则,每天自动重新构建,帮你强力过滤广告并兼顾代理分流,适合 iOS 上做广告拦截和科学上网的用户。

广告拦截+4
320330—
Johnshall/Shadowrocket-ADBlock-Rules-Forever · 9.27
O
OpenCLI
jackwener·JavaScript

把任意网站变成命令行工具,让 AI Agent 复用你已登录的浏览器会话执行网页操作,省去重复登录和手动点击。

浏览器自动化+4
310200—
jackwener/OpenCLI · 9.27
A
ai-job-search
ai-job-search-dev·Python

基于 Claude Code 的求职自动化框架,在本地评估职位、定制简历、撰写求职信并准备面试,数据自己掌控。

求职自动化+4
711720—
ai-job-search-dev/ai-job-search · 9.25
C
CowAgent
zhayujie·Python

开源个人 AI 助手与 Agent Harness,能规划任务、调用工具和技能,靠记忆与知识自我进化,支持多智能体、多模型、多渠道,一行命令即可安装。

智能体框架+4
478770—
zhayujie/CowAgent · 9.21
T
TrendRadar
sansan0·Python

聚合多平台热点与 RSS 订阅,用 AI 做关键词筛选、翻译和简报分析,并通过微信、飞书、钉钉等渠道推送到手机,帮你摆脱信息过载。

舆情监控+4
635800—
sansan0/TrendRadar · 9.18
A
agents
wshobson·Python

用 Markdown 写一次 AI 编码助手的插件、技能和命令,再由生成器适配 Claude Code、Codex CLI、Cursor 等各家工具,省去重复维护。

编码助手+4
424090—
wshobson/agents · 9.15
T
TikTokDownloader
JoeanAmier·JavaScript

抖音和 TikTok 作品下载与数据采集工具,支持批量抓取视频、评论等数据并导出 CSV,可通过 Docker 部署。

抖音下载+4
174520—
JoeanAmier/TikTokDownloader · 9.08
I
iptv-api
Guovin·Python

自动采集、校验并测速 IPTV 直播源,生成可直接播放的 M3U/TXT/API 结果,支持自定义频道、IPv4/IPv6 与 Docker、Actions 多端部署。

IPTV+4
260550—
Guovin/iptv-api · 9.08
I
iptv-sources
HerbertHe·TypeScript

自动抓取并更新可用的 IPTV 直播源,输出 m3u 列表,供 Kodi、TVBox、DIYP 等播放器直接订阅使用。

IPTV 直播源+4
90730—
HerbertHe/iptv-sources · 9.04
R
reader
jina-ai·TypeScript

在任意网址前加上 https://r.jina.ai/ 前缀,就能把网页转成适合大模型读取的干净文本,省去自己写爬虫和清洗正文的麻烦。

网页解析+3
122510—
jina-ai/reader · 9.02
G
get_subscribe
ermaozi·Python

自动抓取并持续更新免费 Clash、V2Ray、Trojan、SSR 等订阅链接,省去手动找节点的麻烦,适合需要科学上网的用户直接导入客户端使用。

订阅链接+4
94580—
ermaozi/get_subscribe · 8.99
X
XHS-Downloader
JoeanAmier·JavaScript

从小红书链接中提取作品信息并批量采集下载,支持 Docker 部署和 API 调用,方便做内容归档或数据分析。

小红书采集+4
132690—
JoeanAmier/XHS-Downloader · 8.96
H
hammerspoon
Hammerspoon·Objective-C

用 Lua 脚本把 macOS 的窗口管理、快捷键、应用联动等操作串起来,实现桌面自动化,省去重复的手动点击和切换。

桌面自动化+4
164100—
Hammerspoon/hammerspoon · 8.93
C
CompactGUI
IridiumIO·Visual Basic .NET

用 Windows 原生压缩 API 给游戏和程序文件夹瘦身,图形界面操作,不用命令行就能省出大量磁盘空间。

磁盘压缩+4
93000—
IridiumIO/CompactGUI · 8.92
B
bbot
blacklanternsecurity·Python

递归式互联网扫描器,面向渗透测试和漏洞赏金场景,自动完成资产发现、攻击面管理与 OSINT 信息收集。

攻击面管理+4
111020—
blacklanternsecurity/bbot · 8.92
A
autoscraper
alirezamika·Python

给一个示例 URL,自动学习网页结构并生成抓取规则,省去手写解析逻辑,适合快速采集相似页面的数据。

网页抓取+3
80840—
alirezamika/autoscraper · 8.92
M
maxun
getmaxun·TypeScript

把任意网站变成结构化 API,无需写代码就能抓取、自动化、搜索和监控网页数据,适合做数据采集和 RPA 场景。

网页抓取+4
182070—
getmaxun/maxun · 8.9
C
camel
camel-ai·Python

多智能体框架,让多个大模型智能体通过角色扮演和对话自主协作,用于研究智能体规模化规律并构建协作式 AI 系统。

多智能体+4
180240—
camel-ai/camel · 8.89
V
v2
miniflux·Go

极简且带明确取舍的 RSS 阅读器,用 Go 编写,后端依赖 PostgreSQL,支持 Atom、RSS、JSON Feed 和 OPML 导入导出,适合自建轻量订阅服务。

RSS 阅读器+4
99170—
miniflux/v2 · 8.86
N
nanobrowser
nanobrowser·TypeScript

开源的浏览器 AI 智能体,直接接管你已登录的真实浏览器自动完成日常网页任务,免去重复点击和填表。

浏览器自动化+4
142840—
nanobrowser/nanobrowser · 8.86
I
instaloader
instaloader·Python

用 Python 从 Instagram 批量下载图片、视频、配文和元数据,支持帖子、快照和用户主页,适合做数据采集和存档。

Instagram 下载+4
138560—
instaloader/instaloader · 8.85
B
browser-harness
browser-use·Python

让 Claude Code、Codex、Cursor 等编码 Agent 直接操控你已登录的真实 Chrome,一句话完成配置,省去重新登录和环境搭建的麻烦。

浏览器 Agent+4
190150—
browser-use/browser-harness · 8.83
W
Website-downloader
AhmadIbrahiim·HTML

用 Node.js 把任意网站的完整源码连同 JS、CSS、图片等资源一起抓下来,方便离线保存或本地研究页面结构。

网站源码下载+4
60840—
AhmadIbrahiim/Website-downloader · 8.78
U
useful-scripts
oldratlee·Shell

一套面向开发者的 Shell/Java 日常脚本合集,能快速排查 Java 线程占用、重复类等常见问题,省去手动敲命令的麻烦。

Shell 脚本+4
75160—
oldratlee/useful-scripts · 8.74
T
Text-Grab
TheJoeFin·C#

Windows 上的轻量 OCR 截图取字工具,框选屏幕区域即可识别文字并复制,支持后台常驻和识别完成通知。

OCR+4
50820—
TheJoeFin/Text-Grab · 8.71
P
pipedream
PipedreamHQ·JavaScript

把上千个 API 封装成可编排的触发器和动作,用低代码方式快速搭建自动化工作流与事件驱动集成,开发者可免费使用。

API 集成+4
117840—
PipedreamHQ/pipedream · 8.69
D
dvc
treeverse·Python

给数据和模型做版本控制的工具,像 Git 管理代码一样管理数据集和机器学习实验,解决数据版本混乱、实验难复现的问题。

数据版本控制+4
159710—
treeverse/dvc · 8.68

发布说明里提到「去重」

来自 6 个版本
  • VaderChen/YourDesk1.26.1110-build-14512026-11-10

    …ndroid core 測試通過;真實 DataChannel 模擬正負 24 小時時差、舊版相容、去重及 handler 取消通過;Mac 本機 P2P → PTY 的中文輸出、Ctrl+C、尺寸調整、大量輸出、關閉與重連通過。Windows x64/ARM64 指令模組編譯通過。新版尚未在原回報的 Windows/Mac 兩台實機驗收

  • Soodok/Deepseek-Harness-Local-Androidv1.5.5-beta.12026-11-09

    …做 —— 幽灵按钮、玻璃卡片、行内版本胶囊 ( fb894ba ) - feat(a11y): 屏幕去重 + 交接给用户(v1.6.21) ( 29cec2f ) - feat(cap): 三个设备能力 —— 定位 / 应用管理 / 拍照 ( 3080c31 ) - feat(a11y): 编号屏幕文档 v2 + 指纹预校验动作(v1.6

  • volcengine/OpenVikingv0.5.42026-11-09

    …//github.com/volcengine/OpenViking/pull/6819) - 关闭去重的 recall 不再创建会话;eager prefetch 尊重大于 5 的 prefetch search topn ,并正确序列化时间元数据。[ 7064](https://github.com/volcengine/OpenVi

  • hicocos/tg-vaultv3.0.02026-11-08

    …页 :可分别设置客户端权限、存储账户和有效期,生成或撤销令牌、验证连接并查看调用记录;写操作支持请求去重与操作预览。 - 一键安装入口 :新增根目录 install.sh ,支持自动下载项目、指定安装目录和更新已有部署。 - 中文文档站 :提供部署、Telegram、存储、MCP 和日常运维教程,支持全文搜索与移动端浏览,可从应用「关于」

  • DevXDojo/MrRSSv1.3.422026-11-08

    …窗和阅读器。 ( 1273) - 优先使用阅读器条目 ID 或文章链接区分同标题文章,并安全迁移历史去重标识,保留阅读状态、收藏、正文缓存及聊天记录。 ( 1276) - 避免并发刷新时 SQLite 写事务使用过期快照;连续失败的自动订阅刷新采用有上限的退避,手动刷新可立即重试。 ( 1277) - 保证提示消息始终显示在多层弹窗上方。

  • mytv-android/mytv-androidV3.0.0.2382026-11-08

    … 运行时 - 息屏/后台过久后恢复直播时追回实时画面 - 投屏接收面板:设备改名、组件状态展示与日志去重 - 优化竖屏的EpgGuideScreen - video:// 嗅探正则保留完整查询参数 ( 357) - 更新图标 - 新增开机静默自启,只后台启动 HTTP 服务 - 预测性返回 - 新增 GLSurfaceView 渲染方式,